VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining

이 논문은 MLLM 의 복잡한 비주얼 도구 체이닝 능력을 평가하기 위해 32 가지 OpenCV 기반 연산과 680 개의 계층적 문제로 구성된 새로운 벤치마크인 VTC-Bench 를 제안하고, 현재 최첨단 모델조차도 도구 조합 및 장기 계획 수립에서 심각한 한계를 겪고 있음을 규명합니다.

핵심

🎨 비유: "요리사 AI 와 32 가지 주방 도구"

생각해 보세요. 훌륭한 요리사 (AI) 가 있다고 칩시다. 이 요리사는 재료를 보고 "이게 뭐지?"라고 말하는 것 (단순 인식) 을 넘어, 실제로 요리를 만들어야 합니다.

하지만 이 요리사는 **32 가지의 다양한 주방 도구 (가위, 칼, 믹서기, 온도계 등)**를 가지고 있습니다. 문제는 이 요리사들이 도구를 어떻게 쓰느냐입니다.

1. 기존의 문제:
   이전까지의 시험들은 요리사에게 "감자를 자르세요"라고만 물었습니다. 요리사는 칼만 쓰면 되니까 쉽습니다. 하지만 현실에서는 "감자를 씻고, 껍질을 벗기고, 얇게 썰고, 튀긴 후 소스를 발라야 한다"처럼 여러 도구를 순서대로 조합해야 하는 복잡한 레시피가 많습니다. 기존 시험들은 이런 복잡한 조합을 제대로 테스트하지 못했습니다.

2. 이 논문의 해결책 (VTC-Bench):
   연구진은 **"복잡한 레시피"**를 가진 새로운 시험지를 만들었습니다.

   • 도구상자: 컴퓨터 비전 분야에서 가장 유명한 'OpenCV'라는 라이브러리에서 32 가지의 다양한 도구를 가져왔습니다. (이미지 회전, 색상 변경, 노이즈 제거, 선 그리기 등)
   • 시험 문제: 680 개의 문제를 만들었습니다. 문제는 단순하지 않습니다.
     • 예시: "흐릿하게 찍힌 사진 속의 글자를 읽어줘."
     • 해결 과정: AI 는 단순히 글자를 읽으려다 실패할 수 있습니다. 대신 ① 흐림을 제거하는 도구를 쓰고, ② 명암을 조절하는 도구를 쓰고, ③ 글자를 선명하게 만드는 도구를 순서대로 써야만 정답을 얻을 수 있습니다.

🧐 실험 결과: "요리사들의 실력 차이"

연구진은 세계 최고의 AI 모델 19 개를 이 시험에 응시시켰습니다. 결과는 어땠을까요?

• 전반적인 실력 부족: 최고의 AI 모델조차 평균 점수가 51% 정도에 그쳤습니다. 즉, 절반은 실패했다는 뜻입니다.
• 편향된 도구 사용: AI 들은 새로운 도구를 배우기보다, 자신이 익숙한 몇 가지 도구 (예: 이미지 자르기, 확대하기) 만 반복해서 사용했습니다. 마치 요리사가 "칼로 자르는 것"만 고집하다가 "믹서기"가 필요한 상황에서도 칼로 억지로 으깨는 것과 같습니다.
• 계획 수립의 어려움: 복잡한 문제를 풀 때, "어떤 순서로 도구를 써야 할지"를 미리 계획하는 데 매우 서툴렀습니다. 도구를 무작위로 쓰다가 실패하거나, 불필요한 과정을 반복했습니다.
• 상용 모델 vs 오픈소스: 구글, 오픈AI 같은 거대 기업의 상용 모델은 도구를 잘 활용했지만, 공개된 오픈소스 모델들은 도구를 써도 오히려 실력이 떨어지거나 별 도움이 안 되는 경우가 많았습니다.

💡 핵심 교훈: "보는 것 (인식) 과 행동 (도구 사용) 의 괴리"

이 논문의 가장 중요한 메시지는 **"AI 가 그림을 잘 보는 것과, 그림을 분석하기 위해 도구를 잘 쓰는 것은 완전히 다른 능력"**이라는 점입니다.

• 현재의 한계: AI 는 그림을 보고 "이게 고양이네"라고 말하는 건 잘하지만, "이 고양이의 눈동자 크기를 측정하려면 이미지를 확대하고, 색을 보정하고, 윤곽선을 그리는 도구들을 조합해야 해"라고 생각하며 행동하는 것은 아직 서툴다는 것입니다.
• 미래의 방향: 앞으로 더 똑똑한 AI 를 만들려면, 단순히 지식을 늘리는 것뿐만 아니라 복잡한 도구들을 조합하여 문제를 해결하는 '행동 능력'을 훈련시켜야 합니다.

📝 한 줄 요약

"이 논문은 AI 가 그림을 보고 '무엇'인지 아는 것을 넘어, 복잡한 문제를 해결하기 위해 '어떻게' 도구를 조합하고 사용할 수 있는지를 평가하는 새로운 시험지를 만들었으며, 현재 AI 들은 이 복잡한 조합 능력에서 여전히 많이 부족하다는 사실을 발견했습니다."

기술 요약

1. 문제 제기 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 단순한 시각적 질문 답변 (VQA) 을 넘어 외부 도구를 활용하여 복잡한 시각적 작업을 수행하는 '에이전트 (Agentic)' 모델로 진화하고 있습니다. 그러나 현재 이러한 모델의 성능을 평가하는 데에는 다음과 같은 근본적인 한계가 존재합니다.

• 제한된 도구 세트와 단순한 활용: 기존 벤치마크는 도구의 종류가 적고, 도구 호출이 단순한 단일 단계에 그치는 경우가 많습니다.
• 복합적 도구 조합의 부재: 실제 현실 세계의 컴퓨터 비전 파이프라인은 여러 도구를 순차적으로 연결 (Chaining) 하고 조합하여 복잡한 문제를 해결해야 합니다. 기존 평가 기준은 이러한 '다중 도구 조합 (Multi-tool Composition)'과 '장기적 계획 (Long-horizon planning)' 능력을 제대로 측정하지 못합니다.
• 실제 적용 가능성의 격차: 모델이 다양한 도구 세트를 적응적으로 활용하고, 보지 못한 작업에 대해 일반화하는 능력을 평가할 수 있는 체계가 부족합니다.

2. 방법론 (Methodology)

이러한 격차를 해소하기 위해 저자들은 **VisualToolChain-Bench (VTC-Bench)**를 제안했습니다. 이는 MLLM 의 도구 사용 숙련도를 평가하기 위해 설계된 포괄적인 벤치마크입니다.

가. 도구 세트 (Tool Set)

• OpenCV 기반 32 가지 도구: 실제 컴퓨터 비전 파이프라인을 모방하기 위해 OpenCV 라이브러리에서 32 가지 다양한 시각 연산 도구를 선정했습니다.
• 기능적 모듈 분류:
  1. Geometry: 회전, 크기 조절, 자르기 등 공간 변환.
  2. Enhancement: 색상 변환, 명암 조정, 이진화 등 신호 최적화.
  3. Feature Extraction: 엣지 검출, watershed 분할 등 구조적/의미적 원시 데이터 추출.
  4. Drawing: 윤곽선 시각화, 영역 측정 등 추론 검증 및 속성 정량화.

나. 태스크 설계 (Task Design)

• 인지적 위계 구조 (Cognitive Hierarchy): 9 가지 주요 태스크를 3 단계의 인지적 난이도로 구성했습니다.
  • Tier 1 (시각적 지각 향상): Robust OCR, 지각적 복원 (Perceptual Restoration), 주의 집중 (Attention Focusing). 환경 간섭 제거 및 기하학적 왜곡 교정.
  • Tier 2 (정량적 시각 추정): 측정, 색상 분석, 계수. 물리적 속성의 정밀한 추출.
  • Tier 3 (구성적 시각 추론): 차트 분석, 수학 문제 해결, 공간 추론. 다단계 도구 오케스트레이션을 통한 복잡한 논리적 추론.
• 데이터 구성: 총 680 개의 정밀하게 큐레이션된 VQA 문제를 포함하며, 각 문제는 정답 (Ground Truth) 실행 궤적 (Toolchain) 을 제공합니다.

다. 평가 지표 (Evaluation Metrics)

• Average Pass Rate (APR): 정답률.
• Tool Call Rate (TCR): 도구를 사용한 태스크의 비율.
• Mean Absolute Error (MAE): 예측된 도구 체인 길이와 정답 길이의 차이.
• Tool Usage Efficiency (Efftool): 유효한 단계 수와 총 예측 단계 수의 비율 (효율성 측정).

3. 주요 기여 (Key Contributions)

1. 최대 규모의 시각 도구 체인 벤치마크: 기존 벤치마크보다 훨씬 다양하고 복잡한 32 가지 도구를 지원하며, 단일 작업당 평균 5 단계 이상의 도구 호출이 필요한 680 개의 문제를 제공합니다.
2. 다중 도구 조합 및 장기 계획 평가: 단순한 도구 호출을 넘어, 여러 도구를 조합하여 복잡한 문제를 해결하는 능력을 체계적으로 평가할 수 있는 프레임워크를 제시했습니다.
3. 구현 프로토콜의 다양성: 모델이 Python 코드를 생성하여 도구를 호출하는 방식 (Code-driven) 과 미리 정의된 인터페이스를 사용하는 방식 (Interface-driven) 을 모두 지원합니다.
4. 엄격한 검증 프로토콜: 전문가의 수동 주석과 MLLM 을 활용한 교차 검증을 통해 데이터의 신뢰성을 확보했습니다.

4. 실험 결과 (Results)

19 개의 주요 MLLM (상용 및 오픈소스 포함) 을 VTC-Bench 에서 평가한 결과는 다음과 같습니다.

• 전반적인 낮은 성능: 최상위 모델인 Gemini-3.0-Pro조차도 벤치마크에서 **51.18%**의 점수만 기록했습니다. 이는 현재 모델들이 복잡한 다단계 도구 오케스트레이션에 여전히 심각한 어려움을 겪고 있음을 의미합니다.
• 상용 vs 오픈소스 격차: 상용 모델 (GPT-4o, Gemini 등) 은 도구 사용 시 성능이 크게 향상되는 반면, 오픈소스 모델은 성능 향상이 미미하거나 오히려 저하되는 경우가 많았습니다.
• 도구 사용의 편향성 (Uneven Distribution): 모델들은 'Crop', 'Rotate', 'Zoom In' 등 몇 가지 익숙한 도구에만 과도하게 의존하며, 복잡한 태스크에 필요한 최적의 도구를 선택하지 못했습니다.
• 비효율적인 실행: 모델들은 종종 불필요한 도구 호출을 반복하거나 (과도한 중복), 정답에 도달하기 위해 필요한 정밀한 도구 조합을 수행하지 못했습니다.
• 실패 모드 분석:
  1. 전략적 오선정과 실행 오류: 작업에 적합하지 않은 도구를 선택하거나 (예: 원 그리기 도구를 거리 측정에 사용), 잘못된 매개변수로 실행.
  2. 검증 없는 결과 의존: 도구의 중간 결과를 맹목적으로 신뢰하고, 원본 이미지와의 교차 검증을 생략하여 오류를 범함.

5. 의의 및 결론 (Significance)

• 현실적 한계의 규명: VTC-Bench 는 현재 MLLM 이 '수동적인 시각 지각'에서 '능동적인 에이전트 추론'으로 전환하는 과정에서 겪는 근본적인 병목 현상을 명확히 드러냈습니다.
• 향후 연구 방향 제시: 모델이 특정 도구 세트를 넘어 다양한 도구에 적응하고, 복잡한 다단계 계획을 수립하며, 도구 결과를 비판적으로 검증하는 능력을 갖추어야 함을 강조합니다.
• 표준 벤치마크 확립: 이 벤치마크는 더욱 일반화된 시각 에이전트 모델 개발을 위한 엄격한 기준선 (Baseline) 으로 작용하여, 향후 연구의 방향성을 제시할 것입니다.

요약하자면, VTC-Bench 는 MLLM 이 단순히 이미지를 '보는' 것을 넘어, 외부 도구를 능동적으로 '사용'하여 복잡한 문제를 해결하는 능력을 평가하기 위해 고안된 혁신적인 벤치마크이며, 현재 기술 수준이 실제 응용에 필요한 복잡도에는 미치지 못함을 증명했습니다.