기술 요약: OpenVisTool

문제 정의

시각적 도구 사용(Visual tool use)은 멀티모달 에이전트가 고정된 이미지 인코딩을 넘어 세밀한 증거를 획득하기 위한 핵심적인 능력이 되었습니다. 이러한 에이전트를 학습시키는 데 널리 쓰이는 기존 방식들은 교사 모델이 생성한 궤적(trajectory)이 실행 가능하고 최종 정답을 도출할 경우 이를 유지하는 **결과 기반 재샘플링(outcome-based rejection sampling)**에 의존합니다.

저자들은 이 접근 방식이 근본적으로 결함이 있다고 주장합니다. 이는 **결과의 타당성(outcome validity)**과 **인과적 유용성(causal utility)**을 혼동하기 때문입니다. 강력한 교사 모델은 쿼리에 답하기 위해 자신이 생성한 도구 관측치를 실제로 필요로 하지 않더라도, 충분한 파라미터 지식이나 추론 지름길을 사용하여 정답을 낼 수 있습니다. 결과적으로, 이러한 궤적을 모방하는 것은 학생 모델에게 도구 호출이 정답과 함께 발생한다는 것을 가르칠 뿐, 도구 관측치가 정답의 근거가 된다는 것을 가르치지 못합니다. 이는 모델이 시각적 증거를 획득하는 인과적 필요성을 배우는 대신 상관관계만을 학습하게 되는 "가짜 감독(spurious supervision)" 현상을 초래합니다.

방법론: OpenVisTool 프레임워크

이를 해결하기 위해 저자들은 교육적(instructive) 시각 도구 사용 궤적을 합성하기 위해 설계된 3단계 프레임워크인 OpenVisTool을 제안합니다. 핵심 통찰은 궤적이 학습에 유익하려면 다음 두 가지 공동 조건을 충족해야 한다는 것입니다:

1. 결과의 타당성: 궤적이 올바른 최종 답변을 도출해야 합니다.
2. 인과적 유용성: 도구 관측치가 답변에 인과적으로 기여해야 합니다. 구체적으로, 이러한 관측치를 고정된 "프로브(probe)" 모델에 제공했을 때 도구가 없는 베이스라인 모델보다 답변 신뢰도가 향상되어야 합니다.

프레임워크는 다음 단계로 운영됩니다:

1. 난이도 스크리닝 (Difficulty Screening)

파이프라인은 먼저 소스 풀(차트, 테이블, GUI 그라운딩, 시각적 탐색, 웹-투-HTML의 5개 도메인 포함)을 필터링하여, 유능한 프로브 모델(Qwen3.5-9B)이 도구 없이 신뢰성 있게 해결할 수 없는 쿼리만을 남깁니다.

• 메커니즘: 프로브 모델이 $K$번의 독립적인 도구 미사용 시행을 수행합니다. 만약 경험적 성공률이 임계값($\gamma = 0.5$) 미만이면 해당 쿼리를 유지합니다.
• 목표: 선택된 문제들이 진정으로 외부의 시각적 증거를 요구하도록 보장하여, 불필요한 도구 호출을 방지합니다.

2. 도메인 특화 궤적 합성 (Domain-Specific Trajectory Synthesis)

유지된 쿼리에 대해, 더 강력한 교사 모델(Qwen3.5-Plus)이 공유된 시각 도구 세트를 사용하여 궤적을 합성합니다.

• 메커니즘: 일반적인 프롬프트 대신, 각 도메인의 시각적 병목 구간(예: 차트의 시리즈 격리, GUI의 점진적 로컬라이제이션)에 맞춘 도메인 특화 도구 사용 패턴($P_d$)에 의해 교사가 유도됩니다.
• 목표: 임의적이거나 장식적인 도구 호출이 아닌, 일관된 증거 획득 행동을 이끌어냅니다.

3. 감독 검증 (Supervision Verification)

마지막 단계에서는 두 부분의 기준에 따라 각 후보 궤적을 엄격하게 검증합니다.

• 결과 타당성 체크: 도메인 특화 평가기를 사용하여 최종 답변이 올바른지 확인합니다.
• 인과적 유용성 체크: 궤적에서 추출된 도구 호출과 관측치를 (데이터 누출을 방지하기 위해 교사의 추론과 최종 답변은 제외하고) 스크리닝에 사용되었던 동일한 프로브 모델에 입력합니다. 도구를 사용했을 때의 프로브 성공률($\bar{p}_{tool}$)을 도구가 없을 때의 성공률($\bar{p}_0$)과 비교합니다.
• 유지 규칙: 궤적은 결과가 타당하고 동시에 $\bar{p}_{tool} - \bar{p}_0 \ge \delta$ (여기서 $\delta = 0.25$)를 만족할 때만 유지됩니다.

주요 기여

1. OpenVisTool 프레임워크: 결과 타당성과 인과적 유용성을 공동으로 강제함으로써 "교육적 감독"의 개념을 구현하는 새로운 3단계 파이프라인을 제시합니다.
2. OpenVisTool-42K: 통합된 도구 세트 하에 5개의 시각적 추론 도메인을 아우르는 검증된 42,000개의 궤적을 포함하는 대규모 오픈 소스 데이터셋입니다.
3. OpenVisTool-Bench: 능동적인 시각적 증거 획득의 점진적 가치를 분리하여 측정하도록 구축된 벤치마크로, 도구 접근이 성능을 실질적으로 개선하는 사례에 집중합니다.
4. 실증적 검증: 이 데이터셋으로 파인튜닝하는 것이 4B에서 27B 파라미터에 이르는 4개의 백본 모델 전반에서 시각적 도구 사용 성능을 향상시킨다는 것을 입증하였으며, 결과는 선도적인 폐쇄형 시스템에 근접하거나 이를 능가합니다.

실험 결과

저자들은 Qwen3.5 변체들(4B, 9B, 27B)과 Qwen3-VL-8B를 사용하여 OpenVisTool-Bench 및 분포 외(OOD) 벤치마크(Agentic-MME, VTC-Bench)에서 프레임워크를 평가했습니다.

• 성능 향상: OpenVisTool-42K로 파인튜닝한 결과 모든 모델과 도메인에서 일관된 향상이 나타났습니다. OpenVisTool-Bench에서의 평균 이득은 10.7 포인트였습니다. 가장 큰 향상은 시각적 탐색(Visual Search) 도메인에서 관찰되었는데(9B 모델 기준 +23.8 포인트), 이는 도구가 지각과 작업 요구사항 사이의 간극을 메워주는 정밀한 공간 추론이 필요한 영역입니다.
• SOTA와의 비교: OpenVisTool-42K로 학습된 9B 모델은 평균 점수 45.8을 기록하여, GPT-5.5의 도구 미사용 성능(41.9)을 능가했으며 GPT-5.5의 도구 증강 성능(49.0)에 근접했습니다.
• 일반화: 다중 도메인 데이터셋으로 학습된 모델은 OOD 벤치마크(Agentic-MME 및 VTC-Bench)에서도 일관된 이득을 보여, 학습된 능력이 특정 도구 호출 패턴에 과적합된 것이 아니라 전이 가능한 메타 기술임을 시사했습니다.
• 절제 연구(Ablation Studies):
  • 필터의 필요성: 결과 타당성과 인과적 유용성 필터를 모두 사용하는 것이 단일 필터만 사용하거나 도구 미사용 궤적 SFT를 사용하는 것보다 우수한 성능을 보였습니다.
  • 교차 도메인 시너지: 전체 다중 도메인 혼합물로 학습하는 것이 단일 도메인 학습보다 전략적 충돌(예: 탐색을 위한 로컬 크로핑과 웹을 위한 글로벌 렌더링 간의 충돌)을 더 잘 해결하였으며, 단일 도메인 학습은 종종 호환되지 않는 도메인에서 성능 저하를 초래했습니다.
  • 궤적 재생(Trajectory Replay): 프로브 모델이 (추론/답변을 보지 않고) 교육적 훈련을 받은 모델이 생성한 도구 상호작용을 조건으로 했을 때, 단순히 정답성만을 학습한 모델이 생성한 상호작용보다 더 나은 성능을 보였습니다. 이는 훈련이 더 유용한 증거 획득 정책을 유도함을 확인시켜 줍니다.

의의

본 논문은 효과적인 시각적 도구 사용이 단순히 성공적인 결과로부터 학습되는 것이 아니라, 인과적으로 근거 있는 감독으로부터 학습된다고 주장합니다. 평가의 초점을 "궤적이 올바르게 끝나는가?"에서 "도구 호출이 실제적인 역할을 하는가?"로 전환함으로써, OpenVisTool은 모델에게 시각적 증거를 언제 그리고 어떻게 획득할지를 가르치는 데이터를 구축하는 레시피를 제공합니다. 이 접근 방식은 더 작은 오픈 소스 모델이 시각적 도구를 효과적으로 활용하여 대규모 폐쇄형 시스템과 경쟁할 수 있는 성능을 갖추게 하며, 콜드 스타트 데이터의 품질이 모델의 궁극적인 도구 사용 역량을 결정하는 주요 요인임을 확립합니다.