TRAVERSALBench: 비전-언어 모델 (VLM) 을 위한 복잡한 경로 추적을 위한 도전적 벤치마크

이 논문은 비전-언어 모델 (VLM) 이 복잡한 시각적 경로를 정확하게 추적하고 순서대로 재구성하는 능력의 한계를 평가하기 위해 TRAVERSALBench라는 새로운 벤치마크를 제안합니다. 기존 벤치마크들이 OCR, 도메인 지식, 개방형 계획 등 여러 요인이 혼재된 상태에서 모델의 성능을 평가했다면, 본 연구는 시각적 경로 추적 자체에 집중하여 모델의 '지속적인 시각적 앵커링 (sustained visual grounding)' 능력을 정밀하게 진단합니다.

1. 연구 배경 및 문제 정의

• 문제: VLM 은 많은 멀티모달 벤치마크에서 우수한 성능을 보이지만, 인간에게는 직관적인 '단일 연속 시각적 경로의 추적'과 같은 작업에서는 여전히 취약합니다.
• 기존 연구의 한계: 기존 평가들은 지도 읽기, 경로 계획, 텍스트 인식 (OCR) 등 여러 과제가 얽혀 있어, 모델이 경로 추적을 실패하는 근본적인 원인을 파악하기 어렵습니다.
• 핵심 질문: VLM 이 경로를 추적할 수 있는가? 만약 실패한다면, 어떤 시각적 구조적 요인 (예: 교차점, 굴곡, 방해 요소) 이 실패를 유발하는가?

2. 방법론 (Methodology)

2.1. 벤치마크 설계 (TRAVERSALBench)

• 작업 정의: 모델은 시작 마커가 지정된 단일 연속 폴리라인 (polyline) 을 시각적으로 추적하여, 경로 상의 마커들이 만나는 순서대로 정확한 시퀀스를 출력해야 합니다.
• 통제된 변수 (Controlled Factors): 연구팀은 경로 추적 난이도에 영향을 미치는 4 가지 주요 구조적 요소를 체계적으로 변형하여 데이터를 생성했습니다.
  1. 자기 교차 (Self-intersections): 경로가 스스로 교차하는 횟수.
  2. 구불구불함 (Tortuosity): 경로의 굴곡 정도.
  3. 정점 수 (Vertex count): 경로를 구성하는 점의 개수.
  4. 혼란선 (Confounding lines): 목표 경로 근처에 존재하지만 목표가 아닌 방해 선분.
• 데이터 생성: 기하학적 제약 (세그먼트 길이, 간격 등) 을 준수하면서 렌더링 시 시각적 아티팩트가 발생하지 않도록 주의하여 데이터를 생성했습니다.

2.2. 실험 설정

• 평가 모델: Gemini 3.1 Pro (Low/Auto), GPT-5.4, Gemini 3.1 Flash Lite, Claude Opus 4.6, Qwen3-VL 32B 등 6 개의 최신 VLM 을 평가했습니다.
• 평가 지표:
  • Exact Match (EM): 전체 시퀀스가 정답과 완전히 일치하는지.
  • Token-level Accuracy (TokAcc): 토큰 단위 정확도 (부분적으로 맞는 경우 측정).

3. 주요 결과 (Key Results)

3.1. 전반적 성능

• 모든 모델에서 정확한 경로 추적 (Exact Match) 은 여전히 어렵습니다. 가장 성능이 좋은 모델 (Gemini 3.1 Pro Low) 도 정확도가 82.3% 에 불과하며, 약한 모델들은 10% 대까지 떨어집니다.
• EM 과 TokAcc 의 격차: 많은 모델이 전체 시퀀스를 완전히 틀리는 것이 아니라, 경로의 특정 지점에서 실수하여 이후 시퀀스를 틀리게 만드는 '구조적 추적 오류'를 보입니다.

3.2. 난이도 요인 분석

• 자기 교차 (Self-intersections) 가 가장 치명적: 경로가 스스로 교차하는 횟수가 증가할수록 성능이 급격히 떨어집니다.
  • 첫 교차점 분석: 모델은 첫 교차점 직전까지는 비교적 잘 수행하다가, 교차점에서 올바른 경로를 선택해야 할 때 성능이 급격히 추락합니다 (Local Cliff). 이는 모델이 경로를 완전히 따라갈 수 없어서가 아니라, 국소적 모호성 (local ambiguity) 에서 시각적 앵커링을 잃기 때문임을 시사합니다.
• 혼란선 (Confounding lines) 의 누적 효과: 근처에 있는 방해 선분들은 교차점만큼 즉각적인 성능 저하를 일으키지는 않지만, 경로가 길어질수록 (반복 노출) 성능이 지속적으로 악화되는 '누적적 방해 효과'를 보입니다.
• 구불구불함 (Tortuosity) 과 정점 수: 이 요소들도 난이도를 높이지만, 교차점만큼 급격한 성능 저하를 유발하지는 않습니다.

3.3. 추론 (Reasoning) 의 역할

• 추론 예산 증가의 한계: 추론 토큰을 늘리는 것 (예: GPT-5.4 Pro) 이 항상 성능 향상을 보장하지는 않습니다.
  • 일부 어려운 사례에서는 추론이 정확도를 높이지만, 답변을 아예 생성하지 않는 (Abstention) 비율이 크게 증가합니다.
  • Gemini 3.1 Pro 의 경우, 추론을 적게 사용하는 설정이 오히려 자동 추론 설정보다 성능이 좋았습니다. 이는 단순히 추론을 늘리는 것이 시각적 앵커링 문제를 해결하지 못함을 의미합니다.

3.4. 보조 분석 (읽기 순서 편향)

• 모델은 왼쪽에서 오른쪽, 위에서 아래로 읽는 familiar 한 레이아웃을 선호하는 경향이 있지만, 이는 경로 복잡성의 주요 효과를 설명하지 못합니다.

4. 주요 기여 및 의의

1. 새로운 진단 도구 (TRAVERSALBench): VLM 의 지속적 시각적 주의 (sustained visual attention) 와 공간적 추론 능력을 평가하기 위해, 도메인 지식과 OCR 의존도를 최소화한 통제된 벤치마크를 최초로 제안했습니다.
2. 실패 메커니즘의 정밀 규명:
   • VLM 의 실패는 전역적 붕괴가 아니라, 국소적 교차점 (local crossings) 에서의 시각적 앵커링 상실과 방해 요소에 대한 누적적 간섭에서 비롯됨을 발견했습니다.
   • 이는 VLM 이 '터널 비전 (tunnel vision)'을 가진다는 기존 주장보다 더 구체적인 실패 모드 (시퀀스 추적 중 국소적 모호성 해결 실패) 를 제시합니다.
3. 향후 연구 방향 제시:
   • 단순히 추론 시간을 늘리는 것만으로는 이러한 문제를 해결하기 어렵습니다.
   • 생성 과정 전반에 걸쳐 이미지 기반 상태 (image-grounded state) 를 유지하도록 하는 훈련 데이터와 절차가 필요할 것으로 보입니다.
   • 이 벤치마크는 VLM 이 복잡한 시각적 환경에서 모호성과 혼란 속에서 어떻게 시각적 근거를 유지하는지 연구하는 데 중요한 테스트베드가 될 것입니다.

결론

TRAVERSALBench 는 VLM 이 복잡한 시각적 구조를 순차적으로 추적하는 능력의 한계를 명확히 보여줍니다. 특히 자기 교차점에서의 국소적 실패와 방해 요소에 대한 누적적 취약성은 모델이 시각적 정보를 지속적으로 유지하고 재확인 (re-anchoring) 하는 메커니즘의 부재를 시사합니다. 이 연구는 VLM 의 발전 방향이 단순한 추론 능력 향상이 아닌, 지속적인 시각적 앵커링을 강화하는 데 초점을 맞춰야 함을 강조합니다.