기술 요약: VLMs 추적 없이 추적하기: 시각 경로 추종 실패 진단

문제 제기

비전 - 언어 모델 (VLM) 은 광범위한 멀티모달 벤치마크에서 강력한 성능을 보이지만, 기본적인 시각 작업에 대한 견고한 제어력은 종종 부족합니다. 구체적으로 본 논문은 **선 추적 (line tracing)**을 조사합니다. 이는 모델이 연속적인 지역적 확장을 통해 선택된 시각 경로를 따라가는 능력입니다. 저자들은 현재 VLM 이 교차점이나 의미적 모호성과 같은 복잡한 위상적 특징이 없는 환경에서도 인근의 경쟁 대안이 존재할 때 선택된 경로의 정체성을 유지하는 데 어려움을 겪는다고 주장합니다. 이 실패는 일반적인 공간 추론 결핍과 구별됩니다. 이는 지역적 시각적 방해 요소에 대항하여 연속적인 구조에 주의를 지속할 수 없는 구체적인 능력 부재입니다.

방법론

이 연구는 의미적 단축, 장거리 의존성, 복잡한 위상과 같은 혼란 요인으로부터 추적 메커니즘을 분리하기 위해 통제된 진단적 접근법을 사용합니다.

1. 통제된 추적 작업

저자들은 외부의 어려움을 제거하기 위해 두 가지 주요 작업을 설계했습니다.

• 수정된 회로 연결 작업: 이전의 매끄러운 시각적 검색 작업에 기반하여, 이 작업은 와이어의 교차와 중첩을 제거합니다. 모델은 시작 포트에서 구성 요소로 특정 와이어를 추적하고 와이어를 따라 배치된 색상 점들의 시퀀스를 보고해야 합니다. 이는 다중 와이어 환경에서 단일 경로를 따라가는 능력을 분리합니다.
• 소용돌이 (Swirl) 작업: 여덟 개의 고유한 색상 점으로 구성된 단일 나선 경로로 이루어진 추상 데이터셋입니다. 이 작업은 이웃한 회전들의 근접성을 제어하기 위해 회전 밀도 (낮음, 중간, 높음) 를 변화시킵니다. 이는 회로 포트와 같은 도메인 특유의 사전 지식 (prior) 을 배제하고, 시각적으로 유사한 인접한 회전 중 올바른 지역적 확장을 구별하는 어려움에 집중합니다.

2. 진단적 개입

실패 메커니즘을 규명하기 위해 저자들은 여러 분석을 수행했습니다.

• 지역적 유사성 스트레스 테스트: 소용돌이 작업에서, 저자들은 목표 경로와의 구조적 유사성이 다른 인근 방해 요소들 (예: "공유된 세그먼트" 대 "전체 다름") 이 변하는 조건을 구성했습니다.
• 인과적 마스킹: 그들은 특정 영역 (방해 요소, 목표 경로, 또는 무작위 패치) 에 가려짐 마스크를 적용하여 경쟁 신호를 제거하는 것이 성능을 회복시키는지 테스트했습니다.
• 내부 표현 분석: 오픈 소스 모델 (Qwen3-VL 및 InternVL3.5) 을 사용하여 다음을 측정했습니다:
  • 주의 선호도: 현재 위치에서의 모델의 주의가 방해 요소보다 실제 다음 점을 선호하는지 여부.
  • 표현 선호도: 임베딩 공간에서 현재 위치의 숨겨진 상태가 실제 확장에 기하학적으로 더 가까운지 방해 요소에 더 가까운지 여부.
• 대안 평가: 논문은 표준 완화 전략들을 테스트했습니다.
  • 모델 확장: Qwen3-VL 패밀리 내에서 다양한 크기 (2B 에서 235B 파라미터) 의 모델을 평가.
  • 추론: 단계별 숙고가 추적을 개선하는지 확인하기 위해 추론 가능 모델을 테스트.
  • 명시적 지시: 근접 기반 선택을 명시적으로 금지하고 선 추종을 의무화하는 프롬프트 제공.

3. 일반화 테스트

실패가 합성 데이터의 인공물이 아님을 검증하기 위해 저자들은 다음에서 모델을 평가했습니다.

• HANDLOOM 데이터셋: 자기 중첩과 교차점이 있는 꼬인 케이블 추적.
• 지하철 노선도: 밀집된 라벨과 교차하는 선이 있는 교통 노선도에서 경로 추적.

주요 결과

1. 체계적인 경로 전환 실패

최첨단 VLM 들 (Claude Sonnet 4.5, GPT-5.4, Gemini3-Flash 포함) 도 이러한 작업에서 현저히 실패합니다.

• 회로 작업: Claude Sonnet 4.5 는 **6.2%**의 정확도만 달성했습니다. 지배적인 오류 모드 (오류의 90~98%) 는 인접 와이어 점프로, 모델은 올바르게 시작하지만 인근 와이어로 전환합니다.
• 소용돌이 작업: 회전 밀도가 높아질수록 성능이 급격히 저하됩니다. 고밀도에서 GPT-5.4 는 약 20% 로 떨어지고, Claude Sonnet 4.5 와 Qwen3-VL-235B 는 **0%**에 도달합니다. 지배적인 오류는 인접 회전 점프입니다.

2. 메커니즘: 지역적 경쟁

실패는 무작위 잡음이나 전역적 추론 한계가 아닌 지역적 시각적 경쟁에 의해 주도됩니다.

• 유사성 민감도: 방해 요소가 목표 경로와 지역적 구조 (예: 평행 세그먼트) 를 공유할 때만 정확도가 현저히 떨어집니다. 유사성이 제거되면 성능이 회복됩니다.
• 인과적 증거: 방해 요소 영역을 마스킹하면 정확도가 약 13.5 포인트 증가하는 반면, 목표 경로를 마스킹하면 성능이 파괴됩니다. 이는 방해 요소가 모델을 의도적으로 궤도에서 벗어나게 한다는 것을 확인시켜 줍니다.
• 내부 상태 드리프트: 내부 분석은 지역적 유사성이 증가함에 따라 모델의 주의와 숨겨진 표현이 실제 확장에서 벗어나 방해 요소 쪽으로 이동함을 보여줍니다. "공유된 세그먼트" 조건에서 내부 상태는 종종 실제 경로보다 방해 요소에 더 가깝습니다.

3. 표준 대안의 비효율성

• 확장: 모델 크기 증가 (최대 235B 파라미터) 는 미미한 이득만 가져오며, 이는 난이도가 높아질수록 감소합니다.
• 추론: 추론 가능 모델은 진정한 시각적 추적을 수행하지 않습니다. 대신 시퀀스를 추측하기 위해 휴리스틱 대체물 (예: "링 분해" 또는 "각도 매칭") 에 의존합니다. 이는 때때로 정확도를 향상시키지만, 막대한 토큰 비용 (단순한 추적을 위해 수천 개의 토큰) 을 수반하며 인접 점프 오류를 제거하지는 않습니다 (실패의 71~84% 로 남음).
• 지시: 모델을 선을 따르고 근접성을 무시하도록 명시적으로 지시하는 것은 모든 모델에서 정확도를 감소시킵니다. 이는 현재 아키텍처가 단순히 프롬프트만으로 신뢰할 수 있는 추적을 수행하도록 유도할 수 없음을 시사합니다.

4. 현실 세계의 지속성

동일한 경로 전환 실패는 꼬인 케이블과 지하철 노선도와 같은 복잡하고 현실적인 환경에서도 지속됩니다. 모델은 종종 인근 케이블이나 역으로 전환하며, 추론 추적은 종종 지역적 검증 대신 전역적 단서에 기반하여 경로를 재구성하는 것으로 나타납니다.

중요성과 주장

이 논문은 지역적 경쟁 하의 견고한 시각적 추적이 현재 VLM 아키텍처의 근본적이고 해결되지 않은 병목 현상이라고 주장합니다.

• 진단적 가치: 저자들은 선 추적이 연결된 시각적 구조를 유지하는 능력에 대한 구체적이고 측정 가능한 진단 도구로 작용한다고 제안합니다.
• 아키텍처적 한계: 이 실패는 추론 능력이나 훈련 데이터 크기의 부족 때문이 아니라, 지역적 방해 요소에 대항하여 경로 정체성을 보존하는 전용 메커니즘의 부재 때문입니다. 현재 모델들은 진정한 단계별 시각적 확장보다는 언어 사전 지식이나 거친 통계에 의존하는 것으로 보입니다.
• 실용적 필요성: VLM 이 신뢰할 수 있는 경로 추종이 필요한 애플리케이션 (예: 교통 노선도 읽기, 변형 가능한 객체 추적, 플로우차트 분석) 에 배포됨에 따라, 이 특정 실패 모드를 해결하는 것은 이론적 관심사가 아닌 실용적 필수 사항입니다.

저자들은 향후 연구가 모든 다른 복잡성이 제거된 작업에서도 현재 아키텍처가 신뢰할 수 있게 수행하지 못하는 연속적인 확장을 통해 선택된 경로를 유지할 수 있는 메커니즘 개발에 집중해야 한다고 결론지었습니다.