Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions

논문 요약: 시각적 착시 현상에 대한 도구 기반 비전 - 언어 모델 (VLM)

1. 문제 정의 (Problem)

• 착시 현상에서의 VLM 편향: 최신 비전 - 언어 모델 (VLM) 은 일반적인 시각 벤치마크에서는 뛰어난 성능을 보이지만, 고전적인 광학 착시 (Ebbinghaus, Müller-Lyer 등) 에 직면했을 때 체계적인 편향을 보입니다. 모델은 이미지가 반사실적으로 (counterfactually) 수정되어 착시 효과가 물리적으로 제거되었음에도 불구하고, 착시가 "실제 존재한다"고 과도하게 예측하는 경향이 있습니다.
• 원인: 이는 단순한 시각 표현의 부족이 아니라, 학습 데이터의 불균형에서 기인합니다. 사전 학습 과정에서 모델이 접한 착시 이미지들은 거의 모두 "진짜 착시"였기 때문에, 모델은 "착시처럼 보이는 이미지"는 항상 착시 효과가 존재한다고 학습하게 됩니다.
• 데이터CV 2026 챌린지: 본 연구는 DataCV 2026 챌린지 (Task I: 이진 분류, Task II: 다중 선택형 질문) 를 대상으로 하며, 모델의 가중치를 미세 조정 (fine-tuning) 하거나 업데이트할 수 없는 추론 전용 (inference-only) 환경에서 이 문제를 해결해야 합니다.

2. 방법론 (Methodology)

저자들은 모델 학습 없이 도구 기반 추론 프레임워크 (Tool-Guided Inference Framework) 를 제안했습니다.

• 시스템 아키텍처:
  • 백본 모델: Gemini Flash 계열 모델을 사용하며, 온도를 0 으로 설정하여 결정론적 추론을 수행합니다.
  • ReAct 스타일 루프: 에이전트는 이미지 레지스트리를 확인하고, 도구를 호출하여 주석 이미지를 생성한 후, 충분한 시각적 증거가 확보될 때까지 반복합니다.
• 핵심 기술 요소:
  1. 불변 이미지 리소스 버전 관리 (Immutable Image Resource Versioning):
     • 모든 도구 호출은 기존 이미지를 수정하는 대신, 새로운 불변 (immutable) 이미지 리소스 (예: img_001, img_002) 를 생성합니다.
     • 생성된 모든 주석 이미지는 영구적인 레지스트리에 저장되어 추론 과정 전반에 걸쳐 참조 및 재사용이 가능합니다. 이는 기능적 프로그래밍의 불변 값 의미론을 시각 모달리티에 적용한 것으로, 다단계 추론 체인을 가능하게 합니다.
  2. 프롬프트 기반 라우팅 (Prompt-Based Routing):
     • VisProg 와 같은 기존 접근법처럼 각 착시 유형에 맞는 전용 모듈을 하드코딩하는 대신, 시스템 프롬프트에 질문 유형별 도구 사용 전략을 내장합니다.
     • 에이전트는 먼저 질문을 분류 (크기 비교, 색상 비교, 선의 직선성 등) 하고, 해당 카테고리에 권장되는 도구 시퀀스를 따릅니다.
  3. 도구 세트:
     • 공유 코어 (Task I & II): 선 그리기, 영역 자르기 (Crop), 자른 영역 나란히 비교 (Side-by-side comparison).
     • Task II 확장 도구: 그리드 오버레이, 채널 추출, 색상 샘플링, 색상 분리, 블러 등 더 복잡한 이상 탐지를 위한 도구.

3. 주요 기여 (Key Contributions)

1. 모델 학습 없는 오픈 엔드 비전 VQA 프레임워크: 착시 검출을 위한 새로운 도구 기반 시각 주석 프레임워크를 제안했습니다.
2. 이미지 리소스 버전 관리 시스템: 불변의 이름이 붙은 자산으로 주석된 뷰를 누적하여, 전체 기록에 접근 가능한 다단계 시각 추론 체인을 지원합니다.
3. 프롬프트 라우팅 설계: 질문 유형을 도구 호출 전략으로 매핑하는 시스템 프롬프트 기반 라우팅을 통해, 새로운 질문 유형에 대한 전용 모듈 작성 없이도 일반화를 달성했습니다.
4. 체계적인 실패 모드 관찰: 착시 탐지에서 VLM 이 겪는 세 가지 체계적인 오류 패턴을 발견하고 향후 연구 방향을 제시했습니다.

4. 실험 결과 (Results)

• 성능: 검증 세트 (Validation Set) 에서 테스트 세트 (Test Set) 로의 성능이 일관적으로 유지되었습니다. 특히 테스트 세트에는 학습 중 보지 못한 구조적 변형 (예: 수직에서 수평으로 회전된 Mach Bands) 이 포함되었음에도 불구하고, 프롬프트에 정의된 개념적 절차가 적용되어 성공적으로 일반화되었습니다.
• 도구 사용 패턴:
  • Task I: 주로 기하학적 코어 도구 (자르기, 선 그리기, 비교) 에 집중되었습니다.
  • Task II: 필요에 따라 그리드 오버레이, 색상 샘플링 등 분석 중심 도구가 선택적으로 활성화되었습니다.
• VisProg 와의 비교: 전용 모듈 라이브러리를 구축할 필요성이 없어졌으며, 코드 실행 오버헤드가 제거되었습니다. 프롬프트 라우팅이 하드코딩된 모듈 레지스트리를 효과적으로 대체함을 입증했습니다.

5. 관찰 및 논의 (Observations & Discussion)

저자들은 실험 과정에서 세 가지 중요한 현상을 발견했습니다:

1. 체계적인 긍정 탐지 편향 (Systematic Positive-Detection Bias):
   • 모델은 착시가 깨진 이미지에서도 "착시가 있다"고 과도하게 예측합니다. 이는 학습 데이터에 '수정된 착시'가 거의 없어 발생한 데이터 편향으로 추정됩니다.
2. 정밀한 공간 추론과 논리적 결론 사이의 괴리 (Spatial Precision Without Logical Consequence):
   • 모델은 선을 그리는 등 공간적 주석 작업은 매우 정확하게 수행하지만, 생성된 주석 이미지에서 명확한 곡선이나 색상 차이가 있음에도 불구하고, 학습된 선입견 ("Hering 착시는 곧다", "색차는 미미하다") 에 의해 시각적 증거를 무시하고 착시 존재를 결론짓는 경우가 많습니다.
3. 이미지 압축 및 노이즈에 대한 민감성:
   • JPEG 압축 아티팩트 (블로킹, 양자화 노이즈) 가 모델의 색상 비교 및 경계 감지 로직에 악영향을 미쳐, 실제 차이가 없는 경우에도 가상의 차이를 감지하거나 그 반대의 오류를 일으킵니다.

6. 의의 및 결론 (Significance & Conclusion)

• 일반화 능력: 하드코딩된 모듈 대신 프롬프트 기반 라우팅과 불변 리소스 버전 관리를 결합함으로써, 구조적으로 낯선 착시 변형에도 강건한 일반화 성능을 달성했습니다.
• VLM 의 본질적 한계: 현재 VLM 은 객체 위치 파악이나 기하학적 주석에는 탁월하지만, 학습 데이터의 선입견 (Prior) 이 시각적 관찰 (Evidence) 과 충돌할 때 올바른 결론을 도출하지 못함을 보여줍니다.
• 향후 방향: VLM 의 강건성을 높이기 위해서는 아키텍처 변경만큼이나 부정적 착시 사례 (Negative Illusion Instances) 를 포함한 타겟 데이터 증강이 필수적임을 시사합니다.

이 논문은 모델 학습 없이 외부 도구와 전략적 프롬프팅을 통해 VLM 의 추론 능력을 어떻게 향상시킬 수 있는지, 그리고 착시 현상이라는 특수한 도메인에서 VLM 이 겪는 근본적인 인지적 한계를 명확히 규명한 중요한 연구입니다.