기술 요약: 비전 - 언어 모델의 고전적 착시 이해를 위한 착시 인지 시각 전처리 및 반착시 프롬핑

1. 문제 정의

비전 - 언어 모델 (VLM) 은 시각적 착시에 체계적인 편향을 보이며, 실제 시각 지각보다 기억된 사실을 우선시하는 경향이 있습니다. VI-Probe 프레임워크 [18] 가 입증했듯이, VLM 은 종종 '지각하거나 회상하거나'의 딜레마에 직면합니다. 즉, 에빙하우스 착시와 같은 표준 착시를 이미지 분석 대신 개념을 회상하여 올바르게 식별하지만, 착시가 교란되었을 때 실제 물리적 차이를 감지하지는 못합니다.

본 논문은 CVPR 2026 에서 개최된 제 5 회 DataCV 챌린지 과제 1 을 다루며, 고전적 착시 이해를 이진 시각 질문 답변 (VQA) 작업으로 정의합니다. 목표는 뮐러 - 라이어, 에빙하우스, 포겐도르프 등 일곱 가지 고전적 착시 유형에 대해 사전 지식과 시각적 증거 간의 갈등을 극복하고, 객관적이며 지각에 기반한 답변을 제공할 수 있는 학습이 불필요한 (training-free) 접근법을 개발하는 것입니다.

2. 방법론

제안된 솔루션은 모델 미세 조정이 아닌 시각 조작과 프롬프트 설계에 의존하는 3 단계 학습 불필요 파이프라인입니다.

2.1. 착시 인지 이미지 전처리

VLM 에게 착시를 '통과해서 보라'고 요청하는 대신, 핵심 통찰은 착시를 유발하는 맥락을 약화시키거나 제거하기 위해 이미지를 물리적으로 수정하는 것입니다. 이는 지각 작업을 더 단순한 시각 비교로 변환합니다.

• 발견 과정: 다중 VLM 협업 프로세스를 통해 전략을 개발했습니다 (1 단계: Claude-Opus, Qwen3-VL, Gemini-3.1-Pro 에 의한 발산적 분석; 2 단계: 수렴적 종합; 3 단계: 인간 검증). 약 60% 의 전략은 모델 제안에서 비롯되었으며, 40% 는 인간에 의해 정제되었습니다.
• 유형별 변환:
  • 크기 (에빙하우스/폰조): 색상/강도 임계값을 통해 타겟을 분리한 후 미러 - 블렌드 (mirror-blend) 전략 (왼쪽과 오른쪽 반을 겹침) 을 적용합니다. 동일한 크기는 깨끗한 오버레이를 생성하고, 다른 크기는 가장자리 링을 드러냅니다.
  • 색상 (코른스위트/동시 대비): 주변 그라데이션 맥락을 제거하기 위해 가장자리 스트립을 추출하거나 중앙 타겟을 잘라낸 후 채도와 대비를 향상시킵니다.
  • 직선성 (헤링/운트): 색상 채널 필터링을 통해 타겟 선을 분리하고 깨끗한 배경에 대한 직선성 단서를 제공하기 위해 점선 기준 격자를 오버레이합니다.
  • 정렬 (포겐도르프): 가시적 세그먼트에 선형 궤적을 적합시키고 가려진 막대 너머로 점선 연장선을 렌더링하여 정렬을 시각화합니다.
  • 평행성 (카페 월): 각도 편차를 감지하기 위해 균일하게 간격을 둔 수직 기준선을 오버레이합니다.
  • 경계 (카니자): 실제 가장자리를 증폭하고 착시 윤곽은 희미하게 유지하기 위해 대비와 선명도를 향상시킵니다.

2.2. 반착시 프롬프트 엔지니어링

프롬프트는 모델이 지식 기반 회상에서 질적 시각 비교로 초점을 전환하도록 설계됩니다.

• 메커니즘 명명: 프롬프트는 착시 유형을 명시적으로 언급 (예: "이것은 뮐러 - 라이어 착시입니다") 하여 인식을 활성화합니다.
• 특징 안내: 지시는 전처리를 통해 도입된 특정 특징에 주의를 기울이도록 합니다 (예: "가장자리 링을 비교하세요", "빨간 선이 격자와 평행을 유지하는지 확인하세요").
• 문제 변환: 질문은 회상을 유발하지 않도록 재구성됩니다. 예를 들어, "이 선들은 같은가?"라고 묻는 대신, 프롬프트는 착시를 유발하는 원을 무시하고 수평 세그먼트만 비교하도록 모델을 지시합니다.

2.3. 다중 투표 앙상블

VLM 출력의 확률적 변동을 완화하기 위해 시스템은 이미지당 $N$회 모델을 쿼리하고 다수결 투표를 통해 결과를 집계합니다.

• 구성: 최종 제출물은 $N=5$ API 호출을 사용합니다.
• 근거: 실험 결과, 단일 쿼리에 비해 $N=5$에서 정확도가 3.4% 포인트 (pp) 향상되었으며, 이를 넘어서면 체감 수익이 감소하는 것으로 나타났습니다.

3. 주요 기여

1. 학습 불필요 프레임워크: 이미지 전처리와 프롬프트 엔지니어링에만 의존하며 파라미터 업데이트가 전혀 필요 없는 완전한 파이프라인.
2. 지각 - 기억 분리: VLM 을 기억된 착시 템플릿에서 분리하는 데 텍스트 기반 안내만으로는 부족하며, 이미지 표현을 물리적으로 변경하는 것이 더 효과적임을 입증.
3. 다중 VLM 전략 발견: 최첨단 VLM 여러 개를 '시각 추론 컨설턴트'로 활용하여 최적의 전처리 전략을 협업적으로 발견하고 종합하는 새로운 방법론.
4. 유형별 전문화: 일반적인 이미지 향상을 넘어 일곱 가지 다른 착시 카테고리에 대한 고유하고 최적화된 파이프라인 개발.

4. 실험 결과

이 방법은 공식 630 개 이미지 테스트 세트와 인간이 검증한 10% 하위 집합 (63 개 샘플) 에서 **Claude (claude-opus-4-6)**를 사용하여 평가되었습니다.

• 전체 정확도: 공식 테스트 세트에서 90.48%, 인간 검증 하위 집합에서 **98.41%**를 달성했습니다.
• 구성 요소 분해:
  • Original-ACC: 98.57% (표준 착시 이미지에서 높은 정확도).
  • Perturbed-ACC: 82.38% (착시가 수정되어 실제 차이가 생성된 이미지에서의 정확도).
• 애블레이션 연구:
  • 베이스라인 (Zero-shot/Few-shot): 약 62–68% 정확도.
  • 이미지 전처리: 노이즈 제거 (+3.23pp), 타겟 강조 (+3.12pp), 기준선 추가 (+3.18pp) 의 점진적 개선을 통해 정확도를 87.30% 로 끌어올렸습니다.
  • 프롬프트 + 투표: 반착시 프롬프트와 5-투표 앙상블 추가가 가장 큰 단일 단계 향상 (+11.51pp) 을 제공하여 하위 집합에서 최종 98.41% 에 도달했습니다.
• 비교: 전체 파이프라인은 일반적 시각 향상 (74.51%) 과 다양한 프롬프트 베이스라인 (CoT, Self-Consistency) 을 크게 앞섰으며 (일반적 향상 대비 23.9pp), 유형별 변환이 결정적임을 확인했습니다.

이 솔루션은 챌린지에서 2 위를 차지했으며, 1 위와 불과 0.47% 차이로 뒤졌습니다.

5. 의의 및 주장

본 논문은 VLM 의 사전 지식이 시각적 증거와 충돌하는 작업의 경우, 텍스트 프롬프트만 조작하는 것보다 이미지 표현을 조작하는 것이 지각 기반 추론을 향한 더 유망한 경로라고 주장합니다.

• 분리 메커니즘: 전처리와 프롬핑의 결합은 초가산적 효과를 생성합니다. 전처리는 '템플릿 매칭'을 유발하는 시각적 유발 요소를 제거하고, 프롬프트는 모델의 주의를 관련 시각 비교로 유도합니다.
• 실용성: 이 접근법은 기억된 연관성이 능동적 시각 분석을 대체하는 시나리오에서 VLM 의 견고성을 향상시키기 위한 실용적이고 학습이 불필요한 전략을 제공합니다.
• 한계: 저자들은 현재 접근 방식이 유형별 전략에 대한 반자동적이고 수동적으로 정제된 방법에 의존하므로, 보이지 않거나 자연스러운 장면 수준의 착시로 확장성이 제한될 수 있음을 인정합니다. 또한, 다중 투표 앙상블은 5 배의 계산 비용을 수반합니다.

이 연구는 VLM 이 통계적 단축키와 사전 지식에 의존하기 때문에 착시에 취약하지만, 이러한 실패는 모델의 시각 처리 강점과 일치하도록 입력을 물리적으로 재구성함으로써 완화될 수 있음을 강조합니다.