Beyond Shortcuts: Mitigating Visual Illusions in Frozen VLMs via Qualitative Reasoning

"단축경로를 넘어: 정성적 추론을 통한 얼어붙은 VLM 의 시각적 착각 완화"에 대한 상세한 기술 요약입니다.

1. 문제 제기

비전 - 언어 모델 (VLM) 은 일반적인 시각 작업에서 최첨단 성능을 달성했으나, 광학적 착각에 직면할 때 놀라운 취약성을 보입니다.

• 근본 원인: 이러한 실패는 시각 데이터의 부족 때문이 아니라, 모델이 단축경로 휴리스틱에 의존하기 때문입니다. 모델은 직접적인 시각적 증거에 근거한 추론 대신 언어적 사전 지식과 기억된 시각적 원형을 우선시합니다.
• 실패 모드: 이러한 의존성은 다음과 같은 세 가지 구체적인 시스템적 문제를 초래합니다.
  1. 지수적 환각 (Metric Hallucination): 길이, 각도, 개수 등 신뢰할 수 없는 정량적 추정으로 인해 잘못된 결론에 도달합니다.
  2. 배경 간섭: 그리드, 명암 등 관련 없는 맥락적 패턴이 대상 객체의 지각을 편향시킵니다.
  3. 확증 편향: 충분한 검증 없이 언어적 사전 지식에 의해 주도된 초기 가설에 과도하게 매몰됩니다.
• 기존 해결책의 한계: 현재의 견고성 방법들은 주로 데이터 증강이나 모델 미세 조정 (fine-tuning) 에 의존합니다. 이러한 방법들은 비용이 많이 들고 작업에 특화되어 있으며, 일반적인 백본으로 사용되는 얼어붙은 VLM(사전 훈련된 모델) 과 호환되지 않아, 근본적인 추론 과정 자체를 해결하지 못합니다.

2. 방법론: 구조화된 정성적 추론 (SQI)

저자들은 얼어붙은 VLM 의 추론 시간 추론을 재구성하도록 설계된 훈련 불필요, 데이터 중심 프레임워크인 **구조화된 정성적 추론 (Structured Qualitative Inference, SQI)**을 제안합니다. SQI 는 신뢰할 수 없는 정량적 추정을 세 가지 체계적 모듈을 통한 구조화된 정성적 추론으로 대체합니다.

A. 공리적 제약 주입 (Axiomatic Constraint Injection, ACI)

• 기능: 지수 기반 추론을 억제합니다.
• 메커니즘: 착각에서 왜곡되기 쉬운 길이, 각도, 개수 추정을 명시적으로 금지합니다.
• 목표: 모델이 정량적 단축경로 대신 정성적 비교와 상대적 시각적 외관에 의존하도록 강제하여 지수적 환각을 줄입니다.

B. 계층적 장면 분해 (Hierarchical Scene Decomposition, HSD)

• 기능: 복잡한 배경 방해 요소로부터 대상 시각 다양체 (visual manifolds) 를 분리합니다.
• 메커니즘: 지각적 편향을 유발하는 주변 패턴 (예: 그리드, 가리개) 을 무시하면서 관련 대상 객체를 격리하도록 모델을 안내합니다.
• 목표: 국소화된 시각적 근거를 달성하고 배경 간섭을 완화합니다.

C. 반사실적 자기 검증 (Counterfactual Self-Verification, CSV)

• 기능: 대립적 추론을 통해 확증 편향을 완화합니다.
• 메커니즘: 모델은 대안적 해석을 고려하고 추론을 "뒤집는"(예: "연장하면 정렬될까?") 방식으로 초기 판단을 재평가하도록 프롬프트됩니다.
• 목표: 초기 예측에 대한 과도한 매몰을 줄이고 추론의 일관성을 보장합니다.

도메인 특화 휴리스틱 배분:
서로 다른 착각 유형을 처리하기 위해 SQI 는 쿼리 유형에 따라 이러한 정성적 제약을 적응시키는 경량 배분 메커니즘을 사용합니다 (예: 정렬 쿼리의 경우 방향 일관성 강조, 색상 쿼리의 경우 엄격한 표면 격리 강조).

3. 주요 기여

1. 훈련 불필요 프레임워크: SQI 는 모델 미세 조정이나 매개변수 업데이트 없이 얼어붙은 VLM의 시각적 착각 견고성을 해결하는 최초의 프레임워크입니다.
2. 추론 재구성: 휴리스틱 기반 정량적 추정에서 구조화된 정성적 추론으로 패러다임을 전환하여 착각 유발 오류의 근본 원인을 직접 해결합니다.
3. 세 모듈 아키텍처: 공리적 제약 주입, 계층적 장면 분해, 반사실적 자기 검증의 통합은 VLM 의 세 가지 주요 실패 모드에 대한 포괄적인 해결책을 제공합니다.
4. 진단적 해석 가능성: 블랙박스 미세 조정과 달리 SQI 는 감사하고 이해할 수 있는 투명한 추론 과정을 제공합니다.

4. 실험 결과

본 프레임워크는 **DataCV 2026 챌린지 (작업 I: 고전적 착각 이해)**에서 평가되었습니다.

• 순위: SQI 는 모든 참가 팀 중 전체 2 위를 달성했습니다.
• 성능 지표:
  • 전체 정확도: 69.05%(2 위).
  • 변형된 이미지 (GT=0): 67.62%(시각적 변형에 대한 강력한 견고성 입증).
  • 원본 이미지 (GT=1): 70.48%.
• 비교: 1 위 팀 (snowpine007) 이 더 높은 전체 점수 (71.67%) 를 기록했음에도 불구하고, SQI 는 변형된 이미지와 원본 이미지 간에 더 균형 잡힌 성능 분포를 보였습니다. 반면 다른 상위 팀들은 상당한 편차를 보였습니다 (예: 3 팀은 원본 이미지에서 81.43% 에서 변형된 이미지에서 51.43% 로 급락).
• 사례 연구: "가려진 정렬 착각" 사례에서 SQI 는 장면을 분해 (가리개 무시), 방향을 정성적으로 분석, 반사실적 확장을 통해 검증함으로써 정렬되지 않은 세그먼트가 실제로는 정렬되어 있음을 성공적으로 식별한 반면, 표준 VLM 들은 배경 간섭으로 인해 실패했습니다.

5. 의의

• 견고성 패러다임: 이 연구는 구조화된 정성적 근거가 시각적 착각에 저항하는 차세대 비전 - 언어 시스템을 개발하기 위한 실현 가능하고 견고한 패러다임임을 강조합니다.
• 효율성: 얼어붙은 모델에 경량 추론 계층 증강으로 작동함으로써 SQI 는 비용이 많이 드는 미세 조정의 비용 효율적인 대안을 제공하여 범용 VLM 에 대해 높은 확장성을 갖습니다.
• 미래 방향: 이는 시각적 표현을 강화하는 데서 초점을 추론 과정 자체를 개선하는 것으로 전환하는 것의 중요성을 부각시키며, 향후 연구는 데이터 중심 최적화만 강조하는 것보다 추론 시간 정렬 전략을 우선시해야 함을 시사합니다.