Increasing Computation Resolves Conflicts in Vision Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 인지 통제 (Cognitive Control) 의 부재: 인간의 지능은 목표 달성을 위해 경쟁하는 정보원을 조정하고, 간섭이 있는 상황에서도 유연하게 행동할 수 있는 '인지 통제' 능력에 기반합니다. 그러나 현재 시각 - 언어 모델 (VLMs) 이 이러한 인지 통제를 실제로 수행하는지, 그리고 계산 자원이 갈등 해결에 어떻게 영향을 미치는지는 명확히 규명되지 않았습니다.
• 안전 및 실용성: 의료 진단, 자율 주행, 금융 등 안전이 중요한 분야에서 VLM 은 노이즈가 많고 상충되는 신호 (예: 잘못된 라벨이 붙은 객체, 모순된 텍스트와 이미지) 를 처리해야 합니다. 이러한 갈등 상황에서 모델이 목표 관련 정보를 우선시하고 오해를 불러일으키는 단서를 억제할 수 있는지가 핵심 과제입니다.
• 기존 연구의 한계: 기존 VLM 연구는 주로 모달리티 간 불일치나 지식 충돌을 다루었으나, 인간의 고전적인 인지 심리학 실험 (스트룹, 플랭커 등) 을 체계적으로 적용하여 VLM 의 '갈등 해결 능력'을 평가한 연구는 부족했습니다.

2. 방법론 (Methodology)

A. 벤치마크 구축 (Benchmark Construction)

• 규모: 총 4,410 개의 태스크로 구성된 벤치마크를 구축했습니다.
• 범위: 7 가지 갈등 패러다임 (Stroop, Flanker 및 5 가지 현실적 변형) 을 포함하며, 47 개의 다양한 VLM 을 대상으로 테스트했습니다.
• 태스크 유형:
  1. 고전적 갈등 태스크: 스트룹 (Stroop), 플랭커 (Flanker) 및 이들의 '스퀘어드 (Squared)' 버전 (동시에 두 가지 갈등을 해결해야 하는 고난도 버전).
  2. 현실적 갈등 태스크:
     • Stroop-Object: 객체 인식과 오버레이된 텍스트 (OCR) 간의 갈등 (예: '자전거'라고 적힌 '자동차' 이미지).
     • Stroop-Attribute: 시각적 속성 (형태, 분위기, 감정) 과 텍스트 설명 간의 갈등.
     • Visual Context vs. Knowledge: 시각적 맥락과 사전 지식 (예: 바다에 있는 기린) 간의 모순 해결.
• 데이터 생성: 시각 프로그래밍 (Visual Programming) 과 AI 생성 모델 (Gemini-2.5-flash-image-preview) 을 활용하여 수백만 개의 통제된 자극 (stimuli) 을 생성했습니다. 합성 이미지뿐만 아니라 사진처럼 사실적인 (Photo-realistic) 이미지를 사용하여 실제 세계의 복잡성을 반영했습니다.

B. 실험 설계 및 평가

• 모델 범위: 1B 에서 110B 파라미터까지의 오픈소스 모델과 여러 상용 모델을 포함하여 47 개의 VLM 을 평가했습니다.
• 지표:
  • 합의성 효과 (Congruency Effect): 일치 조건 (Congruent) 대비 불일치 조건 (Incongruent) 에서의 정확도 하락폭.
  • 확률 이하 성능 (Below-chance performance): 고난도 갈등 상황에서 모델이 무작위 추측 (Chance) 보다 낮은 성능을 보이는지 분석하여, 모델이 단순한 단서 (shortcut) 를 이용하는 것이 아니라 실제 갈등을 처리하고 있음을 검증했습니다.
  • 파라미터 수 vs. 처리 시간: 인간의 처리 시간 (Processing Time, PT) 이 계산 자원의 지표가 되듯, VLM 에서는 파라미터 수가 계산 자원의 지표로 작용하는지 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

1) 강력한 합의성 효과 (Robust Congruency Effects)

• 모든 테스트된 VLM 에서 합의성 효과가 관찰되었습니다. 즉, 불일치 조건에서 정확도가 일치 조건에 비해 유의미하게 하락했습니다. 이는 VLM 이 인간과 마찬가지로 인지적 갈등 (semantic interference) 에 취약함을 의미합니다.
• 특히 '스퀘어드' (고난도) 태스크에서는 정확도 하락폭이 더 컸으며, 텍스트와 이미지가 동시에 오해의 소지가 있을 때 모델의 성능 저하가 극심했습니다.

2) 계산 자원의 증가가 갈등 해결을 가능하게 함 (Scaling Resolves Conflicts)

• 모델 크기와의 상관관계: 파라미터 수가 큰 모델일수록 불일치 조건에서의 성능 저하가 적었습니다. 즉, 계산 자원의 증가 (모델 스케일링) 가 갈등 해결 능력을 향상시킵니다.
• 파라미터 수의 역할: 파라미터 수는 갈등 해결 능력의 효과적인 지표 (proxy) 로 작용하며, 이는 인간의 처리 시간 증가가 갈등 해결에 미치는 효과와 유사합니다.

3) 인간과 유사한 수요 - 자원 관계의 재현 (Human-like Demand-Resource Relationship)

• 가장 중요한 발견: 고난도 불일치 태스크에서 작은 모델은 무작위 추측 (Chance, 50%) 수준으로 실패하는 반면, 큰 모델은 일치 조건에서는 높은 성능을 내지만 불일치 조건에서는 확률 이하 (Below-chance) 로 떨어지는 현상을 보였습니다.
• 의미: 이는 큰 모델이 갈등을 단순히 무시하거나 피하는 것이 아니라, 실제로 갈등을 처리하려 노력하다가 간섭 (interference) 에 노출됨을 의미합니다. 이는 인간이 짧은 처리 시간 (PT) 에서 갈등을 해결하지 못해 오히려 실수하는 패턴과 구조적으로 동일합니다.
• 단순한 단서 회피 아님: 성능이 모델 크기에 따라 단순히 선형적으로 증가하는 것이 아니라, 갈등 상황에서 확률 이하로 떨어지는 'dip' 현상이 관찰됨으로써, 모델이 표면적인 단서에 의존하지 않고 진정한 인지 통제를 수행함을 입증했습니다.

4) 모달리티 선호도 (Modality Preference)

• VLM 은 텍스트 (OCR) 에 대한 편향을 보였습니다. 특히 객체 인식과 텍스트 간의 갈등에서 대부분의 모델이 텍스트 정보를 우선시하는 경향이 있었습니다. 이는 모델 크기가 커져도 완전히 사라지지 않는 구조적 편향임을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

• 인지 통제의 자발적 출현 (Emergence): 이 연구는 전용적인 제어 아키텍처 (specialized control architectures) 나 수동으로 설계된 하향식 (top-down) 메커니즘 없이도, 대규모 신경망의 최적화 동역학 (gradient descent 기반 학습) 만으로 인간과 유사한 인지 통제 능력이 자연스럽게 출현할 수 있음을 증명했습니다.
• AGI 에 대한 시사점: 현실 세계의 노이즈, 모순된 신호, 적대적 공격에 대처하기 위한 적응적 유연성 (adaptive flexibility) 은 모델의 규모를 확장 (Scaling) 함으로써 자연스럽게 달성될 수 있음을 시사합니다.
• 미래 방향: 현재 VLM 은 갈등 해결 능력이 출현했지만, 인간처럼 충분한 자원을 할당하면 갈등을 완전히 해결하여 저하된 성능을 회복하는 데는 한계가 있습니다. 향후 연구에서는 어떤 아키텍처 구성 요소가 갈등 해결을 담당하는지 (Mechanistic Interpretability) 를 규명하고, 자연 환경에서의 일반화 능력을 검증하는 것이 필요합니다.

요약하자면, 이 논문은 "계산 자원을 늘리면 (모델을 키우면) VLM 이 인간처럼 복잡한 정보 갈등을 처리하고 해결할 수 있는 능력이 발현된다"는 것을 체계적인 벤치마크와 실험을 통해 입증한 획기적인 연구입니다.