Which Source Wins? Task-Dependent Reliance in Vision-Language Models

기술 요약: 어떤 소스가 승리하는가? 시각-언어 모델의 작업 의존적 신뢰도

문제 정의
시각-언어 모델(VLM)은 시각적 입력과 텍스트 입력을 통합하지만, 두 소스가 상충하는 증거를 제공하고 한쪽의 판독성이 저하될 때 모델이 각 양상(modality)에 대한 의존도를 어떻게 재조정하는지는 여전히 불분려합니다. 선행 연구들은 텍스트가 네이티브 텍스트가 아닌 이미지로 제시될 때 VLM의 성능이 저하된다는 점을 밝혀냈으나, 이러한 연구들은 대개 각 양상을 독립적으로 평가합니다. 이들은 두 소스가 모두 존재하지만 서로 모순되는 상황에서 모델이 어떤 소스를 우선시하는지는 결정하지 않습니다. 본 논문은 양상 재할당(modality reallocation) 문제를 다룹니다. 즉, 갈등이 존재하고 한 소스의 판독성이 다양한 수준으로 저하될 때, VLM이 시각적 소스와 텍스트 소스 사이의 의존도를 어떻게 재분배하는지를 조사합니다. 핵심 질문은 신뢰도의 변화가 대칭적인지(오직 저하 정도에만 의존하는지) 아니면 비대칭적인지(어떤 양상이 저하되었는지와 특정 작업 구조에 따라 달라지는지)입니다.

방법론
저자들은 세 가지 핵심 요소를 통해 소스 의존도를 측정하는 통제된 프레임워크를 제안합니다:

1. 갈등 데이터셋:

   • 렌더링된 텍스트 갈등 (GSM8K & SVAMP): 저자들은 하나의 산술 문제를 이미지로 렌더링하고 이를 다른 문제의 네이티브 텍스트와 쌍을 이루게 함으로써 통제된 갈등을 생성했습니다. 두 소스는 서로 다른 정답을 지지합니다. 편향을 피하기 위해 소스 레이블(Source A/B)은 상호 교차 검증(counterbalanced)되었습니다.
   • ChartQA-Conflict: 네이티브 차트가 하나의 정답($a_I$)을 지지하고, 상충하는 텍ست 보고서가 동일한 질문에 대해 다른 정답($a_T$)을 지지하는 229개의 항목으로 구성된 수동 검토 벤치마크입니다. 이는 모델의 패턴이 렌더링된 텍스트를 넘어 자연적인 시각적 구조로 일반화되는지 테스트합니다.
   • 차트 대 표 제어 (Chart-versus-Table Control): 그래픽 인코딩의 효과를 격리하기 위해, ChartQA-Conflict 세트의 차트를 동일한 데이터를 포함한 평면 표 이미지로 교체하여 갈등과 저하 수준을 일정하게 유지했습니다.

2. 저하 프로토콜 (Degradation Protocol):

   • 연구는 네 가지 판독성 수준을 사용합니다: 깨끗함(L0), 가벼움(L2), 보통(L4), 심함(L5).
   • 이미지 저하: 가우시안 블러(Gaussian blur)와 픽셀 노이즈를 증가시키는 과정을 포함합니다.
   • 텍스트 저하: 단어 경계는 유지하면서 공백이 아닌 문자를 무작위로 삭제하거나 교체하는 과정을 포함합니다.
   • 실험은 이미지를 저하시키고 텍스트는 깨끗하게 유지하는 경우와, 텍스트를 저하시키고 이미지는 깨끗하게 유지하는 경우의 두 가지 병렬 암(arm)으로 실행됩니다.

3. 측정 지표:

   • 행동적 선택 (Behavioral Choice): 생성된 답변을 이미지 기반 정답 또는 텍스트 기반 정답과 정확히 일치하는지에 따라 분류합니다.
   • 조건부 로그 가능도(CLL) 마진: 텍스트 지지 정답과 이미지 지지 정답의 로그 확률을 비교하는 길이 정규화된 연속 척도($m(c)$)입니다. 이 지표는 행동적 선택의 포화 문제를 피하기 위해 재할당 분석의 주요 척도로 사용됩니다.
   • 비대칭 지표 ($A_i$): $R_{T,i} - R_{I,i}$로 정의됩니다. 여기서 $R$은 다른 쪽이 저하됨에 따라 깨끗한 소스로 향하는 선호도의 변화를 나타냅니다. 양의 $A_i$는 저하된 텍스트로부터의 강한 재할당을 나타내며, 음의 $A_i$는 저하된 시각적 소스로부터의 강한 재할당을 나타냅니다.

주요 기여

• 새로운 문제 공식화: 본 논문은 단순한 입력 형식 간의 성능 차이를 넘어, 갈등이 있고 저하된 입력 상황에서의 "양상 재할당"을 정의하고 조사합니다.
• 큐레이션된 갈등 벤치마크: GSM8K 및 SVAMP에서 파생된 통제된 산술 갈등과 함께, 수동으로 검증된 229개의 차트-보고서 갈등 데이터셋인 ChartQA-Conflict를 도입했습니다.
• 통제된 평가 프레임워크: 매칭된 판독성 수준에 따라 소스를 저하시키고, 소스 레이블을 상호 교차 검증하며, 행동 출력과 CLL 마진을 모두 사용하여 선호도 변화를 정량화하는 방법론을 제공합니다.
• 설정 의존성의 증거: 연구는 양상 의존도가 텍스트나 비전에 대한 고정된 편향이 아니라, 작업 유형, 증거 구조 및 모델 아키텍처에 따라 크게 달라진다는 것을 보여줍니다.

결과
6개의 오픈 웨이트 VLM(2B에서 8B 파라미터 범위)과 2개의 프런티어 API 모델을 평가한 결과, 뚜렷한 작업 의존적 비대칭성이 드러났습니다:

1. 산술 갈등 (GSM8K & SVAMP): 6개 모델 중 5개가 양의 비대칭성($A > 0$)을 보였습니다. 이는 모델이 저하된 이미지보다 저하된 텍스트로부터 더 강력하게 멀어진다는 것을 의미합니다. 이는 산술 추론 작업에서 모델이 (렌더링된 텍스트일지라도) 시각적 소스에 더 많이 의존하거나 텍스트 손상에 더 민감함을 시사합니다.
2. 자연적 시각 갈등 (ChartQA-Conflict): 가능도 점수가 매겨진 6개 모델 모두가 음의 비대칭성($A < 0$)을 보이며 패턴이 역전되었습니다. 이들은 저하된 텍스트 보고서보다 저하된 시각적 소스(차트)로부터 더 강력하게 멀어집니다.
3. 강건성 검사:
   • ChartQA-Conflict에서의 역전 현상은 단일 양상 정확도 손실(저하 심각도가 양상 간에 다를 수 있음을 고려)을 보정한 후에도 지속되었습니다.
   • 역전 현상은 차트를 평면 표 이미지로 교체한 후에도 지속되었으며, 이는 효과가 단순히 그래픽 인코딩(막대/축) 때문이 아니라 소스의 시각적 성격과 관련이 있음을 나타냅니다.
   • 두 개의 프런티어 API 모델(GPT-5.6-Luna 및 Gemini-3.5-Flash)도 행동적으로 ChartQA-Conflict의 역전 현상을 재현했으며, 특히 GPT-5.6-Luna는 산술 방향과도 일치하여 이 패턴이 오픈 웨이트 모델에 국한되지 않음을 시사했습니다.

의의 및 주장
본 논문은 VLM의 양상 의존성이 고정된 것이 아니라 설정 의존적 행동이라고 주장합니다. 의존의 방향은 다음 요소에 따라 달라집니다:

• 작업 유형: 산술 추론 vs. 차트 해석.
• 증거 구조: 렌더링된 텍스트 vs. 고유한 시각적 구조(차트) vs. 평면 표.
• 모델 아키텍처: 서로 다른 모델은 변화의 크기가 다르지만, 방향성 추세(역전)는 평가된 집합 전체에서 일관되 됩니다.

저자들은 VLM이 텍스트나 비전에 대한 보편적인 선호도를 갖는 것이 아니라고 결론짓습니다. 대신, 그들은 특정 작업과 증거의 성격에 따라 소스 사이를 동적으로 중재합니다. 이 연구는 고정된 양상 편향이라는 가설에 도전하며, 멀티모달 모델이 경쟁하는 정보 소스를 어떻게 처리하는지 진단하기 위한 체계적인 기초를 제공합니다. 저자들은 현재의 강제 선택 프레임워크 하에서 귀속 가능한 수치적 답변에 집중하고, 단순화된 저하 대리물을 사용하며, 사실적 신뢰성이나 갈과 인지(기권)를 테스트할 수 없다는 점을 포함한 한계를 명시적으로 언급했습니다.