기술 요약: 인코딩되었으나 라우팅되지 않음

문제 정의

멀티모달 대규모 언어 모델(VLM)은 연구 논문의 증거를 바탕으로 주장(claim)이 지지되는지 혹은 반박되는지를 판별하는 과학적 주장 검증 작업에 점점 더 많이 배치되고 있습니다. 선행 연구들은 모델이 동일한 데이터가 담겨 있더라도 표(table)로 제시될 때보다 차트(chart)로 제시될 때 성능이 현저히 떨어진다는 상당한 '표-차트 격차(table-chart gap)'를 밝혀낸 바 있습니다.

본 논문이 다루는 핵심 질문은 이 "표-차트 격차"가 지각적 실패(모델이 차트로부터 시각적 정보를 추출하거나 인코딩하지 못함)에서 기인하는지, 아니면 활용 실패(모델이 정보를 인코딩은 했으나 예측 단계로 효과적으로 라우팅하지 못함)에서 기인하는지 여부입니다. 이를 구분하는 것은 근본적으로 다른 개입 방식(예: 더 나은 비전 인코더 vs. 정보 라우팅을 위한 아키텍처 변경)을 요구하기 때문에 매우 중요합니다.

방법론

저자들은 두 가지 서로 다른 모델 제품군에 속하는 세 가지 오픈 웨이트 VLM(Qwen2.5-VL-7B, Qwen2.5-VL-32B, InternVL3-8B)을 대상으로 **계층별 선형 프로빙(layer-wise linear probing)**과 **어텐션 분석(attention analysis)**을 사용하는 진단적 접근 방식을 채택했습니다.

1. 데이터셋: 본 연구는 162개의 고유한 과학적 주장과 이와 의미론적으로 동일한 두 가지 형식(구조화된 JSON 표 및 4가지 차트 변형: 기본 막대, 심볼 막대, 선, 반전 차트)의 증거를 쌍으로 구성한 콘텐츠 제어 벤치마크인 **SciTabAlign+**를 활용합니다.
2. 선형 프로빙(Linear Probing):
   • 목적: 중간 은닉 상태(hidden states)로부터 작업 관련 신호(지지/반박)를 디코딩할 수 있는지 결정합니다.
   • 설정: 모든 계층 $l$에서 두 가지 집계 전략을 사용하여 프로브를 학습시킵니다.
     • Last-token: 마지막 입력 토큰(예측 위치)의 은닉 상태를 사용합니다.
     • Mean-pool: 분산된 정보를 포착하기 위해 모든 입력 토큰의 은닉 상태를 평균화합니다.
   • 대조군(Control): 텍스트 누출(text leakage)을 배제하기 위해 주장 텍스트만으로도 프로브를 학습시킵니다.
   • 지표: 방향 보정된 ROC 곡선 아래 면적(AUROC)을 사용합니다.
3. 어텐션 분석(Attention Analysis):
   • 저자들은 마지막 토큰이 이미지 토큰에 할당하는 어텐션의 비율을 계산하며, 이를 비례적 베이스라인(전체 토큰 대비 이미지 토큰의 비율)으로 정규화합니다.
   • 이는 모델이 입력 내 존재 비율에 따라 차트 증거에 주의를 기울이는지 측정합니다.
4. 사고 사슬(Chain-of-Thought, CoT) 절제 실험:
   • 모델이 예측을 내리기 전에 차트를 구두로 설명하도록 프롬프트를 제공하여, 명시적인 언어화가 격차를 메울 수 있는지 테스트합니다.

주요 결과

1. 차트 정보는 인코딩되었으나 라우팅되지 않음

주요 발견은 차트 관련 신호가 중간 표현(intermediate representations)으로부터는 회복 가능하지만, 예측 위치에는 도달하지 못한다는 것입니다.

• Mean-pool vs. Last-token: 모든 모델에서 Mean-pooled 프로브는 차트 변형에 대해 높은 AUROC(84–89%)를 달성하며, Last-token 프로브(64–73%)를 크게 상회합니다. 반면, 표 증거의 경우 Last-token 프로브가 더 높은 성능을 보이는 역전 현상이 나타납니다.
• 해리(Dissociation): 평균 풀링된 표현으로 학습된 선형 분류기는 차트 변형에 대한 모델 자체의 추론 정확도보다 종종 더 높은 성능을 보입니다 (예: InternVL3-8B의 경우 프로브 정확도 79.0% vs. 모델 정확도 56.2%). 이는 정보가 모델의 내부 상태에는 존재하지만, 최종 결정에는 효과적으로 활용되지 못하고 있음을 확인시켜 줍니다.

2. 모델 제품군별로 나타나는 뚜렷한 실패 모드

어텐션 분석 결과, "라우팅 실패"는 모델 아키텍처에 따라 다르게 나타납니다.

• Qwen 제품군 (라우팅 실패): 이 모델들은 심각한 어텐션 라우팅 실패를 보입니다. 최종 계층에서 이들은 비례적 베이스라인의 4~11% 수준으로만 이미지 토큰에 주의를 기울입니다. 즉, 예측을 형성할 때 차트 증거가 크게 무시됩니다.
• InternVL3-8B (통합 실패): 이 모델은 대부분의 계층에서 이미지 토큰에 대해 비례적 베이스라인의 93%에 달하는 높은 주의를 유지합니다. 그럼에도 불구하고 Mean-pool 프로브보다 높은 성능을 내지 못합니다. 이는 **포스트-어텐션 통합 실패(post-attention integration failure)**를 시사합니다. 즉, 모델은 차트에 주의를 기울이지만, 그 주의된 정보를 최종 예측 로직에 통합하는 데 실패합니다.

3. 사고 사슬(CoT)의 영향

CoT 절제 실험은 실패 모드를 더욱 명확히 구분합니다.

• Qwen 모델: CoT 프롬프팅은 오히려 성능을 저하시킵니다 (macro-F1이 3.3–13.5% 감소). 이 모델들은 차트에 주의를 기울이지 않기 때문에, 내용을 언어로 표현하도록 강제하면 환각(hallucination)과 신뢰할 수 없는 설명을 유발합니다.
• InternVL3-8B: CoT 프롬프팅은 성능을 향상시킵니다 (macro-F1이 4.6 증가). 이는 모델이 차트 내용을 접근하고 설명할 수는 있지만, 명시적인 지시 없이는 예측을 위해 이를 자발적으로 사용하지 않는다는 것을 나타냅니다.

의의 및 기여

본 논문은 표-차트 격차를 인코딩(지각)의 실패가 아닌 **라우팅(활용)**의 실패로 재정의합니다.

• 진단적 통찰: 본 연구는 출력 평가만으로는 형식 민감도를 진단하기에 불충분함을 보여줍니다. "차트를 보지 못하는" 모델과 "보지만 무시하는" 모델을 구분하기 위해서는 내부 분석(프로빙 및 어텐션)이 필요합니다.
• 아키텍처 특이성: 연구 결과는 서로 다른 모델 제품군이 서로 다른 내부적 실패 메커니즘을 겪고 있음을 강조합니다. 단일한 개입(예: 더 나은 비전 인코더)으로는 모든 모델의 문제를 해결할 수 없으며, 대신 특정 라우팅 또는 통합 병목 현상을 해결해야 합니다.
• 검증에 대한 시사점: 고도의 신뢰성이 요구되는 과학적 워크플로우에서, 정보가 인코딩되었다는 사실이 최종 결정에 사용됨을 보장하지는 않습니다. 연구자들은 VLM이 내부적으로 필요한 정보를 보유하고 있더라도 이를 출력에 반영하지 않을 수 있으므로, 차트 기반 검증에 VLM을 배치할 때 주의를 기울여야 합니다.

저자들은 이 격차가 "인코딩된 시각 정보가 예측 시점에 어떻게 라우팅되는지의 실패"라고 결론지으며, 이는 단순히 작업 성능 지표에 의존하기보다 내부 연산을 조사해야 함을 시사합니다.