ViTaB-A: Evaluating Multimodal Large Language Models on Visual Table Attribution

1. 문제 정의 (Problem Definition)

다중 모달 대형 언어 모델 (mLLM) 은 마크다운, JSON, 이미지 등 구조화된 데이터 (표) 를 기반으로 질문 답변 (QA) 을 수행하는 데 널리 사용됩니다. 기존 연구들은 mLLM 이 구조화된 데이터에 대한 질문을 꽤 정확하게 답변할 수 있음을 보여주었습니다.

그러나 정확한 답변을 제공하는 것만으로는 충분하지 않습니다. 실제 응용 분야 (금융, 의료, 법률 등) 에서는 답변의 근거나 출처를 명확히 추적할 수 있어야 합니다. 즉, 모델이 "어떤 행 (row) 과 열 (column) 을 근거로 그 답변을 도출했는지"를 정확히 지적 (Attribution/Citation) 할 수 있어야 합니다.

이 논문은 구조화된 데이터 속성 (Attribution) 과 질문 답변 (QA) 능력이 서로 다른 기술임을 가정하고, 현재 mLLM 들이 정답을 맞추더라도 그 근거가 되는 표의 특정 셀 (Cell) 을 정확하게 식별하는 데 얼마나 취약한지 실증적으로 분석합니다.

2. 방법론 (Methodology)

2.1 벤치마크: ViTaB-A

저자들은 mLLM 의 시각적 표 속성 능력을 평가하기 위해 ViTaB-A라는 새로운 벤치마크를 제안했습니다.

• 데이터셋: HiTab 데이터셋을 기반으로 구축되었으며, 정답을 뒷받침하는 근거 셀 (Ground Truth Cells) 이 주석 처리되어 있습니다.
• 입력 형식: 세 가지 다른 표현 방식을 사용하여 평가합니다.
  1. 이미지 (Rendered Images): 시각적 레이아웃을 유지한 표 이미지.
  2. 마크다운 (Markdown): 텍스트 기반의 구조화된 표.
  3. JSON: 중첩된 텍스트 구조로 인코딩된 표.
• 실험 설정: 다양한 프롬프트 전략 (Zero-shot, Few-shot, Chain-of-Thought) 을 적용하고, 시각적 교란 (색상, 폰트 변경 등) 을 가하여 모델의 견고성을 테스트했습니다.

2.2 평가 지표

1. 통계적 정확도 (Statistical Accuracy):
   • 모델이 인용한 행 (Row) 과 열 (Column) 인덱스가 정답과 일치하는지 측정합니다.
   • 셀 단위 정확도뿐만 아니라 행/열별 정확도, 정밀도 (Precision), 재현율 (Recall), F1 점수를 분석합니다.
2. 신뢰도 - 정확도 정렬 (Confidence-Accuracy Alignment):
   • 내부 신뢰도 (Internal Confidence): 토큰 생성 확률 (Logits) 에서 도출된 모델의 내부 확신.
   • 구두화된 확신 (Verbalized Certainty): 모델이 직접 "얼마나 확신하는지"를 언어로 표현한 점수.
   • 정렬 점수: Brier Score 를 사용하여 모델의 확신 수준이 실제 정확도와 얼마나 일치하는지 (Calibration) 를 측정합니다.

2.3 평가 모델

Gemma-3, InternVL3.5, Qwen3-VL, Molmo2 등 다양한 아키텍처와 파라미터 규모 (주로 4B 기준) 의 오픈소스 mLLM 패밀리들을 비교 평가했습니다.

3. 주요 기여 (Key Contributions)

1. ViTaB-A 벤치마크 제안: 텍스트, JSON, 렌더링된 이미지 등 다양한 모달리티에서 mLLM 의 시각적 표 속성 능력을 평가하는 포괄적인 벤치마크를 최초로 구축했습니다.
2. 오픈소스 mLLM 패밀리의 심층 평가: 단순 QA 성능뿐만 아니라 속성 (Attribution) 성능, 신뢰도 정렬 (Confidence Alignment), 불확실성 보정 (Uncertainty Calibration) 까지 종합적으로 평가했습니다.
3. 질문 답변과 속성의 분리 발견: mLLM 이 공간적 QA 는 수행할 수 있으나, 텍스트 - 비전 (Text-in-Vision) 패러다임에서 공간적 속성 (Spatial Attribution) 은 여전히 큰 어려움을 겪고 있음을 규명했습니다.

4. 주요 결과 (Key Results)

4.1 QA 정확도와 속성 정확도의 괴리 (Gap)

• QA 성능: 모델들은 구조화된 데이터에 대한 질문 답변에서 약 48~60% 의 중간 수준 정확도를 보였습니다.
• 속성 성능: 반면, 근거를 특정하는 속성 정확도는 매우 낮았습니다.
  • JSON 입력: 거의 무작위 수준 (약 1% 미만) 으로 실패했습니다.
  • 이미지 입력: 약 33% 로 가장 높았으나 여전히 낮았습니다.
  • 결론: 모델이 정답을 맞췄더라도, 그 근거가 되는 행과 열을 정확히 지적하는 능력은 전혀 보장되지 않습니다.

4.2 입력 형식에 따른 성능 차이 (Representation Gap)

• 이미지 > 마크다운 > JSON: 표를 이미지로 제공할 때 속성 성능이 가장 좋았고, JSON 형식이 가장 나빴습니다.
• 이유: 이미지는 행/열의 시각적 계층 구조와 레이아웃 단서를 제공하지만, JSON 과 같은 텍스트 형식은 시각적 구조가 없어 모델이 시퀀스만으로 구조를 추론해야 하기 때문입니다.
• 역설: 흥미롭게도 QA 정확도는 텍스트 형식 (JSON/마크다운) 에서 이미지보다 더 높은 경향이 있었습니다. 이는 QA 는 부분적인 단서만으로도 정답을 유추할 수 있지만, 속성은 정확한 근거 위치를 찾아야 하므로 훨씬 어렵기 때문입니다.

4.3 행 (Row) 대 열 (Column) 식별 능력

• 모델들은 행 (Row) 을 식별하는 것에 비해 열 (Column) 을 식별하는 데 훨씬 더 어려움을 겪었습니다.
• 행은 구체적인 개체 (예: 특정 사람, 거래) 를 나타내어 자연어와 유사하지만, 열은 추상적인 속성 (예: 날짜, 카테고리) 을 나타내어 스키마 링크 (Schema Linking) 가 어렵기 때문입니다.

4.4 신뢰도 (Confidence) 의 불일치

• 모델이 인용한 근거의 정확도와 모델이 표현한 "신뢰도 (Confidence)" 사이에는 통계적으로 유의미한 상관관계가 없었습니다.
• 모델은 근거를 틀리게 인용했음에도 불구하고 높은 확신 (High Confidence) 을 표현하는 경우가 많았습니다. 이는 신뢰도 점수가 인용의 정확성을 판단하는 지표로 사용할 수 없음을 의미합니다.

4.5 모델 패밀리 간 차이

• 아키텍처에 따라 성능 차이가 뚜렷했습니다. InternVL3.5 계열이 다른 모델들에 비해 상대적으로 우수한 속성 및 QA 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 위험: 금융, 의료, 법률 등 투명성과 추적 가능성 (Traceability) 이 필수적인 분야에서, mLLM 이 정답을 제공하더라도 근거를 신뢰할 수 없다면 실제 적용에 치명적인 결함이 됩니다.
• 훈련 및 평가의 한계: 현재의 mLLM 훈련 파이프라인 (Instruction Tuning, RLHF) 은 '정답을 맞추는 것'에 최적화되어 있으며, '정확한 근거 인용'을 명시적으로 보상하지 않습니다. 따라서 QA 성능이 높아도 속성 성능은 자동으로 향상되지 않습니다.
• 향후 방향:
  1. 속성 (Attribution) 을 1 순위 목표 (First-class objective) 로 삼는 새로운 훈련 신호 개발이 필요합니다.
  2. 단순한 QA 정확도 중심의 벤치마크를 넘어, 구조화된 데이터의 추적 가능성과 신뢰성을 평가하는 표준이 필요합니다.
  3. 모델의 높은 확신 표현이 오히려 사용자의 잘못된 신뢰를 초래할 수 있으므로, 불확실성 정량화 및 보정 연구가 시급합니다.

요약하자면, 이 논문은 현재의 mLLM 이 구조화된 데이터에 대한 질문에는 어느 정도 답할 수 있지만, 그 근거를 정확하게 추적 (Attribution) 하는 능력은 매우 미비하며, 모델의 확신 수준도 이를 신뢰할 수 있는 지표가 아님을 강력하게 증명했습니다.