HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization

1. 문제 정의 (Problem)

표 (Table) 데이터는 행과 열로 구조화되어 있어 정보 조직화에 필수적이지만, 이를 이해하고 추론하는 것은 자연어 처리 (NLP) 분야에서 여전히 큰 도전 과제입니다. 기존 연구들은 주로 단일 모달리티 (Unimodal) 에 의존하는 경향이 있습니다.

• 텍스트 기반 접근법의 한계: 표를 텍스트 시퀀스 (Markdown, 리스트 등) 로 선형화 (Linearization) 하는 방식은 구조적 의미 (레이아웃, 셀 정렬, 배경색 등) 를 잃어버리기 쉽습니다. 또한 표의 포맷에 민감하여 다양한 구조에서 성능이 불안정합니다.
• 이미지 기반 접근법의 한계: 표를 스크린샷으로 처리하는 방식은 레이아웃 정보를 잘 보존하지만, 심볼릭 추론 (수치 계산, 합계 구하기 등) 이나 OCR 기반의 텍스트 추출 과정에서 오류가 발생할 수 있습니다.
• 핵심 문제: 기존 연구들은 텍스트와 이미지 중 하나의 모달리티에만 집중하거나, 단순히 두 가지를 병렬로 사용하는 데 그쳤습니다. 두 모달리티의 상호 보완적 강점 (Complementary Strengths) 을 효과적으로 결합하여 표 추론 능력을 극대화하는 방법론이 부족했습니다.

2. 방법론 (Methodology)

이 논문은 HIPPO (HybrId-modal Preference oPtimizatiOn) 라는 새로운 학습 프레임워크를 제안합니다. 이는 다중 모달리티에서 얻은 시맨틱 정보를 활용하여 멀티모달 대규모 언어 모델 (MLLM) 의 표 이해 능력을 최적화하는 것을 목표로 합니다.

2.1 하이브리드 모달리티 표 표현 (Hybrid-Modal Table Representation)

• 입력: MLLM 에게 동일한 표에 대해 세 가지 입력 방식을 제공합니다.
  1. 텍스트만 (Text-only): 표를 Markdown 형식으로 선형화한 텍스트.
  2. 이미지만 (Image-only): 표의 스크린샷 이미지.
  3. 텍스트 + 이미지 (Text+Image): 두 가지를 모두 입력.
• 샘플링: 각 입력 방식에 대해 MLLM 이 생성한 여러 개의 응답 (Candidate Responses) 을 수집합니다.

2.2 모달리티 일관성 기반 부정 샘플 선택 (Modality-Consistent Negative Selection)

HIPPO 의 핵심 혁신은 DPO(Direct Preference Optimization) 학습 시 '부정 샘플 (Negative Sample)'을 선택하는 전략에 있습니다.

• 기존 방식: 무작위로 잘못된 응답을 부정 샘플로 선택하거나, 특정 모달리티의 오류만 반영합니다.
• HIPPO 방식: 모달리티 간 일관성 (Cross-Modal Consistency) 을 기반으로 합니다.
  • 텍스트, 이미지, 그리고 텍스트+이미지 입력에서 생성된 모든 응답을 분석합니다.
  • 정답 (Ground Truth) 을 긍정 샘플 (Positive) 로 사용합니다.
  • 부정 샘플 선정: 여러 모달리티 입력에서 가장 빈번하게 발생한 잘못된 응답 (Most Frequent Incorrect Answer) 을 부정 샘플로 선택합니다.
  • 이유: 특정 모달리티의 일시적 오류가 아니라, 모델이 모든 모달리티에서 공통적으로 저지르는 구조적 오류 패턴을 학습하여 모달리티 편향 (Modality Bias) 을 줄이고, 모델이 더 강력한 일반화 능력을 갖도록 유도합니다.

2.3 하이브리드 모달리티 선호도 최적화 (Hybrid-Modal Preference Optimization)

• 선택된 긍정/부정 쌍 (Preference Pairs) 을 사용하여 DPO 손실 함수를 최소화합니다.
• 이를 통해 모델은 정답에 대한 확률을 높이고, 모달리티 간 공통 오류 패턴에 대한 확률을 낮추도록 조정됩니다.

3. 주요 기여 (Key Contributions)

1. HIPPO 프레임워크 제안: 텍스트와 이미지 기반 표 표현을 결합하여 MLLM 의 강건한 표 추론 능력을 향상시키는 하이브리드 모달리티 선호도 최적화 프레임워크를 최초로 제안했습니다.
2. 모달리티 일관성 기반 부정 샘플링 전략: 단순한 무작위 샘플링이 아닌, 교차 모달리티 자기 일관성 (Cross-modal Self-Consistency) 을 통해 대표성 있는 부정 샘플을 선택하는 전략을 도입하여 DPO 학습의 효율성을 극대화했습니다.
3. 광범위한 실험 및 분석: 다양한 표 이해 벤치마크 (TQA, TFV) 와 백본 모델 (MiniCPM-V, Qwen-VL, Table-LLaVA 등) 에서 HIPPO 의 유효성을 입증하고, 단일 모달리티 실패 시 다중 모달리티 통합 능력과 추론 다양성을 심층 분석했습니다.

4. 실험 결과 (Results)

• 성능 향상: 표 질문 답변 (TQA) 과 표 사실 검증 (TFV) 태스크에서 HIPPO 는 기존 최강의 LLM 및 MLLM 베이스라인 대비 약 4% 의 평균 성능 향상을 기록했습니다.
  • 예: MiniCPM-V-2.6 모델에서 HIPPO 적용 시 TQA 에서 3.6%, TFV 에서 2.8% 향상.
  • Table-LLaVA-7B 의 경우 TQA 에서 4.2%, TFV 에서 5.1% 향상.
• 단일 모달리티 일반화: 다중 모달리티 학습을 통해 얻은 이점이 단일 모달리티 (텍스트만 또는 이미지만) 입력 상황에서도 성능을 향상시키는 것을 확인했습니다.
• Ablation Study:
  • 무작위 부정 샘플 선택 (HIPPO Random) 과 비교 시, 모달리티 일관성 기반 선택이 성능을 유의미하게 개선함을 보였습니다.
  • 샘플링 수 (K) 가 10 일 때 최적의 성능을 보였으며, 과도한 샘플링은 노이즈를 증가시킵니다.
• 단일 모달리티 실패 복구 (Unimodal Failures): 텍스트만으로는 틀리고 이미지만으로는 맞는 경우 (또는 그 반대) 에 대해 HIPPO 는 다른 방법들 (SFT, DPO) 보다 훨씬 우수한 성능으로 상호 보완적 단서를 활용하여 정답을 도출했습니다.
• 추론 다양성: HIPPO 는 다양한 모달리티 입력에 대해 더 일관된 정답을 내면서도 (Jaccard Similarity 증가), 추론 과정 (CoT) 에서는 모달리티에 따라 더 다양한 추론 경로를 탐색하는 능력을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 표 데이터 이해를 위해 텍스트의 정밀한 수치/논리 처리 능력과 이미지의 구조적/시각적 맥락 이해 능력을 효과적으로 융합하는 새로운 패러다임을 제시합니다.

• 기술적 의의: 단순한 다중 모달리티 입력의 결합을 넘어, 선호도 최적화 (Preference Optimization) 기법을 통해 모달리티 간 오류 패턴을 학습하고 보정하는 메커니즘을 제안했습니다.
• 실용적 가치: 복잡한 표 구조, 다양한 포맷, 그리고 노이즈가 있는 실제 환경 (스캔 문서 등) 에서 MLLM 의 신뢰성과 정확도를 크게 높일 수 있습니다.
• 미래 방향: HIPPO 는 표 데이터뿐만 아니라 다른 구조화된 데이터에 대한 MLLM 의 추론 능력을 향상시키는 데에도 적용 가능한 일반적인 프레임워크로 평가받습니다.

요약하자면, HIPPO 는 "어떤 모달리티가든 공통적으로 틀리는 오류"를 학습하여 모델이 텍스트와 이미지의 장점을 모두 활용하도록 유도함으로써, 표 기반 추론의 한계를 극복한 획기적인 연구입니다.