A Closer Look into LLMs for Table Understanding

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 표 (Table) 기반 질문 답변 (TQA), 사실 검증 (TFV), 데이터 분석 등 다양한 표 이해 태스크에서 뛰어난 성능을 보여주고 있습니다. 그러나 기존 연구들은 주로 성능 지표 향상 (프롬프트 엔지니어링, SFT, RL 등) 에 집중되어 왔을 뿐, LLM 이 내부적으로 표 데이터를 어떻게 처리하고 이해하는지에 대한 메커니즘은 여전히 불명확했습니다.

이 논문은 다음과 같은 핵심 연구 질문 (RQs) 을 던지며 LLM 의 표 이해 내부 메커니즘을 실증적으로 분석합니다:

1. 표 이해 태스크 수행 시 LLM 의 내부 및 외부 주의 (Attention) 패턴은 어떻게 진화하는가?
2. 안정적인 예측을 위해 LLM 이 실제로 활용하는 유효한 레이어 (Effective Layer) 수는 얼마이며, 표 태스크와 일반 추론 태스크 간 차이가 있는가?
3. 전문가 혼합 (MoE) 모델에 표 전용 전문가 (Experts) 가 존재하며, 그 위치는 어디인가?
4. 입력 형식 (Markdown vs HTML) 과 추론 전략 (CoT 등) 이 내부 표현에 미치는 영향은 무엇인가?

2. 연구 방법론 (Methodology)

저자들은 16 개의 다양한 LLM 을 대상으로 포괄적인 실증 분석을 수행했습니다.

• 분석 대상 모델:
  • 범용 지시형 LLM (Llama-3.1, Qwen-2.5 등)
  • 표 태스크에 특화된 파인튜닝 모델 (TAMA, Table-R1 등, SFT 및 RL 기반)
  • 전문가 혼합 (MoE) 아키텍처 모델 (DeepSeek-V2, Qwen3, OLMoE 등)
• 데이터셋: WTQ, HiTab, AIT-QA(TQA), TabFact(TFV) 등 4 개의 벤치마크에서 무작위 추출된 2,000 개의 샘플.
• 분석 기법:
  • 주의 동역학 분석: 입력 세그먼트 (시스템 프롬프트, 표 내용, 질문) 간 주의 비율, 표 내 주의 엔트로피 (집중도), 값 가중 기여도 (Value-weighted Contribution) 측정.
  • 인과성 검증: 특정 레이어의 표 주의 가중치를 마스킹 (Zero-out) 하여 성능 저하를 관찰.
  • 유효 깊이 분석: LogitLens 를 활용하여 각 레이어의 예측 분포가 최종 출력과 얼마나 일치하는지 (KL 발산, Top-k 토큰 오버랩) 분석.
  • MoE 전문가 분석: 각 레이어별 전문가 활성화 빈도 및 엔트로피, 수학 태스크와의 전문가 중복도 분석.
  • 입력/전략 비교: Markdown vs HTML 형식, 직접 답변 vs Chain-of-Thought (CoT) 프롬프팅 비교.

3. 주요 기여 및 발견 (Key Contributions & Findings)

(1) 3 단계 주의 패턴 (Three-phase Attention Pattern)

LLM 은 표 이해 과정에서 일관된 3 단계 주의 패턴을 보입니다:

• 초기 레이어: 표 전체를 광범위하게 스캔하며 (높은 엔트로피), 구조를 파악합니다.
• 중간 레이어: 질문과 관련된 특정 셀 (Query-relevant cells) 로 주의를 집중시킵니다 (엔트로피 최소화). 이 단계에서 모델은 답변에 필요한 핵심 정보를 정확히 위치시킵니다.
• 후기 레이어: 집중된 정보의 기여도를 증폭시켜 최종 답변을 생성합니다.
• 통찰: 전체적인 주의 비율은 낮더라도, 중간 레이어에서의 정확한 위치 파악 (Localization) 이 성능에 결정적임을 발견했습니다.

(2) 표 태스크의 깊은 처리 필요성 (Effective Depth)

• 수학 추론 (GSM8K) 과 비교했을 때, 표 태스크는 출력 분포를 정제 (Refinement) 하는 데 더 많은 레이어가 필요합니다.
• 최종 답변의 내용이 결정되는 깊이 (Top-k overlap depth) 는 태스크 간 유사하지만, 분포가 수렴하는 깊이 (KL-based depth) 는 표 태스크가 더 깊습니다. 이는 표 이해가 단순한 정보 인출을 넘어 미세한 분포 조정이 필요함을 시사합니다.

(3) MoE 모델의 표 전용 전문가 (Table-specific Experts)

• MoE 모델은 중간 레이어에서 표 태스크에 특화된 전문가 (Experts) 를 활성화합니다.
• 이 전문가들은 수학 추론 전문가와 거의 겹치지 않으며 (Domain-specific), 초기 및 후기 레이어에서는 범용 전문가를 공유합니다. 이는 MoE 아키텍처가 태스크별 전문성을 효율적으로 학습함을 보여줍니다.

(4) 입력 형식 및 추론 전략의 영향

• 입력 형식: HTML 형식은 초기 레이어에서 주의가 더 분산되지만 (높은 엔트로피), 깊은 레이어로 갈수록 Markdown 과 내부 표현이 수렴하여 최종 성능 차이는 미미합니다.
• CoT (Chain-of-Thought): CoT 프롬프팅은 중간 및 후기 레이어에서 표 내용에 대한 주의를 증가시키며, 표 특화 파인튜닝과 결합 시 성능이 크게 향상됩니다. 특히 CoT 는 답변 생성 시점에도 표 그라운딩 (Grounding) 을 유지합니다.

4. 실험 결과 (Results)

• 마스킹 실험: 초기 및 중간 레이어의 표 주의를 마스킹하면 성능이 극적으로 저하 (44~65% 포인트 감소) 되지만, 후기 레이어 마스킹은 영향이 적습니다. 이는 초기/중간 레이어가 정보 검색 및 위치 파악에 필수적임을 입증합니다.
• 모델 비교: 표 특화 파인튜닝 모델 (Table-R1, TAMA) 은 베이스 모델보다 표 내용에 더 높은 주의를 기울이며, RL 기반 모델이 CoT 와 결합 시 가장 큰 성능 향상을 보였습니다.
• MoE 분석: DeepSeek-V2, Qwen3 등 MoE 모델에서 중간 레이어의 전문가 활성화 엔트로피가 최소화되는 현상이 관찰되었으며, 이는 LLM 의 주의 집중 패턴과 일치합니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 표 이해의 '블랙박스'를 해명한 최초의 체계적인 연구입니다.

• 이해 가능성 (Interpretability): LLM 이 표를 처리하는 내부 워크플로우 (스캔 -> 위치 파악 -> 증폭) 를 명확히 규명했습니다.
• 실용적 가이드:
  • 입력 최적화: 초기 레이어의 분산된 주의를 줄이기 위해 입력 형식을 최적화할 수 있음.
  • 추론 시간 개입: 후기 레이어에서의 스티어링 (Steering) 이나 표 특화 전문가의 최적화가 성능 향상에 효과적일 수 있음.
  • 효율성: 불필요한 레이어나 주의를 제거하여 효율적인 표 전용 LLM 개발 가능성 제시.

결론적으로, 이 연구는 표 태스크를 위한 LLM 의 설계, 파인튜닝, 그리고 추론 전략 수립에 중요한 이론적 근거와 실용적인 지침을 제공합니다.