Generalizing Numerical Reasoning in Table Data through Operation Sketches and Self-Supervised Learning

1. 문제 정의 (Problem Statement)

전문 분야 (금융, 공학, 생물학 등) 의 표 (Table) 데이터를 활용한 수치 추론 (Numerical Reasoning) 은 언어 모델 (LLM) 에게 여전히 큰 도전 과제입니다. 기존 연구들은 주로 특정 도메인의 데이터로 모델을 감독 학습 (Supervised Fine-Tuning, SFT) 시켰으나, 다음과 같은 한계점을 드러냈습니다.

• 도메인 이동 (Domain Shift) 에 대한 낮은 견고성: 특정 도메인 (예: 금융) 에서 높은 정확도를 보인 모델은 표의 헤더 용어나 구조가 약간만 변경되어도 (예: '수익'을 '인장 강도'로 변경) 성능이 급격히 저하됩니다.
• 헤더 - 연산 의존성 (Header-Operation Dependency): 모델이 표의 헤더와 연산 (덧셈, 뺄셈 등) 간의 표면적인 상관관계를 암기 (Memorization) 하여, 실제 구조적 추론 능력을 기르지 못합니다.
• 논리적 감독 데이터의 부족: 논리적으로 일관된 프로그램과 질문 쌍을 생성하는 데 필요한 고품질의 학습 데이터가 부족하며, 기존 LLM 기반 데이터 생성은 오류가 많거나 일관성이 떨어집니다.
• 추론 비효율성: 모델이 단순한 산술 계산에 과도한 자원을 할당하여, 더 복잡한 맥락적 추론에 집중하지 못합니다.

2. 방법론 (Methodology: TaNOS Framework)

저자들은 TaNOS (Table Numerical Reasoning with Operation Sketches) 라는 새로운 프레임워크를 제안합니다. 이는 표면적인 어휘적 패턴과 구조적 추론을 분리하여 도메인 불변의 추론 능력을 강화하는 것을 목표로 합니다. TaNOS 는 세 가지 핵심 구성 요소로 이루어져 있습니다.

2.1. 연산 스케치 (Operation Sketches)

• 개념: 쿼리의 핵심 계산 구조를 나타내는 최소한의 기호적 스케치 (예: (x - x) / x 형태) 입니다.
• 역할: 모델이 단순한 산술 관계를 추론하는 대신, 어떤 값을 표에서 추출해야 하는지 등 더 높은 수준의 맥락적 추론에 집중할 수 있도록 돕습니다.
• 활용: 추론 시에는 사용자가 의도한 연산을 간략히 명시할 수 있으며, 학습 시에는 이를 구조적 지도 신호 (Structural Supervision Signal) 로 사용합니다.

2.2. 헤더 익명화 (Header Anonymization)

• 개념: 각 학습 인스턴스 (표) 마다 헤더를 고유한 임의의 토큰 (예: "revenue" → "burger") 으로 매핑하는 인스턴스 수준의 익명화 기법입니다.
• 역할: 모델이 특정 헤더 용어와 연산 간의 암기된 상관관계에 의존하는 것을 방지하고, 표의 구조적 관계만 학습하도록 유도합니다. 이는 도메인 간 전이 (Cross-domain Transfer) 능력을 향상시킵니다.

2.3. 자기지도 학습 (Self-Supervised Learning, SSL)

• 데이터 생성 전략 (Program-First): 라벨이 없는 기업 공시 자료 (SEC 10-K 보고서 등) 에서 먼저 실행 가능한 프로그램 (G) 과 정답 (A) 을 생성한 후, 이를 자연어 질문 (Q) 으로 변환하는 역방향 생성 방식을 채택합니다.
• 장점: 프로그램의 실행을 통해 정답의 정확성을 보장 (Correctness-Guaranteed) 하므로, 대규모의 고품질 학습 데이터를 수동 주석 없이 확보할 수 있습니다.
• 학습 과정: 익명화된 헤더와 연산 스케치를 포함하여 대규모 데이터로 사전 학습 (Pre-training) 을 수행한 후, 라벨이 있는 도메인 데이터로 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. 실패 모드 분석: 전문 도메인 표에서의 수치 추론 실패 원인 (추론 비효율성, 논리적 감독 데이터 부족, 헤더 의존성) 을 체계적으로 분석했습니다.
2. 통합 프레임워크 제안: 헤더 익명화, 연산 스케치, 정확성 보장 자기지도 학습을 결합한 TaNOS 를 제안하여, 소규모 모델로도 경쟁력 있는 성능을 내면서도 도메인 이동에 강건한 추론을 가능하게 했습니다.
3. 데이터 효율성 및 일반화: 제한된 라벨 데이터 (10%) 만으로도 전체 데이터를 사용한 감독 학습 (SFT) 및 상용 모델 (GPT-5, Gemini 등) 을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

실험은 금융 표 QA 벤치마크 (FinQA) 와 다양한 도메인 이동 (기계공학, 생물학, 법률 등) 시나리오에서 수행되었습니다.

• 도메인 내 성능 (In-domain Performance):

  • 8B 파라미터 모델 (LLaMA-3.1-8B) 에 TaNOS 를 적용했을 때, 전체 학습 데이터 (100%) 를 사용한 SFT 기준 (73.97%) 보다 높은 85.38% 의 실행 정확도 (Execution Accuracy) 를 달성했습니다.
  • 10% 데이터만 사용해도 80.13% 의 정확도를 기록하여, 전체 데이터를 사용한 SFT 와 상용 모델 (GPT-5, Gemini-2.5-Pro 등) 을 능가했습니다.

• 도메인 이동 및 견고성 (Cross-Domain Generalization):

  • SFT: 도메인이 변경될 때 성능이 10% 포인트 (pp) 이상 급격히 하락했습니다 (예: 42.05% → 29.77%).
  • TaNOS: 도메인 이동 시 성능 하락이 2pp 미만으로 매우 작았습니다. 이는 헤더 익명화와 스케치 기반 학습이 도메인 특유의 어휘 의존성을 제거하고 구조적 추론 능력을 강화했음을 시사합니다.

• 데이터 효율성:

  • One-shot 학습: 각 연산 패턴당 1 개의 예제만으로도 TaNOS 는 66.79% 의 정확도를 달성하여, 50% 데이터로 학습한 SFT (66.41%) 보다 우수한 패턴 일반화 능력을 보여주었습니다.

• 복잡한 구조 일반화:

  • 계층적 다중 표 (MultiHiertt) 와 같은 복잡한 구조에서도 TaNOS 는 SFT 대비 약 21pp 높은 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 상징적 구조 (Symbolic Structure) 와 신경망 모델 (Neural Models) 의 통합을 위한 중요한 걸음입니다.

• 실용적 가치: 라벨 데이터가 부족하거나 프라이버시 제약이 있는 환경 (예: 금융 분야) 에서 소규모 오픈 소스 모델을 통해 상용 모델 수준의 고성능을 달성할 수 있는 경로를 제시했습니다.
• 방법론적 통찰: 단순한 데이터 양의 증가가 아닌, 구조적 추론을 유도하는 스케치와 어휘적 편향을 제거하는 익명화를 결합한 학습 전략이 도메인 불변의 추론 능력을 키우는 핵심임을 증명했습니다.
• 미래 전망: 사용자 입력이나 보조 모델을 통해 연산 스케치를 자동 생성하는 방향으로의 확장이 필요하며, 이는 보다 일반화된 전문 도메인 추론 시스템 개발의 기초가 될 것입니다.

요약하자면, TaNOS 는 "무엇을 계산할지"에 대한 구조적 힌트 (스케치) 와 "무엇을 계산할지"에 대한 어휘적 편향 제거 (익명화) 를 통해, 데이터 효율성과 도메인 일반화 능력을 동시에 극대화한 혁신적인 프레임워크입니다.