기술 요약: CRAFT – 통합된 반사실적 추론 프레임워크

1. 문제 정의

표 추론(Table reasoning)은 대규모 언어 모델(LLM)에게 여전히 중요한 과제로 남아 있으며, 특히 길고 구조화된 표 데이터를 대상으로 다단계 추론이 필요한 작업에서 그러합니다. 기존의 접근 방식은 주로 모델이 가설을 생성하고 이를 표와 대조하여 검증하는 **단방향 추론(single-direction reasoning)**에 의존합니다. 이러한 단방향 방식은 모델이 대안적인 가설을 탐색하는 능력을 제한하며, 이로 인해 오류를 감지하거나 반대 시나리오를 고려하지 못하는 취약한 추론으로 이어지는 경우가 많습니다. 또한, 현재의 방법들은 서로 다른 백본 LLM 간의 성능 격차 문제를 겪고 있으며, 표 질의응답(Table QA)과 표 사실 검증(Table Fact Verification, FV)을 하나의 패러다임 아래 통합하는 데 어려움을 겪고 있습니다.

2. 방법론: CRAFT 프레임워크

저자들은 QA와 FV 모두에 적용 가능한 일반적인 프레임워크로 표 추론을 재구성한 통합적 양방향 검증 프로세스인 CRAFT(Counterfactual Reasoning Framework, 반사실적 추론 프레임워크)를 제안합니다. 이 프레임워크는 네 가지 협력 모듈을 통해 작동합니다.

2.1 Rewriter (재작성기)

Rewriter는 개방형 표 QA 작업을 정보가 풍부하고 검증 가능한 선언적 문장으로 변환합니다.

• 메커니즘: 정답(ground truth)에 접근하지 않고도 질문의 의미론으로부터 예상되는 답변 유형(예: 숫자, 시간, 불리언)을 추론합니다. 그 후, 표에서 유형에 일치하는 후보 값을 샘플링하여 선언적 문장($S$)을 생성합니다.
• 목표: 이를 통해 QA와 FV 사이의 간극을 메워, 두 작업 모두를 문장 기반의 검증 문제로 처리할 수 있게 합니다.

2.2 Reverser (역전기)

Reverser는 선언적 문장 $S$를 바탕으로 최적의 반사실적 문장($R^*$)을 구성합니다.

• 메커니즘: 단순한 이진 부정(binary negation) 대신, Reverser는 다양한 반사실적 방향을 탐색합니다. 규칙 기반 템플릿을 사용하여 후보 반사실적 문장들을 생성하고, 생성된 SQL 스타일의 검증 프로그램의 복잡도(추론 공간의 구조적 확장을 대리 지표로 사용)를 평가하여 가장 최적의 후보($R^*$)를 선택합니다.
• 목표: 초기 전제를 도전하고 대안적인 시나리오를 탐색하는 보완적인 추론 경로를 구축합니다.

2.3 Extractor (추출기)

Extractor는 원래의 문장($S$)과 반사실적 문장($R^*$) 모두에 대해 표에 근거한 단계별 추론을 수행합니다.

• 메커니즘: 두 가지 추론 궤적, 즉 $Trace(S)$와$Trace(R^)$를 생성합니다. 이 궤적들로부터 증거 항목($e$)을 추출하고, 표 및 질문 맥락과의 논리적 일관성을 평가합니다. 유효한 증거는 증거 집합$E(S)$와$E(R^)$를 형성하도록 축적됩니다.
• 목표: 필수적인 뒷받an 증거를 추출하고, 사실적 가정과 반사실적 가정 하에서의 후보 답변($A_1$ 및 $A_2$)을 생성합니다.

2.4 Rethinker (재사고기)

Rethinker는 증거와 후보 답변을 종합하여 최종 결정을 내립니다.

• 메커니즘: 만약 $A_1$과 $A_2$가 일치하면 해당 답변을 반환합니다. 두 답변이 다를 경우, 모듈은 각 (답변, 증거) 쌍에 대해 자기 일관성(self-consistency) 점수를 계산합니다. 가중치 결정 규칙을 사용하며, 모호한 경우에는 추론 일관성을 테스트하기 위해 반대되는 증거 하에서 후보를 재평가합니다.
• 목표: 양방향 추론 경로로부터 얻은 증거의 강도를 가중치로 두어, 최종적으로 검증된 결정을 합성합니다.

3. 주요 기여

1. 통합 프레임워크: CRAFT는 표 QA와 표 사실 검증을 공유된 반사실적 추론 패러다임 아래 통합한 최초의 프레임워크이며, 작업별 파이프라인 엔지니어링의 필요성을 제거했습니다.
2. 양방향 추론: 선언적 문장과 반사실적 문장을 명시적으로 구축하고 추론함으로써, 이 프레임워크는 단방향 추론의 한계를 극복하고 LLM이 더 휴리스틱하고 식별력 있는 추론을 하도록 유도합니다.
3. 모델 간 견고성: 이 프레임워크는 서로 다른 백본 LLM 간의 성능 격차를 유의미하게 완화하며, 반사실적 추론이 모델 특정 최적화가 아닌 일반적인 휴리스틱임을 입증합니다.

4. 실험 결과

저자들은 다양한 백본 LLM(Deepseek-R1-14B, Qwen2.5-72B, Llama3.3-70B, GPT-5-mini)을 사용하여 두 가지 표준 데이터셋인 WikiTQ(Table QA)와 TabFact(Fact Verification)에서 CRAFT를 평가했습니다.

• 성능 향상: CRAFT는 대표적인 베이스라인들(Chain-of-Table, Table-Critic, Binder 포함)을 지속적으로 능가했습니다.
  • WikiTQ에서 평균 정확도 **82.4%**를 달성하여, 가장 강력한 베이스라인보다 4.7포인트 높았습니다.
  • TabFact에서 **94.6%**를 달성하여, 가장 강력한 베이스라인보다 1.1포인트 높았습니다.
• 모델 불가지론적 특성(Model Agnosticism): 주목할 점은, CRAFT를 사용할 때 모델 간의 성능 계층이 역전되었다는 것입니다. 예를 들어, 일반적인 설정에서는 Qwen이 Llama보다 우세하지만, CRAFT를 사용했을 때는 Llama3.3-70B가 Qwen2.5-72B를 앞질렀습니다.
• 절제 연구(Ablation Studies):
  • Rewriter와 Reverser 모듈 모두 긍정적으로 기여했으며, 두 모듈의 조합이 최상의 결과를 냈습니다.
  • 개선 효과는 단순히 반복적인 샘플링 때문이 아니었습니다. CRAFT는 Self-Consistency 및 신뢰도 가중 투표(Confidence-Weighted voting) 방식보다 우수한 성능을 보였으며, 이는 추론의 '양'보다 추론의 '방향'(다양한 의미 영역 탐색)이 더 중요하다는 것을 나타냅니다.
  • 프레임워크는 다양한 표 크기에 걸쳐 우수한 견고성을 보였으며, 특히 단방향 추론이 저하되기 쉬운 대규모 표에서 뛰어난 성능을 보였습니다.

5. 의의 및 주장

본 논문은 CRAFT가 구조적 추론 작업에 대해 더 원칙적인 패러다임을 구축한다고 주장합니다. 반사실적 분석을 명시적으로 통합함으로써, 이 프레임워크는 LLM이 고정된 추론 패턴에서 벗어나 더 견고하고 증거에 기반한 추론을 하도록 돕습니다.

저자들은 반사실적 추론이 단방향 추론의 취약성을 효과적으로 해결한다고 강조합니다. 프레임워크가 상당한 가능성을 보여주지만, 저자들은 다음과 같은 한계점을 겸허히 인정합니다:

• 실험은 표 데이터의 긴 컨텍스트 요구 사항으로 인해 14B 이상의 대규모 모델으로 제한되었습니다.
• 현재 구현은 표 추론에 특화되어 있으며, 의미적 일관성을 보장하기 어려운 텍-기반 QA와 같은 다른 도메인으로 일반화하는 것은 여전히 과제로 남아 있습니다.
• Rethinker 모듈은 효과적이긴 하지만, 아직 반사실적 추론의 잠재력을 완전히 실현하지 못했으며 추가적인 정교화가 필요합니다.

결론적으로, CRAFT는 반사실적 추론을 통해 LLM이 대안적인 가설을 탐색하도록 유도하는 것이 구조화된 데이터 이해를 향상시키는 실행 가능하고 효과적인 전략임을 입증합니다.