기술 요약: 테이블에서 셀까지: TABALIGN 를 통한 더 나은 추론을 위한 어텐션

1. 문제 제기

대규모 언어 모델 (LLM) 을 활용한 구조화된 테이블에 대한 다단계 추론은 계획 및 실행 단계 간 명시적인 셀-그라운딩 계약 (cell-grounding contract) 부재로 인해 빈번히 실패합니다. 기존 접근 방식은 두 가지 주요 병목 현상에 시달립니다:

1. 계획 병목 (왼쪽에서 오른쪽 편향): 자기회귀 (AR) 모델은 왼쪽에서 오른쪽으로의 분해를 통해 계획을 생성합니다. 이는 테이블의 치환 불변성(행/열의 순서가 의미를 변경해서는 안 됨) 과 상충하는 순서 민감적 사전 확률을 부과합니다. 결과적으로 AR 플래너는 초기 필터링 단계가 필요한 컨텍스트 (예: 집계 결과) 가 아직 범위 설정되지 않았기 때문에 무효인 전역적으로 불일치하는 계획을 자주 생성합니다.
2. 실행 병목 (검증되지 않은 어텐션): 기존 프로세스 보상 모델 (PRM) 은 일반적으로 생성된 콘텐츠 (어휘적 또는 의미적 품질) 나 최종 답변의 정확도에 기반하여 중간 상태를 점수화합니다. 이러한 방법들은 모델이 실제로 계획에서 지정한 올바른 셀에 어텐션했는지 여부를 간과합니다. 모델은 "단축" (잘못된 셀에 어텐션하지만 올바른 값을 유도) 하거나 콘텐츠를 할루시네이션하여 올바른 최종 답변을 생성할 수 있으며, 이는 불성실한 추론 궤적로 이어집니다.

핵심 문제는 추론자의 셀 수준 어텐션이 플래너가 지정한 증거와 정렬되었는지 검증할 메커니즘이 부재하다는 것입니다.

2. 방법론: TABALIGN

저자들은 TABALIGN을 제안합니다. 이는 마스크된 확산 언어 모델 (DLM) 플래너와 TABATTN 검증자라는 두 가지 주요 구성 요소를 통해 셀-그라운딩 계약을 구체화하는 계획된 테이블 추론 프레임워크입니다.

2.1 플래너: 양방향 DLM

AR 생성기 대신 TABALIGN 은 LLaDA-8B-Instruct를 포함한 마스크된 DLM 을 사용하여 추론 계획을 생성합니다.

• 양방향 탈노이즈: 모델은 완전히 마스크된 계획 캔버스를 양방향으로 탈노이즈합니다. 이는 후속 단계의 요구 사항이 이전 단계들을 제약하도록 하여, AR 모델이 달성할 수 없는 단계 간 의존성과 전역적 일관성을 강제합니다.
• 셀 마스크 생성: 계획 내 각 추론 단계는 [target: col] 태그로 끝납니다. 이러한 태그는 이진 셀 마스크 ($m_t \in \{0, 1\}^C$) 로 파싱되어 해당 단계가 반드시 작동해야 하는 셀을 명시적으로 지정합니다.
• 근거: 파일럿 연구 (3 절) 에 따르면, 특히 관련 셀이 희소할 때 양방향 어텐션 모델은 AR 모델보다 인간과 더 잘 정렬되고 치환에 안정적인 셀 어텐션을 생성합니다.

2.2 검증자: TABATTN

계약 이행을 위해 TABALIGN 은 1,600 개의 인간 검증 어텐션 표준으로 훈련된 경량 검증자 TABATTN을 도입합니다.

• 어텐션 중첩 점수화: 각 추론 단계 $t$에 대해 TABATTN 은 추론자 (AR 멀티모달 모델, Qwen3-VL-8B) 의 셀별 어텐션 ($a_t$) 과 계획의 지정된 마스크 ($m_t$) 간의 중첩을 계산합니다.
• 보상 신호: 보상 $R_{attn}$은 다음과 같이 계산됩니다:
  $$R_{attn}(a_t; m_t) = \frac{\sum_{c=1}^C a_t^{(c)} m_t^{(c)}}{\max(\sum_{c=1}^C a_t^{(c)}, \epsilon)}$$
  이 점수는 루프 내 피드백 신호로 작용합니다. 중첩이 낮으면 시스템이 해당 단계를 플래그하여 재샘플링을 유발하거나 비생산적인 반복을 중단시킬 수 있습니다.
• 레이블 가능성: 저자들은 셀 관련성(이 셀이 필요한가?) 이 단계 정확성(이 단계가 올바른가?) 보다 더 레이블이 가능한 감독 대상이라고 주장합니다. 전자는 확신 있는 이진 결정을 허용하는 반면, 후자는 종종 모호한 "불확실" 판단을 요구하기 때문입니다.

2.3 실행 흐름

1. 계획: DLM 이 명시적인 셀 마스크를 포함한 단계별 청사진을 생성합니다.
2. 실행: AR 추론자가 계획을 단계별로 실행하며 작업에 따라 모드 (텍스트 또는 이미지) 를 선택합니다.
3. 검증: 각 단계 후 TABATTN 이 어텐션 중첩을 점수화합니다. 점수가 정체되거나 낮으면 시스템이 개입합니다.
4. 종료: 어텐션 점수가 두 연속 단계에서 임계값 ($\delta=0.02$) 만큼 개선되지 않으면 정체 중단 메커니즘이 프로세스를 중단하고 발견된 최고 점수 답변을 출력합니다.

3. 주요 기여

1. 셀 수준 어텐션 파일럿 연구: 저자들은 확산을 통한 양방향 어텐션 메커니즘이 AR 어텐션보다 인간과 더 잘 정렬되고 치환에 안정적임을 입증했습니다. 동일한 LLM-as-a-judge 파이프라인 하에서 셀 관련성 레이블은 단계 정확성 레이블 (73.2% 일치) 보다 훨씬 더 레이블이 가능함 (93.0% 일치) 을 보여주었습니다.
2. TABALIGN 프레임워크: 양방향 DLM 플래너와 어텐션 중첩 검증자 (TABATTN) 를 짝지은 새로운 아키텍처입니다. 이 프레임워크는 콘텐츠 기반 보상이 놓친 그라운딩 실패를 명시적으로 포착하고, 최적화된 DLM 계획을 활용하여 열 할루시네이션을 줄입니다.
3. 실증적 검증: Table QA 및 사실 검증 등을 포괄하는 여덟 가지 다양한 테이블 추론 벤치마크에서 8B 파라미터 규모와 비교 가능한 일관된 성능 향상을 달성했습니다.

4. 실험 결과

여덟 가지 벤치마크 (WTQ, MMQA, TabMWP, TAT-QA, HiTab, FeTaQA, TabFact, InfoTabs) 에서 평가:

• 정확도 향상: TABALIGN 은 여섯 가지 정확도 기반 벤치마크에서 평균 정확도 **90.62%**를 달성했습니다. 이는 가장 강력한 오픈소스 베이스라인 (Ovis2 의 TableDART, 74.86%) 보다 15.76 퍼센트 포인트 (pp) 개선된 것이며, 가장 강력한 단일 모드 베이스라인 (Qwen3-VL-8B, 74.27%) 보다 16.35 pp의 향상을 보입니다.
• 애블레이션 연구:
  • 플래너 선택: 고정된 추론자 백본에서 AR 플래너를 DLM 플래너로 교체하면 2.87 pp의 향상을 보이며, 이는 DLM 의 우수한 계획 능력에 기인한 부분입니다.
  • 보상 신호: TABATTN(어텐션 기반) 을 사용하면 콘텐츠 기반 보상 (예: TABROUGE) 보다 정확도가 4.8 pp 향상되며, 수치 및 구조적으로 밀집된 작업에서 가장 큰 향상을 보입니다.
  • 효율성: DLM 계획은 더 느리지만 (AR 계획 6.0 초 대비 78.0 초), 더 깨끗한 계획으로 인해 하류 추론 실행 시간이 44.64% 감소합니다 (102.6 초에서 56.8 초로). 이는 상당한 정확도 향상과 함께 총 월클록 시간을 순 24% 증가시킵니다.
• 오류 감소: 이 프레임워크는 스키마 할루시네이션을 줄입니다 (열 할루시네이션 비율이 75.0% 에서 45.9% 로 하락) 그리고 궤적 길이를 22% 단축합니다.

5. 중요성 및 주장

이 논문은 TABALIGN 이 테이블 추론의 근본적인 "셀-그라운딩 계약" 격차를 해결한다고 주장합니다. 계획 (양방향 DLM 을 통해) 과 실행 (어텐션 검증을 통한 AR) 을 분리함으로써, 이 프레임워크는 추론 단계가 우연적인 콘텐츠 중첩에 의존하는 것이 아니라 의도된 증거에 기반하도록 보장합니다.

저자들은 다음과 같은 점을 강조합니다:

• 양방향 어텐션의 중요성: 테이블의 순서 불변성을 처리하기 위해서는 양방향 사전 훈련의 치환 안정성과 인간 정렬이 필수적입니다.
• 어텐션이 더 나은 감독 신호: 테이블 추론의 중간 단계에서 모델이 무엇을 말하는지 (콘텐츠 유사성) 검증하는 것보다 모델이 어디를 보는지 (어텐션 중첩) 검증하는 것이 더 효과적이고 레이블이 가능합니다.
• 확장성: 이 프레임워크는 8B 규모에서 효과적으로 작동하며, 거대한 파라미터 확장이 필요 없이 더 큰 독점 모델 및 복잡한 궤적 최적화 에이전트보다 우수한 성능을 보입니다.

이 연구는 구조화된 데이터에 대한 더 해석 가능하고 감사 가능한 AI 추론을 향한 한 걸음으로, 다단계 에이전트에서의 궤적 드리프트 및 할루시네이션 축적을 줄이는 데 기여합니다.