💻 computer science

Enhancing Table Reasoning with Deterministic Table-State Rewards

본 논문은 학습된 모델이나 외부 실행기에 의존하지 않고 중간 상태에 대해 확장 가능하고 쿼리 기반의 피드백을 제공함으로써 대규모 언어 모델의 다단계 테이블 추론 정확도를 획기적으로 향상시키기 위해, 최장 공통 부분 수열에 기반한 학습이 없는 결정적 보상 지표인 TABROUGE 와 RE-TAB 프레임워크를 소개합니다.

원저자: Tung Sum Thomas Kwok, Xinyu Wang, Hengzhi He, Xiaofeng Lin, Peng Lu, Liheng Ma, Chunhe Wang, Chun Ho Mak, Yuyu Luo, Ying Nian Wu, Lei Ding, Guang Cheng

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tung Sum Thomas Kwok, Xinyu Wang, Hengzhi He, Xiaofeng Lin, Peng Lu, Liheng Ma, Chunhe Wang, Chun Ho Mak, Yuyu Luo, Ying Nian Wu, Lei Ding, Guang Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

간단한 언어와 창의적인 비유를 사용하여 이 논문을 설명합니다.

문제: "소스에 빠진" 에이전트

복잡한 퍼즐을 해결하려고 매우 똑똑하지만 약간 건망증이 있는 조수 (대형 언어 모델) 를 상상해 보세요. 여러분은 그들에게 거대한 스프레드시트 (표) 와 "20 점 이상으로 팀이 이긴 경기 수는 몇 건인가?"와 같은 질문을 줍니다.

조수는 표를 잘게 쪼개고, 행을 필터링하며, 숫자를 단계별로 계산하여 이를 해결하려고 시도합니다. 그러나 큰 문제가 하나 있습니다. 조수는 최종 답을 내놓기 전까지는 자신이 잘하고 있는지 알 수 없습니다.

조수가 실수로 잘못된 행을 삭제하거나 관련 없는 데이터를 유지하면, 마지막 순간까지 자신의 실수를 깨닫지 못합니다. 그때가 되면 이미 늦었습니다. 마치 요리사가 국에 재료를 계속 넣고 맛을 보지 않다가, 끝에서 너무 짜다는 것을 깨닫는 것과 같습니다. 논문은 이를 "침묵하는 누적 오류"라고 부릅니다. 조수는 자신감 있게 길을 잃고 잘못된 방향으로 나아갑니다.

해결책: 데이터를 위한 "GPS"

저자들은 RE-TAB이라는 새로운 시스템과 TABROUGE이라는 특정 도구를 소개합니다. 이것들을 조수의 작업을 위한 GPS 와 "품질 점수판"으로 생각하세요.

이 시스템은 답이 맞는지 마지막까지 기다리는 대신, 매 단계마다 조수의 작업을 점검합니다.

1. TABROUGE: "관련성 점수판"

TABROUGE 는 사람이 직접 보거나 복잡한 컴퓨터 프로그램이 코드를 실행할 필요 없이 조수의 현재 표 상태를 평가하는 교묘하고 수학적인 방법입니다.

작동 원리: 표를 간단한 문장 목록 (예: "A 열은 55 이다", "B 열은 27 이다") 으로 변환한 다음, 이 목록을 원래 질문과 비교합니다.
비유: 도서관에서 특정 책을 찾고 있다고 상상해 보세요.
- 나쁜 단계: 조수는 요리 책이 대부분인 책 수레를 꺼내지만, 역사 책은 거의 없습니다. TABROUGE 은 질문의 "역사"라는 단어가 수레에 없으므로 이 작업에 낮은 점수를 줍니다.
- 좋은 단계: 조수는 요리 책을 치우고 역사 책만 남깁니다. TABROUGE 은 수레가 요청 사항을 완벽하게 충족하므로 높은 점수를 줍니다.
특별한 점: 이는 "결정론적"으로, 동일한 데이터에 대해 항상 동일한 점수를 매깁니다. 추측하거나 학습하지 않으며, 현재 표가 질문과 얼마나 잘 일치하는지 단순히 계산할 뿐입니다. 또한 "불필요한 과다" (쓸모없는 것을 너무 많이 유지하는 것) 를 벌점 처리하여 조수가 표를 깔끔하고 집중되게 유지하도록 장려합니다.

2. RE-TAB: "스마트 내비게이터"

RE-TAB 은 TABROUGE 을 사용하여 조수를 안내하는 프레임워크입니다. 이는 두 가지 주요 작업을 수행합니다.

단계별 피드백: 조수가 이동 (예: "행 필터링") 을 수행한 후, RE-TAB 은 즉시 TABROUGE 점수를 보여줍니다. 점수가 떨어지면 조수는 "아, 잘못된 방향으로 갔구나"라고 알고 다른 시도를 할 수 있습니다.
테스트 시간 확장 ("다시 시도" 전략): 때로는 조수가 여전히 혼란스러울 수 있습니다. RE-TAB 은 조수가 문제를 여러 번 해결하게 합니다 (서로 다른 "경로"나 "궤적" 생성). 그런 다음 TABROUGE 점수를 사용하여 단순히 추측하거나 신뢰도에 기반하여 투표하는 대신, 답으로 가는 최고의 경로를 선택합니다.

결과: 더 똑똑하고 더 빠름

이 논문은 이 시스템을 작은 오픈소스 모델부터 거대한 최첨단 모델에 이르기까지 여섯 가지 다른 AI 모델과 세 가지 다른 유형의 표 퍼즐로 테스트했습니다.

정확도 향상: 평균적으로 이 "점수판"을 추가함으로써 정확도가 26.7 퍼센트 포인트 향상되었습니다. 이는 고군분투하던 조수를 최상위 수행자로 바꾸는 엄청난 도약입니다.
효율성: 시스템이 올바른 경로를 찾았을 때를 알기 때문에, 20 가지 다른 해결책을 시도하는 시간을 낭비할 필요가 없습니다. 이전 방법보다 33% 적은 시도로 올바른 답을 찾았습니다.
학습 불필요: 가장 좋은 점은 AI 모델을 다시 학습시킬 필요가 없다는 것입니다. 이 "점수판" 시스템을 연결하기만 하면 즉시 작동합니다.

함정 (한계점)

저자들은 그들의 "점수판"이 완벽하지 않다고 솔직하게 인정합니다. 깊은 의미를 이해하는 대신 단어 매칭 (어휘 매칭) 에 의존하기 때문에, 다음과 같은 경우 혼란을 겪을 수 있습니다.

조수가 질문과 비슷하게 들리지만 실제로는 유용하지 않은 "미끼"로 보이는 다른 이름으로 열을 변경할 때.
조수가 질문에서 "수익"을 요구했지만 "이익"을 계산하는 등, 질문과 다른 단어를 사용하지만 정확한 새로운 숫자를 계산할 때.

그러나 논문은 이러한 실수가 드물며, 시스템이 대부분의 실제 세계 표 퍼즐을 효과적으로 처리할 만큼 강력함을 보여줍니다.

요약

간단히 말해, 이 논문은 AI 에이전트들이 요리하는 동안 수프의 맛을 보도록 가르칩니다. 매 단계마다 답에 더 가까워지고 있는지 알려주는 간단하고 즉각적인 점수판 (TABROUGE) 을 제공함으로써, 에이전트들은 길을 잃지 않고 더 정확하게 문제를 해결하며 시간을 낭비하지 않게 됩니다.

기술 요약: 결정론적 테이블 상태 보상을 통한 테이블 추론 강화

문제 제기

대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 은 구조화된 테이블에 대한 다단계 추론에 어려움을 겪습니다. 핵심 문제는 중간 추론 상태에 대한 명시적 지도 (supervision) 가 부족하다는 점입니다. 도구 사용 에이전트 (예: Chain-of-Table, Tree-of-Table) 에서 에이전트는 필터, 프로젝트, 정렬, 집계, 조인 등의 일련의 작업을 통해 테이블을 조작합니다. 이러한 중간 테이블의 품질을 평가할 신호가 없으면 오류가 조용히 누적됩니다. 에이전트는 쿼리와 관련된 증거를 누락하거나, 관련 없는 내용을 유지하거나, 작업을 과도하게 적용할 수 있습니다.

기존 솔루션들은 이를 깔끔하게 해결하지 못합니다:

최종 답변 보상은 중간 변환을 안내하기에 너무 희소합니다.
실행기 기반 검증기는 복잡한 작업 (예: 다중 테이블 조인 또는 개방형 분석) 에 사용할 수 없는 실행 가능한 환경 (예: SQL 실행기) 을 필요로 합니다.
학습된 보상 모델은 비용이 많이 드는 선호도 데이터를 필요로 하며 도메인 간에 취약합니다.
의미적 유사도 보상 (임베딩 기반) 은 종종 긴 직렬화된 테이블을 잘라내어 상태 정보를 파괴하고, 정확한 수치 또는 기호적 차이를 포착하지 못합니다.

방법론

본 논문은 훈련이 필요 없는 결정론적 접근법을 사용하여 이러한 격차를 해결하기 위해 TABROUGE와 RE-TAB 프레임워크를 소개합니다.

1. TABROUGE: 결정론적 상태 보상

TABROUGE 는 텍스트 요약에서 사용되는 최장 공통 부분 수열 (LCS) 지표를 테이블 상태 평가에 적용한 것입니다.

메커니즘: 각 행동 후, 중간 테이블 상태 $T_{l+1}$ 은 "[헤더] 는 [값]" 형식을 사용하여 결정론적 텍스트 시퀀스로 직렬화됩니다.
점수 산정: 보상은 직렬화된 테이블의 길이로 정규화된 쿼리 $Q$ 와 직렬화된 테이블 간의 LCS 로 계산됩니다:
$r_{\text{TABROUGE}}(a_l, T_{l+1}, Q) = \frac{\text{LCS}(Q, \text{Enc}(T_{l+1}))}{|\text{Enc}(T_{l+1})|}$
설계 근거:
- 어휘적 정밀도: 임베딩과 달리 잘림 없이 정확한 수치 및 기호 문자열을 보존합니다.
- 구조적 무결성: 순서 보존 LCS 는 행 단위 헤더 - 값 결합을 보상하며, 이는 단어 주머니 (bag-of-words) 지표 (예: BM25) 가 놓치는 부분입니다.
- 해킹 방지: 분모는 "불필요한 팽창" (예: 쿼리 토큰의 중복) 을 처벌하여, "반복 열" 해킹이 분자와 분모를 동일한 비율로 증가시키므로 수익성이 없도록 만듭니다.

2. RE-TAB: 훈련이 필요 없는 프레임워크

RE-TAB 은 TABROUGE 를 두 가지 수준의 제어를 위한 플러그 - 앤 - 플레이 신호로 활용합니다:

단계별 피드백: 스칼라 보상은 각 행동 후 프롬프트에 추가되어, 토큰 신뢰도뿐만 아니라 누적 상태 품질에 따라 다음 단계를 조건화합니다. 또한 롤링 분산 정지 기준으로 작용합니다. 보상 신호가 안정화될 때 (분산이 임계값 아래로 떨어짐), 에이전트는 탐색을 중단하고 답변을 확정합니다.
궤적 수준 선택 (테스트 시간 확장): 에이전트는 여러 개의 독립적인 추론 궤적을 샘플링합니다. 집계된 상태 지도 신호 (단계 보상의 합) 를 사용하여 가장 좋은 궤적 ( $\tau^*$ ) 을 순위 매기고 선택하며, 이는 표준 행동 신뢰도 투표 또는 균일 다수결 투표를 대체합니다.

주요 기여

TABROUGE: 학습된 모델이나 실행기가 필요 없는 결정론적 쿼리 - 상태 보상입니다. 이는 직렬화된 테이블 상태에 특화되어 쿼리 - 테이블 쌍에 기반한 확장 가능한 신호를 제공합니다.
RE-TAB 프레임워크: TABROUGE 를 단계별 피드백과 궤적 순위 매김에 모두 통합하는 2 단계 구현입니다. 이는 기존 도구 사용 에이전트를 감싸는 "훈련이 필요 없는" 래퍼로 작동합니다.
실증적 검증: 소형 오픈 가중치 모델부터 GPT-5.4 와 같은 최첨단 모델까지 6 개의 백본과 WTQ, MMQA, MMTU 의 3 개 벤치마크에 대한 포괄적인 평가.
실패 모드 분석: 어휘적 지도가 신뢰할 수 있는 영역과 실패할 수 있는 영역 (예: 재구문화 과소 보상, 열 이름 변경) 에 대한 상세한 특성 분석을 통해 적용 범위를 제시합니다.

결과

정확도 향상: 6 개의 백본과 3 개의 벤치마크에서 RE-TAB 은 보상 없는 기준선 대비 **평균 26.7 퍼센트 포인트 (pp)**만큼 정확도를 향상시킵니다.
효율성: 이 프레임워크는 행동 신뢰도 투표에 비해 95% 정확도에 도달하는 데 필요한 테스트 시간 확장 (TTS) 샘플 수를 최대 **33%**까지 줄입니다.
학습된 모델과의 비교: 학습된 매개변수가 없음에도 불구하고, TABROUGE 는 5 개 평가 세트 중 4 개에서 Qwen2.5-Math-PRM-72B 및 TaTToo 와 같은 학습된 프로세스 보상 모델 (PRM) 의 성능과 일치하거나 초과합니다.
후속 훈련 가능성: TABROUGE 를 보상 신호로 사용하는 그룹 상대 정책 최적화 (GRPO) 를 이용한 예비 실험은 훈련이 필요 없는 프레임워크 대비 추가 8.34 pp의 향상을 보여주어, 정책 수준 미세 조정에서의 유용성을 시사합니다.
강건성: 이 방법은 중간 상태 실패가 지속되는 최첨단 모델을 포함한 다양한 모델 크기에서 효과적으로 유지됩니다.

중요성과 주장

본 논문은 TABROUGE 를 보편적 의미 검증기가 아닌, 직렬화된 테이블 상태 지도에 국한된 결정론적 제어 신호로 위치시킵니다. 그 중요성은 다음과 같습니다:

확장성: 비용이 많이 드는 실행기나 대규모 선호도 데이터 수집 없이 테이블 추론을 위한 기반 신호를 제공합니다.
투명성: 중간 상태의 품질을 지도함으로써 테이블 추론에 대한 "세계 모델" 관점을 명시화하여, 테이블 에이전트를 비전 및 언어 에이전트에서 사용되는 상태 기반 추론과 정렬합니다.
실용성: 기본 모델을 재훈련하지 않고 기존 도구 사용 에이전트의 추론 품질을 향상시키고 토큰 비용을 줄이는 "플러그 - 앤 - 플레이" 솔루션을 제공합니다.

저자들은 TABROUGE 가 고정된 직렬화에 의존하며 의미적으로 정확하지만 어휘적으로 불일치하는 상태 (예: 재구문화 또는 단위 변환) 를 과소 보상할 수 있음을 인정합니다. 그러나 궤적 내 상대적 순위 신호로서 이러한 문제가 headline 의 이득을 무효화하지 않으며, 대부분의 테이블 추론 작업에 대해 이 방법이 여전히 신뢰할 수 있다고 주장합니다.