기술 요약: 주석이 달린 코드를 통한 추론 기반 테이블 질의응답 (Table Question Answering)

문제 정의

테이블 질의응답(TableQA)은 자기회귀 모델(Autoregressive models)의 선형적 토큰 처리 방식과 표 데이터의 2차원 구조 사이의 근본적인 불일치로 인해 대규모 언어 모델(LLM)에 큰 도전 과제를 제시합니다. LLM은 자연어 이해에는 뛰어나지만, 구조화된 데이터 추론에는 어려움을 겪습니다. 기존 접근 방식들은 다음과 같은 구체적인 한계점을 가집니다:

• Text-to-SQL: 데이터 타입이 균질하다는 가정하에 작동하며, 실제 테이블에 포함된 혼합 데이터(예: 기호나 주석이 포함된 숫자)를 처리하는 데 실패합니다.
• 엔드 투 엔드(End-to-End) 모델: 산술 연산을 위해 암시적인 토큰 생성을 활용하므로 수치적 부정확성을 초래합니다. 또한 테이블 크기가 커짐에 따라 확장성 문제와 "중간 부분 소실(lost-in-the-middle)" 현상을 겪습니다.
• 프로그램 기반 방식 (단일 행): 코드 실행을 통해 수치적 신뢰성은 높였으나, 기존 방식(예: Repanda)은 추론 과정을 주석 없이 단일 행 표현식으로 압축하는 경우가 많습니다. 이러한 명시적인 중간 단계의 부재는 해석 가능성과 오류 분석을 저해합니다.

방법론

본 논문은 주석이 달린 단계별 코드 생성 프레임워크를 제안하며, 이는 테이블 QA 추론을 실행 가능한 Python (Pandas) 코드로 직접 연결합니다. 핵심 혁신은 코드 생성 과정 자체에 명시적인 자연어 추론 주석을 통합한 것입니다.

1. 구조화된 지시 및 출력

모델은 모든 주요 Pandas 연산 앞에 구조화된 추론 주석이 선행되는 단일 Python 함수를 생성하도록 지시받습니다. 출력 형식은 엄격하게 표준화됩니다:

• # PLAN: 전략에 대한 필수적인 고수준 요약.
• 중간 단계: 특정 데이터프레임 변환을 설명하는 선택적이지만 필수적인 주석 (예: # FILTER, # PARSING, # AGGREGATE).
• # ANSWER: return 문 이전에 결과를 요약하는 주석.
• 강건성 제약 조건: 모델이 노이즈가 있는 데이터를 처리하도록(예: pd.to_numeric(..., errors='coerce')를 사용하여 문자열 형식의 숫자로 변환, 유연한 날짜 파싱, 필요하지 않은 경우 "Total"과 같은 요약 행 무시) 명시적으로 안내합니다.

2. 학습 데이터 구축

WikiTableQuestions (WikiTQ) 데이터셋에는 중간 추론 궤적이 부족하므로, 저자들은 자가 개선(self-improvement) 파이프라인을 사용하여 학습 데이터셋을 구축했습니다:

• 생성: 강력한 모델(Qwen2.5-Coder-32B-Instruct)이 테이블-질문 쌍에 대해 주석이 달린 Pandas 솔루션을 생성합니다.
• 오류 유도 정제 (Error-Guided Refinement): 생성된 코드가 실행에 실패하거나 오답을 생성하는 경우, 모델에 에러 메시지, 정답(golden answer), 그리고 원래 입력을 제공하여 수정된 솔루션을 다시 생성하도록 유도합니다.
• 필터링: 유효한 코드 로직 없이 단순히 정답을 암기한 솔루션은 제외합니다.

3. 답변 선택 메커니즘

코드 기반 실행과 엔드 투 엔드 추론의 상호 보완적인 강점을 활용하기 위해, 저자들은 경량 **답변 선택기(Answer Selector)**를 도입합니다.

• 주어진 테이블과 질문에 대해 두 가지 후보가 생성됩니다: 하나는 제안된 코드 기반 방식에서, 다른 하나는 엔드 투 엔드 모델(Table-R1)에서 생성된 것입니다.
• 소규모 선택 모델(예: Qwen3-4B)이 입력 테이블과 질문만을 바탕으로 새로운 답을 생성하지 않고 올바른 후보를 선택하도록 학습됩니다.

주요 기여

1. 주석 기반 추론 프레임워크: 단계별 테이블 추론을 실행 가능한 Pandas 코드와 정렬하여, 추론 과정을 해석 가능하고 신뢰할 수 있게 만드는 새로운 접근 방식을 제시합니다.
2. 구조화된 지시 설계: 단일 패스 프로그램 생성 환경 내에서 명시적인 계획, 지시 이행, 강건한 데이터 처리를 강제하는 통일된 출력 형식을 구현합니다.
3. 하이브리드 통합: 추론을 실행 가능한 코드로 접지(grounding)하는 것이 수치적 신뢰성을 향상시키며, 답변 선택기를 통해 엔드 투 엔드 모델과 결합하여 최첨단(SOTA) 성능을 달 수 있음을 입증했습니다.

실험 결과

본 프레임워크는 WikiTableQuestions (WikiTQ) 벤치마크에서 Fuzzy Match (FM) 정확도를 주요 지표로 평가되었습니다.

• 기본 성능: 제안된 방식인 Qwen2.5-Coder-7B-Instruct는 **70.9%**의 정확도를 달성하여, 유사한 규모의 모델을 사용하지만 명시적인 추론 주석이 없는 Repanda 베이스라인(67.6%)을 능가했습니다.
• 스케일링: 모델 크기에 따라 성능이 향상되었으며, Qwen2.5-Coder-14B-Instruct는 **72.1%**에 도달했습니다.
• 결합 시스템: 코드 기반 방식과 엔드 투 엔드 모델인 Table-R1(단독 성능 81.7%)을 답변 선택기를 통해 통합함으로써, 시스템은 최고 **84.3%**의 정확도를 달성했습니다.
• 오류 분석: 논문은 코드 기반 접근 방식이 엔드 투 엔드 모델이 실패하는 수치 집계 작업(예: 평균 계산)에서 탁월한 성능을 보이는 반면, 엔드 투 엔드 모델은 빈 셀이나 복잡한 추론 불안정성으로 인해 코드 생성이 실패하는 지점에서 성공할 수 있음을 언급합니다. 선택기는 이러한 상호 보완적인 실패 모드를 효과적으로 완화합니다.

의의 및 주장

본 논문은 단계별로 주석이 달린 코드로 테이블 추론을 접지하는 것이 집중적인 수치 작업 및 비구조화된 테이블 형식을 처리하기 위한 확장 가능한 토대를 제공한다고 주장합니다.

• 해석 가능성: 불투명한 단일 행 쿼리와 달리, 제안된 방식은 중간 결정을 명시적으로 보여줌으로써 디버깅과 오류 분석을 용이하게 합니다.
• 수치적 정확성: 계산을 기호 실행 엔진(Pandas)에 위임함으로써, 토큰 기반 산술의 근사 오류를 극복하고 결정론적인 수치 결과를 보장합니다.
• 실용성: 이 접근 방식은 더 작은 오픈 소스 모델의 성능 격차를 좁히며, 거대한 독점 모델 없이도 실세계의 TableQA 애플리케이션을 위한 투명하고 검증 가능한 메커니즘을 제공합니다.

저자들은 본 연구가 실행 가능한 추론에 적합한 벤치마크인 WikiTQ에 주로 집중되어 있으며, 계산이 거의 필요 없는 매우 작은 테이블에는 이 방식이 덜 필요할 수 있다는 점을 언급하며 한계를 인정했습니다. 또한, 데이터셋의 노이즈(WikiTQ의 주석 오류)가 잔여 오류의 요인으로 남아 있음을 강조했습니다.