💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

본 논문은 오류가 발생하기 쉬운 자연어 추론 대신 실행 검증이 가능한 파이썬 프로그램을 사용하여 대규모 언어 모델의 신뢰할 수 있는 수치 추론 능력을 소형 학생 모델로 전이하는 골드 가이드 프로그래매틱 증류 프레임워크를 제안하며, 이를 통해 TAT-QA 금융 추론 벤치마크에서 최첨단 성능을 달성한다.

원저자: Yun Dong, Erica Zhao, Elana Chen

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yun Dong, Erica Zhao, Elana Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한, 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 퍼즐의 절반은 이야기 속에 적혀 있고, 나머지 절반은 엉망진창인 스프레드시트 안에 숨겨져 있습니다. 이것이 금융 관련 질문에 답하려는 컴퓨터의 일상입니다. 오랫동안 과학자들은 컴퓨터에게 수학 시험을 치르는 학생이 풀이 과정을 평서문으로 써 내려가는 것처럼, 자신의 단계를 영어로 써내도록 가르쳐서 컴퓨터가 "생각"하는 법을 가르쳐 왔습니다. 이것을 "사고 사슬(Chain-of-Thought)"이라고 부릅니다. 하지만 여기 함정이 있습니다. 컴퓨터는 문장을 쓰는 동안 머릿속으로 계산을 하려고 하면 매우 서툽니다. 그들은 자주 주의가 산만해지거나, 숫자를 섞어버리거나, 그럴듯하게 들리지만 틀린 답을 지어내곤 합니다. 이는 마치 뛰어난 스토리텔러에게 인간 계산기 역할까지 해달라고 요청하는 것과 같습니다. 그들은 대개 수학 부분에서 실패합니다.

이를 해결하기 위해, 연구자들은 컴퓨터에게 문장 대신 코드를 작성하도록 가르치기 시작했습니다. 코드는 컴퓨터가 혼란 없이 완벽하게 따를 수 있는 엄격한 레시피와 같습니다. 하지만 새로운 문제가 생겼습니다. 작고 빠른 컴퓨터에게 완벽한 레시피를 쓰는 법을 어떻게 가르칠 것인가 하는 점입니다. 왜냐하면 당신이 가진 유일한 스승은 때때로 여전히 실수를 저지르는 거대하고 느린 컴퓨터뿐이기 때문입니다. 만약 스승이 나쁜 레시피를 준다면, 제자는 잘못된 방식을 배우게 됩니다. 이 논문은 바로 그 문제를 다룹니다. 질문은 이렇습니다. 우리가 작은 컴퓨터가 스승의 완벽한 레시피로부터만 배울 수 있게 하고, 스승이 틀린 것을 수정하도록 도와준다면, 그 작은 컴퓨터를 수학의 달인으로 키울 수 있을까요?

황금 레시피 북

조지아 공대와 스탠퍼드 연구진은 "Gold-Guided Programmatic Distillation"이라 불리는 영리한 2단계 계획을 고안해 냈습니다. 이것을 마스터 셰프(스승, 거대한 720억 파라미터 모델)가 젊은 견습생(학생, 더 작은 70억 파라미터 모델)에게 복잡한 금융 요리를 하는 법을 가르치는 것이라고 생각해 보세요.

1단계: 엄격한 필터
보통 스승이 제자에게 무언가를 가르칠 때는 단순히 "내가 이렇게 했단다"라고 말합니다. 하지만 이 세계에서는 스승도 실수를 할 수 있습니다. 그래서 연구진은 마법 같은 "골드 가이드(Gold Guide)"를 추가했습니다. 스승이 레시피(파이썬 프로그램)를 쓰기 전에, 정답지를 비밀리에 먼저 보여주는 것입니다. 그러면 스승은 정확히 그 정답에 도달하는 레시피를 쓰려고 시도합니다.

여기서 마법 같은 기술이 나옵니다. 연구진은 단순히 스승의 말을 믿지 않았습니다. 그들은 스승이 쓴 모든 레시피를 엄격한 "맛 테스트"(코드를 실행하는 컴퓨터 프로그램)에 통과시켰습니다. 만약 레시피에 오타가 있거나, 오류가 발생하거나, 정확한 숫자가 나오지 않는다면 모두 쓰레기통에 버려졌습니다. 오직 완벽하게 작동하고 골드 정답과 일치하는 레시피만이 특별한 "황금 레시피 북"에 저장되었습니다. 작은 학생은 오직 이 완벽한 레시피들로만 학습되었습니다. 이를 통해 학생이 나쁜 습관을 배우지 않도록 보장했습니다.

2단계: 컴백 투어
하지만 거대한 스승조차 작동하는 레시피를 쓸 수 없는 어려운 질문들은 어떻게 될까요? 스승은 그냥 포기할 것이고, 그러면 그 문제들은 해결되지 않은 채 남게 됩니다. 연구진은 그 문제들을 남겨두고 싶지 않았습니다. 그들은 "회복 단계(Recovery Stage)"를 도입했습니다.

연구진은 스승이 실패한 질문들을 가져와서 학생에게 다시 시도해 보라고 요청했습니다. 학생은 동일한 질문에 대해 다섯 가지의 서로 다른 가능한 레시피를 생성합니다. 이전과 마찬가지로, 다섯 가지 모두를 맛 테스트에 통과시켰습니다. 만약 학생의 레시피 중 하나라도 완벽하게 작동한다면, 그것을 저장했습니다. 이는 학생이 스승이 해결하지 못한 문제들을 스스로 해결하는 법을 배우는, 즉 자신의 성공으로부터 스스로를 가르치는 법을 의미했습니다. 그런 다음 그들은 이 새롭게 발견된, 완벽한 레시피 묶음을 가지고 학생을 다시 학습시켰습니다.

결과: 작지만 강하다

연구진은 표와 텍스트가 섞여 있는 유명한 금융 퍼즐 세트인 TAT-QA를 통해 테스트를 진행했습니다. 그들은 이 특별한 훈련을 받은 작은 학생을 거대한 스승, 기존의 컴퓨터 모델들, 그리고 다른 스마트한 AI 시스템들과 비교했습니다.

결과는 놀라웠습니다. 이 특별한 훈련을 받은 작은 학생은 "Exact Match"(정답을 정확히 맞히는 척도)에서 87.00, "F1"(정답에 얼마나 근접했는지를 보는 척도)에서 87.18을 기록했습니다.

이를 비교해 보자면 다음과 같습니다:

골드 가이드 힌트가 있었음에도 불구하고, 거대한 720억 파라미터 스승은 78.46을 기록했습니다.
이전 최고의 AI 시스템(TAT-LLM)은 82.67을 기록했습니다.
훈련받지 않은 작은 학생은 낮은 46.33에서 시작했습니다.

작은 학생은 단순히 따라잡은 것이 아니라, 거대한 스승과 기존의 최고 시스템들을 실제로 이겼습니다. 연구진은 학생이 특히 어려운 부분, 즉 표와 이야기 양쪽에서 발견되는 숫자들로 수학 계산을 하는 부분에서 매우 뛰어나다는 것을 발견했습니다.

이것이 중요한 이유

이 논문은 이 방법이 거대한 모델의 막대한 컴퓨팅 자원 없이도 작은 컴퓨터를 신뢰할 수 있는 수학 모델로 만드는 강력한 방법임을 시사합니다. 모든 실수를 걸러내고 학생이 스스로 회복한 성공으로부터 배우게 함으로써, 그들은 똑똑하면서도 정밀한 시스템을 만들어냈습니다.

하지만 저자들은 이 문제가 100% 해결된 것은 아니라고 조심스럽게 언급합니다. 최고의 학생이라 할지라도 여전히 몇 가지 오류가 존재합니다. 예를 들어, 답은 맞지만 단위(예: "백만" vs "십억")가 틀리거나, 답 자체가 틀린 경우입니다. 하지만 이전과 비교했을 때, 오류의 수는 수백 개에서 백 개 조금 넘는 수준으로 극적으로 줄어들었습니다.

연구진은 이 "골드 가이드(Gold-Guided)" 접근 방식이 유망한 길이라고 결론지었습니다. 그들은 미래에 시스템이 단순한 조회(lookup)를 사용할지 혹은 복잡한 코드 레시피를 사용할지를 스스로 결정할 수 있게 되어, 금융 AI를 더욱 유용하고 신뢰할 수 있게 만들 수 있을 것이라고 제안합니다. 현재로서는, 그들은 잘 훈련된 작은 로봇이 숫자를 계산할 때 정제되지 않은 거대한 로봇보다 더 똑똑할 수 있음을 증명해 냈습니다.

기술 요약: 금융 추론을 위한 골드 가이드 프로그래매틱 증류 (Gold-Guided Programmatic Distillation)

문제 정의

하이브리드 표(tabular) 및 텍스트 데이터 기반의 금융 질의응답(QA)은 정보의 통합과 정밀한 수치 계산이라는 이중 과제를 안고 있습니다. 대규모 언어 모델(LLM)은 사고 사슬(Chain-of-Thought, CoT) 프롬프팅을 통해 중간 추론 단계를 생성할 수 있지만, 자연어 기반의 근거(rationale)는 산술적 환각(arithmetic hallucination)에 취약합니다. 이러한 불확실성으로 인해 자유 형식의 텍스트는 더 작은 모델로 추론 능력을 증류하기 위한 감독 소스로서 효과적이지 못합니다. 프로그램 기반 사고(Program-of-Thought, PoT) 방식은 외부 인터프리터에 계산을 위임함으로써 산술 오류를 완화하지만, 신뢰할 수 있는 추론 흔적(trace)을 대규모 교사 모델에서 경량 학생 모델로 전이하는 것은 여전히 어렵습니다. 특히 중간 추론 과정이 불완전하거나 교사 모델이 복잡한 예제를 해결하지 못하는 경우 더욱 그러합니다.

방법론

저자들은 실행 검증된 파이썬 프로그램을 사용하여 대규모 교사 모델로부터 신뢰할 수 있는 수치 추론을 경량 학생 모델로 전이하도록 설계된 골드 가이드 프로그래매틱 증류(Gold-Guided Programmatic Distillation) 프레임을 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다.

1. 교사 주도 증류 (1단계)

골드 가이드 합성 (Gold-Guided Synthesis): 대규모 교사 모델(Qwen2.5-72B-Instruct)은 금융 QA 작업을 해결하기 위해 실행 가능한 파이썬 프로그램을 합성합니다. 결정적으로, 정확한 다단계 계산을 보장하기 위해 프롬프트에 **골드 유도 과정(gold derivations, 정답 근거 단계)**을 주입하여 교사를 가이드합니다.
실행 검증 (Execution Verification): 생성된 프로그램은 샌드박스 환경의 파이썬 인터프리터에서 실행됩니다. 컴파일 오류 없이 실행되며 정확한 스케일(scale)을 포함하여 정확한 골드 수치 정답을 산출하는 프로그램만을 선별합니다.
학생 학습 (Student Training): 경량 학생 모델(Qwen2.5-7B-Instruct)은 필터링된 고품질 데이터셋을 사용하여 저차원 적응(LoRA) 방식으로 지도 미세 조정(SFT) 학습을 진행합니다. 학생 모델은 골드 유도 과정 없이 오직 문맥과 질의에만 의존하여 프로그램을 생성하는 법을 학습합니다.

2. 반복적 회복 및 자기 개선 (2단계)

실패 사례 재검토 (Revisiting Failures): 교사가 해결하지 못한 예제들은 실패 집합( $D_{wrong}$ )으로 분류됩니다.
학생 샘ming (Student Sampling): 1단계의 학생 모델은 이러한 어려운 예제들에 대해 높은 디코딩 온도(decoding temperature)를 사용하여 여러 후보 프로그램을 샘플링합니다.
회복 필터링 (Recovery Filtering): 후보들은 동일한 실행 기반 검증 과정을 거칩니다. 실행이 올바르게 수행되고 골드 정답을 산출하는 프로그램들은 회복 집합( $D_{rec}$ )에 추가됩니다.
정교화 (Refinement): 학생 모델은 확장된 데이터셋( $D_{Total} = D_T \cup D_{rec}$ )을 통해 두 번째 LoRA 미세 조정을 거치며, 이를 통해 교사의 원래 범위를 넘어서는 실행 검증된 자기 생성 흔적으로부터 학습합니다.

추론 (Inference)

추론 단계에서 훈련된 학생 모델은 주어진 질의에 대해 실행 가능한 프로그램을 생성합니다. 파이썬 인터프리터가 이 코드를 실행하여 최종 수치 정답을 도출하며, 이를 통해 모든 산술 연산이 모델의 내부 로직이 아닌 결정론적인 코드 실행을 통해 수행되도록 보장합니다.

핵심 기여

골드 가이드 프로그래매틱 증류: 정답 유도 과정을 활용하여 교사 측의 프로그램 합성을 가이드함으로써, 오직 고품질의 실행 검증된 프로그램만이 증류에 사용되도록 보장하는 새로운 프레임워크를 제시합니다.
반복적 회복 메커니즘: 거부 샘플링 미세 조정(RFT) 및 STaR의 확장형으로서, 학생 모델이 교사가 해결하지 못한 예제로부터 솔루션을 회복하고 통합할 수 있게 하여 감독 신호를 확장합니다.
실행 검증 기반 감독: 신뢰할 수 없는 자연어 근거 대신 실행 가능한 코드를 감독 신호로 대체하여, 금융 추론에서의 산술 오류 문제를 직접적으로 해결합니다.

실험 결과

본 프레임워크는 하이브리드 표 및 텍스트 금융 추론 벤치마크인 TAT-QA 데이터셋을 통해 평가되었습니다.

성능: 최적의 성능을 보인 학생 모델(Attention+MLP LoRA 적응을 적용한 Q-wen2.5-7B)은 테스트 세트에서 87.00 Exact Match (EM) 및 87.18 F1을 달성했습니다.
비교: 이 결과는 다음 모델들을 실질적으로 상회합니다:
- 유도 힌트가 제공된 72B 교사 모델 (78.46 EM).
- 가장 강력한 기존 LLM 기반 베이스라인인 TAT-LLM (82.67 EM).
- TAGOP와 같은 태스크 특화 베이스라인 (47.05 EM).
- 튜닝되지 않은 7B 학생 모델 (46.33 EM).
구성 요소의 영향:
- 교사 품질: 교사에게 골드 유도 과정을 제공했을 때 교사 자체의 성능이 69.55에서 78.46 EM으로 증가하였으며, 이는 증류된 데이터셋의 품질을 직접적으로 향상시켰습니다.
- LoRA 구성: Attention과 MLP 투영 레이어를 모두 적응시키는 것이 Attention 전용 적응보다 일관되게 우수한 성능을 보였습니다.
- 2단계 회복: 반복적 회복 단계는 Attention+MLP 모델의 테스트 EM을 84.72(1라운드)에서 87.00(2라운드)으로 개선하여, 교사가 실패한 예제를 회복하는 것의 가치를 입증했습니다.
오류 분석: 본 프레임워크는 베이스라인 대비 정답 예측, 스케일 예측, 그리고 결합 실패(joint failures) 유형의 오류를 유의미하게 감소시켰으며, 특히 혼합된 표 및 텍스트 증거에 대한 추론이 필요한 작업에서 가장 큰 이득을 보였습니다.

의의 및 주장

본 논문은 실행 검증된 프로그래매틱 증류가 더 작은 모델이 신뢰할 수 있는 수치 추론을 수행하도록 훈련하는 데 있어 효과적이고 확장 가능한 프레임워크를 제공한다고 주장합니다. 산술의 부담을 결정론적인 코드 실행으로 전환하고 골드 유도 과정을 통해 감독 데이터를 필터링함으로써, 저자들은 경량 모델이 복잡한 금융 QA 작업에서 훨씬 더 큰 교사 모델을 능가할 수 있음을 보여주었습니다.

저자들은 이 접근 방식이 강력한 개선을 가져오지만, 모든 유형의 오류(정답 예측, 스케일, 결합 실패)를 완전히 해결하는 것은 아니며, 평가가 프로그램 생성이 가능한 TAT-QA의 필터링된 서브셋에 한정되어 있다는 점을 겸허히 언급했습니다. 향후 연구로는 프로그래매틱 추론이 필요한 질의와 단순 추출이 필요한 질의를 구분하는 태스크 인지 라우팅 메커니즘을 탐구하고, FinQA 및 ConvFinQA와 같은 더 넓은 금융 벤치마크에서 프레임워크를 평가하는 것을 제안했습니다.