Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training

이 논문은 금융 도메인 특화 데이터의 품질과 난이도/검증 가능성 프로파일이 모델 성능을 결정한다는 점을 실증적으로 입증하고, 고품질 CoT 증류와 난이도 인식 샘플링을 통해 구축한 ODA-Fin-RL-8B 모델이 동급 오픈소스 금융 LLM 들을 능가하는 성능을 보인다고 주장합니다.

핵심

이 논문은 **"거대 인공지능 (LLM) 을 금융 전문가로 만들기 위해, 더 큰 두뇌를 만드는 것보다 '더 좋은 교재'를 만드는 것이 훨씬 중요하다"**는 놀라운 사실을 증명했습니다.

기존에는 AI 가 똑똑해지려면 파라미터 (두뇌 크기) 를 키우는 데 집중했지만, 이 연구는 **"데이터의 질과 난이도"**가 핵심이라고 말합니다. 마치 명문대 입시생에게 무작정 두꺼운 책 (방대한 데이터) 을 주는 것보다, **정확한 해설이 달린 문제집 (고품질 데이터)**을 주고 **오답이 많은 어려운 문제 (난이도 조절)**로 훈련시키는 것이 훨씬 효과적이라는 뜻입니다.

이 연구의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 핵심 철학: "질 좋은 교재 vs 두꺼운 책"

기존의 금융 AI 는 방대한 금융 뉴스와 문서를 그냥 쑤셔 넣어서 학습시켰습니다. 하지만 금융은 숫자 계산이 정확해야 하고, 사실 오류가 나면 큰 손실이 발생합니다.

• 기존 방식: "이 책 100 권 다 읽어봐. 대충 이해하면 돼." (데이터 양만 많음)
• 이 연구의 방식: "이 문제집 31 만 8 천 개는 **정답과 풀이 과정 (CoT)**이 완벽하게 적혀 있어. 그리고 오답률이 높은 어려운 문제 1 만 2 천 개는 특히 집중해서 풀어봐."

연구진은 오픈소스 자료만 모아서 3 단계의 정제 과정을 거쳤습니다.

1. 중복 제거: 같은 내용 반복 제거.
2. 추론 합성: "정답만" 있는 문제를 "왜 그런지 단계별로 설명하는" 문제로 바꿈. (예: "주가 하락" → "금리 인상 뉴스가 나오자 투자 심리가 위축되어 하락함")
3. 검증: AI 가 만든 설명이 사실과 다른지, 수학 계산이 맞는지 **엄격한 심판 (Verifier)**을 통해 걸러냄.

2. 훈련 과정: "수업 (SFT)"과 "실전 연습 (RL)"

이 연구는 AI 를 훈련시키는 과정을 두 단계로 나눴습니다.

1 단계: 수업 (SFT - 지도 학습)

• 비유: 명강사의 해설이 달린 문제집을 주어 기초를 다지는 단계입니다.
• 내용: 31 만 8 천 개의 데이터를 AI 가 스스로 추론 과정을 따라가며 학습하게 했습니다.
• 효과: AI 가 단순히 정답을 외우는 게 아니라, **"왜 이 답이 나왔는지 논리적으로 생각하는 법"**을 배웠습니다.

2 단계: 실전 연습 (RL - 강화 학습)

• 비유: 실전 모의고사를 치르면서, 틀린 문제를 집중적으로 반복하는 단계입니다.
• 전략: AI 가 쉽게 풀 수 있는 쉬운 문제는 제외하고, AI 가 50% 이상 틀리는 '어렵지만 정답이 명확한' 문제만 골라냈습니다.
• 핵심: 너무 긴 답안 (예: 긴 에세이) 은 심판이 확인하기 어렵기 때문에, **짧고 명확한 답 (16 토큰 이내)**으로 제한했습니다. 이렇게 하면 AI 는 "어떻게든 길게 써서 점수 따기" 같은 편법을 쓰지 않고, 정확한 계산과 논리에 집중하게 됩니다.

3. 놀라운 결과: "작은 두뇌가 거인보다 낫다"

이렇게 훈련시킨 ODA-Fin-RL-8B라는 모델은 다음과 같은 결과를 냈습니다.

• 크기: 80 억 개 파라미터 (중형 모델).
• 비교 대상: 320 억 개 파라미터 (거대 모델) 나 다른 전문 금융 AI 들.
• 결과: 80 억 모델이 320 억 모델보다 더 잘했습니다. 특히 숫자 계산과 복잡한 금융 논리 문제에서 압도적인 성적을 거두었습니다.

이는 **"데이터의 질이 모델의 크기보다 훨씬 중요하다"**는 것을 증명합니다. 좋은 교재와 훈련 방식을 쓰면, 작은 AI 도 거대 AI 를 이길 수 있다는 뜻입니다.

4. 교훈: "무작정 섞지 마세요"

연구진은 흥미로운 실수도 했습니다.

• 시도: 금융 데이터에 일반 수학 문제나 일반적인 추론 데이터를 섞어서 훈련시켰습니다.
• 결과: 성적이 떨어졌습니다.
• 이유: 금융은 단순한 수학이 아니라, **회계 기준이나 시장 상황이라는 '특수한 문맥'**이 필요합니다. 일반 수학 문제를 섞으면 AI 가 금융 특유의 뉘앙스를 잊어버리고 혼란스러워하는 것입니다. (비유: 축구 선수를 키우는데 농구 공을 섞어주면 선수가 헷갈리는 것과 같음)

요약

이 논문은 **"AI 를 금융 전문가로 만들려면, 더 많은 데이터를 주지 말고 '정제된 데이터'와 '어려운 문제'를 주라"**고 말합니다.

• 데이터: 양보다 질 (정답과 풀이 과정이 명확한 데이터).
• 훈련: 쉬운 문제는 제외하고, AI 가 고민해야 하는 '어렵지만 정답이 확실한' 문제로만 훈련.
• 결과: 작은 모델도 최고의 성과를 낼 수 있음.

이 연구는 앞으로 AI 개발이 **"더 큰 모델을 만드는 것"에서 "더 좋은 데이터를 만드는 것"**으로 패러다임이 바뀌고 있음을 보여줍니다. 연구진은 이 데이터와 모델을 공개하여 누구나 이 '고품질 교재'로 AI 를 훈련할 수 있게 했습니다.

기술 요약

논문 요약: Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training

이 논문은 금융 분야에 특화된 대형 언어 모델 (LLM) 의 성능 향상을 위해 모델 구조의 변경보다는 데이터의 품질과 학습 전략에 초점을 맞춘 데이터 중심 (Data-Centric) 접근법을 제시합니다. 저자들은 금융 도메인의 특수성 (전문 용어, 엄격한 수치 추론, 사실적 오류에 대한 낮은 허용도) 을 고려하여, 후학습 (Post-training) 데이터의 품질과 난이도/검증 가능성 프로파일이 성능을 결정짓는 핵심 요소임을 실증했습니다.

1. 연구 배경 및 문제 정의

• 문제점: 기존 LLM 은 일반 도메인에서는 뛰어난 성능을 보이지만, 금융과 같은 수직적 도메인 (Vertical Domain) 에서는 전문 용어의 밀도, 정밀한 수치 추론 요구사항, 그리고 사실적 환각 (Hallucination) 에 대한 낮은 허용도로 인해 배포가 어렵습니다.
• 기존 접근법의 한계: 과거에는 모델 아키텍처 수정이나 파라미터 스케일링 (Model-Centric) 에 집중했으나, 최근 데이터의 품질이 모델 복잡도보다 중요하다는 인식이 대두되고 있습니다. 하지만 금융 컨텍스트에서 '고품질 데이터'가 무엇인지에 대한 체계적인 이해가 부족했습니다.
• 핵심 가설: 금융 도메인에서 성능은 알고리즘의 혁신보다는 후학습 데이터의 품질, 난이도, 검증 가능성에 의해 결정됩니다.
  • SFT 단계: 고순도 데이터와 고품질 추론 흔적 (CoT) 이 강력한 지시 추종 및 도메인 지식 기반을 형성함.
  • RL 단계: 검증 가능한 난이도 높은 샘플 (Hard-but-verifiable) 선택이 SFT 의 한계를 극복하고 복잡한 추론 능력을 향상시킴.

2. 방법론 (Methodology)

저자들은 두 단계의 데이터 구축 파이프라인을 제안하고 이를 통해 모델을 학습시켰습니다.

2.1 데이터 구축 (Data Engineering)

• 데이터 소스: HuggingFace 와 Github 의 25 개 이상의 오픈소스 저장소에서 697,034 개의 원시 금융 데이터를 수집 (Raw Pool).
• ODA-Fin-SFT-318k (SFT용 데이터):
  • 의미적 중복 제거 (Semantic Deduplication): 임베딩 기반 방법으로 중복 데이터 제거.
  • 추론 합성 (Reasoning Synthesis): 추론 과정이 없는 Q&A 쌍을 Qwen3-235B-Thinking 모델을 이용해 단계별 CoT(Chain-of-Thought) 로 변환. 기존 고품질 CoT 데이터도 통합.
  • 적응형 검증 (Length-Adaptive Verification):
    • 짧은 답변 (분류, 수치 계산): CompassVerifier-7B 를 사용한 규칙 기반 검증.
    • 긴 답변 (복잡한 분석): Qwen3-235B-Instruct 를 사용한 논리적 일관성 및 사실성 검증.
    • 검증에 실패하거나 너무 어려운 샘플은 제거.
  • 토큰 길이 필터링: 16,384 토큰을 초과하는 샘플 제거.
  • 최종 318,000 개의 고품질 CoT 데이터셋 구축.
• ODA-Fin-RL-12k (RL 용 데이터):
  • SFT 모델의 성능을 기반으로 각 샘플의 난이도를 평가 (실패율 > 50% 인 샘플 선별).
  • 온라인 검증의 신뢰성을 위해 최종 답변 토큰 길이를 16 토큰 이하로 제한하여 검증 가능한 데이터만 선별.
  • 총 12,000 개의 난이도 높고 검증 가능한 데이터셋 구축.

2.2 모델 학습 (Model Training)

• 기반 모델: Qwen3-8B (및 Qwen2.5-7B).
• SFT (지도 미세조정): ODA-Fin-SFT-318k 를 사용하여 고품질 CoT 추론 능력을 학습.
• RL (강화학습):
  • 알고리즘: GRPO (Group Relative Policy Optimization) 사용.
  • 보상 함수 (Reward):
    • 형식 보상: <thought> 태그의 올바른 사용 여부.
    • 정확도 보상: CompassVerifier-7B 를 활용한 정답 검증 (정답 시 1.0, 오답/무효 시 0.5).
    • 최종 보상: 형식 점수와 결과 승수의 곱.
  • 데이터 필터링: 검증 가능한 짧은 답변 (16 토큰 이하) 만을 사용하여 보상 신호의 노이즈를 최소화.

3. 주요 기여 (Key Contributions)

1. 다단계 증류 및 검증 프로토콜: 원시 금융 데이터를 고품질 CoT 데이터로 변환하는 체계적인 파이프라인을 제시 (의미적 중복 제거, 대규모 모델 기반 추론 합성, 길이 적응형 검증).
2. 금융 RL 에 대한 심층 분석: 검증기 설계와 보상 정밀도 - 다양성 트레이드오프를 연구하여, 난이도 높고 검증 가능한 샘플 선택이 안정적인 성능 향상에 필수적임을 입증.
3. 오픈소스 데이터셋 및 모델 공개:
   • ODA-Fin-SFT-318k: 318k 개의 SFT 데이터셋.
   • ODA-Fin-RL-12k: 12k 개의 RL 데이터셋.
   • ODA-Fin-RL-8B: 학습된 모델.
   • 모든 데이터는 기존 오픈소스 리소스만으로 구성되었으며, 독점 데이터에 의존하지 않음.

4. 실험 결과 (Results)

9 개의 벤치마크 (일반 금융 이해, 감성 분석, 수치 추론) 에서 Qwen3-8B 기반의 ODA-Fin-RL-8B 모델을 평가했습니다.

• 종합 성능: 8B 파라미터 규모 오픈소스 모델 중 최고 (SOTA) 성능을 기록 (평균 점수 74.6%). 파라미터가 4 배 큰 Qwen3-32B(74.7%) 와 거의 대등한 성능을 보이며, 기존 금융 특화 모델 (FinMA, Xuanyuan 등) 을 압도했습니다.
• 수치 추론 능력: 금융 보고서의 복잡한 수치 계산 및 논리 추론이 필요한 태스크 (FinQA, TaTQA, ConvFinQA) 에서 압도적인 성능 향상을 보였습니다. 특히 TaTQA 에서 89.3% 를 기록하여 Qwen3-8B(87.1%) 와 DianJin-R1-7B(82.0%) 를 크게 상회했습니다.
• RL 의 효과: SFT 모델 (ODA-Fin-SFT-8B, 72.1%) 대비 RL 적용 후 평균 점수가 74.6% 로 상승했으며, Finova(+6.8 점) 와 FinQA(+3.5 점) 에서 특히 큰 개선을 보였습니다.
• Ablation Study (데이터 구성 분석):
  • 원시 데이터의 위험: 고능력 모델 (Qwen3-8B) 에 원시 데이터를 학습시키면 성능이 오히려 급격히 저하됨 (노이즈 영향).
  • 완전 증류 CoT 의 우위: 원시 데이터나 일부 CoT 를 섞는 것보다, 검증된 고품질 CoT 데이터 (318k) 로만 학습하는 것이 가장 효과적이었음.
  • 데이터 증류의 부정적 전이: 일반 수학 데이터나 일반 CoT 데이터를 금융 데이터에 섞으면 오히려 도메인 특화 능력이 저하됨 (Negative Transfer).

5. 의의 및 시사점 (Significance)

• 데이터 중심 AI 패러다임의 입증: 금융 도메인에서는 데이터의 양이나 모델 크기보다는 데이터의 품질, 난이도, 검증 가능성이 성능의 상한선을 결정합니다. 체계적인 데이터 공학 (Data Engineering) 이 단순한 모델 스케일링보다 더 효과적입니다.
• 추론 능력의 진화: RL 을 통해 모델을 단순한 지식 검색기에서 전문적인 추론 전문가로 전환할 수 있음을 보였습니다. 특히 '검증 가능한 난이도 높은 샘플'을 학습시키는 전략이 복잡한 금융 분석 능력을 키우는 핵심입니다.
• 도메인 특화 데이터의 중요성: 도메인 외의 고품질 데이터 (일반 수학 등) 를 무분별하게 섞는 것은 오히려 성능을 저하시킬 수 있으므로, 도메인 정렬된 데이터 큐레이션이 필수적입니다.

이 연구는 금융 AI 연구의 패러다임을 '모델 중심'에서 '데이터 중심'으로 전환하는 데 기여하며, 공개된 데이터셋과 모델을 통해 재현 가능한 연구를 장려합니다.