1. 문제 정의 (Problem Definition)

• 배경: 금융 분야, 특히 디지털 뱅킹에서 고객 문의 (예금, 적금, 대출 등) 를 처리하기 위해 대규모 언어 모델 (LLM) 기반 챗봇이 활발히 도입되고 있습니다.
• 핵심 문제: 기존 LLM 은 금융 문서 분석에는 어느 정도 능하지만, 실제 은행 업무에서 발생하는 구체적인 수치 추론 (Numerical Reasoning) 과 계산에서는 심각한 정확도 저하를 보입니다.
  • 오류 유형: 상품 유형 오인, 조건 적용 실패 (예: 조기 해지 시 이자율 변경), 지수 연산 및 기하급수 계산 오류 등.
  • 한계: 기존 수학 벤치마크 (GSM8K, MATH 등) 는 교육 과정 중심이며, 금융 벤치마크 (FinQA 등) 는 재무제표 분석에 치중하여, 일상적인 은행 거래 (예: 만기 수령액 계산, 상품 비교, 변동금리 대출 이자 산정) 를 포괄하지 못합니다.
• 목표: 실제 은행 상담 상황에서 발생하는 복잡한 수치 추론 과제를 평가하고, LLM 의 성능을 향상시키기 위한 도메인 특화 벤치마크 구축.

2. 방법론 (Methodology)

2.1. BankMathBench 데이터셋 구축

• 데이터 구성: 예금, 적금, 대출 등 3 가지 핵심 은행 상품을 기반으로 3 단계의 난이도로 구성되었습니다.
  • Basic (기초): 단일 상품에 대한 기본 이자/상환액 계산 (단리/복리, 등차/등비수열 등).
  • Intermediate (중급): 두 가지 이상의 상품을 비교하는 문제 (예: 예금 vs 적금, 이자율 비교).
  • Advanced (고급): 다중 조건이 복합된 시나리오 (예: 중도 해지, 변동금리 적용, 세금 공제, 조기 상환 수수료 등).
• 생성 파이프라인:
  1. 질문 생성: GPT-4o 를 활용하여 현실적인 고객 페르소나와 조건을 포함한 질문 생성.
  2. 해답 생성 및 검증: GPT-4o 와 o1-mini 를 사용하여 수식 (LaTeX) 및 실행 가능한 Python 코드로 해답을 생성. 두 모델의 결과가 일치할 때만 유효한 데이터로 채택 (자동 검증).
  3. 추론 생성: 질문, 수식, 정답을 기반으로 단계별 추론 과정 (Chain-of-Thought) 을 생성. <calc> 태그로 계산 로직을 명시하고 <result> 태그로 결과를 기록하여 외부 도구 연동을 용이하게 함.
• 데이터 규모: 한국어 및 영어로 각각 13,839 개의 문제 (훈련 11,074 개, 테스트 2,765 개) 를 포함하며, 은행 전문가 2 인이 전 과정을 검증하여 실용성과 논리적 정확성을 확보했습니다.

2.2. 실험 설계

• 평가 모델: 오픈소스 (Llama-3, Qwen, DeepSeek 등) 및 상용 (GPT-4o, Claude, Gemini) 모델 포함.
• 학습 전략:
  • Zero-shot: 사전 학습된 모델의 성능 평가.
  • SFT (Supervised Fine-Tuning): BankMathBench 데이터로 모델 미세 조정.
  • Tool-Augmented SFT: <calc> 태그로 표시된 수식을 외부 계산기 (Tool) 에 전달하여 계산 결과를 주입하는 방식의 미세 조정.

3. 주요 기여 (Key Contributions)

1. 최초의 은행 특화 수치 추론 벤치마크: 기존에 간과되었던 일상적인 은행 거래 (예금, 적금, 대출) 의 수치 추론 과제를 체계적으로 정의하고 평가할 수 있는 BankMathBench를 처음 제안했습니다.
2. 자동화된 고품질 데이터 파이프라인: LLM 과 전문가 검증을 결합하여 대규모의 정확하고 일관된 데이터셋을 생성하는 재현 가능한 파이프라인을 제시했습니다.
3. 도구 증강 학습 (Tool-Augmented Learning) 의 효과 입증: 단순 미세 조정뿐만 아니라, 계산 도구를 활용한 학습이 복잡한 금융 계산에서 정확도를 획기적으로 높인다는 것을 실증했습니다.

4. 실험 결과 (Results)

• Zero-shot 성능: 기존 수학 특화 또는 금융 특화 모델조차 BankMathBench 의 난이도가 높은 (Intermediate, Advanced) 문제에서 0~15% 대의 낮은 정확도를 보이며, 실제 은행 업무 수행에 한계가 있음을 확인했습니다.
• 미세 조정 (SFT) 효과: BankMathBench 로 학습한 오픈소스 모델은 모든 난이도에서 성능이 크게 향상되었습니다.
  • 예: Qwen3-8B 모델은 한국어 기본 난이도에서 Zero-shot 대비 42%p 향상.
• 도구 증강 (Tool-Augmented) 의 결정적 역할:
  • 성능 극대화: 도구 증강 학습을 적용한 모델은 Intermediate 난이도에서 75.1%p, Advanced 난이도에서 62.9%p의 평균 정확도 향상을 기록했습니다.
  • 오류 감소: 미세 조정만으로는 계산 오류가 발생했으나, 도구 증강을 통해 계산 정확도가 거의 100% 에 수렴했습니다.
  • 통찰: 모델은 수식 생성 능력은 학습되었으나, 복잡한 다단계 계산의 집합체에서 오류가 발생했음을 보여주며, 외부 도구의 결합이 필수적임을 증명했습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 금융 AI: BankMathBench 는 LLM 이 실제 은행 상담에서 신뢰할 수 있는 수치 답변을 제공할 수 있는지 평가하는 표준 벤치마크로 자리 잡을 것입니다.
• 실무 적용 가능성: 이 벤치마크를 통해 학습된 모델은 고객에게 정확한 이자 계산, 상품 비교, 대출 상환 계획 등을 제시할 수 있어, 디지털 뱅킹 서비스의 신뢰성과 효율성을 높이는 데 기여할 것입니다.
• 향후 연구 방향: 본 연구는 금융 도메인 특화 모델 개발과 도구 통합 학습 (Tool-integrated Learning) 의 중요성을 부각시켰으며, 향후 펀드, 보험 등 더 넓은 금융 영역으로 데이터셋을 확장할 필요가 있음을 시사합니다.

요약하자면, 이 논문은 기존 LLM 이 가진 '금융 계산'의 취약점을 해결하기 위해 실제 은행 시나리오를 반영한 고품질 벤치마크를 구축하고, 이를 통해 모델의 수치 추론 능력을 획기적으로 개선할 수 있음을 입증한 연구입니다.