기술 요약: RealFin – 사용자가 생략한 정보를 다룰 때 LLM 의 금융 추론 능력은 얼마나 우수한가?

1. 문제 제기

현재 금융 분야 대형 언어 모델 (LLM) 평가는 치명적인 결함을 안고 있습니다. 즉, 모든 질문이 완전히 명시되어 있고 단일 정답이 존재한다는 폐쇄적 세계 가정 (closed-world assumption) 하에 운영된다는 점입니다. 그러나 실제 금융 실무에서는 문제가 종종 불완전하게 명시 (under-specified) 되어 있습니다. 규제 기준, 시간 범위, 회계 규칙, 거시경제 가정과 같은 핵심 전제가 암시적이거나 누락되는 경우가 빈번합니다.

이러한 '조건 누락' 질문에 직면했을 때, 현재 LLM 은 다음과 같은 경향을 보입니다:

1. 과도한 확신 (Over-commit): 학습된 기본값이나 학습 데이터 편향을 통해 누락된 부분을 조용히 채워 넣으며 확신에 찬 답변을 생성합니다.
2. 거부 실패 (Fail to Abstain): 질문이 논리적으로 불완전하며 제공된 정보만으로는 유효한 답을 도출할 수 없다는 인식적 자각 (epistemic awareness) 이 부족합니다.
3. 모호성 오해: 특히 중국어에서는 문맥 의존적 용어가 누락된 조건을 가릴 수 있어, 이 실패가 두드러집니다. 이로 인해 모델은 그럴듯하지만 근거 없는 결론을 환각 (hallucinate) 하게 됩니다.

이 논문은 신뢰할 수 있는 금융 AI 는 정보가 충분할 때만 올바르게 답변하는 것을 넘어, 누락된 조건을 식별하고 답변을 유보 (abstain) 할 수 있어야 한다고 주장합니다.

2. 방법론

A. REALFIN 벤치마크

저자들은 불완전한 정보 하에서의 금융 추론을 평가하도록 설계된 REALFIN이라는 이중 언어 (영어/중국어) 벤치마크를 소개합니다.

• 데이터셋 구축: 1,178 개의 전문적이고 잘 구성된 시험형 질문 (영어는 CFA 스타일, 중국어는 CPA 스타일) 을 기반으로 하여, 저자들은 수동으로 짝을 이루는 '조건 누락' 버전을 생성했습니다.
• 조건 제거: 논리적으로 필수적인 전제를 체계적으로 제거하되, 남은 텍스트가 언어적으로 그럴듯하도록 보장했습니다. 제거된 조건은 네 가지 범주로 분류되었습니다:
  1. 초기 가정: (예: 이자율 체제, 인플레이션 기대치).
  2. 중간 연결 조건: (예: CAPM/DCF 와 같은 특정 가치 평가 모델, 헤지 논리).
  3. 제약 정의 정보: (예: 금융 약정, 우선순위 속성).
  4. 표준 선택 단서: (예: IFRS 대 GAAP, 규제 체계).
• 작업 구성: 벤치마크는 세 가지 다른 설정 하에서 모델을 평가합니다:
  1. 원본 (완전 조건): 완전한 정보를 가진 표준 QA.
  2. 수정본 (조건 누락): 전제가 제거된 질문; 모델은 명확히 하거나 고유한 답의 불가능성을 인식해야 합니다.
  3. 모두 아님 (NOTA): 수정본 세트의 정답 옵션을 '모두 아님 (None of the Above)'으로 대체합니다. 이는 모델이 '가장 가능성 높은' 옵션을 추측하는 대신 누락된 정보를 명시적으로 식별하도록 강제합니다.

B. 실험 설정

• 평가된 모델: 15 개의 LLM 이 테스트되었으며, 다음과 같이 분류됩니다:
  • 범용: (예: GPT-5.1-mini, Claude-3.5-Sonnet, DeepSeek-V3).
  • 금융 특화: (예: XuanYuan3-70B, Fin-R1-7B, DISC-FinLLM).
  • 추론 강화: (예: DeepSeek-R1, GPT-OSS 시리즈, DianJin-R1).
• 평가 프로토콜: reason, answer, confidence 를 요구하는 엄격한 JSON 출력 형식을 사용한 제로샷 (zero-shot) 설정.
• 지표: 원본 대 수정본 세트의 정확도, 그리고 누락된 전제를 올바르게 식별하는지 확인하는 새로운 추론 정확도 (Reasoning Accuracy) 지표 대 (정답인 NOTA 를 선택하는) 답변 정확도 (Answer Accuracy).

3. 주요 기여

1. RealFin 벤치마크: 불완전하게 명시된 문제에 대한 금융 추론을 체계적으로 평가하는 최초의 데이터셋으로, 학술적 벤치마크와 실제 세계의 모호성 사이의 간극을 메웁니다.
2. 이중 언어 평가: 영어 (CFA) 와 중국어 (CPA) 금융 분야를 포괄하는 종합적인 데이터셋으로, 모델 행동에서 상당한 교차 언어적 차이를 드러냈습니다.
3. 새로운 평가 패러다임: 단순한 답변 정확도를 넘어 인식적 신중함 (epistemic caution) —즉, 누락된 정보를 감지하고 정당화될 때 답변을 거부하는 능력—을 평가하는 방향으로 전환합니다.
4. 종합적 모델 분석: 범용, 특화, 추론 강화 모델 간의 엄격한 비교를 통해, 도메인 특화 파인튜닝이 과도한 확신 (over-commitment) 문제를 자동으로 해결하지 못함을 강조합니다.

4. 주요 결과

A. 성능 저하 및 과도한 확신

• 범용 모델: 놀랍게도 범용 모델 (예: GPT-5.1-mini, Claude-3.5) 은 수정본 작업에서 금융 특화 모델보다 종종 더 나은 성과를 보였습니다. 그러나 이 '성공'은 대부분 암묵적 가정 정합 때문이었습니다. 즉, 누락된 조건을 우연히 맞히거나 학습 데이터 기본값에 의존하여 추측했을 뿐, 누락된 정보를 인식한 것은 아니었습니다.
• 금융 특화 모델: 초기 금융 모델 (예: DISC-FinLLM, FinGPT) 은 성능이 저조했으며, 종종 누락된 조건을 인식하지 못하고 답변을 강요하기 위해 도메인 지식을 적극적으로 검색하여 NOTA 설정에서 거의 0% 에 가까운 정확도를 보였습니다.
• 추론 강화 모델: Fin-R1-7B와 같은 모델은 우수한 성능을 보였습니다. 누락된 전제를 식별하고 적절할 때 답변을 유보 (NOTA 선택) 하는 데 더 능숙했습니다. 그러나 때로는 '과도한 추론 (over-reasoning)'으로 인해 누락된 조건을 식별한 후에도 긴 가설적 시나리오를 생성하기도 했습니다.

B. 중국어 CPA 의 '데드 존 (Dead Zone)'

• 중요한 발견은 중국어 특유의 실패 양상입니다. 중국어 CPA 작업에서 모델 (대형 모델조차) 은 조건 누락 질문에 답변하지 못하는 '데드 존'을 보였으며, 복잡한 계산에서 종종 0% 에 가까운 점수를 받았습니다.
• 원인: 중국어 금융 용어는 문맥 의존도가 매우 높습니다. 조건이 제거되면 남은 텍스트가 종종 일관된 문장을 형성하여 모델을 공격적이고 근거 없는 추론을 하도록 오도합니다.

C. 답변과 추론 간의 격차

• 답변 정확도 대 추론 정확도: NOTA 설정에서 많은 모델이 올바른 '모두 아님' 옵션을 선택했지만, 왜 선택했는지 설명하지 못했습니다 (낮은 추론 정확도).
  • 예시: GPT-OSS-120B 는 영어 NOTA 에서 약 89% 의 답변 정확도를 달성했지만, 추론 정확도는 약 20% 에 불과했습니다. 이는 논리적 간극을 이해하지 못한 채 '안전한' 옵션으로 NOTA 를 선택한 경우입니다.
• 신뢰도 불일치: 모델은 추론이 결함이 있거나 추측 중일 때조차 종종 높은 신뢰도 (예: >90%) 를 보였습니다.

D. 규모 확대가 문제를 해결하지 못함

• 모델 크기 증가 (예: 20B 에서 120B 파라미터로) 는 답변 정확도를 향상시켰지만 추론 격차는 악화시켰습니다. 더 큰 모델은 근거 없는 가정에 대해 더 확신하게 되어 과도한 확신이 증가했습니다.

5. 중요성 및 함의

• 신뢰성 재정의: 이 논문은 신뢰할 수 있는 금융 LLM 이 세 가지 기준을 충족해야 한다고 주장합니다: (1) 정보가 충분할 때 올바르게 답변, (2) 조건이 부재할 때 누락된 조건 식별, (3) 유효한 답이 없을 때 답변 유보.
• 자동화의 위험: 잘 구성된 질문에 대한 답변 정확도만 측정하는 현재 벤치마크는 고위험 금융 의사결정에서 LLM 의 신뢰성을 위험하게 과대평가합니다.
• 향후 방향: 저자들은 특화 SFT(전문 지식용) 와 논리 기반 RL(추측을 처벌하고 누락된 정보의 명시적 식별을 보상) 을 결합한 학습 파이프라인을 제안합니다. 또한 수동적 거절에서 적극적 명확화로 전환하여 모델이 누락된 데이터를 사용자에게 요청하도록 제안합니다.

결론: RealFin 은 현재 LLM 이 크기와 도메인 특화 여부와 상관없이 '해결 가능'과 '해결 불가능'한 금융 문제를 구분하는 데 어려움을 겪음을 보여줍니다. 금융 분야의 진정한 신뢰성은 필요한 정보가 누락되었을 때 확신에 찬 환각으로 해결책을 제시하기보다, "모르겠다"라고 말할 수 있는 겸손을 갖춘 모델에서 나옵니다.