1. 문제 제기 (Problem Statement)

실제 금융 의사결정은 기업의 펀더멘털 (Fundamentals, 예: SEC 공시 자료, 재무제표) 과 시장 동학 (Market Dynamics, 예: 가격 및 거래량 기반의 트레이딩 시그널) 이라는 이질적인 두 가지 정보원을 통합하여 추론하는 복잡한 과정입니다.

• 기존 벤치마크의 한계: 기존 금융 질문 응답 (QA) 벤치마크 (FinQA, TAT-QA 등) 는 주로 재무제표나 텍스트 기반의 수치 추론에 집중하고 있습니다.
• 핵심 결여: 현재 대다수의 벤치마크는 역사적 가격 데이터에서 도출된 트레이딩 시그널 (모멘텀, 변동성 등) 에 대한 추론을 평가하지 않으며, 펀더멘털과 시장 행동 간의 상호작용 (Hybrid Reasoning) 을 평가하지 못합니다.
• LLM 의 현실: 실제 사례 (예: 2025 년 7 월 엔비디아 주가 조정 여부 판단) 에서 LLM 들은 펀더멘털 데이터는 잘 처리하지만, 가격 추이 기반의 트레이딩 시그널을 해석하거나 두 정보를 결합하여 투자 결정을 내리는 데 실패하는 것으로 나타났습니다.

2. 방법론 (Methodology)

저자들은 FinTradeBench라는 새로운 벤치마크를 제안하며, 이를 구축하기 위해 'Calibration-then-Scaling (검증 후 확장)' 프레임워크를 도입했습니다.

가. 데이터 및 신호 설계

• 범위: NASDAQ-100 에 포함된 기업들의 10 년간 (2015~2025) 역사적 데이터.
• 정보원 통합:
  1. 펀더멘털 (Fundamentals): SEC 10-K/10-Q 공시에서 추출한 수익성, 레버리지, 가치 평가 비율 등.
  2. 트레이딩 시그널 (Trading Signals): 일별 OHLCV(시가, 고가, 저가, 종가, 거래량) 데이터에서 계산된 모멘텀, 변동성, 이동평균, 드로우다운 등.
• 질문 분류 (Taxonomy):
  1. F-type: 펀더멘털 중심 추론.
  2. T-type: 트레이딩 시그널 중심 추론.
  3. FT-type (Hybrid): 두 가지 신호를 통합한 교차 추론.

나. 벤치마크 구축 파이프라인

1. 시드 질문 생성 (Seed Construction): 금융 전문가가 150 개의 시드 질문을 작성하고, 각 질문에 'Golden Indicators (정답에 필수적인 핵심 지표)'를 부여합니다.
2. 다중 모델 생성 및 자기 필터링: 여러 LLM 이 다양한 프롬프트 (TELeR Taxonomy 기반) 로 답변을 생성하고, 각 모델이 자신의 답변 중 사실적 정확성과 추론 완전성을 기준으로 최선의 답변을 스스로 선택합니다.
3. 자동 수치 감사 (Numerical Audit): 독립적인 LLM 감사가 생성된 답변의 수치적 주장이 데이터베이스와 일치하는지 검증합니다.
4. Human-LLM Judge 정렬 (Calibration): 금융 전문가와 LLM 감사가 동일한 기준 (Likert 척도) 으로 답변을 평가하여, LLM 감사가 인간 전문가와 높은 일치도 (MAE < 10%) 를 보이도록 프롬프트를 조정합니다.
5. 확장 (Scaling): 정렬된 LLM 감사를 이용해 1,400 개의 질문으로 벤치마크를 확장합니다.

다. 실험 설정

• 평가 대상: 14 개의 다양한 LLM (대형, 중형, 소형, Proprietary 및 Open-source 포함).
• 조건: Zero-shot (RAG 없음) 과 Retrieval-Augmented Generation (RAG, 검색 증강 생성) 환경 비교.
• RAG 아키텍처: 비정형 텍스트 (SEC 문서) 와 정형 시계열 데이터 (가격 차트) 를 동시에 처리하기 위한 Dual-Track Retrieval Engine을 설계했습니다.

3. 주요 기여 (Key Contributions)

1. FinTradeBench 벤치마크 출시: 펀더멘털과 트레이딩 시그널을 통합적으로 평가하는 최초의 대규모 벤치마크 (1,400 개 질문) 를 제시했습니다.
2. 새로운 평가 프레임워크: 전문가의 시드 질문, 다중 모델 생성, 자기 필터링, 수치 감사, 인간-LLM 감사 정렬을 결합한 신뢰성 높은 벤치마크 구축 프로세스를 제안했습니다.
3. RAG 의 양면성 발견: 금융 분야에서 RAG 가 텍스트 기반 정보에는 긍정적이지만, 수치/시계열 데이터 기반 추론에는 오히려 방해가 될 수 있음을 실증했습니다.

4. 실험 결과 (Results)

가. RAG 의 영향 (RAG vs. No-RAG)

• 펀더멘털 (F-type) 및 하이브리드 (FT-type) 질문: RAG 가 성능을 매우 크게 향상시켰습니다. (예: R1-Distill-Qwen 은 F-type 에서 37%, FT-type 에서 55.1% 향상). SEC 문서와 같은 텍스트 기반 정보는 LLM 의 사전 지식과 잘 결합되어 환각을 줄이고 정확도를 높였습니다.
• 트레이딩 시그널 (T-type) 질문: RAG 는 성능을 저하시켰습니다. (예: Gemini 2.5 Flash-Lite 는 19.7% 하락). 원시 가격 데이터 (OHLCV) 를 포함한 긴 컨텍스트가 모델을 혼란스럽게 하여, 필요한 수치적 계산이나 추세를 파악하는 능력을 방해했습니다.

나. 모델 아키텍처의 중요성

• 추론 능력 (Reasoning Capability): 잠재적 추론 (Chain-of-Thought) 능력을 가진 모델 (DeepSeek-R1, R1-Distill-Qwen 등) 이 하이브리드 질문에서 압도적으로 좋은 성능을 보였습니다.
• 모델 가족별 차이: Qwen 계열 모델은 RAG 환경에서 크게 개선된 반면, LLaMA 계열 모델 (70B 포함) 은 RAG 환경에서 전반적으로 성능이 저하되었습니다. 이는 LLaMA 가 복잡한 금융 용어와 비정형 수치 표에 노출될 때 주의가 산만해져 (Distraction) 내부 추론 능력을 상실하기 때문으로 분석되었습니다.

다. RAG 의 '주의 산만' 효과 (Distraction Effect)

• RAG 를 사용하면 표면적인 사실 기반 (Grounding) 은 개선되지만, 핵심 지표 (Golden Indicators) 추출 정확도 (F1) 는 56.5% 급감했습니다.
• 모델이 검색된 방대한 정보를 요약하는 데 집중하여, 전문가가 요구하는 구체적인 분석적 추론 (Reasoning Depth) 을 수행하지 못하는 경향이 관찰되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 시사점: 금융 LLM 개발 시 단순히 텍스트 검색 (RAG) 을 추가하는 것만으로는 부족하며, 수치 데이터 처리를 위한 전용 계산 모듈 (Code Interpreter 등) 이나 시계열 데이터에 특화된 아키텍처가 필요함을 시사합니다.
• 연구 방향: 현재 LLM 은 텍스트 기반 금융 정보에는 강하지만, 수치적/시계열 추론과 이질적 정보 통합에는 근본적인 한계가 있음을 확인시켰습니다.
• 미래 전망: FinTradeBench 는 금융 AI 의 추론 능력을 평가하는 산업 표준 데이터셋으로 자리 잡을 것이며, 특히 '하이브리드 추론'과 'RAG 의 한계'를 해결하기 위한 향후 연구의 기초를 제공합니다.

이 논문은 금융 분야에서 LLM 의 진정한 능력을 평가하기 위해서는 텍스트와 숫자, 그리고 시장 심리를 통합하는 복합적 추론 능력을 측정해야 함을 강력하게 주장합니다.