Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

1. 문제 정의 (Problem Definition)

기존의 추천 시스템 벤치마크는 대부분 사용자의 행동 (클릭, 구매, 평가 등) 을 모방하는 능력을 평가하는 데 중점을 둡니다. 그러나 금융 조언 (Financial Advisory) 분야에서는 이러한 접근 방식이 다음과 같은 한계를 가집니다.

• 행동 vs. 의사결정 질의 혼동: 금융 시장에서는 변동성, 감정, 단기적 제약으로 인해 사용자의 실제 행동이 장기적 목표나 합리적 위험 선호도와 일치하지 않을 수 있습니다. 즉, 사용자의 '노이즈가 섞인 행동'을 모방하는 것이 반드시 '양질의 조언'을 의미하지는 않습니다.
• 기존 벤치마크의 부족: 기존 벤치마크는 행동 기반의 단일 정답 (Ground Truth) 에 의존하거나, 사용자의 특정 위험 선호도에 기반한 효용 (Utility) 을 고려하지 않아, LLM 이 합리적인 분석을 하는지, 단순히 사용자의 노이즈를 모방하는지, 아니면 시장 추세를 맹목적으로 따르는지 진단하기 어렵습니다.

이러한 문제를 해결하기 위해 저자들은 사용자 행동 모방을 넘어, 투자자 고유의 효용 (Utility) 에 기반한 의사결정 질을 평가하는 새로운 벤치마크를 제안합니다.

2. 방법론 (Methodology)

2.1. Conv-FinRe 벤치마크 개요

Conv-FinRe 는 주식 추천을 다중 뷰 (Multi-view) 정렬 문제로 정의하며, 다음과 같은 특징을 가집니다.

• 대화형 및 종단적 (Longitudinal): 온보딩 인터뷰와 단계별 시장 맥락을 포함한 대화 시나리오를 통해 고정된 투자 기간 동안의 상호작용을 시뮬레이션합니다.
• 다중 뷰 참조 (Multi-view References): 모델의 추천을 다음 4 가지 관점에서 평가합니다.
  1. 사용자 선택 ($y_{user}$): 실제 사용자가 선택한 행동 (경험적 데이터).
  2. 합리적 효용 ($y_{util}$): 수익과 위험의 균형을 맞춘 이상적인 효용 함수 기반 순위.
  3. 시장 모멘텀 ($y_{mom}$): 최근 수익률에 기반한 수익 중심 순위.
  4. 위험 민감도 ($y_{safe}$): 사용자의 위험 회피 성향을 반영한 보수적 순위.

2.2. 잠재 선호도 기반 (Latent Preference Grounding via Inverse Optimization)

모델이 접근할 수 없는 사용자의 진정한 효용 함수를 추정하기 위해 역최적화 (Inverse Optimization) 기법을 사용합니다.

• 사용자의 장기적 행동 궤적 ($H_{1:T}$) 을 관찰하여, 사용자가 실제로 선택한 주식들이 특정 효용 함수 $U(s) = \tilde{\mu} - \lambda \tilde{\sigma}^2 - \gamma \tilde{Drawdown}$을 최대화하려 했다고 가정합니다.
• Multinomial Logit 모델을 사용하여 사용자별 위험 민감도 파라미터 ($\lambda_i, \gamma_i$) 를 추정합니다.
• 추정된 파라미터를 바탕으로 합리적 효용 순위와 위험 민감도 순위를 생성하여 모델 평가의 기준 (Ground Truth) 으로 활용합니다.

2.3. 데이터 수집 및 시뮬레이션

• 데이터: S&P 500 구성주 중 10 개 종목을 선정 (저/중/고 변동성 그룹화) 하여 30 일간의 시장 데이터를 구성했습니다.
• 사용자 프로파일: 10 명의 참가자를 대상으로 규제 준수 (MiFID II 등) 기반의 설문조사를 통해 인구통계학적 정보와 위험 성향을 수집했습니다.
• 대화 생성: 수집된 행동 데이터를 바탕으로 온보딩 인터뷰와 23 단계에 걸친 종단적 조언 대화를 시뮬레이션하여 생성했습니다. (총 230 개 인스턴스, 평균 4,320 토큰)

2.4. 평가 지표

• uNDCG (Utility-based NDCG): 모델 추천이 사용자의 잠재적 효용 함수와 얼마나 일치하는지 측정.
• MRR 및 Hit Rate: 모델이 사용자의 실제 선택을 얼마나 잘 복원하는지 측정.
• Expert Alignment Score (EAS): 모델 추천이 합리적 효용, 시장 모멘텀, 위험 민감도 전문가 순위와 얼마나 일치하는지 Kendall's $\tau$로 측정.

3. 주요 기여 (Key Contributions)

1. Conv-FinRe 벤치마크 도입: 행동 모방을 넘어 투자자별 효용에 기반한 금융 추천 평가를 위한 최초의 대화형 종단적 벤치마크를 제안했습니다.
2. 다중 뷰 정렬 프레임워크: 역최적화 기법을 통해 행동 정렬 (Behavioral Alignment) 과 합리적 의사결정 질 (Rational Decision Quality) 을 분리하여 진단할 수 있는 체계를 마련했습니다.
3. LLM 평가 및 통찰: 최신 LLM 들을 평가하여 '합리적 조언'과 '행동적 정렬' 사이의 근본적인 긴장 관계를 발견하고, 다양한 모델의 조언 패턴을 분류했습니다.

4. 실험 결과 (Results)

4.1. 전반적 성능

• 대부분의 모델이 합리적 효용 (uNDCG) 측면에서는 높은 점수 (0.92~0.97) 를 기록했으나, 사용자 행동 복원 (MRR, Hit Rate) 능력은 모델마다 상이했습니다.
• Llama-3.3-70B-Instruct: 가장 높은 uNDCG 를 기록했으나 사용자 행동 복원률은 낮음 (이상적인 합리적 조언에 집중).
• Qwen2.5-72B-Instruct, Llama3-XuanYuan3-70B-Chat: 높은 행동 복원률을 보였으나, 이는 사용자의 노이즈가 섞인 행동을 과도하게 모방 (Overfitting) 한 결과일 수 있음.

4.2. 전문가 정렬 분석 (Expert Alignment)

• 합리적 효용과 시장 모멘텀의 강한 상관관계: 많은 모델이 시장 상승기에는 두 기준 모두에 잘 정렬되었으나, 위험 민감도 (Risk Sensitivity) 와는 정렬이 떨어지는 경향을 보임.
• DeepSeek-V3.2: 세 가지 기준 (효용, 모멘텀, 위험) 사이에서 가장 균형 잡힌 성능을 보임.
• 도메인 특화 모델 (XuanYuan3): 금융 전문성으로 인해 이상적인 수식보다는 실제 투자자의 실용적이고 노이즈가 섞인 선호도에 더 잘 적응 (Empathetic Alignment) 하는 경향을 보임.

4.3. 선호도 발견 동역학

• 적응형 조언가 (Adaptive Advisors): 대화 히스토리를 통해 초기 단계에서 사용자의 잠재적 위험 성향을 성공적으로 추출하여 효용 정렬이 향상됨.
• 거래 중심 분석가 (Transaction-driven Analysts): 대화 맥락의 이득이 적으며, 동시 시장 신호에 더 의존함.
• 행동 과적합자 (Behavioral Overfitters): 대화 히스토리가 추가될 때 오히려 효용 정렬이 저하됨 (노이즈가 섞인 행동에 과도하게 민감하게 반응).

5. 의의 및 결론 (Significance)

이 논문은 금융 추천 시스템의 평가 패러다임을 단순한 행동 모방에서 효용 기반의 의사결정 질 평가로 전환해야 함을 강조합니다.

• 핵심 통찰: "합리적인 조언 (Utility-grounded)"과 "사용자 행동 정렬 (Behavioral Alignment)" 사이에는 상충 관계 (Trade-off) 가 존재합니다.
• 향후 방향: 단기 시장 노이즈와 장기 투자자 선호도를 분리하여 평가할 수 있는 벤치마크가 필요하며, Conv-FinRe 는 이를 위한 표준 도구로 제안됩니다.
• 공개: 데이터셋은 Hugging Face 에서, 코드베이스는 GitHub 에서 공개되어 재현성을 보장합니다.

이 연구는 LLM 기반 금융 조언자가 단순히 사용자의 과거 행동을 따라 하는 것을 넘어, 사용자의 장기적 목표와 위험 성향을 이해하고 합리적인 조언을 제공할 수 있는지에 대한 엄격한 검증 체계를 마련했다는 점에서 의의가 큽니다.