Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

1. Planteamiento del Problema

El artículo identifica una limitación fundamental en los benchmarks actuales de sistemas de recomendación, especialmente en el ámbito financiero. La mayoría de las evaluaciones se basan en la imitación del comportamiento (behavioral imitation), asumiendo que las acciones observadas de un usuario (clics, compras, calificaciones) son la "verdad fundamental" (ground truth).

Sin embargo, en las finanzas, las decisiones de los inversores a menudo están contaminadas por:

• Ruido de mercado a corto plazo: Volatilidad y emociones que desvían a los usuarios de sus objetivos a largo plazo.
• Inconsistencia temporal: Las acciones observadas pueden contradecir la tolerancia al riesgo real y los objetivos financieros estables del usuario.

Por lo tanto, entrenar o evaluar un modelo para que simplemente imite las elecciones pasadas de un usuario puede llevar a un asesoramiento financiero de baja calidad, donde el modelo replica errores o comportamientos irracionales en lugar de optimizar la utilidad real del inversor.

2. Metodología: Conv-FinRe

Los autores presentan Conv-FinRe, el primer benchmark conversacional y longitudinal diseñado para evaluar modelos de lenguaje grandes (LLMs) en la recomendación de acciones, basándose en la utilidad fundamentada en lugar de la mera imitación conductual.

A. Formulación de la Tarea

La tarea se define como un problema de alineación multi-vista a lo largo de un horizonte temporal fijo ($T$). En lugar de una sola etiqueta de oro, el sistema evalúa al modelo contra cuatro vistas de referencia complementarias:

1. Elección del Usuario ($y_{user}$): Las decisiones empíricas reales tomadas por el participante (ruidosas).
2. Utilidad Racional ($y_{util}$): Una clasificación idealizada derivada de una función de utilidad calibrada que equilibra retorno y riesgo.
3. Momentum de Mercado ($y_{mom}$): Una clasificación orientada al beneficio basada puramente en retornos acumulados recientes.
4. Sensibilidad al Riesgo ($y_{safe}$): Una clasificación conservadora que penaliza la volatilidad y el riesgo de caída según la sensibilidad inferida del usuario.

B. Suelo de Preferencias Latentes (Inverse Optimization)

Un componente clave es la inferencia de las preferencias latentes del usuario sin exponer la función de utilidad al modelo.

• Se asume que las decisiones del usuario siguen una función de utilidad latente $U(s)$ que balancea retorno esperado, varianza y drawdown (caída máxima).
• Utilizando Optimización Inversa, los autores estiman los parámetros específicos del usuario ($\lambda_i, \gamma_i$) que representan su sensibilidad a la volatilidad y al riesgo de caída, basándose en su trayectoria de comportamiento longitudinal.
• Estos parámetros se utilizan para generar las vistas de referencia ($y_{util}$ y $y_{safe}$) para la evaluación, actuando como un "asesor experto" oculto.

C. Simulación de Conversación y Datos

• Datos de Mercado: Se construyó un universo de 10 acciones representativas de los sectores GICS, con datos de precios diarios e intradía durante 30 días.
• Datos de Usuario: Se recolectaron perfiles estáticos y trayectorias de decisión longitudinal de 10 participantes humanos mediante un simulador de activos.
• Generación de Diálogo: Se crearon conversaciones estructuradas que incluyen una entrevista de incorporación (onboarding) y diálogos de asesoramiento paso a paso. En cada paso, el LLM actúa como asesor, recibiendo contexto de mercado, historial de interacción y recomendaciones de tres "asesores expertos" (basados en utilidad, momentum y riesgo) para sintetizar una recomendación final.

D. Métricas de Evaluación

El benchmark utiliza métricas para medir diferentes aspectos del rendimiento:

• uNDCG (Utility-based NDCG): Mide la alineación con la utilidad racional latente.
• MRR y Hit Rate: Miden la capacidad de recuperar la elección observada del usuario (imitación conductual).
• Expert Alignment Score (EAS): Utiliza la correlación de Kendall ($\tau$) para medir la alineación del modelo con los principios de los tres asesores expertos (Utilidad, Momentum, Riesgo).

3. Contribuciones Clave

1. Nuevo Benchmark (Conv-FinRe): Un marco conversacional y longitudinal que evalúa la recomendación financiera más allá de la imitación conductual, fundamentando la evaluación en la utilidad específica del inversor.
2. Marco de Diagnóstico Multi-vista: La formulación del problema como un problema de alineación multi-vista permite disociar la calidad de la decisión racional de la alineación conductual, identificando si un modelo sigue el ruido del usuario, el momentum del mercado o un análisis racional.
3. Inversión de Preferencias: Uso de optimización inversa para inferir funciones de utilidad latentes a partir de trayectorias de comportamiento, permitiendo una evaluación objetiva sin revelar la "verdad" al modelo.
4. Evaluación Sistemática: Análisis exhaustivo de modelos de última generación (GPT-5.2, GPT-4o, DeepSeek, Qwen, Llama, etc.), revelando patrones de comportamiento distintivos.

4. Resultados Principales

Los experimentos revelan una tensión persistente entre la calidad de la decisión racional y la alineación conductual:

• Compromiso entre Utilidad y Comportamiento: Los modelos que obtienen puntuaciones altas en uNDCG (alineación con la utilidad racional) a menudo fallan en recuperar la elección exacta del usuario (Hit Rate). Por el contrario, los modelos que imitan bien el comportamiento del usuario tienden a sobreajustarse al ruido a corto plazo.
• Análisis de Alineación con Expertos:
  • Modelos como Llama-3.3-70B muestran una fuerte alineación con la Utilidad y el Momentum, pero fallan en la alineación con el Riesgo, sugiriendo que priorizan el crecimiento sobre la protección.
  • DeepSeek-V3.2 demuestra el perfil más equilibrado, integrando señales conflictivas sin sesgos extremos hacia métricas de retorno.
  • Llama3-XuanYuan3-70B (modelo especializado en finanzas) obtiene altas tasas de acierto conductual (imitando al usuario) pero baja alineación con la utilidad racional idealizada, actuando más como un consultor humano pragmático que sigue las preferencias ruidosas del cliente que como un algoritmo matemático estricto.
• Dinámica de Descubrimiento de Preferencias: La historia conversacional ayuda a los modelos a inferir el perfil de riesgo inicial, pero el rendimiento se estanca o fluctúa a medida que avanza el tiempo, indicando que el "ruido" en las decisiones financieras longitudinales hace difícil un seguimiento de preferencias consistente a largo plazo solo con contexto conversacional.

5. Significado e Impacto

El trabajo de Conv-FinRe es significativo porque:

• Cambia el paradigma de evaluación: Propone que en dominios críticos como las finanzas, la "verdad" no es lo que el usuario hizo, sino lo que debería haber hecho según sus objetivos a largo plazo y tolerancia al riesgo.
• Expone limitaciones actuales: Demuestra que los LLMs actuales tienen dificultades para equilibrar la empatía conductual (entender al usuario) con la racionalidad financiera (proteger al usuario de sus propios errores).
• Herramienta de Diagnóstico: Proporciona una metodología para diagnosticar si un modelo de IA está actuando como un asesor racional, un seguidor de tendencias de mercado o un imitador de comportamientos irracionales.
• Recursos Abiertos: El dataset y el código están disponibles públicamente, fomentando la investigación en recomendaciones financieras responsables y fundamentadas en la utilidad.

En resumen, Conv-FinRe establece un nuevo estándar para evaluar la inteligencia artificial en finanzas, exigiendo que los sistemas no solo predigan el comportamiento, sino que comprendan y optimicen la utilidad subyacente del inversor a lo largo del tiempo.