Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

Resumo Técnico: Conv-FinRe

1. O Problema

O campo de recomendação financeira enfrenta um desafio fundamental: a distinção entre imitação comportamental e qualidade de decisão.

• Limitação dos Benchmarks Atuais: A maioria dos benchmarks de recomendação avalia modelos baseando-se na capacidade de imitar o comportamento histórico do usuário (ex: o que o usuário clicou ou comprou). No entanto, em finanças, as ações observadas dos investidores são frequentemente ruidosas, influenciadas por emoções de curto prazo, volatilidade de mercado e podem conflitar com os objetivos de longo prazo ou a tolerância ao risco real do usuário.
• O Dilema: Tratar as escolhas passadas do usuário como a única "verdade fundamental" (ground truth) confunde a imitação de ruído comportamental com a qualidade da decisão financeira. Um assistente financeiro ideal deve alinhar-se aos objetivos de utilidade do investidor, e não apenas replicar seus erros ou impulsos momentâneos.
• Falta de Avaliação Multivista: Os benchmarks existentes geralmente carecem de uma avaliação baseada em utilidade (normativa) e não conseguem diagnosticar se um modelo está raciocinando sobre risco, seguindo tendências de mercado cegamente ou apenas sobreajustando (overfitting) ao ruído do usuário.

2. Metodologia

O artigo apresenta o Conv-FinRe, o primeiro benchmark conversacional e longitudinal para recomendação de ações que formula o problema como um alinhamento multivista.

A. Estrutura da Tarefa:

• Cenário: Um assistente de investimento personalizado interage com um usuário ao longo de um horizonte temporal fixo ($T$), simulando um processo de aconselhamento contínuo.
• Entradas: O modelo recebe um contexto de integração (entrevista de onboarding), o estado atual do mercado (dados de preços, volatilidade) e o histórico de interações longitudinais.
• Saída: O modelo deve gerar um ranking de ações candidatas.

B. Abordagem Multivista (4 Perspectivas de Referência):
Para avaliar o modelo, o benchmark compara suas recomendações contra quatro visões distintas, permitindo diagnosticar o comportamento do modelo:

1. Escolha do Usuário ($y_{user}$): As decisões empíricas reais tomadas pelo participante (comportamento observado, possivelmente ruidoso).
2. Utilidade Racional ($y_{util}$): Um ranking idealizado derivado de uma função de utilidade calibrada, representando o equilíbrio ótimo entre retorno e risco.
3. Momento de Mercado ($y_{mom}$): Um ranking focado em lucro baseado puramente nos retornos acumulados recentes.
4. Sensibilidade ao Risco ($y_{safe}$): Um ranking conservador que penaliza a volatilidade e o risco de queda (drawdown) de acordo com a sensibilidade inferida do usuário.

C. Grounding de Preferências Latentes (Otimização Inversa):
Como a função de utilidade real do usuário não é conhecida a priori, o sistema utiliza Otimização Inversa:

• Assume-se que as decisões do usuário seguem um modelo de escolha racional com ruído (distribuição Gumbel).
• A partir do histórico de decisões longitudinais do usuário, o sistema estima parâmetros latentes ($\lambda_i, \gamma_i$) que capturam a sensibilidade do usuário à volatilidade e ao risco de queda.
• Esses parâmetros são usados para construir as visões de referência ($y_{util}$ e $y_{safe}$) sem expor a função de utilidade ao modelo de IA durante a inferência.

D. Coleta de Dados e Simulação:

• Dados de Mercado: 10 ações representativas do S&P 500, cobrindo diferentes setores e regimes de risco (baixo, médio e alto beta), simuladas por 30 dias.
• Dados de Interação: 10 participantes humanos realizaram um processo de decisão em duas etapas: (1) questionário estruturado para perfil de risco e (2) simulação de trading longitudinal.
• Simulação de Conversa: Os dados brutos foram transformados em diálogos estruturados de múltiplas voltas (onboarding + aconselhamento contínuo), onde três "especialistas" (Racional, Momentum, Risco) oferecem conselhos conflitantes para que o modelo LLM deva sintetizar.

E. Métricas de Avaliação:

• uNDCG (NDCG baseado em Utilidade): Mede o alinhamento com a utilidade racional latente.
• MRR e Hit Rate: Medem a recuperação da escolha observada do usuário.
• Expert Alignment Score (EAS): Usa a correlação de Kendall ($\tau$) para medir o alinhamento com as visões de especialistas (Utilidade, Momentum, Risco).

3. Principais Contribuições

1. Novo Benchmark (Conv-FinRe): Introdução de um benchmark conversacional e longitudinal que avalia LLMs além da simples imitação comportamental, fundamentando a avaliação na utilidade específica do investidor.
2. Framework de Diagnóstico Multivista: Formulação da avaliação de recomendação financeira como um problema de alinhamento multivista, utilizando otimização inversa para separar o alinhamento comportamental da qualidade de decisão racional.
3. Análise Sistemática de LLMs: Avaliação de um conjunto diversificado de modelos de última geração (GPT-4o/5, DeepSeek, Qwen, Llama, XuanYuan), revelando padrões distintos de comportamento sob sinais de mercado conflitantes e ruído do usuário.

4. Resultados Principais

• Tensão Fundamental: Existe uma tensão persistente entre a qualidade da decisão racional e o alinhamento comportamental.
  • Modelos que performam bem em uNDCG (utilidade racional) frequentemente falham em corresponder às escolhas reais do usuário.
  • Modelos que alinham bem com o comportamento do usuário (alto MRR/Hit Rate) tendem a sobreajustar ao ruído de curto prazo, ignorando a utilidade de longo prazo.
• Desempenho dos Modelos:
  • Llama-3.3-70B-Instruct: Obteve o melhor uNDCG (0.97), priorizando conselhos racionais ideais, mas com menor taxa de acerto na escolha do usuário.
  • Qwen2.5-72B e Llama3-XuanYuan3: Excelentes em recuperar a escolha do usuário (alto MRR), sugerindo que modelos especializados em finanças tendem a imitar o comportamento humano "imperfeito" em vez de seguir fórmulas matemáticas rígidas.
  • DeepSeek-V3.2: Demonstrou o perfil mais equilibrado, mantendo alinhamento estável com a segurança (risco) sem viés extremo para métricas de retorno, conseguindo integrar sinais conflitantes.
• Dinâmica de Descoberta de Preferências:
  • Modelos como GPT-5.2 e DeepSeek-V3.2 mostram melhoria significativa na alinhamento de utilidade ao acessar o histórico conversacional (descoberta de preferências latentes).
  • Modelos como Qwen2.5 e XuanYuan3, ao contrário, sofrem degradação no alinhamento de utilidade com o histórico, indicando que eles podem estar "sobreajustando" ao ruído comportamental do usuário em vez de inferir preferências estáveis.

5. Significado e Impacto

O Conv-FinRe muda o paradigma de avaliação de assistentes financeiros de IA. Ele demonstra que:

• Imitação não é Qualidade: Um modelo que apenas replica o que o usuário faz pode estar fornecendo conselhos financeiros ruins se o usuário estiver agindo de forma irracional.
• Necessidade de Avaliação Normativa: É crucial avaliar se o modelo entende a psicologia de risco subjacente do investidor (utilidade latente) e não apenas seus atos superficiais.
• Limites Atuais: Os modelos atuais ainda lutam para equilibrar a empatia comportamental (entender o usuário) com a disciplina racional (proteger o patrimônio a longo prazo).

O conjunto de dados e o código são públicos, permitindo que a comunidade de pesquisa desenvolva modelos que não apenas "conversem" bem, mas que realmente ajam como conselheiros financeiros racionais e personalizados.