Resumo Técnico: Fin-Bias: Avaliação Abrangente para Tomada de Decisão por LLMs sob Viés Humano no Domínio Financeiro

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em contextos financeiros para tarefas como análise de sentimentos, resposta a perguntas e negociação de ações. No entanto, os benchmarks existentes frequentemente dependem de tamanhos de amostra pequenos, entradas de contexto curto (por exemplo, manchetes de notícias ou tweets concatenados) e não avaliam a suscetibilidade dos LLMs ao viés humano dentro de documentos financeiros de formato longo. Uma questão crítica não resolvida é se os LLMs exibem comportamento de "rebanho" — tendendo a alinhar-se com opiniões humanas explícitas (como classificações de analistas) embutidas no contexto, em vez de sintetizar dados heterogêneos para formar julgamentos independentes. Nos mercados financeiros, onde analistas humanos frequentemente exibem vieses sistemáticos (por exemplo, excesso de otimismo), um LLM que segue cegamente essas opiniões pode falhar em fornecer conselhos de investimento precisos quando o consenso está errado.

Metodologia

Construção do Conjunto de Dados: Fin-Bias

Os autores introduzem o Fin-Bias, um conjunto de dados de benchmark composto por 8.868 relatórios específicos de empresas obtidos do Yahoo Finance.

• Escopo: O conjunto de dados abrange oito setores principais (Tecnologia, Indústrias, Serviços Financeiros, Saúde, Utilidades, Energia, Serviços de Comunicação e Imobiliário).
• Contexto: Diferentemente de benchmarks anteriores que utilizam trechos curtos, estes são relatórios de formato longo (com média de ~4.000 tokens) contendo pesquisa aprofundada, análise macroeconômica e fundamentos das empresas.
• Verdade Terrena: Para evitar o uso de classificações de analistas enviesadas como rótulos, os autores constroem classificações de investimento de verdade terrena (Alta/Neutra/Baixa) com base nos Retornos Anormais Acumulados (CAR) realizados ao longo de uma janela de 60 dias após a data do relatório. As classificações são atribuídas usando uma abordagem baseada em quantis (topo 30% = Alta, fundo 30% = Baixa, meio 40% = Neutra).

Design Experimental

O estudo avalia 18 modelos (tanto privados quanto de código aberto) em três condições experimentais para medir o comportamento de rebanho:

1. Contexto Original: O relatório completo do analista, incluindo a classificação de investimento explícita na primeira frase.
2. Classificação Removida: A primeira frase contendo a classificação explícita é removida, deixando a análise narrativa.
3. Classificação Falsa: A classificação original é substituída por uma classificação "falsa" contraditória (por exemplo, mudar "Alta" para "Baixa"), mantendo o restante da análise intacto.

Métricas:

• Pontuação de Rebanho: Mede o alinhamento entre a classificação gerada pelo LLM e a classificação humana explícita (ou classificação falsa) presente no contexto.
• Precisão da Previsão: Mede a capacidade do LLM de prever a classificação baseada em retornos de verdade terrena em comparação com o desempenho de analistas humanos.

Estratégias de Mitigação

O artigo propõe dois métodos para aliviar o comportamento de rebanho:

1. Filtragem por Léxico: Uso do Léxico de Subjetividade MPQA para identificar e remover frases contendo opiniões subjetivas fortes (rotuladas strongsubj) do contexto antes de alimentá-las ao modelo.
2. Otimização Direta de Preferência (DPO): Uma abordagem de ajuste fino para modelos de código aberto onde o modelo é treinado para preferir respostas "Independentes" (derivadas da verdade terrena de mercado sem opiniões de analistas) em vez de respostas "Rebanho" (derivadas de seguir a lógica do analista).

Principais Resultados

1. Prevalência do Comportamento de Rebanho

• Influência do Viés Explícito: Quando classificações explícitas de analistas estão presentes, os LLMs exibem forte comportamento de rebanho. As pontuações de rebanho aumentam significativamente (frequentemente excedendo 90%) tanto em modelos privados (por exemplo, GPT-5, GPT-4) quanto em modelos de código aberto, em comparação com a condição de "classificação removida".
• Suscetibilidade a Classificação Falsa: Mesmo quando a classificação explícita é contradita pelo restante da análise (condição de "classificação falsa"), os modelos ainda tendem ao rótulo explícito. A pontuação média de rebanho para classificações falsas é de aproximadamente 30%, com alguns modelos atingindo até 60%. Essa suscetibilidade existe independentemente do tamanho do modelo; mesmo modelos de última geração como GPT-5 e GPT-4 mostram rebanho significativo.
• Variabilidade Setorial: O rebanho não é uniforme; setores como Serviços Financeiros e Saúde mostram maior alinhamento de base, enquanto setores como Serviços de Comunicação mostram maior variabilidade que se consolida quando classificações explícitas são fornecidas.

2. Impacto na Precisão da Tomada de Decisão

• Alinhamento vs. Independência: Quando as classificações de analistas estão presentes, a maioria dos modelos atinge uma precisão (~33%) quase idêntica à dos analistas humanos. No entanto, isso sugere uma falta de raciocínio independente, já que os modelos não superam o desempenho humano.
• Divergência de Desempenho: Quando as classificações explícitas são removidas:
  • Alguns modelos de código aberto (por exemplo, gemma-2-9b-it, Llama-3-8B) apresentam uma queda de desempenho de ~6%, indicando forte dependência de pistas humanas.
  • Por outro lado, vários modelos (por exemplo, Qwen3-8B, Mistral-7B-it-v0.3) na verdade superam os analistas humanos na ausência de classificações explícitas, sugerindo que podem sintetizar informações independentemente quando não são enviesados pelo rótulo explícito.

3. Eficácia da Mitigação

• Filtragem por Léxico: A remoção de frases com opiniões subjetivas fortes melhora a precisão da previsão em 2–4 pontos percentuais, particularmente para modelos de código aberto mais leves (por exemplo, Qwen3-8B). Isso permite que alguns modelos superem o desempenho dos analistas.
• DPO: O ajuste fino via Otimização Direta de Preferência mitiga ainda mais o rebanho e melhora a precisão da previsão, demonstrando que a aprendizagem de preferência arquitetônica pode internalizar o ceticismo em relação a sinais humanos de alto consenso.

Contribuições e Significado

O artigo faz três contribuições principais:

1. Avaliação Abrangente do Rebanho: Fornece evidências empíricas de que os LLMs são altamente suscetíveis ao rebanho de opiniões humanas, mesmo quando essas opiniões constituem uma pequena fração de um contexto longo. Isso desafia a suposição de que modelos maiores ou mais avançados possuem inerentemente capacidades superiores de raciocínio independente em domínios financeiros.
2. Benchmark Fin-Bias: Introduz um benchmark de grande escala e contexto longo que inclui aspectos resumidos de empresas em diversas indústrias e incorpora viés humano, abordando as limitações dos benchmarks financeiros existentes de contexto curto ou amostra pequena.
3. Mitigação e Raciocínio Independente: Propõe e valida métodos (Filtragem por Léxico e DPO) para instruir LLMs a evitar o rebanho. Os resultados sugerem que, com curadoria adequada de entrada ou ajuste fino, os LLMs podem alcançar raciocínio independente que às vezes supera o desempenho de analistas humanos, destacando o potencial para agentes de tomada de decisão financeira imparciais.

Significado: O trabalho sublinha a necessidade de curar cuidadosamente as entradas e desenvolver estratégias de treinamento que priorizem o julgamento fundamentado e independente sobre a mera reflexão de narrativas humanas dominantes, especialmente em domínios orientados por opiniões como o financeiro. Ele apela para que o desenvolvimento futuro de LLMs se concentre em reduzir a suscetibilidade a pistas humanas adversárias ou enviesadas.