Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection

Resumo Técnico: MFMD-Scen

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais utilizados em análise financeira, previsão e suporte à decisão. No entanto, como são treinados em corpora derivados de textos humanos, eles herdam vieses comportamentais e cognitivos. O problema central abordado neste trabalho é a instabilidade e a incerteza na tomada de decisão desses modelos ao processar informações financeiras em cenários do mundo real.

A pesquisa identifica uma lacuna crítica: a maioria das avaliações de viés em LLMs foca em perguntas diretas ou configurações simplificadas, ignorando como o contexto (papéis, personalidade, região, identidade cultural) altera a verificação de fatos. Em ambientes financeiros de alto risco, um mesmo boato ou afirmação pode ser julgado de maneira diferente dependendo de quem o lê (ex.: um investidor varejista vs. um estrategista de fundos) ou onde o evento ocorre (ex.: mercados emergentes asiáticos vs. mercados desenvolvidos dos EUA). Essa inconsistência pode levar a erros sistemáticos e avaliações de risco divergentes.

2. Metodologia

Para abordar essa lacuna, os autores introduzem o MFMD-Scen, um benchmark abrangente projetado para avaliar vieses comportamentais em LLMs na detecção de desinformação financeira multilíngue.

A. Construção do Dataset Multilíngue:

• Fonte: Os dados foram derivados do conjunto FinFact (baseado em artigos do Snopes), onde afirmações incompletas foram recuperadas e completadas.
• Seleção: Foram selecionados 144 itens de notícias com relevância global (121 falsas, 23 verdadeiras).
• Tradução: As afirmações foram traduzidas para Chinês, Grego e Bengali (além do Inglês original), utilizando GPT-4.1, seguido por revisão rigorosa por falantes nativos para garantir precisão e fluidez.
• Cobertura: O dataset final cobre quatro idiomas, permitindo a análise de viés linguístico e cultural.

B. Definição de Cenários (Subtarefas):
O benchmark formula a detecção de desinformação como uma tarefa de verificação binária condicionada a cenários. Foram definidos três eixos principais de cenários:

1. MFMD-persona (Personalidade): Combina três papéis (Investidor Varejista, Profissional/Institucional, Proprietário de Empresa) com cinco vieses comportamentais da finança (Confiança Excessiva, Aversão à Perda, Comportamento de Manada, Ancoragem e Viés de Confirmação). Os cenários podem ser explícitos (o viés é declarado) ou implícitos (sugerido por pistas narrativas).
2. MFMD-region (Região): Contextualiza os papéis em seis mercados financeiros distintos: Europa, EUA, Ásia-Pacífico, China Continental, Austrália e Emirados Árabes Unidos (UAE), capturando diferenças culturais e regulatórias.
3. MFMD-identity (Identidade): Incorpora etnia e crenças religiosas (ex.: Americano-Cristão, Chinês-Budista, Árabe-Muçulmano) combinadas com papéis, para testar vieses interseccionais.

C. Avaliação:

• Modelos Testados: 22 LLMs mainstream, incluindo modelos de código aberto (Qwen, Llama, Mistral, DeepSeek) e fechados (GPT-4.1/5, Claude, Gemini).
• Métricas: Além da precisão e F1 macro padrão, os autores definem uma métrica de Viés Comportamental como a diferença no desempenho (F1) entre a avaliação com o contexto do cenário ($l_{scen}$) e a avaliação sem contexto ($l_{base}$).
• Medição Humana: Um grupo de voluntários de diferentes regiões avaliou as mesmas afirmações para estabelecer uma linha de base humana.

3. Principais Contribuições

1. MFMD-Scen Benchmark: O primeiro benchmark projetado com especialistas financeiros para avaliar vieses comportamentais em LLMs através de múltiplos cenários (papéis, personalidade, região e identidade) em quatro idiomas.
2. Dataset Multilíngue de Desinformação Financeira: Um conjunto de dados novo e validado cobrindo Inglês, Chinês, Grego e Bengali, focado em afirmações financeiras globais.
3. Análise Sistemática de Viés: Uma avaliação abrangente de 22 modelos que quantifica como o contexto altera as decisões de verificação de fatos, revelando que o mesmo modelo pode ter comportamentos opostos dependendo do cenário.

4. Resultados Chave

A avaliação dos 22 modelos no MFMD-Scen revelou descobertas significativas:

• Viés Comportamental Generalizado: Modelos comerciais e de código aberto exibem vieses pronunciados. A injeção de contexto financeiro realista altera sistematicamente os limites de decisão, mesmo quando a afirmação subjacente permanece inalterada.
• Desempenho Diferencial (Verdadeiro vs. Falso):
  • Os modelos são geralmente robustos ao detectar afirmações falsas (F1 alto), mantendo limites de decisão conservadores.
  • Há uma queda significativa no desempenho ao identificar afirmações verdadeiras. Os modelos tendem a ser excessivamente céticos, classificando erroneamente informações verdadeiras como falsas, especialmente em cenários de alto risco.
• Impacto de Papéis e Personalidades:
  • Cenários envolvendo investidores varejistas e comportamentos de manada induzem um viés negativo forte (tendência a rejeitar informações).
  • Modelos maiores tendem a ser mais estáveis e apresentar menos viés do que modelos menores.
  • O viés é mais pronunciado em idiomas de recursos limitados (Grego e Bengali).
• Influência Regional:
  • Cenários em mercados asiáticos emergentes tendem a induzir um viés negativo (ceticismo excessivo) nos modelos.
  • Cenários nos EUA e Europa tendem a gerar um viés positivo ou menor variação.
• Viés Interseccional (Identidade):
  • O papel do agente modula drasticamente o viés baseado em etnia/religião. Por exemplo, grupos americanos tendem a exibir viés positivo, enquanto grupos chineses exibem viés negativo, mas essa direção pode inverter dependendo se o papel é "Investidor Varejista" ou "Proprietário de Empresa".
  • A interação entre identidade e papel cria dependências não aditivas que avaliações estáticas não conseguem capturar.
• Desempenho Humano vs. LLM: Modelos menores tendem a se comportar de forma mais semelhante aos humanos, enquanto modelos grandes exibem comportamentos "super-humanos" sistematicamente otimizados, mas que podem divergir dos padrões de julgamento humano em contextos específicos.

5. Significado e Impacto

Este trabalho demonstra que a verificação de fatos financeiros por LLMs não é uma tarefa neutra; ela é profundamente influenciada pelo contexto sociocultural e comportamental do usuário simulado.

• Risco Prático: Se implantados em ferramentas de decisão financeira sem mitigação de viés, os LLMs podem propagar desinformação, enganar investidores ou amplificar disparidades culturais e regionais nas recomendações financeiras.
• Direção Futura: O MFMD-Scen estabelece um padrão para pesquisas futuras sobre a mitigação de vieses em aplicações de alto risco.
• Equidade: Os resultados destacam a necessidade de estratégias de mitigação diferenciadas para cenários multilíngues e multiculturais, garantindo que a inteligência artificial financeira seja justa e segura para diversos grupos demográficos e regiões econômicas.

Em suma, o estudo conclui que a "verdade" para um LLM em finanças é fluida e depende criticamente de quem está perguntando e onde a pergunta é feita, exigindo novos paradigmas de avaliação e treinamento.