Caught in the Web of Words: Do LLMs Fall for Spin in Medical Literature?

1. O Problema

A pesquisa médica enfrenta o desafio crônico da tradução de novos tratamentos para a prática clínica. Para incentivar a publicação, os pesquisadores frequentemente apresentam resultados "positivos", mesmo quando os dados empíricos são equívocos ou não significativos estatisticamente. Essa prática é conhecida como "spin" (giro ou distorção).

• Definição de Spin: Estratégias de relato que exageram os benefícios de tratamentos experimentais além do que a evidência empírica suporta, desviando a atenção de resultados não significativos ou minimizando danos.
• Impacto Humano: Estudos anteriores (ex: Boutron et al., 2014) demonstraram que o spin em resumos de Ensaios Clínicos Randomizados (ECRs) influencia a interpretação de especialistas médicos, levando-os a avaliar tratamentos como mais benéficos do que realmente são.
• O Risco com LLMs: Com o aumento do uso de Grandes Modelos de Linguagem (LLMs) para sintetizar, resumir e simplificar evidências médicas para profissionais e leigos, surge a questão crítica: Os LLMs são suscetíveis ao spin da mesma forma que os humanos? Se os LLMs propagarem esse viés, eles podem amplificar a desinformação médica em escala.

2. Metodologia

Os autores avaliaram 22 LLMs (incluindo modelos proprietários fechados, modelos de código aberto generalistas e modelos especializados em biomedicina) através de três tarefas principais, utilizando um conjunto de dados de 60 resumos de ECRs oncológicos (30 com spin e 30 versões "neutras" reescritas manualmente por especialistas).

Tarefas de Avaliação:

1. Detecção de Spin:
   • Os modelos foram solicitados a classificar se um resumo continha spin (binário: sim/não).
   • Métrica: Acurácia.
2. Interpretação de Resultados:
   • Os modelos responderam a 5 perguntas de escala (0-10) sobre os resumos (ex: "O tratamento A seria benéfico?", "Qual o rigor metodológico?", "Interesse em ler o texto completo?").
   • Comparou-se a diferença média nas pontuações entre resumos com spin e sem spin.
3. Propagação de Spin (Simplificação):
   • Os modelos geraram resumos em linguagem simples (nível de 5º ano) a partir dos resumos técnicos.
   • Outros LLMs avaliaram se esses resumos simplificados ainda continham viés de spin.

Experimentos Adicionais:

• Mitigação: Testaram-se estratégias de prompting para reduzir o viés:
  • Fornecer rótulos explícitos de spin (referência ou inferidos pelo próprio modelo).
  • Prompting Conjunto (Chain-of-Thought): Pedir ao modelo para primeiro detectar a presença de spin e, em seguida, interpretar os resultados com base nessa detecção.
• Validação Externa: Repetição dos experimentos com um conjunto de dados semi-sintético maior (295 resumos de ortopedia, medicina de emergência e obesidade) para verificar a generalização.

3. Contribuições Principais

1. Evidência Empírica de Suscetibilidade: Demonstrar que os LLMs são, de forma consistente, mais suscetíveis ao spin do que especialistas humanos ao interpretar resultados de ensaios clínicos, mesmo quando conseguem detectar a presença de spin explicitamente.
2. Propagação de Viés: Evidenciar que os LLMs não apenas sofrem com o spin, mas o propagam ativamente ao gerar resumos simplificados para leigos, distorcendo a compreensão pública da evidência médica.
3. Estratégias de Mitigação: Identificar que técnicas simples de engenharia de prompt (especificamente o prompting conjunto de detecção e interpretação) podem reduzir significativamente a suscetibilidade dos modelos, embora não a eliminem completamente.
4. Análise Comparativa de Modelos: Avaliar sistematicamente uma ampla gama de modelos (de 7B a 70B parâmetros, gerais e biomédicos), mostrando que a especialização biomédica não garante imunidade ao spin.

4. Resultados Chave

Detecção de Spin:

• Os LLMs apresentaram desempenho moderado a forte na detecção (acurácia média de 0,67).
• O modelo Claude 3.5 Sonnet teve o melhor desempenho (0,97), seguido pelo GPT-4o Mini (0,85).
• Modelos biomédicos especializados não superaram consistentemente os modelos generalistas.

Interpretação de Resultados:

• Suscetibilidade Superior: Ao interpretar resumos com spin, os LLMs atribuíram pontuações de benefício muito mais altas do que os humanos.
  • Diferença média de benefício para humanos: 0,71.
  • Diferença média de benefício para todos os LLMs: 3,38.
• Paradoxo da Detecção: Mesmo os modelos com alta acurácia na detecção de spin (acima de 0,80) ainda interpretaram os resultados de forma enviesada quando o spin estava presente. Eles reconhecem o problema, mas não conseguem ignorá-lo na inferência.

Propagação em Resumos Simplificados:

• Os resumos gerados em linguagem simples mantiveram o viés dos originais.
• A diferença nas pontuações de benefício entre versões com e sem spin nos resumos simplificados foi significativa (ex: OpenBioLLM 70B mostrou uma diferença de 4,32 pontos), indicando que o spin é amplificado ou mantido na tradução para o público leigo.

Mitigação:

• A estratégia de "Detectar + Interpretar" (pedir ao modelo para primeiro identificar o spin e depois responder) foi a mais eficaz.
  • Reduziu a diferença média de benefício de 3,38 (baseline) para 1,14.
• Fornecer rótulos de referência também ajudou (redução para 1,94), mas o prompting conjunto foi superior.

5. Significado e Conclusão

O estudo revela uma vulnerabilidade crítica nos LLMs aplicados à saúde: a capacidade de detectar um viés não implica a capacidade de neutralizá-lo durante a inferência.

• Risco Clínico e Social: Como os LLMs são cada vez mais usados para síntese de evidências e comunicação com pacientes, a propagação não intencional de spin pode levar a decisões clínicas errôneas e expectativas irreais de tratamento por parte dos pacientes.
• Implicações para o Desenvolvimento: A especialização em domínios médicos (fine-tuning) não resolve o problema de raciocínio discursivo necessário para distinguir entre dados estatísticos e linguagem persuasiva.
• Recomendação: O uso de LLMs em contextos médicos exige engenharia de prompt rigorosa (como o uso de cadeias de pensamento para detectar e corrigir viés) e supervisão humana. Não se deve confiar cegamente na saída bruta desses modelos para a síntese de evidências médicas.

Em suma, os LLMs estão "enredados na teia de palavras" da literatura médica tanto quanto, ou mais do que, os humanos, exigindo novas abordagens para garantir a integridade da informação médica gerada por IA.