Beyond Accuracy: Risk-Sensitive Evaluation of Hallucinated Medical Advice

1. O Problema

O uso de Modelos de Linguagem de Grande Escala (LLMs) em ambientes de atendimento ao paciente para responder a perguntas médicas está a aumentar. No entanto, as abordagens atuais de avaliação de alucinações focam-se predominantemente na correção factual ou no desacordo com uma resposta de referência.

• Limitação Atual: Esta abordagem trata todos os erros como igualmente graves. Na prática clínica, uma alucinação factual benigna (ex: um detalhe histórico incorreto) tem um risco de dano muito menor do que uma alucinação que contém linguagem acionável (ex: diretrizes de tratamento, contraindicações, sinais de urgência ou dosagens).
• A Lacuna: As métricas existentes não capturam a variabilidade no potencial de dano, obscurecendo modos de falha críticos para a segurança, especialmente quando os modelos geram conselhos médicos não suportados que podem ser seguidos pelo paciente.

2. Metodologia

Os autores propõem um Framework de Avaliação Sensível ao Risco que desloca o foco da "correção clínica" para o "potencial de impacto" se o conteúdo alucinado for seguido.

A. Linguagem Portadora de Risco

Em vez de tentar detectar alucinações ou validar fatos médicos (o que requer anotação especializada), o framework identifica a presença de categorias de linguagem que, por natureza, são críticas para a segurança quando não suportadas:

• Diretrizes de Tratamento: Instruções para iniciar, parar ou ajustar medicações.
• Contraindicações e Proibições: Afirmações sobre o que não deve ser feito.
• Expressões de Dosagem: Quantidades explícitas ou ajustes de dose.
• Sinais de Urgência e Triagem: Recomendações para procurar cuidados de emergência ou evitar cuidados médicos.
• Medicamentos de Alto Risco: Menção a substâncias como anticoagulantes ou insulina.
• Afirmações Excessivamente Confiadas: Linguagem que indica certeza sem contexto de suporte.

B. Métricas Propostas

1. Pontuação de Alucinação Sensível ao Risco (RSHS - Risk-Sensitive Hallucination Score):

   • É uma pontuação contínua que agrega a presença e a gravidade da linguagem crítica de segurança.
   • Utiliza pesos específicos para padrões (ex: desencorajar o cuidado médico é mais pesado do que um aviso geral de urgência).
   • Inclui uma normalização logarítmica pelo comprimento do texto para evitar viés em favor de respostas mais longas.
   • Fórmula: $RSHS(x) = \frac{\sum \sum w_{k,p} \cdot n(p, x)}{1 + \log(1 + |x|)}$

2. Análise de Risco × Relevância (QASim):

   • Calcula a similaridade de cosseno entre os embeddings da pergunta do paciente e a resposta do modelo.
   • Objetivo: Identificar falhas duplamente perigosas: respostas com alto risco e baixa relevância (conselhos médicos não suportados e desconectados da consulta do usuário).

C. Configuração Experimental

• Modelos: Três modelos da família FLAN-T5 (Small, Base, Large) e um modelo decoder-only (Phi-3-mini).
• Prompts: 200 prompts sintéticos projetados como "testes de estresse de segurança", cobrindo triagem de sintomas, gestão de medicação e cenários de doenças crônicas.
• Abordagem: Os prompts foram desenhados para elicitar linguagem acionável, simulando cenários onde o risco de alucinação é alto.

3. Principais Contribuições

• Mudança de Paradigma: Propõe que a avaliação de alucinações em contextos médicos deve priorizar o risco potencial sobre a precisão factual.
• Novo Framework de Métricas: Introduz o RSHS e a análise conjunta de Risco-Relevância, permitindo quantificar a severidade de falhas que as métricas padrão ignoram.
• Demonstração de Viés de Prompt: Mostra que a avaliação de alucinações é altamente dependente do design do prompt e da tarefa, e que métricas neutras podem falhar em capturar comportamentos de risco em condições de uso real.

4. Resultados Chave

• Perfis de Risco Diferentes: Modelos com comportamento superficial semelhante (ex: FLAN-T5 Small vs. Large) exibiram perfis de risco substancialmente diferentes. Modelos maiores tendem a gerar mais linguagem portadora de risco (especialmente diretrizes de tratamento e urgência), aparecendo mais frequentemente na cauda superior da distribuição de RSHS.
• Falhas de Relevância: A análise conjunta revelou uma classe preocupante de falhas: respostas com alto risco e baixa relevância (conselhos off-topic ou não fundamentados). Modelos menores tendiam a gerar respostas sem sentido com linguagem de risco, enquanto os maiores geravam conselhos coerentes, mas excessivamente prescritivos.
• Sensibilidade ao Prompt: Prompts que convidavam explicitamente a considerações de gestão ou urgência aumentaram drasticamente as pontuações de risco, demonstrando que a avaliação sob condições neutras subestima o risco real.
• Generalização: O framework foi aplicado com sucesso a um modelo de arquitetura diferente (Phi-3), mostrando que a metodologia é generalizável.

5. Significado e Implicações

• Validade da Avaliação: A validade das métricas de alucinação depende criticamente do design da tarefa e do prompt. Avaliar apenas a precisão factual pode ocultar modos de falha críticos para a segurança.
• Segurança em Produção: Para aplicações reais de LLMs na saúde, é necessário incorporar a sensibilidade ao risco. Um modelo pode parecer "preciso" em benchmarks padrão, mas apresentar um perfil de risco inaceitável se gerar diretrizes de tratamento não suportadas.
• Ferramenta Diagnóstica: O framework não substitui a revisão clínica, mas serve como uma ferramenta leve e interpretável para comparar comportamentos de modelos e identificar condições de prompt que levam a falhas de segurança.
• Limitações: O estudo não avalia a correção clínica real ou desfechos de pacientes, e os prompts são sintéticos. O RSHS é uma métrica de sinalização de risco, não um detector definitivo de alucinação.

Em resumo, o artigo argumenta que a comunidade de IA médica deve evoluir de métricas baseadas em "verdade/falsidade" para métricas baseadas em "impacto/risco", garantindo que os sistemas de IA não apenas sejam factualmente corretos, mas também seguros ao interagir com pacientes vulneráveis.