Blending Human and LLM Expertise to Detect Hallucinations and Omissions in Mental Health Chatbot Responses

Resumo Técnico: Detecção de Alucinações e Omissões em Chatbots de Saúde Mental

1. O Problema

A implementação de Grandes Modelos de Linguagem (LLMs) em serviços de saúde mental oferece acesso ampliado a suporte terapêutico, mas introduz riscos críticos de segurança. Dois tipos de falhas são particularmente perigosos neste contexto:

• Alucinações: Afirmações factualmente incorretas ou fabricadas (ex.: inventar medicamentos ou estatísticas) que podem levar a conselhos terapêuticos prejudiciais.
• Omissões: Falhas em incluir informações críticas (ex.: não fornecer números de emergência em crises de suicídio), que podem ter consequências fatais.

O artigo demonstra que os métodos atuais de avaliação, especificamente o paradigma "LLM-as-a-Judge" (usar um LLM para julgar outro), falham sistematicamente em contextos de saúde mental.

• Desempenho Insuficiente: Os principais LLMs (como GPT-4 e Llama-3) alcançaram apenas 52% de precisão na detecção de alucinações em dados de aconselhamento.
• Recall Próximo de Zero: Algumas abordagens de detecção de alucinações apresentaram recall próximo de 0%, significando que falharam em identificar a vasta maioria dos erros perigosos.
• Causa Raiz: Os LLMs não conseguem capturar padrões linguísticos sutis e terapêuticos que especialistas humanos reconhecem, como a adequação profissional, a empatia e a precisão clínica. Métricas tradicionais (BLEU, ROUGE) também são inadequadas por não avaliarem semântica ou omissões críticas.

2. Metodologia

Os autores propõem um framework híbrido que integra a expertise humana com LLMs e aprendizado de máquina supervisionado, superando a dependência exclusiva de julgadores de "caixa preta".

A. Novo Conjunto de Dados (Custom Dataset)

• Criaram um dataset anotado manualmente com 4.418 pares de prompt-resposta para detecção de alucinações e 3.368 para omissões.
• Protocolo de Anotação Rigoroso: Envolveu múltiplos stakeholders (clínicos, administradores, pacientes, cuidadores). Cada amostra exigiu consenso unânime entre três anotadores de grupos diferentes, com um meta-experto resolvendo discordâncias.
• Desequilíbrio de Classes Realista: O dataset reflete a realidade de implantação, com taxas de erro baixas (1,97% de alucinações e 3,68% de omissões), tornando a detecção um desafio de classe desbalanceada.

B. Extração de Características Multidimensionais (Feature Extraction)
Em vez de pedir ao LLM para classificar diretamente se há um erro, o framework usa o LLM para extrair 15 características interpretáveis baseadas em cinco dimensões analíticas definidas por especialistas:

1. Consistência Lógica: Detecção de contradições internas.
2. Verificação de Entidades: Avaliação da plausibilidade de entidades e relações mencionadas.
3. Consistência Factual: Verificação de afirmações contra conhecimento estabelecido.
4. Incerteza Linguística: Análise de linguagem de "hedging" (hesitação), marcadores de certeza e postura epistêmica.
5. Adequação Profissional: Avaliação de tom emocional, estilo de comunicação e limites profissionais terapêuticos.

C. Framework de Ensemble (Modelo Híbrido)
O sistema opera em duas etapas:

1. Base: Um LLM atua como juiz para gerar pontuações iniciais.
2. Refinamento: As características extraídas (dimensões 1-5) e as pontuações do juiz são alimentadas em classificadores de aprendizado de máquina supervisionado (Random Forest, XGBoost, LightGBM, CatBoost, SVM, etc.).

• O modelo aprende a ponderar essas características para tomar a decisão final, capturando nuances que o LLM sozinho perde.

3. Principais Contribuições

1. Evidência Empírica de Falha: Quantificaram sistematicamente a falha dos "LLMs-as-a-Judge" em saúde mental (ex.: SAC3 teve recall de 0% para alucinações; GPT-4o-mini teve recall de 9,3%).
2. Dataset Clínico Grounded: Introdução de um novo dataset com mais de 4.000 amostras, anotado por múltiplos stakeholders, focado especificamente em erros terapêuticos (alucinações e omissões).
3. Taxonomia de Características Interpretáveis: Desenvolvimento de um sistema de extração de características baseado em cinco dimensões clínicas que são inacessíveis para juízes de caixa preta.
4. Desempenho Superior: Demonstração de que modelos treinados nessas características superam significativamente as abordagens puras de LLM, alcançando desempenho comparável a anotadores humanos individuais.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset personalizado e em um dataset público do Kaggle.

• Detecção de Alucinações:
  • Base (LLM-as-a-Judge): F1-score variou de 0,04 a 0,17 (desempenho catastrófico).
  • Proposta (Features + ML): Alcançou F1 = 0,717 no dataset personalizado e F1 = 0,849 no dataset do Kaggle.
  • Melhoria: Até 75% de melhoria em relação às linhas de base.
• Detecção de Omissões:
  • Base (LLM-as-a-Judge): Desempenho inconsistente e frequentemente baixo.
  • Proposta (Features + ML): Alcançou F1 entre 0,59 e 0,64 em ambos os datasets.
• Robustez do Modelo:
  • O framework funcionou bem com diversos LLMs (GPT-4o, GPT-5, O3, Llama-3.3-70B, modelos OSS), demonstrando ser agnóstico ao modelo.
  • Modelos de código aberto (Llama-3.3-70B) alcançaram desempenho comparável aos modelos proprietários (F1 = 0,695), viabilizando implantações locais e privadas.
• Comparação Humana: O sistema alcançou desempenho comparável à média de anotadores humanos individuais (F1 médio humano = 0,536), mas com maior consistência e menor variância.

5. Significado e Impacto

• Segurança em Alta Stakes: O trabalho fornece uma solução viável para a detecção de erros críticos em sistemas de IA de saúde mental, onde falhas podem ser fatais.
• Superação do "Black Box": Ao substituir a classificação direta por extração de características interpretáveis, o sistema oferece transparência sobre por que uma resposta foi marcada como perigosa (ex.: "falta de número de emergência" ou "fabricação de entidade").
• Viabilidade de Implantação: A capacidade de usar modelos de código aberto e a robustez em dados desbalanceados tornam o sistema pronto para uso em sistemas de suporte à decisão clínica.
• Mudança de Paradigma: O estudo sugere que, em domínios especializados como a saúde, a combinação de expertise de domínio humana (via engenharia de características) com capacidades de processamento de linguagem de LLMs é superior ao uso de LLMs como juízes autônomos.

Conclusão: A integração de expertise clínica estruturada com métodos automatizados de aprendizado de máquina é essencial para garantir a segurança e a confiabilidade de chatbots de saúde mental, superando as limitações atuais das abordagens puramente baseadas em LLM.