Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text

Resumo Técnico: Sondagem Reversa para Quantificação de Incerteza ao Nível de Tokens em Textos Clínicos

Declaração do Problema
A implementação de Modelos de Linguagem de Grande Escala (LLMs) para sumarização de textos clínicos introduz preocupações críticas de segurança relacionadas à confiabilidade. Embora a Quantificação de Incerteza (UQ) seja bem estudada em domínios gerais, sua aplicação a textos clínicos enfrenta desafios distintos: erros clínicos são frequentemente esparsos (ocorrendo em palavras ou números únicos dentro de sentenças corretas) e o custo do erro é elevado. Os métodos existentes de UQ operam principalmente ao nível da sequência ou dependem da geração de múltiplos candidatos de saída (amostragem) para estimar a incerteza. Essas abordagens são inadequadas para ambientes clínicos porque:

1. Granularidade: Elas falham em localizar a incerteza em tokens ou trechos específicos dentro de documentos longos.
2. Eficiência: A amostragem repetida sobre documentos clínicos longos é computacionalmente dispendiosa.
3. Escassez de Dados: Textos clínicos anotados por especialistas são escassos, tornando difícil avaliar novas gerações de forma confiável.
4. Arquitetura: A sondagem tradicional ao nível de tokens (por exemplo, modelagem de linguagem mascarada) é nativa de modelos bidirecionais como o BERT, mas não de LLMs autoregressivos com apenas decodificador.

Além disso, o artigo distingue UQ da detecção de alucinações. A UQ é uma forma de autoavaliação que mede a confiança de um modelo em suas próprias previsões, independentemente da verdade fundamental, enquanto a detecção de alucinações depende de verificação factual externa.

Metodologia: Sondagem Reversa
Os autores propõem a Sondagem Reversa, um framework que estima a incerteza ao nível de tokens diretamente a partir de resumos rotulados preexistentes, sem gerar novo texto. A inovação central é uma "inversão" do paradigma padrão de UQ: em vez de pedir ao modelo para gerar texto e avaliar a saída, o método alimenta o texto clínico existente de volta no LLM congelado para sondar seu estado interno.

A metodologia procede da seguinte forma:

1. Mascaramento Baseado em Prompt: Para preencher a lacuna arquitetônica com modelos de apenas decodificador, o sistema substitui sequencialmente cada token-alvo em um resumo clínico por um marcador de máscara. O modelo é então solicitado a prever o token mascarado com base no contexto circundante.
2. Perturbação Contextual (O Mecanismo "Reverso"): O framework utiliza o Curso Hospitalar Breve (BHC) como fonte de evidência específica do paciente. Ele realiza duas passagens diretas para cada token:
   • Com Contexto: O resumo é alimentado com o BHC.
   • Sem Contexto: O resumo é alimentado sem o BHC.
     A hipótese central é que tokens suportados alinhar-se-ão com o BHC no espaço de representação do modelo, enquanto tokens não suportados (alucinados) carecerão desse fundamento. A ausência de alinhamento serve como um sinal latente de incerteza.
3. Extração de Recursos: O sistema extrai quatro categorias de recursos das ativações internas e distribuições de saída do modelo:
   • Sinais Internos: Normas de estados ocultos, mudanças entre camadas (distância L2, similaridade de cosseno) e métricas de atenção (entropia, peso direcionado ao BHC, deriva entre camadas).
   • Sinais de Incerteza: Métricas de forma da distribuição de saída (entropia de Shannon, margem, coeficiente de Gini, energia livre).
   • Sinais de Conhecimento Médico: Contexto específico do domínio via Reconhecimento de Entidades Nomeadas (NER) usando scispaCy/UMLS, densidade de entidades médicas e frequência/IDF de tokens.
   • Sinais Distribucionais: A diferença nas probabilidades e entropia entre as passagens "com BHC" e "sem BHC" (por exemplo, $\Delta E$, $\Delta H$, divergência KL).
4. Classificação Supervisionada: Um classificador supervisionado (XGBoost ou CatBoost) é treinado nesses recursos para prever uma pontuação de incerteza contínua para cada token. O modelo é treinado para identificar padrões de ativação interna associados a trechos não suportados.

Principais Contribuições

1. Primeiro Framework de UQ ao Nível de Tokens para Sumarização Clínica: A Sondagem Reversa é o primeiro framework projetado especificamente para estimar incerteza ao nível de tokens em tarefas de sumarização clínica.
2. Eficiência Computacional: Ao eliminar a multi-amostragem e operar sobre texto preexistente, o método reduz o tempo de inferência de horas (requerido por baselines baseadas em amostragem) para minutos.
3. Novo Benchmark: Os autores estabelecem o primeiro benchmark para UQ em resumos clínicos, avaliando contra oito baselines adaptadas em seis LLMs (incluindo modelos gerais e biomédicos) em dois conjuntos de dados anotados por especialistas (Hallucinations-MIMIC-DI e Hallucinations-Generated-DI).
4. Insights Interpretáveis: O estudo identifica sinais internos específicos que correlacionam com incerteza, oferecendo um caminho para IA explicável em ambientes clínicos.

Resultados
A avaliação demonstra que a Sondagem Reversa supera significativamente todas as baselines adaptadas:

• Desempenho: No conjunto de dados MIMIC-DI (resumos escritos por humanos), a Sondagem Reversa alcançou um AUPRC de 0,5478 (usando BioMistral-7B), comparado a 0,1313 para a baseline mais forte (SE Probes). Isso representa uma melhoria de aproximadamente 4×.
• Robustez: O método mantém superioridade consistente em modelos de tamanhos variados (7B a 70B) e condições de pré-treinamento (geral vs. biomédico), embora modelos menores (7B/8B) geralmente superem modelos maiores de 70B. Os autores hipotetizam que modelos maiores podem ser excessivamente confiantes, comprimindo a faixa dinâmica dos sinais de incerteza.
• Eficiência: A Sondagem Reversa processa 100 amostras em menos de 10 minutos em uma única GPU, enquanto métodos baseados em amostragem (por exemplo, Entropia Semântica) requerem aproximadamente 7 horas para a mesma tarefa.
• Análise de Recursos: A análise de importância dos recursos revela que a energia delta (a mudança na energia livre quando o BHC está presente) e o contexto de vizinhança (estatísticas de janela deslizante) são os preditores mais consistentes de incerteza em todos os modelos. Isso sugere que a incerteza em textos clínicos é frequentemente uma propriedade de trechos locais e não de tokens isolados.

Significado e Alegações
O artigo alega que a Sondagem Reversa oferece uma solução prática e escalável para estimativa de incerteza em ambientes clínicos de alto risco, onde gerar novo texto para avaliação é inviável. Ao tratar o texto existente como uma sonda, o método transforma a estimativa de incerteza em um processo interpretável que rastreia previsões de volta para sinais internos específicos (especificamente, a falta de alinhamento com evidências clínicas).

Os autores observam modestamente limitações, incluindo:

• Cobertura de Modelos: O framework foi validado principalmente nas arquiteturas Mistral e Llama.
• Adaptabilidade de Modelos Grandes: O desempenho degrada em modelos de 70B, sugerindo a necessidade de estratégias adaptativas de extração de recursos para redes mais profundas.
• Escassez de Dados: A dependência de conjuntos de dados anotados por especialistas limita a escala da avaliação.
• Generalização de Tarefas: O estudo limita-se a resumos de alta, e a generalização para outros tipos de texto clínico (por exemplo, laudos de radiologia) permanece não verificada.

Em última análise, o trabalho argumenta que os modelos codificam internamente a incerteza em resposta a conteúdo não suportado, e a Sondagem Reversa fornece um mecanismo para acessar esses sinais de forma eficiente, sem a sobrecarga computacional da amostragem generativa.