The strength of clinical evidence is recoverable from language model representations but not from their stated grades

Resumo Técnico: A Recuperabilidade da Força da Evidência Clínica a partir de Representações de LLM

Definição do Problema
Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados para resumir evidências clínicas, onde a utilidade de uma afirmação depende não apenas de sua veracidade, mas da força da evidência que a sustenta (por exemplo, ensaios clínicos randomizados versus opinião de especialistas). No entanto, sabe-se que os LLMs comunicam a confiança de forma deficiente; sua certeza declarada é frequentemente fracamente calibrada e falha em acompanhar a correção. Uma questão crítica e ainda não testada permanece: os LLMs clínicos registram internamente a força da evidência para uma afirmação, distinta de sua verdade factual, e se sim, eles expressam esse registro quando solicitados? Além disso, não está claro se qualquer sinal interno relativo à força da evidência representa uma compreensão profunda do peso da evidência ou apenas pistas lexicais superficiais.

Metodologia
O estudo empregou um framework de avaliação abrangente envolvendo 45.134 afirmações clínicas compiladas de seis fontes biomédicas públicas (incluindo USPSTF, CPSTF, Trialstreamer, Evidence Inference, EBM-NLP e reversões médicas). Dessas, 20.611 afirmações foram harmonizadas em um grau de evidência de quatro níveis (Alta, Moderada, Baixa, Muito Baixa) sob três frameworks de graduação independentes. Um subconjunto também foi rotulado quanto à verdade factual (Verdadeiro, Falso, Incerto), com elementos de design específicos (por exemplo, afirmações de "reversão" e grades balanceadas) usados para dessorrelacionar o grau de evidência da verdade factual.

Os autores testaram 22 LLMs locais, de pesos abertos e ajustados por instrução, variando de 0,6 a 70 bilhões de parâmetros, abrangendo famílias de domínio geral, adaptadas ao domínio médico e de raciocínio destilado. O pipeline experimental envolveu:

1. Extração de Estados Ocultos: Extração de vetores de ativação do fluxo residual no último token de cada afirmação a partir de modelos congelados.
2. Probing Linear: Treinamento de estimadores logísticos multinomiais com regularização L2 para decodificar o grau de evidência a partir desses estados ocultos.
3. Elicitação de Verbalização: Solicitação aos modelos para declarar explicitamente o grau de evidência (zero-shot e few-shot) para comparar os graus declarados com as representações internas.
4. Análises de Controle:
   • Controles Lexicais: Comparação da decodificabilidade do estado oculto contra classificadores bag-of-words TF-IDF e covariáveis de superfície (comprimento, densidade de termos de hesitação/hedge).
   • Generalização: Teste de transferência entre tópicos e frameworks (deixar um framework de fora).
   • Separabilidade: Construção de uma grade grau-por-verdade balanceada para testar se o sinal do grau é distinto da verdade factual.
   • Direcionamento (Steering): Tentativa de modular a saída do modelo adicionando o vetor de direção do grau ao fluxo residual.
   • Sinalização (Flagging): Treinamento de um estimador binário para detectar afirmações fracamente sustentadas.

Resultos Principais

• Recuperabilidade Interna vs. Saída Declarada: Um estimador linear conseguiu recuperar o grau de evidência de quatro níveis dos estados ocultos de todos os modelos testados, alcançando um macro AUROC de pico de camada mediana de 71,8 (significativamente acima do acaso). Em forte contraste, os graus declarados pelos modelos caíram para níveis de acaso (acurácia mediana ~22%), criando uma lacuna sistemática e ampla (25–27 pontos percentuais) entre o que é recuperável internamente e o que é expresso verbalmente.
• Escala e Especialização do Modelo: Contrariando a hipótese de que modelos maiores ou mais especializados possuiriam estruturas mais limpas, a decodificabilidade não melhorou com a escala. No Qwen3 ladder, a decodificabilidade diminuiu conforme o número de parâmetros aumentava. Modelos de raciocínio destilado apresentaram o pior desempenho, enquanto a adaptação ao domínio médico não mostrou efeito significativo.
• Natureza do Sinal: Descobriu-se que o sinal recuperável era amplamente lexical. Um classificador TF-IDF superou os estimadores de estado oculto (AUROC 78,9 vs. 71,8). A adição de características ocultas aos classificadores lexicais não proporcionou benefício e, uma vez que os escores lexicais foram isolados, a correlação do sinal oculto com o grau real caiu para próximo de zero. O sinal não se generalizou através de diferentes tópicos clínicos ou frameworks de graduação, sugerindo que reflete o vocabulário específico da fonte em vez de um conceito abstrato de força de evidência.
• Separabilidade da Verdade: Em uma grade balanceada onde o grau e a verdade eram estatisticamente independentes por construção, as direções de grau e verdade no espaço de representação eram quase ortogonais. A direção do grau previu a verdade não melhor que o acaso, confirmando que o sinal interno é distinto da correção factual, embora sejam fortemente confundidos em corpora naturais.
• Direcionamento e Sinalização: O direcionamento da geração ao longo da direção do grau não alterou de forma confiável a certeza declarada pelo modelo, indicando que o sinal não é uma alavanca funcional para controle de saída. No entanto, um estimador externo pôde sinalizar com sucesso afirmações fracamente sustentadas (AUROC 69,2) usando os estados ocultos, oferecendo um mecanismo prático para identificar evidências de baixa qualidade sem recuperação (retrieval).

Significância e Alegações
O artigo afirma que os LLMs clínicos carregam um sinal ordenado de força de evidência em suas representações internas que eles falham em expressar em suas saídas. Essa dissociação implica que os "graus" que um modelo fornece verbalmente são informativos em relação ao suporte real para uma afirmação. Os autores argumentam que, embora o sinal recuperável seja amplamente lexical e não uma representação profunda e portátil de força de evidência, sua existência é crítica para a segurança: a informação necessária para pesar uma asserção clínica está presente dentro do modelo, mas ausente de sua saída.

Consequentemente, o estudo conclui que confiar na confiança ou no grau declarado por um modelo é inseguro. Em vez disso, a segurança na implantação clínica requer uma verificação externa — seja lendo o sinal da representação ou usando um classificador baseado em texto — para sinalizar afirmações fracamente sustentadas. O artigo alerta que resultados de decodificabilidade sem controles lexicais e fora da distribuição podem superestimar o que um modelo realmente codifica, e que a aparente identidade entre o grau de evidência e a verdade em dados naturais é um artefato de distribuição, e não um código compartilhado.