The strength of clinical evidence is recoverable from language model representations but not from their stated grades

Resumen Técnico: La recuperabilidad de la fuerza de la evidencia clínica a partir de las representaciones de los LLM

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) se están desplegando cada vez más para resumir evidencia clínica, donde la utilidad de una afirmación depende no solo de su veracidad, sino de la fuerza de la evidencia que la sustenta (por ejemplo, ensayos controlados aleatorios frente a opinión de expertos). Sin embargo, se sabe que los LLM comunican la confianza de manera deficiente; su certeza declarada suele estar débilmente calibrada y no logra rastrear la corrección. Una cuestión crítica y aún no probada es: ¿registran los LLM clínicos internamente la fuerza de la evidencia de una afirmación, de forma distinta a su verdad factual, y si es así, expresan este registro cuando se les solicita? Además, no está claro si cualquier señal interna relativa a la fuerza de la evidencia representa una comprensión profunda del peso de la evidencia o simplemente pistas léxicas superficiales.

Metodología
El estudio empleó un marco de evaluación exhaustivo que involucró 45.134 afirmaciones clínicas recopiladas de seis fuentes biomédicas públicas (incluyendo USPSTF, CPSTF, Trialstreamer, Evidence Inference, EBM-NLP y reversiones médicas). De estas, 20.611 afirmaciones fueron armonizadas en un grado de evidencia de cuatro niveles (Alto, Moderado, Bajo, Muy Bajo) bajo tres marcos de calificación independientes. Un subconjunto también fue etiquetado por verdad factual (Verdadero, Falso, Incierto), utilizando elementos de diseño específicos (por ejemplo, afirmaciones de "reversión" y cuadrículas equilibradas) para descorrelacionar el grado de evidencia de la verdad factual.

Los autores probaron 22 LLM locales de pesos abiertos e instruidos, con un rango de 0,6 a 70 mil millones de parámetros, que abarcan familias de dominio general, adaptadas al dominio médico y de razonamiento destilado. El flujo de trabajo experimental consistió en:

1. Extracción de estados ocultos: Extracción de vectores de activación de la corriente residual en el último token de cada afirmación a partir de modelos congelados.
2. Sondeo lineal (Linear Probing): Entrenamiento de estimadores logísticos multinomiales con regularización L2 para decodificar el grado de evidencia de estos estados ocultos.
3. Elicitación de verbalización: Solicitar a los modelos que declaren explícitamente el grado de evidencia (zero-shot y few-shot) para comparar los grados declarados con las representaciones internas.
4. Análisis de control:
   • Controles léxicos: Comparación de la decodificabilidad del estado oculto frente a clasificadores bag-of-words de TF-IDF y covariables superficiales (longitud, densidad de mitigadores/hedging).
   • Generalización: Pruebas de transferencia entre temas y marcos (leave-one-framework-out).
   • Separabilidad: Construcción de una cuadrícula equilibrada de grado por verdad para probar si la señal del grado es distinta de la verdad factual.
   • Direccionamiento (Steering): Intento de modular la salida del modelo añadiendo el vector de dirección del grado a la corriente residual.
   • Identificación (Flagging): Entrenamiento de un estimador binario para detectar afirmaciones débilmente sustentadas.

Resultos clave

• Recuperabilidad interna frente a salida declarada: Un estimador lineal pudo recuperar el grado de evidencia de cuatro niveles de los estados ocultos de cada modelo probado, logrando una mediana de AUROC macro en la capa máxima de 71,8 (significativamente por encima del azar). En marcado contraste, los grados declarados por los modelos cayeron a niveles de azar (precisión mediana ~22%), creando una brecha sistemática y amplia (25–27 puntos porcentuales) entre lo que es recuperable internamente y lo que se expresa verbalmente.
• Escala y especialización del modelo: Contrario a la hipótesis de que los modelos más grandes o especializados poseerían estructuras internas más limpias, la decodificabilidad no mejoró con la escala. En la escala Qwen3, la decodificabilidad disminuyó a medida que aumentaba el número de parámetros. Los modelos de razonamiento destilado fueron los que peor se desempeñaron, mientras que la adaptación al dominio médico no mostró un efecto significativo.
• Naturaleza de la señal: Se encontró que la señal recuperable era mayoritmente léxica. Un clasificador TF-IDF superó a los estimadores de estado oculto (AUROC 78,9 frente a 71,8). Añadir características ocultas a los clasificadores léxicos no proporcionó ningún beneficio, y una vez que las puntuaciones léxicas fueron aisladas, la correlación de la señal oculta con el grado real cayó a casi cero. La señal no se generalizó a través de diferentes temas clínicos o marcos de calificación, lo que sugiere que refleja el vocabulario específico de la fuente en lugar de un concepto abstracto de fuerza de evidencia.
• Separabilidad de la verdad: En una cuadrícula equilibrada donde el grado y la verdad eran estadísticamente independientes por construcción, las direcciones de grado y verdad en el espacio de representación eran casi ortogonales. La dirección del grado no predijo la verdad mejor que el azar, confirmando que la señal interna es distinta de la corrección factual, aunque estén fuertemente confundidas en los corpora naturales.
• Direccionamiento y detección: El direccionamiento de la generación a lo largo de la dirección del grado no alteró de manera confiable la certeza declarada del modelo, lo que indica que la señal no es una palanca funcional para el control de la salida. Sin embargo, un estimador externo pudo identificar con éxito afirmaciones débilmente sustentadas (AUROC 69,2) utilizando los estados ocultos, ofreciendo un mecanismo práctico para identificar evidencia de baja calidad sin necesidad de recuperación.

Significancia y afirmaciones
El artículo afirma que los LLM clínicos portan una señal ordenada de la fuerza de la evidencia en sus representaciones internas que no logran expresar en sus salidas. Esta disociación implica que los "grados" que un modelo proporciona verbalmente no son informativos respecto al apoyo real de una afirmación. Los autores argumentan que, si bien la señal recuperable es mayormente léxica y no una representación profunda y portátil de la fuerza de la evidencia, su existencia es crítica para la seguridad: la información necesaria para ponderar una aserción clínica está presente dentro del modelo pero ausente de su salida.

Consecuentemente, el estudio concluye que confiar en la confianza o el grado declarado por un modelo es inseguro. En su lugar, la seguridad en el despliegue clínico requiere un control externo —ya sea leyendo la señal de la representación o utilizando un clasificador basado en texto— para identificar afirmaciones débilmente sustentadas. El artículo advierte que los resultados de decodificabilidad sin controles léxicos y fuera de distribución pueden sobreestimar lo que un modelo realmente codifica, y que la aparente identidad entre el grado de evidencia y la verdad en los datos naturales es un artefacto de la distribución y no un código compartido.