🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

Este artículo demuestra que los modelos de lenguaje de gran tamaño carecen de una auténtica autoconciencia epistémica en datos tabulares clínicos, ya que su confianza verbalizada no es informativa y su precisión se correlaciona inversamente con la dificultad de la tarea, pero propone que el análisis de divergencia de atribución entre modelos, combinado con el uso de pocos ejemplos (few-shot prompting) y evidencia de características, puede detectar eficazmente estos puntos ciegos y mejorar significativamente tanto la precisión como la calibración sin necesidad de reentrenamiento.

Autores originales: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El "Pasante Excesivamente Confiado"

Imagina que contratas a un brillante estudiante de medicina (el LLM) que ha leído todos los libros de texto de medicina del mundo, pero que nunca ha trabajado realmente en un hospital. También tienes a una enfermera experimentada y basada en datos (el modelo XGBoost) que ha pasado años rastreando las constantes vitales de los pacientes y sabe exactamente qué números predicen una enfermedad específica (Lesión Renal Aguda).

Los investigadores se hicieron una pregunta sencilla: ¿Sabe el estudiante de medicina cuándo está adivinando?

Descubrieron que el estudiante es peligrosamente excesivamente confiado. Sin importar lo equivocado que esté, dice: "¡Estoy un 90% seguro!". El artículo llama a esto "Puntos Ciegos Epistémicos" (Epistemic Blind Spots): el estudiante no sabe lo que no sabe.

El Experimento: Cuatro Formas de Hacer la Pregunta

Los investigadores probaron al estudiante de medicina (usando un modelo llamado Qwen 2.5) con 300 registros de pacientes. Probaron cuatro formas diferentes de pedir un diagnóstico:

La Pizarra en Blanco (Zero-Shot): Solo dar los datos del paciente y preguntar: "¿Tiene lesión renal?".
- Resultado: El estudiante adivinó al azar (49% de precisión), pero aun así afirmó tener un 85% de confianza.
La Hoja de Trucos (Zero-Shot + SHAP): Darle al estudiante los datos más una lista de los 5 números que la enfermera considera más importantes.
- Resultado: El estudiante siguió adivinando mal (52% de precisión) y seguía afirmando tener un 85% de confianza. Miró los números correctos, pero no entendió cómo usarlos.
Los Ejemplos (Few-Shot): Darle al estudiante los datos más cuatro ejemplos de pacientes pasados con sus diagnósticos correctos.
- Resultado: El estudiante mejoró mucho (68% de precisión) y afirmó tener un 93% de confianza.
El Súper Combo (Few-Shot + SHAP): Darle al estudiante los ejemplos y la lista de números importantes de la enfermera.
- Resultado: El estudiante se volvió muy bueno (75% de precisión) y afirmó tener un 93% de confianza.

Los Cuatro Grandes Descubrimientos

1. El "Termómetro Roto" (La Confianza es Inútil)

El hallazgo más impactante es que el "puntaje de confianza" del estudiante es un termómetro roto.

La Analogía: Imagina un termómetro que siempre marca "37°C" tanto si estás sano como si tienes una fiebre de 40°C.
La Realidad: Independientemente de si el estudiante acertaba o fallaba, o de si la tarea era fácil o difícil, siempre decía que estaba aproximadamente un 85% o 93% seguro. Su confianza dependía enteramente de cómo se redactaba la pregunta, no de qué tan buena era la respuesta. No te dice nada sobre si la predicción es correcta.

2. El "Efecto de Dificultad Inversa" (Fallan donde el Experto está Seguro)

Los investigadores notaron un patrón extraño:

Cuando la Enfermera estaba un 99% segura (porque los datos eran muy claros y específicos), el Estudiante solo acertó el 65% de las veces.
Cuando la Enfermera no estaba segura (porque los datos eran desordenados), el Estudiante en realidad hizo tan bien como la Enfermera (aproximadamente un 74% de precisión).
La Analogía: El estudiante es bueno en la teoría médica general, pero terrible en los patrones específicos y extraños de los datos de este hospital en particular. El estudiante brilla cuando los datos son difusos y el conocimiento general ayuda, pero falla cuando los datos requieren patrones aprendidos y específicos.

3. El "Combo Mágico" (1 + 1 = 3)

Los investigadores descubrieron que dar al estudiante ejemplos (Few-Shot) y darle la lista de números importantes de la enfermera (SHAP) funcionaba mejor juntos que la suma de sus partes.

La Analogía: Imagina que intentas aprender a conducir.
- Los Ejemplos por sí solos son como ver un video de alguien conduciendo. Entiendes el objetivo, pero no sabes qué pedales presionar.
- La Lista por sí sola es como alguien señalando los pedales y diciendo "Presiona esto". Sabes qué tocar, pero no por qué o cuándo.
- Juntos, finalmente entiendes todo el coche. Los investigadores encontraron que combinar estos dos métodos mejoró el razonamiento del estudiante mucho más que simplemente sumar las dos mejoras por separado.

4. El "Traductor" (Corrigiendo la Confianza)

Dado que la propia confianza del estudiante es inútil, los investigadores construyeron un pequeño "Traductor" (un calibrador).

Cómo funciona: Este Traductor observa la diferencia entre lo que el Estudiante cree que es importante y lo que la Enfermera cree que es importante.
El Resultado: Si el Estudiante y la Enfermera no están de acuerdo en lo que es importante, el Traductor dice: "Oye, esta predicción es riesgosa". Si están de acuerdo, dice: "Esto es probablemente seguro".
El Impacto: Esto reemplazó la falsa confianza del estudiante con un puntaje de fiabilidad real y específico para cada paciente. No necesitó mirar dentro del cerebro del estudiante ni ejecutar la prueba dos veces; simplemente comparó el razonamiento de ambos modelos.

La Conclusión: El Probleo del "Arranque en Frío" (Cold Start)

El artículo concluye que poner un LLM ante datos estructurados (como hojas de cálculo de constantes vitales de pacientes) es como un Arranque en Frío.

El estudiante tiene el conocimiento (sabe medicina).
Pero carece de dirección (no sabe en qué números fijarse).
Y carece de autoconciencia (no sabe cuándo está adivinando).

El artículo sugiere que no necesitamos reemplazar a la enfermera inteligente y basada en datos (XGBoost). En su lugar, debemos usar a la enfermera para guiar al estudiante (mostrándole qué características importan) y para calibrar al estudiante (diciéndonos cuándo su razonamiento se está desviando). Esto crea un sistema donde el estudiante aprende a ser genuinamente consciente de sus propios límites.

Resumen Técnico: Detección de Puntos Ciegos Epistémicos mediante la Divergencia de Atribución entre Modelos

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLM) muestran potencial en la respuesta a preguntas médicas y la síntesis de notas, su aplicación a datos tabulares clínicos estructurados (por ejemplo, Registros de Salud Electrónicos) sigue siendo poco explorada en cuanto a la autoconciencia epistémica. Investigaciones previas han establecido que los modelos basados en árboles (por ejemplo, XGBoost) superan consistentemente a los LLM en tareas de predicción tabular, pero esta brecha de rendimiento se ha tratado mayoritariamente como una métrica agregada monolítica (por ejemplo, un menor AUROC) sin examinar la estructura epistémica subyacente.

El problema central abordado es si los LLM pueden reconocer los límites de su propio conocimiento en tareas estructuradas. Específicamente, el artículo investiga si los LLM pueden distinguir entre casos en los que es probable que estén en lo correcto o en lo incorrecto, y si sus señales de confianza verbalizadas son indicadores fiables de la calidad de la predicción en entornos clínicos. Los autores enmarcan esto como un problema de "arranque en frío" (cold start): los LLM poseen conocimiento médico relevante, pero carecen de la dirección (atención a las características) y los mecanismos de autoevaluación necesarios para aplicar dicho conocimiento a datos estructurados.

Metodología

Datos y Tarea

El estudio utiliza la base de datos clínica MIMIC-IV para replicar una tarea de predicción de Lesión Renal Aguda (AKI).

Conjunto de datos: Una cohorte balanceada de 10,000 encuentros (5,000 por clase) derivados de aproximadamente 209,000 admisiones.
Características: 321 características que incluyen signos vitales, datos demográficos, códigos de diagnóstico CCS y valores de laboratorio discretizados.
División: División de entrenamiento-prueba de 80/20 para XGBoost; un subconjunto del 15% (n=300) del conjunto de prueba se utilizó para la evaluación del LLM.
Línea de base (Baseline): Un clasificador XGBoost entrenado con las 50 variables más influyentes, logrando un AUROC de ~0.85 y una precisión de ~0.823 en el subconjunto de evaluación.

Configuración Experimental

Los autores evaluaron Qwen 2.5 7B Instruct (alojado localmente) a través de cuatro condiciones de prompting:

Zero-Shot (ZS): Características del paciente serializadas con un prompt de predicción.
ZS + SHAP: Prompt ZS aumentado con las 5 principales características de SHAP, sus puntuaciones de importancia e impactos direccionales del modelo XGBoost.
Few-Shot (FS): Prompt ZS con cuatro ejemplos etiquetados y balanceados por clase.
FS + SHAP: Combinación de ejemplos few-shot e inyección de características SHAP.

Requisitos de salida: Para cada caso, se requirió que el LLM generara una predicción binaria, una puntuación de confianza verbalizada (0–1) y una lista clasificada de las 5 principales características con direcciones de riesgo. Las salidas fueron impuestas mediante JSON estructurado.

Métricas y Análisis

Puntuación de Desacuerdo de Atribución (ADS): Cuantifica la alineación entre las atribuciones SHAP de XGBoost y los rankings de características auto-reportados por el LLM utilizando la correlación de rangos de Kendall ( $\tau$ ). $ADS = 1 - \tau$ .
Calibración: Medida mediante el Error de Calibración Esperado (ECE) y el AUROC para distinguir entre predicciones correctas e incorrectas.
Calibrador de Modelo Cruzado: Un modelo ligero (Regresión Logística o XGBoost) entrenado para predecir la probabilidad de corrección del LLM ( $P(\text{LLM correct})$ ) utilizando características de modelos cruzados (ADS, solapamiento de Jaccard, acuerdo direccional, diferencias de confianza, etc.).

Hallazgos Clave

1. La Confianza Verbalizada del LLM es Epistémicamente Vacua

El estudio encuentra que la confianza verbalizada del LLM está determinada enteramente por la plantilla del prompt, no por la calidad de la predicción.

Observación: Las puntuaciones de confianza se mantuvieron casi constantes (0.856 para Zero-Shot; 0.937 para Few-Shot) independientemente de si la precisión era del 49% o del 75.3%.
Implicación: En datos tabulares clínicos, la confianza verbalizada carece de información sobre la corrección; rastrea el formato del prompt en lugar del estado epistémico, lo que la hace inútil para la toma de decisiones posterior.

2. El Efecto de Dificultad Inversa

Existe una relación contraintuitiva entre la dificultad de los datos y el rendimiento del LLM en relación con XGBoost.

Observación: Cuando XGBoost es altamente confiado (>0.85) y casi siempre correcto (99% de precisión), la precisión del LLM cae al 64.8%. Por el contrario, cuando XGBoost es moderadamente incierto (confianza 0.70–0.85), el LLM iguala su rendimiento (73.8% frente a 73.1%).
Implicación: Los modelos exhiben modos de falla complementarios. El LLM tiene dificultades con los patrones distributivos específicos de los datos aprendidos por XGBoost, pero aporta un valor genuino en la "zona de incertidumbre" de XGBoost, donde el conocimiento médico general es suficiente. Sin embargo, el LLM no puede identificar estas zonas por sí mismo.

3. Alineación de Atribución Super-Aditiva

Los ejemplos few-shot y la evidencia de características derivada de SHAP actúan como intervenciones ortogonales y super-aditivas.

Observación:
- Few-Shot: Mejora la comprensión de la tarea (mapeo de características a predicciones) pero apenas cambia la atención de las características (el solapamiento de Jaccard aumenta solo ligeramente).
- Inyección de SHAP: Redirige la atención de las características de manera efectiva (el solapamiento de Jaccard salta a 0.658) pero resulta en una "adopción superficial" (el LLM copia las atribuciones verbalmente sin ajustar significativamente las predicciones).
- Combinado (FS + SHAP): El efecto combinado en la reducción del ADS (reducción de 1.158) supera la suma de los efectos individuales (0.796). Esta combinación logra un 75.3% de precisión y un 0.378 de ADS.
Implicación: Resolver el "arranque en frío" requiere tanto demostraciones de la tarea (dirección) como evidencia de características estructurada (orientación).

4. Calibración de Modelo Cruzado mediante Divergencia de Atribución

Las señales de divergencia de atribución pueden potenciar un sistema de calibración externo efectivo.

Observación: Un calibrador de modelo cruzado utilizando características de divergencia de atribución redujo el Error de Calibración Esperado (ECE) de 0.254 (LLM bruto) a 0.080. El calibrador logró un AUROC de 0.71 en la predicción de si el LLM sería correcto.
Implicación: Se pueden generar estimaciones de fiabilidad específicas para cada paciente sin acceder a los internos del LLM ni requerir inferencias repetidas, reemplazando la confianza constante sin información por una puntuación de fiabilidad significativa.

Significado y Reivindicaciones

El artículo enmarca estos hallazgos como la caracterización de un problema de arranque en frío para los LLM en datos estructurados. El LLM posee conocimiento médico latente, pero carece del mecanismo para orientarse dentro del espacio de características o evaluar su propia fiabilidad.

Fundamento Diagnóstico: El trabajo establece un marco diagnóstico para identificar puntos ciegos epistémicos (atención desalineada, falta de autoevaluación) en lugar de simplemente medir las brechas de rendimiento.
Utilidad Práctica: Demuestra que los modelos estructurados existentes (como XGBoost) pueden servir un doble rol en los flujos de trabajo clínicos: proporcionando dirección (vía inyección de atribución) y señales de calibración (vía divergencia de modelo cruzado) a los LLM.
Autoconciencia Epistémica: Los autores argumentan que los LLM actuales carecen de una verdadera autoconciencia epistémica en tareas estructuradas. El camino propuesto implica utilizar objetivos de calibración de modelo cruzado como señales de recompensa para el Aprendizaje por Refuerzo (RL), lo que potencialmente podría enseñar a los LLM a internalizar la incertidumbre calibrada en el futuro.

El estudio es modesto en su alcance, evaluando un único modelo (Qwen 2.5 7B) en una única tarea (AKI) con un tamaño de muestra limitado (n=300). Reconoce las limitaciones, incluyendo las atribuciones de características auto-reportadas y el carácter preliminar del calibrador, posicionando este trabajo como un paso fundacional hacia una investigación más amplia de la inteligencia epistémica para datos estructurados.