Resumen Técnico: Triaje Calibrado, No Autonomía

Declaración del Problema

Los Grandes Modelos de Visión y Lenguaje (LVLM) demuestran un modo de fallo crítico en el diagnóstico por imágenes médicas: pueden generar respuestas fluidas y seguras sobre preguntas relativas a radiografías o láminas de patología mientras apenas utilizan la entrada visual, apoyándose en lugar de ello en sesgos lingüísticos (language priors). En entornos clínicos, este comportamiento es peligroso porque el resultado parece digno de confianza a pesar de no estar fundamentado en la evidencia visual. El problema central no es meramente la precisión del modelo, sino la fiabilidad de la estimación de la confianza. Los LVLM actuales son sistemáticamente excesivamente seguros de sí mismos, reportando puntuaciones de confianza similares para respuestas correctas e incorrectas, particularmente en casos de alto riesgo. Los estimadores de confianza existentes suelen estar ajustados para el ranking en dominios generales bajo costes de error uniformes, fallando al abordar el requisito clínico de la predicción selectiva: la capacidad de distinguir casos que pueden automatizarse de forma segura de aquellos que requieren la revisión de un clínico, manteniendo un presupuesto de error estricto.

Metodología

El estudio evalúa siete estimadores de confianza a través de cinco LVLM de pesos abiertos (con rangos de 4.5B a 27B de parámetros) y tres conjuntos de datos de VQA (Preguntas y Respuestas Visuales) médicos:

1. GMAI-MMBench: Imágenes clínicas amplias (radiología, patología, dermatología, etc.).
2. SLAKE: Radiología y anatomía (TC, RM, rayos X).
3. PATH-VQA: Patología e histopatología.

Estimadores Evaluados:

• Solo inferencia (Caja negra): Autorreportes basados en prompts ($P(\text{Verdadero})$), Auto-sondeo (Self-Probing) y Ensembles de Prompts.
• Sondas internas entrenadas: SAPLMA (estado post-respuesta), CCPS (estabilidad de la representación), InternalInspector (estados agrupados de atención y de la red feed-forward) y BICR (consciente del fundamento o grounding, entrenado sobre el contraste entre imagen real y en blanco).

Diseño Experimental:

• Entrenamiento Fuera de Distribión (OOD): Todas las sondas entrenables fueron entrenadas exclusivamente con el conjunto de datos de dominio general GQA (imágenes naturales) y aplicadas a conjuntos de datos médicos sin adaptación, simulando un escenario de despliegue realista donde los modelos deben generalizar a escaneos médicos no vistos previamente.
• Verdad de Referencia (Ground Truth): Las etiquetas de corrección fueron asignadas utilizando un juez único ($gpt-5-mini$) para asegurar una gradación de equivalencia semántica consistente a través de los conjuntos de datos.
• Marco de Evaluación: El estudio redefine la estimación de la confianza como predicción selectiva acotada. Un caso se automatiza solo si su confianza supera un umbral; de lo contrario, se deriva. El rendimiento se mide mediante:
  • Discriminación: AUROC.
    Sin embargo, la diferencia en AUROC entre métodos suele ser insignificante (ej. 61.9 vs 62.9), lo que hace que los métodos parezcan intercambiables basándose solo en el ranking.
  • Calibración: Error de Calibración Esperada (ECE).
  • Rendimiento Seguro (Safe Yield): La fracción máxima de casos automatizables manteniendo la tasa de error de los casos automatizados por debajo de una tolerancia (ej. 20%).
  • Fiabilidad de Alta Confianza: Tasas de error en el decil superior de confianza (ErrTop10%).

Resultados Clave

1. Las métricas estándar son guías deficientes

La discriminación global (AUROC) y la calibración promedio (ECE) fallan al identificar estimadores utilizables para el triaje clínico.

• Discriminación: Las diferencias en AUROC entre métodos son a menudo insignificantes, lo que hace que los métodos parezcan intercambiables basándose solo en el ranking.
• Calibración: La calibración promedio puede mejorarse artificialmente mediante el escalado de temperatura fuera del dominio sin mejorar el "rendimiento seguro" (el volumen real de trabajo que se puede automatizar).
• La Brecha Crítica: El diferenciador es el comportamiento en la región de alta confianza. Los baselines de solo inferencia asignan alta confianza (>0.8) a respuestas erróneas el 41–45% de las veces. En contraste, las mejores sondas entrenadas (BICR e InternalInspector) reducen esto al 1–4%.

2. El Gradiente de Capacidad-a-Automatizabilidad

La automatización segura está gobernada por dos niveles:

1. Competencia del Modelo Base (El Techo): La automatización máxima posible está estrictamente limitada por la precisión base del modelo en un dominio específico.
   • Radiología (SLAKE): Precisión base ~61%. El rendimiento seguro con una tolerancia de error del 20% alcanza el ~34.6% (BICR).
   • Clínica Amplia (GMAI): Precisión base ~47%. El rendimiento seguro cae al ~4.5%.
   • Patología (PATH-VQA): Precisión base ~39.5%. Ningún método automatiza de forma segura ningún caso con una tolerancia de error del 20%.
2. Capa de Confianza (El Alcance): Incluso dentro del techo alcanzable, la capa de confianza determina cuánto se puede alcanzar de forma segura. En patología, la capa de confianza falla al identificar el subconjunto de bajo error que la competencia teórica del modelo base permite.

3. Especificidad de Dominio y Modelo

Ningún estimador es universalmente superior.

• BICR e InternalInspector generalmente superan a otros en radiología y dominios clínicos amplios.
• BICR destaca en la discriminación de patología, pero falla al mejorar el rendimiento seguro debido al bajo techo de competencia base.
• Ensembles de Prompts a veces superan a las sondas internas complejas en patología, sugiriendo que para dominios donde el modelo es fundamentalmente poco fiable, la instrumentación interna costosa no ofrece una ventaja de seguridad en la cola (tail-safety).
• Conciencia del Fundamento (Grounding Awareness): Solo los métodos conscientes del fundamento (como BICR) reducen significativamente la confianza cuando el modelo responde sin utilizar la imagen (ej. preguntas basadas en conocimiento), un modo de fallo crítico para la seguridad clínica.

Significado y Reivindicaciones

El artículo sostiene que el papel inmediato de los LVLM médicos es el triaje calibrado, no la autonomía.

• Triaje sobre Autonomía: Los sistemas deben automatizar solo los casos marcados como seguros por una puntuación calibrada y derivar todos los demás a los clínicos.
• La Medición Importa Más que el Modelo: Cómo se mide y agrega la confianza es más crítico que qué LVLM específico produce la respuesta. Un estimador bien calibrado y consciente del fundamento puede convertir un LVLM poco fiable en una herramienta de triaje útil, recuperando aproximadamente un tercio de la carga de trabajo de radiología con tolerancias de error moderadas.
• Rechazo de los Benchmarks Agregados: Las puntuaciones agregadas de las tablas de clasificación son engañosas. Los estimadores deben validarse por modelo y por categoría clínica (ej. departamento o región anatómica) porque el rendimiento varía significamente entre dominios y modalidades de imagen.
• Señal de Seguridad: La señal más valiosa para un clínico es una baja tasa de errores confiados en la región de alta confianza. Las métricas de ranking estándar no miden esto; solo las sondas específicas y conscientes del fundamento proporcionan esta seguridad.

El estudio concluye que, si bien la automatización segura está actualmente limitada por la competencia del modelo base (especialmente fallando en patología), una capa de confianza calibrada y consciente del fundamento proporciona la señal necesaria para delegar de forma segura una parte de la carga de trabajo, siempre que el despliegue se limite estrictamente a los casos donde la puntuación de confianza indica seguridad.