🤖 machine learning

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

Este artículo presenta la Puntuación de Sensibilidad Causal (CSS, por sus siglas en inglés), una métrica intervencionista que revela discrepancias significativas entre el rendimiento de los modelos de IA clínica en los bancos de pruebas estándar basados en cobertura y su respuesta real ante cambios críticos en los datos de los pacientes, exponiendo perfiles de capacidad ocultos y puntos ciegos de seguridad universales que los métodos de evaluación tradicionales pasan por alto.

Autores originales: Matt Turk

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Matt Turk

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un equipo de asesores médicos (modelos de IA) para ayudar a decidir el mejor tratamiento para pacientes con cáncer. Tradicionalmente, hemos probado a estos asesores dándoles el expediente de un paciente y comprobando si su recomendación final coincide con lo que diría un panel de expertos humanos. Si el consejo parece correcto, obtienen una buena nota.

Este artículo argumenta que este sistema de calificación tradicional es como juzgar a un chef solo por el sabor del plato final, sin preguntarle nunca: "¿Realmente probaste los ingredientes o simplemente memorizaste la receta y serviste el mismo plato sin importar qué?"

Aquí está el desglose de los hallazgos del artículo utilizando analogías sencillas:

1. El Problema: La trampa del "Parecido"

Los autores descubrieron que dos sistemas de IA pueden obtener puntuaciones casi idénticas en las pruebas estándar, pero comportarse de manera completamente diferente cuando los hechos cambian.

El Escenario: Un paciente tiene un marcador específico en sus células cancerosas. La IA sugiere un fármaco.
El Giro: Ahora, imagina que cambiamos secretamente el expediente para decir que el paciente ya no tiene ese marcador.
El Resultado: Una IA "inteligente" debería cambiar su recomendación de fármaco. Una IA "torpe" (pero con suerte) podría simplemente ignorar el cambio y sugerir el mismo fármaco de todos modos.
El Defecto: Las pruebas estándar (llamadas CMS en el artículo) solo comprueban si la respuesta final coincide con la de los expertos. No detectan a la IA que simplemente está "atascada" en una sola respuesta. Es como un estudiante que se memorizó la clave de respuestas; obtiene un 'A' en el examen, pero si cambias ligeramente la pregunta, reprueba porque no entiende la lógica.

2. La Solución: La "Puntuación de Sensibilidad Causal" (CSS)

Para solucionar esto, los autores crearon una nueva prueba llamada Puntuación de Sensibilidad Causal (CSS).

La Analogía: Piensa en esto como un juego de "encuentra las diferencias" para expedientes médicos. Los investigadores toman el expediente de un paciente y realizan cambios pequeños y planificados (como cambiar el interruptor de "cirugía realizada" a "cirugía no realizada", o eliminar un historial de medicamentos específico).
La Prueba: Le preguntan a la IA: "Ahora que cambié este hecho, ¿cambiaste tu recomendación?"
La Puntuación:
- 1.0: Cambiaste de opinión correctamente (¡Genial!).
- 0.5: Notaste el cambio pero no cambiaste de opinión (Bien).
- 0.0: Ignoraste el cambio por completo (Mal).

3. La Gran Sorpresa: El Ranking se Invirtió

Los autores probaron seis de los modelos de IA más inteligentes disponibles. Cuando usaron la prueba antigua (CMS), los modelos fueron clasificados en un cierto orden. Cuando usaron la nueva prueba (CSS), el ranking cambió por completo.

El modelo que quedó en último lugar según la prueba antigua se convirtió en el ganador según la nueva prueba.
El modelo que quedó en primer lugar según la prueba antigua cayó al cuarto lugar.
La Conclusión: La IA "mejor" según los estándares antiguos era, en realidad, la peor reaccionando a la nueva información.

4. El Punto Ciego Universal: El error de la "Cirugía"

El artículo descubrió un tipo específico de cambio en el que todos los modelos de IA fallaron, independientemente de lo inteligentes que fueran.

El Escenario: Cambiar si un paciente tuvo cirugía o no.
El Fallo: Cuando el expediente decía "Paciente tuvo cirugía", la IA sugería un tratamiento. Cuando el expediente se cambiaba a "Paciente no tuvo cirugía", la IA a menudo sugería el mismo tratamiento exacto.
Por qué importa: En la medicina real, si un paciente tuvo cirugía o no es algo crucial. Si una IA ignora esto, es un riesgo de seguridad. La prueba antigua (CMS) nunca detectó esto porque la respuesta de la IA todavía "parecía" una opinión médica válida, aunque estuviera ignorando un hecho crítico.

5. El Experimento de "Uso de Herramientas"

Los investigadores también probaron estas IA cuando se les permitía usar herramientas (como un motor de búsqueda para buscar registros de pacientes) en lugar de solo leer un archivo estático.

El Resultado: Para la mayoría de los modelos, el uso de herramientas les ayudó a obtener mejores puntuaciones. Podían encontrar la nueva información y actualizar su consejo.
El Caso Extraño: Un modelo específico (gpt-5.4) utilizó las herramientas tan bien como los demás —encontró la información correcta— pero aun así no cambió su recomendación.
La Metáfora: Es como un detective que encuentra la pistola humeante (la evidencia) pero sigue insistiendo en que el sospechoso es inocente. Esto sugiere que el problema no es que la IA no pueda encontrar la información; es que su cerebro es estructuralmente incapaz de actualizar su conclusión basada en esa información.

Resumen

Este artículo introduce una nueva forma de probar las IA médicas que comprueba si realmente están pensando o simplemente repitiendo.

Forma Antigua: ¿Diste la respuesta correcta? (Sí/No)
Nueva Forma (CSS): Si cambio los hechos, ¿cambias tu respuesta? (Sí/No)

El estudio muestra que los modelos que creíamos que eran los mejores podrían ser, en realidad, los más rígidos, y que todas las actuales modelos de alto nivel tienen un punto ciego peligroso respecto al estado de la cirugía. Los autores sugieren que necesitamos esta nueva prueba de "capacidad de respuesta" para asegurar que los agentes de IA sean verdaderamente seguros y fiables antes de permitirles ayudar a los médicos.

Resumen Técnico: La evaluación contrafactual revela perfiles de capacidad ocultos en LLMs y agentes clínicos

Planteamiento del problema

Los paradigmas de evaluación actuales para los Modelos de Lenguaje de Gran Escala (LLM) y agentes clínicos dependen en gran medida de métricas basadas en la cobertura, como la similitud de cadenas o rúbricas de "LLM como juez" que comparan los resultados con comportamientos de referencia. Estas métricas preguntan: "¿El resultado parece correcto?", pero no abordan: "¿Está el modelo actualizando su resultado por las razones correctas?".

Esta limitación es crítica en entornos clínicos donde dos sistemas pueden puntuar de forma idéntica en métricas de cobertura, pero comportarse de manera radicalmente distinta ante cambios en los datos de entrada del paciente. Por ejemplo, una IA de oncología podría proponer un tratamiento estándar (p. ej., FOLFIRINOX) para un caso de páncreas independientemente de si el paciente es ingenuo al tratamiento o si ha fallado en terapias previas. Mientras que las métricas de cobertura (como el Puntaje de Coincidencia de Consenso, CMS) podrían recompensar esta consistencia, no pueden detectar una falta de capacidad de respuesta causal. Este problema se ve exacerbado en los agentes que utilizan herramientas, los cuales pueden recuperar información correcta mediante llamadas a herramientas, pero aun así generan recomendaciones que ignoran dicha información.

Metodología

Los autores introducen el Puntaje de Sensibilidad Causal (CSS), una métrica intervencionista pre-registrada diseñada para medir la capacidad de respuesta conductual de un modelo ante cambios clínicamente significativos en los datos de entrada.

1. Catálogo de intervenciones pre-registradas

El estudio utiliza un catálogo de 12 intervenciones a través de cinco familias motivadas clínicamente, especificadas en un formato YAML antes de la evaluación para evitar el sesgo de selección post-hoc:

Familia A (Cambio de biomarcador): Reemplazar el estado de HER2, ER o PD-L1.
Familia B (Tratamiento previo): Inyectar un historial de progresión en una terapia de línea previa.
Familia C (Eliminación de biomarcador): Eliminar menciones de biomarcadores específicos.
Familia D (Estado de cirugía): Alternar el historial de resección (p. ej., resecado vs. no resecado).
Familia E (Perturbación de estadio): Cambiar el estadio de la enfermedad.

2. Mecanismo de puntuación

Para cada tupla de modelo, caso e intervención, el sistema genera una recomendación base y una recomendación intervenida. Un LLM juez (por defecto gpt-5.4, utilizando claude-opus-4-7 cuando el sujeto es gpt-5.4 para evitar el sesgo de auto-preferencia) evalúa si la recomendación se actualiza en la dirección correcta pre-registrada.

Puntuación: {0.0, 0.5, 1.0} correspondientes a (sin cambio / reconocido pero sin cambios / actualizado correctamente).
Métrica: El CSS es la media de las puntuaciones de todas las tuplas, calculada tanto de forma agregada como por familia de intervención.

3. Configuración experimental

Cohorte: 224 casos de comités de tumores de oncología anotados por expertos con recomendaciones de tratamiento de verdad fundamental (ground-truth).
Modelos: Seis modelos de frontera de tres laboratorios (OpenAI, Anthropic, xAI) evaluados en dos entornos:
1. Inferencia de LLM de disparo único: Prompt directo y respuesta.
2. Agente que utiliza herramientas: Un agente de estilo ReAct que utiliza una herramienta read_chart_section para recuperar información, donde las intervenciones mutan los datos subyacentes recuperados por la herramienta.
Línea base: El Puntaje de Coincidencia de Consenso (CMS), una métrica de recuperación ponderada que mide el solapamiento con el consenso de expertos.

Resultados clave

1. Inversión de rango entre métricas

El estudio encontró un ranking casi opuesto de los modelos entre el CMS (cobertura) y el CSS (capacidad de respuesta).

Correlación: Spearman $\rho = -0.49$ (aunque con poca potencia debido a $n=6$ ).
Intercambios de rango: Todos los seis modelos cambiaron de posición. El modelo clasificado en último lugar en CMS (grok-4.20-reasoning) clasificó en primer lugar en CSS. Por el contrario, el mejor en CMS (gpt-5) cayó al cuarto lugar en CSS.
Fallo específico: gpt-5.4 ocupó el 4º lugar en CMS pero el último (6º) en CSS.

2. Punto ciego de seguridad universal (Familia D)

Un hallazgo crítico fue un fallo universal en todos los modelos de frontera respecto a las intervenciones de estado de cirugía (Familia D).

Desempeño: Todos los modelos puntuaron $\le 17.2\%$ en CSS para esta familia. El mejor ejecutor (grok-4.20) obtuvo 17.2%, mientras que el peor (gpt-5.4) obtuvo 3.9%.
Implicación: Ninguno de los modelos actualizó de forma fiable las recomendaciones de tratamiento cuando cambió el estado de resección del paciente, una señal de seguridad clínicamente crítica que el CMS no logró exponer.

3. Transferencia de agentes y capacidad de respuesta estructural

Al ser evaluados como agentes que utilizan herramientas en un subconjunto de casos de la Familia D:

Mejora: El uso de herramientas aumentó el CSS para cinco de los seis modelos (ganancias de +2.5 a +20.3 puntos porcentuales).
La anomalía de gpt-5.4: gpt-5.4 permaneció sin cambios (0.050 $\to$ 0.050) a pesar de recuperar las mismas secciones de la historia clínica que los modelos con capacidad de respuesta. Esto sugiere un déficit de capacidad de respuesta estructural en lugar de un fallo de acceso a la información; el modelo recupera los datos pero falla al integrarlos en el proceso de razonamiento.

4. Validación

Replicación por juez cruzado: El uso de claude-opus-4-7 como juez uniforme preservó el orden de rango ( $\rho = +1.00$ ), confirmando que los hallazgos no fueron artefactos del sesgo del juez.
Validación humana: Tres profesionales médicos validaron un subconjunto de 100 tuplas. Aunque el acuerdo por caso fue moderado, las tasas de fallo agregadas para la Familia D se alinearon estrechamente entre los jueces de LLM (0.10) y los humanos (0.09).

Significado y afirmaciones

El artículo afirma que el CSS sirve como un complemento necesario para la evaluación basada en la cobertura de la IA clínica. Sus principales contribuciones son:

Revelar perfiles ocultos: El CSS descubre perfiles de capacidad (p. ej., sensibilidad al estado de cirugía frente a cambios de biomarcadores) que las métricas de cobertura agregadas oscurecen.
Detección de seguridad: Identifica puntos ciegos de seguridad universales (específicamente respecto al estado de la cirugía) que las métricas estándar pasan por alto porque no prueban el cambio de comportamiento bajo contrafactuales.
Evaluación de agentes: El CSS se transfiere directamente a los agentes que utilizan herramientas, distinguiendo entre modelos que fallan debido a la falta de acceso a la información y aquellos con una incapacidad estructural para actualizar el razonamiento basado en los datos recuperados.
Utilidad futura: Los autores proponen el CSS como un candidato a señal de "recompensa densa" para el futuro aprendizaje por refuerzo (RL) agéntico, yendo más allá del emparejamiento estático de salidas hacia la capacidad de respuesta dinámica.

Los autores mantienen la modestia respecto a la generalizabilidad de los hallazgos específicos a todos los dominios médicos, señalando que los resultados son específicos para casos de comités de tumores de oncología y que el tamaño de muestra pequeño ( $n=6$ modelos) limita el poder estadístico de las afirmaciones de correlación de rango. Sin embargo, sostienen que la metodología de las métricas intervencionistas pre-registradas es robusta y esencial para evaluar la capacidad de los agentes de IA clínica.