Resumen Técnico: Las Evaluaciones de LLM en Salud son Tan Válidas Como Sus Supuestos Explícitos

Enunciado del Problema

El artículo aborda la persistente "brecha entre evaluación y despliegue" en los Modelos de Lenguaje Grande (LLM) aplicados a la salud. Si bien un alto rendimiento en las evaluaciones se cita a menudo como evidencia de preparación clínica, estudios recientes demuestran una discrepancia significativa entre los resultados de las evaluaciones y el rendimiento en el despliegue en el mundo real. Los autores sostienen que esta brecha no se origina en evaluaciones mal diseñadas ni en capacidades insuficientes de los modelos, sino en supuestos implícitos incrustados en los protocolos de evaluación. Estos supuestos conciernen a cómo interactúan los usuarios con los modelos y cómo las salidas de los modelos se traducen en decisiones del mundo real. Dado que estos supuestos se dejan sin declarar, los profesionales no pueden determinar si los resultados de las evaluaciones son transferibles a sus contextos específicos de despliegue, lo que conduce a situaciones donde un fuerte rendimiento en las evaluaciones coexiste con resultados de despliegue débiles o incluso perjudiciales.

Metodología

Los autores proponen un marco para operacionalizar la identificación y prueba de estos supuestos implícitos. La metodología consta de tres componentes principales:

1. Clasificación de Supuestos

El artículo categoriza los supuestos subyacentes a la brecha entre evaluación y despliegue en dos tipos distintos, basados en los datos necesarios para probarlos:

• Supuestos de Tarea: Conciernen a la relación entre los datos de conversación en el entorno de evaluación versus el entorno de despliegue. Estos incluyen supuestos sobre la distribución de consultas (por ejemplo, escritas por expertos frente a escritas por pacientes), el tipo de interacción (de un solo turno frente a de múltiples turnos) y la completitud de la información. Estos pueden probarse utilizando únicamente datos de conversación.
• Supuestos de Resultado: Conciernen a si el criterio de evaluación de la evaluación (a menudo un resultado proxy) rastrea el objetivo real de toma de decisiones en el mundo real. Estos implican datos más allá de la conversación en sí, como el comportamiento del paciente, la adherencia a las recomendaciones o los resultados clínicos reales. Estos no pueden probarse ni resolverse mediante evaluaciones por sí solas y requieren estudios de comportamiento o Ensayos Controlados Aleatorizados (ECA).

2. Análisis de Sensibilidad y Descomposición de la Brecha

Para demostrar la utilidad del marco, los autores realizan un análisis de sensibilidad retrospectivo sobre un ECA en salud (Bean et al., 2026). Descomponen la brecha total de rendimiento ($\Gamma$) relajando secuencialmente los supuestos:

• Comienzan con el rendimiento de la evaluación (95% de precisión).
• Relajan los supuestos de tarea (por ejemplo, cambiando de consultas escritas por expertos a consultas escritas por pacientes, y de interacciones de un solo turno a interacciones de múltiples turnos), observando una caída del rendimiento al 64%. Esto atribuye aproximadamente 31 puntos porcentuales de la brecha a los supuestos de tarea.
• Atribuyen la caída restante (de 64% al rendimiento final de despliegue del 34%) a los supuestos de resultado, representando los otros ~30 puntos porcentuales.
  Este análisis ilustra que incluso si se abordan todos los supuestos de tarea, persiste una brecha significativa debido a los supuestos de resultado que requieren validación en el mundo real.

3. Artefactos y Protocolos Propuestos

Para abordar estas brechas, los autores proponen dos mecanismos concretos:

• BenchmarkCards: Un artefacto de documentación estructurado (análogo a las Model Cards) que los diseñadores de evaluaciones deben completar. Estas tarjetas enumeran explícitamente los supuestos de tarea y resultado codificados en el protocolo de evaluación. Los profesionales utilizan estas tarjetas para evaluar si los supuestos de una evaluación específica se mantienen en su contexto de despliegue.
• Evaluación Escalonada: Un procedimiento de evaluación sistemático que itera a través de los siguientes pasos:
  1. Comparar las BenchmarkCards contra el contexto de despliegue previsto para identificar brechas.
  2. Recopilar datos para probar los supuestos de tarea (por ejemplo, recopilando registros reales de interacción de usuarios).
  3. Probar los supuestos de tarea y refinar modelos o evaluaciones hasta que las brechas relacionadas con la tarea se minimicen.
  4. Clasificar y probar los supuestos de resultado utilizando estudios de comportamiento o ECA, ya que estos no pueden resolverse solo con el ajuste de la evaluación.
  5. Desplegar solo cuando la caída del rendimiento debido a supuestos insatisfechos sea suficientemente baja.

Contribuciones Clave

1. Marco Conceptual: El artículo introduce una dicotomía entre los supuestos de tarea y los de resultado, aclarando que, si bien las evaluaciones pueden abordar los supuestos de tarea, los supuestos de resultado requieren inherentemente datos de comportamiento del mundo real y no pueden resolverse solo con un mejor diseño de la evaluación.
2. BenchmarkCards: Una propuesta para un formato de documentación estandarizado que obliga a la declaración explícita de supuestos, permitiendo a los profesionales identificar desajustes entre la evaluación y el despliegue antes de la selección del modelo.
3. Protocolo de Evaluación Escalonada: Una guía procedimental para la evaluación de LLM en salud que va más allá de la evaluación estática hacia un proceso dinámico de prueba de supuestos, integrando el análisis de datos de conversación con estudios de comportamiento y ECA.
4. Demostración Empírica: Un análisis retrospectivo de un ECA del mundo real que muestra que la brecha entre evaluación y despliegue se divide aproximadamente a la mitad entre los supuestos de tarea y los de resultado, demostrando que las mejoras en las evaluaciones por sí solas solo pueden cerrar aproximadamente la mitad de la brecha.

Resultados

El análisis retrospectivo del estudio de Bean et al. [2026] sirve como el resultado empírico principal. Los autores encontraron que:

• La brecha total de rendimiento entre la evaluación (95%) y el despliegue (34%) fue de 61 puntos porcentuales.
• Relajar los supuestos de tarea (distribución de consultas y tipo de interacción) representó una caída de 31 puntos porcentuales.
• Relajar los supuestos de resultado (específicamente el vínculo entre las recomendaciones del LLM y las decisiones reales de los pacientes) representó la caída restante de 30 puntos porcentuales.
  Este resultado valida empíricamente la afirmación de que las evaluaciones bien diseñadas son insuficientes para predecir el rendimiento de despliegue porque no pueden capturar los supuestos de resultado dependientes del comportamiento humano.

Significado y Afirmaciones

El artículo afirma que el problema central en la evaluación de LLM en salud no es la calidad de las evaluaciones, sino la validez de los supuestos en los que se basan. Al hacer explícitos estos supuestos, el campo puede pasar de un paradigma donde se asume que "mejores evaluaciones" resuelven todos los problemas a uno donde la evaluación es un proceso estructurado de validación de la transferibilidad.

Los autores argumentan que:

• Las evaluaciones son necesarias pero insuficientes: Proporcionan un punto de partida, pero no pueden predecir el rendimiento de despliegue sin la prueba explícita de supuestos.
• Los supuestos de resultado son el cuello de botella: Dado que estos dependen del comportamiento humano y de resultados del mundo real, requieren ECA y estudios de comportamiento, similares a los ensayos clínicos de fármacos.
• La transparencia es la solución: Herramientas como las BenchmarkCards y los protocolos de evaluación escalonada proporcionan una vía para un despliegue seguro, asegurando que los profesionales comprendan exactamente dónde y por qué una evaluación podría fallar en su contexto específico.

El artículo concluye que cerrar la brecha entre evaluación y despliegue requiere un cambio desde una evaluación puramente centrada en el modelo hacia un enfoque centrado en los supuestos que integre el análisis de datos de conversación con la validación de resultados en el mundo real.