Resumen Técnico: PHYSASSISTBENCH

Planteamiento del Problema

Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala (LLM) en el ámbito de la salud evalúan predominantemente capacidades aisladas: recuperación de conocimientos médicos, interacción con sistemas de Registros Médicos Electrónicos (EHR) o comunicación con el paciente. Sin embargo, el despliegue más plausible a corto plazo para los LLM médicos no es como médicos autónomos, sino como asistentes que operan bajo supervisión humana. Este rol requiere la coordinación simultánea de tres modalidades distintas dentro de una sola interacción:

1. Solicitudes Implícitas del Médico: Los clínicos suelen emitir consultas elípticas, dependientes del contexto o de múltiples turnos (p. ej., "Dado todo esto, ¿cambiamos la medicación?" en lugar de instrucciones totalmente especificadas).
2. Información Ambigua del Paciente: Los pacientes proporcionan descripciones de síntomas coloquiales, incompletas y clínicamente imprecisas.
3. Uso de Herramientas EHR Precisas: El sistema debe ejecutar llamadas a herramientas exactas basadas en FHIR para recuperar o actualizar registros estructurados.

Los benchmarks existentes no logran capturar este entorno integrado. Normalmente tratan estos roles de forma aislada (p. ej., Q&A estático o uso de herramientas de un solo turno) y no evalúan la capacidad del modelo para coordinar conocimiento, comunicación y acciones del sistema a través de escenarios clínicos evolutivos de múltiples turnos.

Metodología

Benchmark PHYSASSISTBENCH

Los autores presentan PHYSASSISTBENCH, un benchmark diseñado para evaluar a los LLM como asistentes médicos en un entorno interactivo de médico-paciente-EHR.

• Fuente de Datos: Construido a partir de registros de pacientes reales y anonimizados de MIMIC-IV.
• Escala: 324 sesiones de múltiples turnos (1,296 turnos en total), evaluadas tanto en inglés como en chino.
• Estructura: Cada sesión simula un encuentro clínico único con cuatro turnos (Turno 0–Turno 3).
  • Turno 0: Siempre es una Búsqueda de Información (IL) para anclar la sesión en datos concretos.
  • Turnos 1–3: Progresan a través de tareas de Recopilación de Datos (DG), Razonamiento Clínico (CR) o Escritura/Actualización (WU).
• Tipos de Tareas:
  • Búsqueda de Información (IL): Recuperación de un dato único vía EHR.
  • Recopilación de Datos (DG): Recolección de información de múltiples fuentes (EHR + Entrevista al Paciente).
  • Razonamiento Clínico (CR): Síntesis de hallazgos para formar recomendaciones.
  • Escritura/Actualización (WU): Ejecución de operaciones de escritura FHIR (p. ej., prescripciones).
• Subtipos de Implicitud: El benchmark prueba específicamente la capacidad del modelo para manejar consultas subespecificadas mediante tres mecanismos lingüísticos:
  • Anáfora Nominal (NA): Pronombres que se refieren a entidades previas.
  • Elipsis de Predicado (PE): Omisión de verbos/argumentos (p. ej., "¿Creatinina?" en lugar de "¿Cuál es la creatinina?").
  • Anáfora de Evento Abstracto (AE): Referencias al contexto acumulado (p. ej., "Dado todo esto...").
• Métricas de Evaluación:
  • Puntuación de Rúbrica: Puntuación por turno basada en la exactitud fáctica, interpretación clínica y ausencia de alucinaciones.
  • Pass@Turn: Fracción de turnos que superan un umbral.
  • Pass@Session: Fracción de sesiones donde todos los turnos superan el umbral (una métrica más estricta que refleja la dependencia de múltiples turnos de la práctica clínica).

Pipeline de Entorno de Paciente Agéntico

Para generar escenarios escalables y clínicamente fundamentados a partir de registros estáticos de MIMIC-IV, los autores desarrollaron un pipeline de datos sintéticos multi-agente:

1. Pre-filtrado de Pacientes: Verificaciones offline aseguran que los registros contengan evidencia suficiente (p. ej., tendencias específicas de laboratorio o pares de medicación) para soportar el escenario objetivo antes de la intervención del LLM.
2. Planificación de Sesión: Un agente construye un arco clínico coherente de cuatro turnos, mapeando datos estáticos a una narrativa que involucra herramientas FHIR específicas y preguntas de entrevista al paciente.
3. Generación a Nivel de Turno: Un sistema multi-agente (Agentes de Usuario, Planificador, Paciente, Respuesta y Verificador) genera el diálogo.
   • Agente Paciente: Simula a un paciente con perfiles específicos de alfabetización en salud y adherencia, respondiendo estrictamente basándose en la evidencia subyacente del EHR (sin alucinaciones contrafácticas).
   • Ejecución de Herramientas: Se ejecutan consultas FHIR reales contra los datos de MIMIC-IV para asegurar el fundamento fáctico.
   • Puertas de Calidad: Una validación de tres etapas (Plan, Observación, Respuesta) filtra alucinaciones, errores estructurales y contenido inseguro.

Contribuciones Clave

1. Formulación de la Asistencia Interactiva: El artículo define la asistencia médica como un problema de coordinación entre conocimiento clínico, comunicación con el paciente y sistemas EHR, un entorno pasado por alto por las evaluaciones actuales de roles aislados.
2. Pipeline Agéntico Escalable: Un método novedoso para transformar registros estáticos de EHR en "pacientes agénticos" interactivos y fundamentados en registros, permitiendo escenarios de múltiples turnos sin comprometer la veracidad clínica.
3. Lanzamiento de PHYSASSISTBENCH: Un benchmark revisado manualmente y validado por médicos de 324 sesiones y 1,296 turnos, demostrando que los LLM líderes actuales aún no son asistentes médicos fiables.

Resultados Experimentales

Los autores evaluaron 14 LLM de última generación (5 de código cerrado, 9 de pesos abiertos) en PHYSASSISTBENCH.

• Rendimiento General: Incluso los modelos más fuertes (p. ej., GLM-5, Claude-Opus-4.7, GPT-5.4-high) muestran limitaciones significativas. El mejor modelo (GLM-5) alcanzó una Puntuación Media de Rúbrica (mRS) de ~69.4% (inglés), pero el Pass@Session (consistencia estricta) fue de solo 21.3% con un umbral de 0.60 y 6.5% con un umbral de 0.75.
• El Cuello de Botella de la Coordinación: El rendimiento cae significamente cuando las tareas requieren integrar múltiples fuentes.
  • La Búsqueda de Información es robusta (~82.6%).
  • La Recopilación de Datos y el Razonamiento Clínico son puntos débiles consistentes (~47.5% y ~54.9% respectivamente), lo que indica que la composición de múltiples herramientas y el razonamiento son más difíciles que la recuperación de un solo punto.
• Impacto de las Consultas Implícitas: Los modelos sufren una penalización mensurable cuando las consultas son implícitas.
  • La Anáfora de Evento Abstracto (AE) causó la mayor caída de rendimiento (promedio de -5.3% comparado con consultas explícitas).
  • Los modelos más pequeños (p. ej., Qwen3.5-27B) mostraron una fragilidad extrema a la implicitud (caída de hasta -9.8%), mientras que los modelos más fuertes se mantuvieron más estables.
• Brecha de Comunicación con el Paciente: Todos los modelos se desempeñaron sustancialmente peor en los turnos de Entrevista al Paciente en comparación con los turnos de solo EHR (caída promedio de 26.4 puntos). Esto sugiere que manejar la entrada ambigua y coloquial del paciente es un cuello de botella de capacidad distinto, independiente de la capacidad general del modelo.
• Sesgo de Idioma: Los modelos no chinos se desempeñaron sorprendentemente mejor en las sesiones en chino (hasta +11.4% en Pass@Session), atribuido a "prioridades de seguridad condicionadas al idioma", donde los datos de entrenamiento en inglés suprimen las llamadas a herramientas EHR debido a avisos de seguridad.

Significado y Reivindicaciones

El artículo sostiene que la asistencia clínica fiable requiere la coordinación de conocimiento, comunicación y sistemas, no solo mejoras aisladas en cualquiera de ellos.

• Estado Actual: Los LLM líderes aún no son asistentes médicos fiables. Tienen dificultades para resolver la intención implícita, manejar la ambigüedad del paciente e integrar la evidencia de diversas fuentes en un solo flujo de trabajo.
• Paradigma de Evaluación: Los autores argumentan que los benchmarks actuales centrados en Q&A estático o uso de herramientas de un solo turno son insuficientes. La dimensión de la "interacción" —específicamente la capacidad de mantener el contexto, resolver elipsis y coordinar herramientas a lo largo de múltiples turnos— es el cuello de botella clave para el despliegue de LLM clínicos.
• Dirección Futura: El benchmark sirve como un recurso para poner a prueba el razonamiento de múltiples turnos y el uso de herramientas estructuradas, destacando que el progreso futuro debe centrarse en la coordinación agéntica más que en la simple expansión del conocimiento médico paramétrico.

Los autores declaran explícitamente que el benchmark es solo para evaluación de investigación y no está destinado al despliegue clínico o a la toma de decisiones autónoma. Reconocen las limitaciones en la cobertura de escenarios (centrándose en cuatro flujos de trabajo clínicos específicos) y la dependencia de los datos de MIMIC-IV, que pueden no generalizarse a todos los sistemas de salud.