Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction

Título del Trabajo: Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction (MINT)

1. El Problema

Aunque los Modelos de Lenguaje Grandes (LLMs) han demostrado una alta precisión en diagnósticos médicos cuando toda la información clínica se proporciona en una sola vuelta (single-turn), su comportamiento en escenarios de múltiples vueltas (multi-turn), que imitan el razonamiento clínico real de acumulación de evidencia secuencial, permanece poco explorado.

• La Brecha: Existe una discrepancia crítica entre la evaluación estática actual y la práctica clínica real, donde los médicos recopilan información de forma iterativa (historia clínica, pruebas iterativas).
• El Desafío: Se ha observado que el rendimiento de los LLMs se degrada significativamente al pasar de un entorno de una sola vuelta a uno de múltiples vueltas. Las hipótesis actuales sugieren que esto se debe a la "compromiso prematuro" (responder antes de tener suficiente información) o a la pérdida de contexto, pero carecemos de un marco controlado para aislar y medir específicamente el impacto del momento de la decisión, la restauración de la respuesta (auto-corrección) y la exposición a la información (señales distractores).

2. Metodología: El Benchmark MINT

Los autores introducen MINT (Medical Incremental N-Turn Benchmark), un benchmark de alta fidelidad diseñado para evaluar sistemáticamente el comportamiento de los LLMs bajo acumulación secuencial de evidencia.

• Construcción de Datos:
  • Se basa en 5 conjuntos de datos médicos existentes (MedQA, MedMCQA, Derm-Public, Derm-Private, MedBullets), totalizando 1,035 casos.
  • Descomposición Controlada: Cada caso se divide en fragmentos de evidencia ("shards") etiquetados clínicamente en 13 categorías (ej. antecedentes, síntomas, resultados de laboratorio).
  • Preservación de Información: Se verifica que la concatenación de todos los fragmentos recupere el rendimiento del caso original de una sola vuelta, asegurando que cualquier degradación en modo multi-vuelta se deba a la estructura de la interacción y no a la pérdida de datos.
• Diseño Experimental (Tres Lentes de Análisis):
  1. Hold (Retención vs. Impaciencia): Compara dos configuraciones:
     • Ask-Question-First (Q-First): La pregunta se muestra al inicio, permitiendo que el modelo responda en cualquier turno (arriesgándose a respuestas prematuras).
     • Ask-Question-Last (Q-Last): La pregunta se oculta hasta el último turno, obligando al modelo a esperar toda la evidencia antes de comprometerse.
  2. Self-Correction (Auto-corrección): Analiza la dinámica de las revisiones de respuestas a lo largo de las vueltas, midiendo la tasa de transición de respuestas incorrectas a correctas (F2T) frente a las de correctas a incorrectas (T2F).
  3. Lure (Señuelos): Manipula el orden de presentación de información clínicamente saliente (específicamente resultados de laboratorio) para ver si actúan como "señuelos" que provocan respuestas inmediatas, incluso cuando se instruye al modelo a esperar.

3. Contribuciones Clave

El trabajo identifica tres patrones de comportamiento persistentes que impactan las decisiones diagnósticas:

1. Intención de Responder (Premature Commitment): Los modelos tienden a responder antes de observar suficiente evidencia. Más del 55% de las respuestas se comprometen en los primeros dos turnos, lo que lleva a una precisión inicial significativamente menor que la final.
2. Auto-corrección Latente: Los modelos tienen una capacidad inherente para corregir errores. La tasa de transición de incorrecto a correcto (F2T) es hasta 10.6 veces mayor que la de correcto a incorrecto (T2F). Sin embargo, el compromiso prematuro "cierra la puerta" a esta capacidad de auto-corrección.
3. Señuelos Fuertes (Strong Lures): Ciertas informaciones, como los resultados de laboratorio, actúan como detonantes poderosos que inducen respuestas prematuras, incluso cuando el modelo recibe instrucciones explícitas de esperar. Este efecto es más pronunciado en enfermedades dependientes de laboratorio.

4. Resultados Principales

• Recuperación de Precisión: Al retrasar la pregunta diagnóstica hasta el final (configuración Q-Last), la precisión se recupera casi al nivel de la evaluación de una sola vuelta, mejorando hasta un 62.6% en el punto de primer compromiso en comparación con responder temprano.
• Impacto de la Impaciencia: Cuando los modelos responden temprano (Q-First), la caída de precisión respecto a la respuesta final puede ser de hasta 60.6%.
• Efecto de los Laboratorios: La presencia temprana de resultados de laboratorio aumenta drásticamente la probabilidad de respuesta inmediata (hasta un 88% en enfermedades dependientes de laboratorio). Esto provoca una caída catastrófica de precisión de hasta 23.3% en enfermedades que no dependen tanto de estos datos, ya que el modelo ignora el contexto clínico más amplio.
• Comparación de Modelos: Los modelos comerciales de vanguardia (como GPT-5-mini y Claude Sonnet 4.6) muestran una mayor tendencia a esperar (menor tasa de "adivinanza" inicial) en comparación con modelos de código abierto o modelos especializados en medicina que no han sido ajustados finamente para la paciencia, aunque todos sufren de la degradación por compromiso prematuro.

5. Significado e Implicaciones

• Reenfoque del Problema: El cuello de botella en el diagnóstico médico con LLMs no es necesariamente la capacidad de razonamiento del modelo, sino su gestión del tiempo de compromiso. El modelo sabe "qué" diagnosticar, pero falla en "cuándo" comprometerse.
• Guía Accionable: El estudio proporciona recomendaciones concretas para mejorar la fiabilidad:
  • Diferir la pregunta: Ocultar la pregunta diagnóstica hasta que toda la evidencia esté disponible reduce drásticamente los errores.
  • Gestión de Señales: Evitar presentar resultados de laboratorio o datos críticos al inicio de la interacción para evitar desencadenar respuestas prematuras.
• Marco de Evaluación: MINT establece un nuevo estándar para evaluar LLMs en escenarios clínicos realistas, moviéndose más allá de las preguntas estáticas hacia la evaluación de la dinámica de razonamiento secuencial.

En conclusión, el trabajo demuestra que la "paciencia" (retener la respuesta hasta tener evidencia completa) es una estrategia crítica para desbloquear la capacidad de auto-corrección de los LLMs y mejorar la seguridad en aplicaciones médicas.