Resumen Técnico: Optimización de Preferencias Guiada por Detección de Alucinaciones para la Resumenización Clínica

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) demuestran capacidades sólidas en la resumenización de texto, pero generan frecuentemente "alucinaciones": contenido no respaldado por el documento fuente o inconsistente con el conocimiento mundial. En entornos clínicos, donde los modelos resumen historias clínicas para apoyar la prestación de atención, estas alucinaciones se manifiestan como afirmaciones médicas fabricadas o distorsionadas (por ejemplo, procedimientos, medicamentos o diagnósticos no respaldados). Incluso los modelos adaptados a dominios específicos suelen producir alucinaciones utilizando terminología médicamente plausible, lo que requiere revisión por expertos. Las estrategias de mitigación existentes enfrentan limitaciones significativas: los métodos durante el entrenamiento (por ejemplo, ajuste fino supervisado, aprendizaje por refuerzo) requieren grandes cantidades de datos de dominio de alta calidad y a menudo dependen de métricas de factualidad que se correlacionan débilmente con la corrección clínica. Las técnicas en tiempo de inferencia, como la generación aumentada por recuperación o la auto-refinación, a menudo incurren en una sobrecarga computacional elevada o corren el riesgo de sobre-edición y de eliminar contenido saliente.

Metodología

Los autores proponen una tubería de dos etapas, HDSR (Auto-refinamiento Guiado por Detección de Alucinaciones) y HDSR-PL (HDSR para Aprendizaje de Preferencias), diseñada para reducir las alucinaciones preservando la fluidez y coherencia del resumen.

1. Auto-refinamiento Guiado por Detección de Alucinaciones (HDSR)

HDSR es un método en tiempo de inferencia que integra la detección de alucinaciones en un bucle iterativo de refinamiento:

• Generación Inicial: Un LLM genera un resumen inicial a partir de una nota clínica (por ejemplo, Curso Breve de Hospitalización).
• Detección: Un detector de alucinaciones (específicamente MedCat o MedAlign) analiza el resumen frente al documento fuente para identificar segmentos no respaldados o contradictorios.
  • MedCat vincula conceptos clínicos a ontologías biomédicas para señalar contenido faltante o no respaldado.
  • MedAlign utiliza un enfoque basado en prompts siguiendo una taxonomía de tipos de errores motivada clínicamente (por ejemplo, condiciones, procedimientos o medicamentos no respaldados).
• Revisión Iterativa: La retroalimentación del detector (destacando segmentos de error específicos) se reintroduce al LLM como un prompt. Se instruye al modelo para que revise el resumen y corrija estos errores factuales, preservando el contenido respaldado y manteniendo un tono profesional.
• Terminación: Este proceso se repite hasta alcanzar un límite fijo de iteraciones o hasta que no se detecten más alucinaciones.

2. Aprendizaje de Preferencias a partir del Auto-refinamiento Guiado por Detección (HDSR-PL)

Para amortizar el costo computacional del refinamiento iterativo y permitir una generación fiel en tiempo de inferencia sin pasos adicionales, los autores proponen HDSR-PL:

• Construcción de Pares de Preferencia: El proceso iterativo de HDSR genera pares de resúmenes para cada documento fuente: el resumen inicial (con alucinaciones) y el resumen revisado (corregido factualmente).
• Entrenamiento: Estos pares se tratan como datos de preferencia, donde el resumen revisado es la salida "preferida" y el resumen inicial es la salida "no preferida".
• Optimización: El modelo de resumenización se ajusta fino utilizando Optimización Directa de Preferencias (DPO). Esto permite que el modelo internalice las correcciones factuales guiadas por el detector, aprendiendo a generar resúmenes fieles directamente durante la inferencia sin requerir el bucle iterativo de refinamiento.

Resultados Clave

Los experimentos se realizaron en el conjunto de datos MIMIC-IV-Note v2.2, específicamente el subconjunto Hallucination-Generated-DI, utilizando Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct y Gemma-3-4B-IT.

• Reducción de Alucinaciones:
  • HDSR (Tiempo de inferencia): Redujo las alucinaciones en aproximadamente un 24% en Llama-3.1-8B-Instruct (de 29 a 22 errores) en comparación con la indicación de cero disparos (zero-shot prompting).
  • HDSR-PL (Tiempo de entrenamiento): Logró la reducción más significativa, disminuyendo las alucinaciones en un 48% (de 29 a 15 errores) en Llama-3.1-8B-Instruct.
  • En contraste, el Ajuste Fino Supervisado (SFT) estándar sobre referencias escritas por clínicos aumentó las alucinaciones casi al doble (de 29 a 57 errores), destacando el riesgo del SFT sin restricciones específicas de factualidad.
• Calidad del Resumen: Tanto HDSR como HDSR-PL preservaron o mejoraron las métricas de calidad del resumen (Consistencia, Coherencia, Fluidez, Relevancia) según la evaluación de clínicos humanos y LLM como juez. HDSR-PL mostró una ligera compensación en fluidez y coherencia en comparación con HDSR, atribuida al aprendizaje de una preferencia general por la alineación factual sobre detalles estilísticos finos.
• Análisis de Tipo de Error: Los métodos fueron particularmente efectivos para reducir "Condiciones No Respaldadas" y "Procedimientos No Respaldados", que constituyen la mayoría de los errores en los modelos base.

Significado y Afirmaciones

El artículo afirma que el refinamiento informado por detección y el aprendizaje de preferencias ofrecen una solución automatizada para mejorar la fidelidad factual en la resumenización clínica. Las contribuciones clave incluyen:

1. Demostración del fracaso del SFT estándar: El trabajo muestra que simplemente ajustar fino sobre resúmenes escritos por clínicos puede exacerbar las alucinaciones en contextos clínicos, haciendo necesarias estrategias de alineación especializadas.
2. Generación Automatizada de Datos de Preferencia: Al aprovechar detectores de alucinaciones para guiar la auto-refinación, los autores crean pares de preferencia de alta calidad sin anotación manual humana, permitiendo el entrenamiento DPO para la alineación factual.
3. Equilibrio entre Fidelidad y Fluidez: Los resultados indican que es posible reducir sustancialmente las alucinaciones (hasta un 48%) manteniendo la fluidez y coherencia requeridas para resúmenes clínicos, validado tanto por expertos humanos como por métricas automatizadas.

Limitaciones

Los autores reconocen varias limitaciones:

• Dependencia del Detector: La eficacia de HDSR y HDSR-PL depende de la precisión del detector de alucinaciones. Los falsos positivos (señalar contenido respaldado) o los falsos negativos (omitir inconsistencias sutiles) pueden limitar la efectividad del refinamiento.
• Especificidad del Dominio: La evaluación se restringe a resumir Cursos Breves de Hospitalización en Instrucciones de Alta de MIMIC-IV. La transferibilidad a otros tipos de notas médicas o dominios no clínicos permanece inexplorada.
• Costo Computacional: Aunque HDSR-PL amortiza los costos en tiempo de inferencia, el método de inferencia HDSR incurre en una sobrecarga computacional adicional debido a múltiples iteraciones de refinamiento y llamadas al detector, lo que podría dificultar su implementación en entornos sensibles a la latencia.