Resumen Técnico: Mitigación de Alucinaciones en Modelos de Lenguaje Grande (LLM) para Salud con Verificación de Hechos Granular y Adaptación Específica del Dominio

1. Declaración del Problema

La integración de Modelos de Lenguaje Grande (LLM) en la atención sanitaria ofrece un potencial significativo para automatizar tareas clínicas, como la síntesis de Historias Clínicas Electrónicas (HCE). Sin embargo, una barrera crítica para su adopción es la propensión de los LLM a generar "alucinaciones": información enunciada con confianza pero que es factualmente incorrecta o no verificada. En dominios críticos para la seguridad como la medicina, incluso pequeñas imprecisiones en cuanto a dosis de medicamentos, diagnósticos o valores de laboratorio pueden comprometer la seguridad del paciente y erosionar la confianza del clínico.

Los enfoques existentes para mitigar las alucinaciones a menudo dependen de evaluadores basados en LLM, generación aumentada por recuperación (RAG) o pipelines complejos de verificación neuronal. Estos métodos frecuentemente sufren de opacidad, altos costos computacionales y falta de transparencia, ya que a menudo dependen de los propios modelos probabilísticos que intentan verificar. Además, muchos marcos de evaluación operan a un nivel de granularidad gruesa (por ejemplo, estructuras PICO o similitud a nivel de oración), fallando en detectar errores factuales específicos y granulares, como secuencias temporales incorrectas o discrepancias numéricas.

2. Metodología

El marco propuesto aborda estas limitaciones mediante un pipeline modular de dos etapas: un generador de síntesis específico del dominio y un módulo de verificación de hechos independiente y libre de LLM.

2.1. Síntesis Específica del Dominio (Generador)

Para generar síntesis clínicamente coherentes, los autores ajustaron finamente el modelo LLaMA-3.1-8B utilizando Adaptación de Bajo Rango (LoRA).

• Conjunto de datos: El modelo fue entrenado con 26,104 resúmenes de alta extraídos de la base de datos MIMIC-III, cubriendo más de 40,000 registros de pacientes.
• Técnica: Se empleó LoRA para inyectar matrices de bajo rango entrenables en los pesos preentrenados, apuntando específicamente a las capas de proyección de consulta ($W_q$) y valor ($W_v$) del mecanismo de atención. Este enfoque permite una adaptación eficiente al dominio manteniendo la mayoría de los parámetros congelados, reduciendo la sobrecarga computacional y el uso de memoria.
• Optimización: El modelo fue optimizado utilizando el optimizador AdamW con un programador de tasa de aprendizaje cosenoidal, entrenamiento de precisión mixta (bfloat16) y checkpointing de gradientes.

2.2. Módulo de Verificación de Hechos Libre de LLM (Verificador)

La innovación central es un sistema de verificación que opera independientemente de cualquier LLM durante la fase de evaluación. Funciona como una capa determinista basada en reglas que valida las síntesis generadas contra datos de HCE de verdad fundamental.

• Extracción de Proposiciones: Tanto el resumen generado como la HCE de origen se descomponen en proposiciones atómicas definidas como tuplas: $p = (e, a, v, t)$, que representan Entidad (por ejemplo, medicamento), Atributo (por ejemplo, dosis), Valor (por ejemplo, 50 mg) y Tiempo (por ejemplo, "en el día 2"). Esta descomposición se realiza mediante pipelines deterministas basados en reglas y Reconocimiento de Entidades Nombradas (NER) clínico, no mediante modelos generativos.
• Alineación: Las proposiciones del resumen se alinean con las proposiciones de la HCE utilizando similitud coseno en incrustaciones derivadas de codificadores específicos del dominio (BioClinicalBERT y Sentence-BERT). Este paso identifica el candidato semánticamente más similar para la verificación, pero no determina la corrección factual por sí mismo.
• Comprobaciones de Consistencia Deterministas: Una vez alineadas, los pares de proposiciones pasan por una serie de comprobaciones lógicas y numéricas:
  1. Comprobación de Negación: Detecta contradicciones donde una proposición afirma la presencia y la otra la ausencia (por ejemplo, "sin antibióticos" frente a "tratado con antibióticos").
  2. Comprobación de Implicación: Verifica relaciones clínicamente dependientes (por ejemplo, "neumonía" implica "antibióticos").
  3. Consistencia Temporal: Asegura que el orden cronológico de los eventos en el resumen coincida con la HCE.
  4. Exclusividad Mutua: Señala estados lógicamente incompatibles que ocurren al mismo tiempo (por ejemplo, "intubado" frente a "respirando espontáneamente").
  5. Consistencia Numérica: Valida coincidencias exactas para valores cuantitativos y unidades (por ejemplo, niveles de creatinina).
  6. Comprobación de Presencia: Detecta omisiones clínicamente significativas donde un evento clave de la HCE falta en el resumen.
• Generación de Veredicto: Cada proposición recibe un veredicto binario: Soportado (pasa todas las comprobaciones) o No Soportado (falla una o más comprobaciones).

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Módulo de Verificación de Hechos Libre de LLM: Un sistema de verificación que aplica lógica discreta (comprobaciones de negación, implicación, temporal, numérica y de presencia) para evaluar proposiciones independientemente de los LLM, garantizando transparencia y reproducibilidad.
2. Mecanismo de Verificación Determinista: Un pipeline que descompone el texto en proposiciones atómicas para una comparación uno a uno, permitiendo una verificación de hechos granular que va más allá de la similitud semántica superficial.
3. Adaptación Específica del Dominio: Un modelo de síntesis ajustado finamente utilizando LoRA sobre datos de MIMIC-III, que genera síntesis clínicamente precisas con tasas reducidas de alucinación mientras mantiene la eficiencia computacional.

4. Resultados Experimentales

El marco fue evaluado en un subconjunto de 104 resúmenes de alta de MIMIC-III, que comprende 3,786 proposiciones extraídas.

4.1. Rendimiento de Síntesis

El modelo LLaMA-3.1-8B ajustado finamente con LoRA demostró una fuerte alineación con los resúmenes de referencia:

• ROUGE-1: 0.5797
• ROUGE-2: 0.5580
• ROUGE-L: 0.5618
• BERTScore (F1): 0.9120
  Estas métricas indican una alta fidelidad léxica y semántica con las narrativas clínicas de origen.

4.2. Rendimiento de Verificación de Hechos

El módulo de verificación independiente logró las siguientes métricas en el conjunto de pruebas a nivel de proposición:

• Precisión: 0.8904
• Exhaustividad (Recall): 0.8234
• Puntuación F1: 0.8556
• Exactitud: 0.7913
• Especificidad (No Soportado): 0.6949

4.3. Estudio de Ablación

Un análisis de ablación confirmó la necesidad de las seis comprobaciones de consistencia. Eliminar cualquier comprobación individual (particularmente la de Negación y la de Consistencia Numérica) resultó en una caída significativa del rendimiento (por ejemplo, la precisión disminuyó más del 8% cuando se eliminó la comprobación numérica).

4.4. Evaluación por Expertos

Dos expertos clínicos revisaron los resúmenes y proposiciones generados:

• Consistencia Clínica: El 93.27% (97/104) de los resúmenes fueron considerados clínicamente precisos.
• Correctitud de Proposiciones: El 95.8% de las proposiciones extraídas fueron correctas.
• Las discrepancias fueron mínimas y se relacionaron principalmente con enfermedades raras o dependencias temporales complejas.

4.5. Comparación con el Estado del Arte

El módulo propuesto logró una exactitud del 79.13% en la tarea de verificación de afirmaciones de MIMIC-III, superando a varios modelos existentes, incluyendo:

• Claude-2 (DOSSIER): 78.62%
• Claude-2: 70.65%
• CodeLlama-13B (DOSSIER): 65.76%
• MedAlpaca 7B: 46.74%

5. Significado y Afirmaciones

Los autores afirman que este trabajo proporciona una solución transparente, reproducible e interpretable a las alucinaciones de los LLM en la atención sanitaria. Al desacoplar el proceso de verificación de los modelos generativos, el sistema evita la naturaleza de "caja negra" de los evaluadores basados en LLM. El marco está diseñado para servir como una capa de seguridad post-hoc que puede señalar contradicciones (por ejemplo, dosis desajustadas, tratamientos omitidos) antes de que un clínico firme un documento.

El artículo reconoce modestamente las limitaciones, señalando que la robustez del sistema puede disminuir en dominios altamente especializados (por ejemplo, subtipos oncológicos raros o casos complejos de trasplante) donde los datos de entrenamiento son escasos o las ontologías específicas del dominio son insuficientes. Los autores enfatizan que, aunque el sistema identifica eficazmente las inconsistencias, actualmente funciona como un detector y no como un agente de autocorrección, dejando la decisión final y la posible reescritura a los clínicos humanos.

En conclusión, el estudio demuestra que combinar un generador adaptado al dominio y eficiente en parámetros con un verificador de hechos determinista a nivel de proposición puede mejorar significativamente la fiabilidad de la síntesis clínica asistida por IA, ofreciendo una vía viable hacia un despliegue más seguro de los LLM en entornos sanitarios críticos.