Resumen Técnico: MedFabric y EtHER

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) poseen capacidades semánticas y de razonamiento sólidas, pero a menudo alucinan en dominios expertos como la medicina. Entre los diversos tipos de alucinación, la fabricación—la generación de enunciados fluidos pero factualmente incorrectos—plantea el riesgo más alto en campos de alto riesgo.

Los enfoques existentes para detectar alucinaciones médicas enfrentan dos limitaciones críticas:

1. Deficiencias de Datos: Los conjuntos de datos actuales de alucinaciones médicas (por ejemplo, Med-HALT, MedHallu) capturan inadecuadamente los fenómenos de fabricación. A menudo dependen de recopilar respuestas correctas e incorrectas de fuentes dispares (humanas vs. LLM), creando disparidades estilísticas y deriva distribucional. Los detectores entrenados en estos conjuntos de datos tienden a sobreajustarse a señales estilísticas superficiales (por ejemplo, distinguir estilos de escritura humana vs. IA) en lugar de aprender a identificar inconsistencias factuales genuinas.
2. Fragilidad del Modelo: Los detectores existentes (basados en incrustaciones o LLM como juez) tienen un rendimiento deficiente cuando la similitud estructural entre la verdad fundamental y las muestras fabricadas es alta. Los modelos de incrustaciones no logran distinguir desviaciones sutiles a nivel de palabra, mientras que los evaluadores LLM de cero disparos exhiben alta varianza e inconsistencia debido a la aleatoriedad del muestreo y la sensibilidad a los prompts.

Metodología

Los autores proponen un marco unificado centrado en los datos que comprende una nueva tubería de generación de conjuntos de datos (MedFabric) y un sistema de detección modular (EtHER).

1. MedFabric: Una Tubería de Generación Centrada en Datos

Para abordar la falta de datos de fabricación realistas, los autores desarrollaron una tubería de tres etapas para generar fabricaciones a nivel de palabra que preservan la fidelidad sintáctica y estilística mientras introducen desviaciones factuales sutiles:

• Alineación Estilística: Las verdades fundamentales escritas por humanos son reescritas por un LLM para alinearse con las distribuciones estilísticas de los LLM, eliminando el atajo estilístico "humano vs. IA".
• Fabricación Condicionada por Evidencia: Las fabricaciones se generan condicionando el LLM a la verdad fundamental reescrita y a fragmentos de evidencia específicos. Esto asegura que el texto fabricado permanezca contextualmente coherente pero introduce errores factuales finos (por ejemplo, cambiar una especie de "humano" a "rata").
• Control de Calidad: Un proceso de evaluación de dos pasos asegura que las fabricaciones generadas sean desafiantes:
  • Similitud Estructural: Medida mediante el recuerdo ROUGE-L; las muestras con puntuaciones inferiores a 0.7 se descartan para asegurar que la fabricación no sea demasiado divergente.
  • Dificultad Semántica: Se utiliza una estrategia de optimización de preferencias de auto-juego (SPPO) donde un agente LLM intenta distinguir la fabricación de la verdad fundamental reescrita. Solo se retienen las fabricaciones que "ciegan" al agente (es decir, son mal clasificadas), asegurando que el conjunto de datos capture modos de fallo genuinos.

2. EtHER: Un Detector Modular de Fabricación a Nivel de Palabra

Para abordar las limitaciones de los detectores existentes, los autores introducen EtHER (EvaluaTe Hallucination with TablE decomposition and woRd masking), un marco diseñado para la evaluación de factibilidad estable, interpretable y a nivel de palabra. Consiste en tres módulos:

• Descomposición Texto2Tabla: Los enunciados médicos no estructurados se convierten en tablas estructuradas de entidad-descripción. Esto descompone oraciones complejas en pares de entidad-contexto (por ejemplo, "expresión de TGFBI" $\to$ "recurrencia linfática desfavorable"), mejorando la interpretabilidad semántica y reduciendo la ambigüedad contextual.
• Enmascaramiento y Relleno de Palabras: El sistema genera versiones enmascaradas de las tablas de entidad-descripción. Un LLM, guiado por un sistema de Generación Aumentada por Recuperación (RAG) específico del dominio, rellena estas máscaras con frases literales de la evidencia recuperada. Esto crea reconstrucciones emparejadas que permiten una comparación directa y detallada entre la salida del modelo y el conocimiento verificado.
• Evaluación Híbrida de Pares de Oraciones: Para minimizar la aleatoriedad del LLM y mejorar la estabilidad, el sistema emplea un enfoque híbrido:
  1. Filtrado basado en incrustaciones: Los pares de oraciones se codifican para medir la distancia semántica; los pares que superan un umbral se marcan.
  2. Razonamiento basado en LLM: Los candidatos marcados son reevaluados por un agente LLM para distinguir conflictos factuales de variaciones léxicas benignas.
  3. Agregación basada en Reglas: Las decisiones finales se agregan mediante una capa basada en reglas para determinar la fabricación a nivel de respuesta.

Resultados Clave

Las evaluaciones empíricas en el conjunto de datos MedFabric y en los puntos de referencia existentes (MedHallu, Verdades Fundamentales Reescritas) demuestran lo siguiente:

• Rendimiento Superior en Fabricaciones Sutiles: EtHER supera a los detectores más avanzados (incluyendo SAPLMA, RelD, TSV y GCA) en más de un 15% en los puntos de referencia de fabricación a nivel de palabra. Específicamente, en MedFabric (alta similitud estructural, ROUGE-L $\approx$ 0.77), EtHER alcanza un F1 general de 60.6%, en comparación con un promedio de 44.3% para otros modelos.
• Mejora del Recuerdo: EtHER recupera casi el doble de fabricaciones que el promedio de los modelos (68.6% vs. 34.8%) mientras mantiene un rendimiento comparable en respuestas verdaderas.
• Robustez ante la Similitud Estructural: A diferencia de los modelos ajustados finamente que se degradan bruscamente a medida que aumenta la similitud estructural (caiendo de ~69% F1 en datos de baja similitud a ~42% en MedFabric), EtHER mantiene un rendimiento estable (60–70% F1) en conjuntos de datos con diversas similitudes estructurales.
• Baja Varianza: A pesar de utilizar múltiples pasos de generación, EtHER exhibe una varianza de predicción comparable a los evaluadores LLM de cero disparos de un solo paso, atribuido a la naturaleza restringida y precisa de sus subtareas (enmascaramiento y relleno) que reduce la aleatoriedad autoregresiva.

Significado y Afirmaciones

El artículo afirma establecer un paradigma unificado para estudiar y mitigar las alucinaciones médicas de tipo fabricación. Sus contribuciones principales son:

1. Descubrimiento del Sesgo Estilístico: Destacar que los detectores existentes a menudo dependen de patrones estilísticos entre la verdad fundamental y las muestras fabricadas en lugar del contenido factual, lo que lleva a clasificaciones espurias.
2. Simulación Realista de Datos: Proporcionar una tubería de generación de datos que simula escenarios realistas de fabricación médica, resultando en el conjunto de datos MedFabric, que ofrece un punto de referencia riguroso con alta similitud estructural y desplazamientos semánticos sutiles.
3. Marco de Detección a Nivel de Palabra: Proponer EtHER, un detector que se alinea con las fabricaciones a nivel de palabra mediante razonamiento estructurado y alineación factual, ofreciendo una base escalable para sistemas LLM confiables en aplicaciones médicas de alto riesgo.

Los autores posicionan este trabajo como un paso hacia la reducción de la carga de trabajo de los expertos médicos en la verificación de consultas de pacientes y la mejora de la fiabilidad de los LLM en dominios donde la precisión factual es crítica.