💻 computer science

A framework for hallucinations explainability in text summarization

Este artículo propone un marco novedoso que introduce una Puntuación de Severidad de Alucinación (HSS, por sus siglas en inglés) basada en la inestabilidad semántica y el análisis de atribución SHAP dentro de un pipeline SMILE mejorado para detectar, cuantificar y explicar eficazmente las alucinaciones en la generación de resúmenes de texto basados en LLM.

Autores originales: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

Publicado 2026-08-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama moderno de la inteligencia artificial, los modelos de lenguaje extensos se han convertido en potentes motores para escribir, responder preguntas y resumir información compleja. Estos sistemas son entrenados con vastas cantidades de texto, aprendiendo a predecir la siguiente palabra en una oración con una fluidez notable. Sin embargo, esta fluidez viene acompañada de un fallo oculto: los modelos a veces inventan hechos. En el campo del procesamiento del lenguaje natural, este fenómeno se conoce como alucinación. Ocurre cuando un sistema genera un texto que suena seguro y gramaticalmente correcto, pero que es completamente inventado o contradice directamente el material de origen que se suponía debía resumir. Aunque estos errores podrían parecer menores en un chat casual, se vuelven peligrosos en entornos de alto riesgo como la atención médica, el análisis legal o la investigación científica, donde la precisión es innegociable. El desafío central para los investigadores no ha sido solo detectar estas mentiras, sino medir qué tan graves son y comprender por qué suceden, yendo más allá de simples comprobaciones de superposición de palabras hacia una investigación más profunda de la lógica interna del modelo.

Un equipo de investigadores ha desarrollado un nuevo método para abordar este problema, creando un marco que actúa como una prueba de esfuerzo para los resúmenes de IA. En lugar de simplemente preguntar si un resumen es fácticamente correcto, preguntaron una pregunta diferente: ¿qué tan estable es el resumen cuando la entrada se modifica ligeramente? Su enfoque se basa en la idea de que un resumidor confiable debería producir un resultado consistente incluso si el texto de origen cambia de formas pequeñas y significativas. Si el resumen cambia drásticamente o comienza a inventar nuevos detalles tras una edición menor, esto sugiere que el modelo es inestable y propenso a alucinar. Los investigadores construyeron un sistema que toma un documento, realiza cambios sutiles y controlados en las palabras sin alterar el significado central, y luego observa cómo reacciona la salida de la IA. Al medir la distancia entre el resumen original y los nuevos, pueden calcular una puntuación específica que indica la severidad del riesgo de alucinación.

Para llevar a cabo este experimento, el equipo trabajó con una colección de treinta y cuatro documentos que abarcaban diversos temas, incluyendo artículos de noticias, artículos científicos, textos legales y reseñas de productos. Utilizaron un modelo de resumen sofisticado para generar un resumen base para cada documento. Luego, introdujeron una serie de perturbaciones, que son modificaciones pequeñas y deliberadas en el texto de origen. Estos cambios fueron cuidadosamente diseñados para intercambiar palabras por sus sinónimos más cercanos asegurando que los nombres de personas, lugares y números específicos permanecieran intactos para preservar los hechos. Para cada documento, crearon múltiples versiones del texto, cada una ligeramente diferente de la original, y pidieron a la IA que resumiera cada una. Los investigadores luego compararon los resúmenes resultantes para ver cuánto se desviaban del original. Descubrieron que cuando la IA se veía obligada a resumir un texto ligeramente alterado, los resúmenes de los modelos propensos a la alucinación cambiaban drásticamente, mientras que los modelos confiables se mantenían estables.

Los investigadores cuantificaron este desvío utilizando un concepto matemático que mide la diferencia entre dos grupos de datos, esencialmente calculando qué tan lejos se había movido el significado de los resúmenes. Descubrieron que esta medida de inestabilidad no era solo una fluctuación aleatoria; estaba estrechamente vinculada a cuánto estaba mintiendo la IA. Para hacer esta medida útil en diferentes tipos de documentos, normalizaron las puntuaciones, creando una puntuación de severidad final que podía compararse de manera justa, ya fuera que el texto tratara sobre medicina o películas. El hallazgo más sorprendente surgió cuando observaron cómo la IA explicaba sus propias elecciones. Utilizaron una técnica que resalta qué palabras en la entrada fueron más importantes para generar la salida. Encontraron que cuando un resumen estaba alucinando, la importancia de las palabras de entrada saltaba de forma impredecible. En otras palabras, el razonamiento interno del modelo se volvía inestable justo en el momento en que comenzaba a mentir.

El estudio reveló una fuerte conexión entre esta inestabilidad en el razonamiento del modelo y la severidad de las alucinaciones. Cuando los investigadores compararon su nueva puntuación de severidad contra otras formas comunes de verificar errores, encontraron que la inestabilidad de las explicaciones internas del modelo era el predictor más confiable de una alucinación. Los métodos tradicionales que simplemente comprueban si las palabras coinciden o si las oraciones suenan lógicas eran menos efectivos para detectar estos errores profundos. El equipo también probó su método a través de diferentes niveles de dificultad. Encontraron que a medida que hacían los cambios en el texto más significativos, la puntuación de severidad aumentaba, demostrando que su sistema era lo suficientemente sensible para detectar incluso cambios sutiles en la confiabilidad. Además, la puntuación variaba naturalmente a través de diferentes dominios; campos complejos como el derecho y la ciencia mostraron puntuaciones de inestabilidad más altas que temas más simples como las publicaciones de redes sociales, reflejando la mayor dificultad y el mayor riesgo de error en esas áreas.

Este trabajo proporciona una nueva lente para ver la confiabilidad de la inteligencia artificial. Al enfocarse en cómo un modelo reacciona a pequeños cambios en lugar de solo en la salida final, los investigadores han identificado una señal clara de cuándo una IA está perdiendo el control sobre la verdad. El estudio sugiere que la mejor manera de detectar una alucinación no es buscar la mentira en sí misma, sino observar los temblores en el razonamiento del modelo que la preceden. Aunque los investigadores probaron esto en un conjunto específico de documentos y un único tipo de modelo de IA, el marco ofrece un camino robusto hacia la construcción de sistemas que puedan ser auditados y confiados. Mueve la conversación de simplemente preguntar "¿es esto cierto?" a "¿qué tan seguros podemos estar de que esto es cierto?", proporcionando una forma cuantitativa de medir la confianza que podemos depositar en el texto generado por máquinas. A medida que estos sistemas se integren más en nuestras vidas diarias, las herramientas que puedan distinguir entre un resumen estable y factual y uno frágil e inventado serán esenciales para mantener la integridad de la información en la que confiamos.

Resumen Técnico: Un Marco para la Explicabilidad de las Alucinaciones en la Resumición de Textos

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) utilizados para la resumición abstractiva de textos sufren frecuentemente de "alucinaciones", donde los resultados generados son lingüísticamente fluidos pero fácticamente incorrectos, no sustentados o contradictorios con el texto fuente. Estos errores son particularmente críticos en dominios de alto riesgo como la atención médica, el periodismo y la investigación científica.

Los enfoques de evaluación actuales enfrentan dos limitaciones primarias:

Cuantificación Insuficiente de la Severidad: Las métricas de facticidad existentes (por ejemplo, FactCC, SummaC) proporcionan juicios a nivel de oración o puntuaciones de consistencia binaria, pero carecen de una medida escalar robusta para cuantificar la severidad de las alucinaciones bajo perturbaciones semánticas.
Explicabilidad Descriptiva vs. Cuantitativa: Si bien los marcos de explicabilidad como SMILE (Interpretabilidad Estadística Independiente del Modelo con Explicaciones Locales), LIME y SHAP ofrecen información sobre la importancia de los tokens y la sensibilidad del modelo, siguen siendo principalmente descriptivos. Explican por qué un modelo se comporta de cierta manera, pero no proporcionan directamente una puntuación cuantitativa de la severidad de la alucinación.

La hipótesis central de este trabajo es que los modelos de resumición fieles permanecen estables bajo perturbaciones que preservan el significado, mientras que los modelos propensos a las alucinaciones exhiben una inestabilidad significativa en sus resultados.

2. Metodología: El Marco SMILE Mejorado

Los autores proponen un novedoso Puntaje de Severidad de Alucinación (HSS) integrado en un proceso SMILE mejorado. El marco transforma a SMILE de una herramienta de interpretabilidad cualitativa en un marco de diagnóstico cuantitativo a través de los siguientes pasos:

2.1 Generación de Perturbaciones Semánticas

El sistema genera perturbaciones controladas y que preservan el significado del documento de entrada ( $x$ ) para crear un conjunto de entradas perturbadas $\{x^{(k)}\}$ .

Selección de Tokens: Se excluyen las entidades nombradas (vía NER), las palabras de parada (stop words), los números y la puntuación para preservar la consistencia fáctica. Solo los tokens semánticamente relevantes son candidatos para la modificación.
Generación de Candidatos: Los embeddings de Word2Vec identifican los $k$ vecinos más cercanos para los tokens elegibles. Un umbral de similitud de coseno ( $\tau$ ) asegura la proximidad semántica.
Filtro de Preservación de Significado: Una restricción de similitud de Sentence-BERT (SBERT) ( $\gamma$ ) valida que la oración perturbada retenga el significado semántico original. Si $sim_{SBERT}(s, s') < \gamma$ , la perturbación es rechazada.
Fortaleza: Las perturbaciones modifican entre el 2% y el 30% de los tokens, categorizados como de baja, moderada o alta fuerza.

2.2 Generación y Representación de Resúmenes

Modelo: Un modelo transformer BART-large-CNN genera un resumen base ( $y_0$ ) y resúmenes para cada entrada perturbada ( $y_k$ ).
Distribución de Embeddings: Cada resumen se descompone en oraciones y se generan embeddings contextuales utilizando SBERT. Estos forman una distribución empírica ( $\mu_y$ ) que representa la estructura semántica del resumen.

2.3 Medición de Inestabilidad mediante la Distancia de Wasserstein

El marco cuantifica el cambio semántico entre el resumen base y los resúmenes perturbados utilizando la distancia de Wasserstein ( $W$ ), que mide el costo de transporte geométrico entre las distribuciones de embeddings.
$D_k = W(\mu_{y_0}, \mu_{y_k})$
La inestabilidad bruta es el promedio de estas distancias a través de $K$ perturbaciones.

2.4 Puntaje de Severidad de Alucinación (HSS) y Normalización

Para permitir la comparación entre dominios, las distancias de Wasserstein brutas se normalizan.

Normalización Consciente de la Categoría: Una constante de normalización ( $M_c$ ) se calcula como el percentil 95 de las distancias de Wasserstein para una categoría de documento específica ( $c$ ).
Puntaje Final: El HSS es el promedio de las distancias normalizadas:
$HSS(x) = \frac{1}{K} \sum_{k=1}^{K} \min\left(\frac{D_k}{M_c}, 1\right)$
Valores de HSS más altos indican una mayor inestabilidad semántica y, por consiguiente, una mayor severidad de la alucinación.

2.5 Análisis de Inestabilidad de Atribución

El marco correlaciona el HSS con métricas de inestabilidad de atribución, específicamente SHAP (Explicaciones Aditivas de Shapley) y LIME. Mide cuánto cambian las distribuciones de atribución de características cuando la entrada es perturbada.

3. Configuración Experimental

Conjunto de Datos: 34 documentos a través de cuatro dominios (Simple, Medio, Complejo, Mixto/Extra) que cubren películas, literatura, IA e investigación médica.
Escala: Se generaron 286 perturbaciones totales, resultando en 320 resúmenes evaluados.
Validación: El análisis estadístico incluyó correlaciones de Pearson y Spearman, 1,000 remuestreos de bootstrap para intervalos de confianza y estudios de ablación.
Comparadores: El HSS se comparó contra FactCC, SummaC, Precisión/Recall/F1, puntuaciones de Atención, LIME y SHAP.

4. Resultados Clave

La evaluación experimental arrojó los siguientes hallazgos:

Fuerte Alineación con SHAP: El HSS exhibió la correlación más fuerte con la inestabilidad de atribución basada en SHAP ( $r \approx 0.90$ ). Esto indica que los resúmenes propensos a las alucinaciones producen patrones de atribución de características altamente inestables bajo perturbaciones semánticas.
Correlación Negativa con la Facticidad: El HSS mostró correlaciones negativas de moderadas a fuertes con las métricas de consistencia fáctica (FactCC: $r \approx -0.63$ ; SummaC: $r \approx -0.55$ ), confirmando que valores de HSS más altos corresponden a una menor fiabilidad fáctica.
Correlación Débil con Métricas Léxicas/Distribucionales: El HSS tuvo correlaciones débiles con la distancia de Wasserstein bruta ( $r \approx -0.33$ ) y con LIME ( $r \approx 0.29$ ). Esto sugiere que el solapamiento léxico superficial o los cambios distribucionales simples son insuficientes como indicadores de la alucinación semántica.
Sensibilidad al Dominio: El HSS diferenció eficazmente entre dominios. Los dominios con alta carga de conocimiento (ej. Artículos Científicos, Documentos Legales) mostraron valores de HSS más altos (mayor inestabilidad) en comparación con dominios menos estructurados (ej. Redes Sociales, Reseñas de Productos).
Sensibilidad a la Perturbación: Los valores de HSS aumentaron consistentemente con la fuerza de la perturbación (de 0.38 en fuerza baja a 0.62 en fuerza alta), validando su sensibilidad como escala cuantitativa.

5. Contribuciones y Significancia

El artículo reclama las siguientes contribuciones y significancia:

Métrica Novedosa (HSS): Introducción de un Puntaje de Severidad de Alucinación estadísticamente fundamentado que cuantifica la severidad de la alucinación a través de la inestabilidad semántica basada en Wasserstein, yendo más allá de las verificaciones de facticidad binarias.
Marco SMILE Mejorado: Extensión del marco SMILE para integrar distribuciones de embeddings contextuales, inestabilidad de atribución y robustez ante perturbaciones en un flujo de trabajo estadístico unificado.
La Inestabilidad de Atribución como Indicador: Establecimiento de la inestabilidad de atribución basada en SHAP como un indicador confiable del comportamiento de alucinación semántica, demostrando que supera a las métricas léxicas superficiales y a LIME en la detección de alucinaciones.
Validación Robusta: Confirmación de la robustez del marco mediante una extensa validación estadística (análisis de correlación, intervalos de confianza de bootstrap) y estudios de ablación, que demostraron que componentes como la normalización, la protección de NER y el filtrado semántico son esenciales para una estimación fiable.

Los autores concluyen que la alucinación está fundamentalmente asociada con la inestabilidad semántica y no puede caracterizarse plenamente solo mediante métricas léxicas superficiales. El marco propuesto ofrece una vía para la auditoría de modelos, el monitoreo de deriva (drift) y el control de calidad basado en umbrales en sistemas de resumición basados en LLM.

6. Limitaciones

Los autores reconocen modestamente algunas limitaciones:

Tamaño del Conjunto de Datos: La evaluación se realizó en un conjunto de datos relativamente pequeño (34 documentos), lo que puede limitar la generalizabilidad.
Especificidad del Modelo: Los experimentos se limitaron a un único modelo de resumición (BART-large-CNN); se requiere una validación más amplia en diferentes arquitecturas de LLM.
Restricciones de Perturbación: La estrategia de perturbación restringida puede no capturar toda la diversidad de las variaciones lingüísticas del mundo real.
Falta de Evaluación Humana: El estudio depende de métricas automatizadas; el trabajo futuro requiere evaluación humana para alinear las estimaciones de severidad automatizadas con el juicio humano.