💻 computer science

Hallucination Span Detection with Input-Side Evidence Alignment

Este artículo introduce una tarea novedosa y un método basado en codificadores para detectar fragmentos alucinados en textos generados por LLM, aprovechando la predictibilidad de los tokens fieles a partir de la evidencia de entrada para identificar simultáneamente las alucinaciones y alinearlas con su fuente.

Autores originales: Miyu Yamada, Yuki Arase

Publicado 2026-08-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Miyu Yamada, Yuki Arase

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos han transformado la forma en que interactuamos con las computadoras, actuando como potentes motores que pueden resumir noticias, responder preguntas complejas y redactar documentos. Estos sistemas funcionan prediciendo la siguiente palabra en una oración basándose en patrones que han aprendido de vastas cantidades de texto. Sin embargo, un fallo persistente socava su fiabilidad: a veces inventan hechos. Este fenómeno, conocido como alucinación, ocurre cuando un modelo genera información que suena plausible pero que no está respaldada por el material de origen o la contradice directamente. Para los usuarios que dependen de estas herramientas para tareas críticas, distinguir entre un resumen útil y una historia fabricada es difícil. El desafío central no radica solo en saber que existe un error, sino en señalar exactamente qué palabras están mal y encontrar la parte específica del texto original que demuestra que están mal. Sin este nivel de detalle granular, verificar la veracidad de un documento largo sigue siendo un proceso tedioso y manual.

Investigadores del Instituto de Ciencia de Tokio han desarrollado un nuevo enfoque para resolver este problema, cambiando el enfoque de juzgar un texto completo a examinar palabras individuales. En lugar de pedirle a una computadora que simplemente etiquete un párrafo entero como verdadero o falso, su método actúa como una lupa, escaneando la salida generada palabra por vez para ver si puede rastrearse hasta la fuente. El equipo opera sobre una observación simple pero poderosa: si una palabra en el resumen es fiel al texto original, una computadora debería ser capaz de predecirla utilizando únicamente el material de origen como guía. Por el contrario, si una palabra es una alucinación, será imposible predecirla desde la fuente porque la información simplemente no existe allí. Al entrenar un modelo para probar esta predictibilidad, los investigadores crearon un sistema que no solo señala las palabras inventadas, sino que también resalta la evidencia específica en la entrada que respalda la información correcta.

El proceso comienza dividiendo el texto generado en fragmentos significativos, como frases o cláusulas, en lugar de tratarlo como un bloque único. El sistema toma entonces una palabra de uno de estos fragmentos y la oculta temporalmente, pidiéndole al modelo que adivine cuál debería ser esa palabra basándose únicamente en el texto de entrada original. Si el modelo puede adivinar con confianza la palabra oculta usando la fuente, el sistema la marca como fiel. Si el modelo tiene dificultades para hacer una suposición, o si la puntuación de confianza es baja, el sistema la señala como una potencial alucinación. Crucialmente, debido a que el modelo tuvo que mirar el texto de origen para hacer su suposición, produce naturalmente un vínculo entre la palabra de salida y la parte específica de la entrada que la ayudó. Esto crea un mapa de evidencia, mostrando al usuario exactamente dónde encontró la información el modelo o, en caso de un error, dónde no logró encontrar ningún respaldo.

Para probar esta idea, los investigadores utilizaron un conjunto de datos que contenía miles de ejemplos donde humanos ya habían identificado qué partes de las respuestas generadas eran factualmente incorrectas. Compararon su nuevo método con técnicas existentes, incluyendo aquellas que dependen de modelos masivos y complejos para leer y juzgar texto. Los resultados mostraron que su enfoque más ligero y enfocado era excepcionalmente bueno encontrando los errores. Mientras que otros métodos a veces pasaban por alto los errores por completo, este nuevo sistema identificó con éxito la gran mayoría de las palabras alucinadas, particularmente aquellas que fueron completamente inventadas. También demostró ser efectivo al vincular las palabras correctas en el resumen con las oraciones adecuadas en la fuente, proporcionando un rastro claro de evidencia para que el usuario lo siga.

Sin embargo, el estudio también reveló una debilidad específica en la capacidad del sistema para detectar ciertos tipos de errores. El método tuvo dificultades cuando la alucinación era una contradicción directa, como cambiar un número de "cuatro" a "veinte" de una manera que todavía sonara gramatical y contextualmente similar al texto original. En estos casos, el modelo encontró el contexto circundante tan similar que mantuvo la confianza en su predicción, fallando en reconocer el sutil cambio de significado. Los investigadores señalaron que, si bien el sistema sobresale en detectar información que está enteramente ausente de la fuente, necesita un mayor refinamiento para captar estos errores conflictivos y más engañosos. A pesar de esta limitación, el trabajo demuestra un avance significativo para hacer que la inteligencia artificial sea más transparente, ofreciendo una forma práctica de verificar la veracidad del contenido generado por máquinas al conectar cada afirmación directamente con su fuente.

Resumen Técnico: Detección de Intervalos de Alucinación con Alineación de Evidencia en el Lado de la Entrada

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) han avanzado en tareas de generación de texto condicional como la sumarización y la respuesta a preguntas, pero siguen siendo propensos a las alucinaciones: generar contenido que no está respaldado por o es contradictorio con el texto de entrada. Los métodos de detección existentes tratan principalmente la alucinación como un problema de clasificación binaria a nivel de oración o de documento. Si bien son efectivos para estimar la fáctica general, estos enfoques no logran localizar intervalos (spans) específicos alucinados ni identificar la evidencia correspondiente en la entrada. Esta limitación dificza la interpretabilidad de las predicciones del modelo y complica la verificación del contenido generado, particularmente en documentos largos donde el rastreo manual es difícil. Además, la obtención de pares de entrada-salida alineados manualmente para el entrenamiento es costosa e impracticable dada la rápida evolución de los LLMs.

Metodología

Los autores proponen una nueva tarea: detección de intervalos de alucinación con alineación de evidencia en el lado de la entrada. Esta tarea identifica conjuntamente los intervalos alucinados en el texto generado y alinea los tokens de salida con su evidencia correspondiente en la entrada. El enfoque se basa en la observación de que los tokens de salida fieles son generalmente predecibles a partir de su contexto de soporte en la entrada, mientras que los tokens alucinados no lo son.

Marco de Trabajo Central

El método formula la detección de alucinaciones como un problema de predicción de tokens enmascarados fundamentado en la entrada, inspirado en los Modelos de Lenguaje Mascarados No Paramétricos (NPM). En lugar de depender de grandes LLMs basados en decodificadores, el sistema emplea un modelo ligero basado en codificadores (encoder-based).

Estrategia de Entrenamiento (Supervisión Distante):
- Segmentación de Intervalos: Los textos de salida se segmentan en intervalos semánticamente significativos utilizando el Etiquetado de Roles Semánticos (SRL). Se extraen predicados y sus argumentos para formar los intervalos; las palabras que no forman parte de ningún predicado o argumento (por ejemplo, conjunciones) se excluyen.
- Predicción Mascarada: Durante el entrenamiento, los intervalos se enmascaran con tokens especiales (``). El modelo es entrenado para predecir estos intervalos enmascarados utilizando únicamente la representación del texto de entrada.
- Métrica de Confianza: La confianza de la predicción para un intervalo enmascarado $s$ frente a un intervalo de entrada $(i, j)$ se define como la suma de las similitudes de coseno entre los embeddings de los tokens enmascarados y los embeddings de los tokens de entrada:
  $c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$
- Función de Pérdida: Una función de pérdida personalizada fomenta una alta confianza para los intervalos fieles y una baja confianza para los intervalos alucinados. Penaliza los intervalos alucinados que alcanzan una alta confianza y los intervalos fieles que alcanzan una baja confianza, con un peso adicional para ejemplos "difíciles".
Inferencia:
- A diferencia del entrenamiento, la inferencia opera a nivel de token. Cada token de salida se enmascara individualmente, y el modelo recupera el token de entrada más relevante basándose en la puntuación de confianza.
- Clasificación: Un token de salida se clasifica como alucinado si su puntuación de confianza máxima cae por debajo de un umbral $\lambda_h$ .
- Alineación: El token de entrada que produce la mayor confianza sirve como la alineación de la evidencia.
- Agregación: Las predicciones a nivel de token se agregan al nivel de palabra; una palabra se considera alucinada solo si todos sus tokens de subpalabra son clasificados como tales.

Contribuciones Clave

Definición de la Tarea: Introducción de una nueva tarea que detecta conjuntamente los intervalos alucinados y los alinea con la evidencia de la entrada, yendo más allá de la clasificación binaria a nivel de oración.
Arquitectura Eficiente: Desarrollo de un método ligero basado en codificadores que evita el costo computacional de los grandes LLMs basados en decodificadores y no requiere datos de entrenamiento alineados manualmente (utilizando supervisión distante).
Salida Dual: El marco produce simultáneamente etiquetas de detección de alucinación y alineaciones de evidencia a nivel de token.

Resultados Experimentales

El método fue evaluado en el conjunto de datos RAGTruth, que cubre tareas de Respuesta a Preguntas (QA) y Sumarización de Noticias.

Evaluación Automática:
- El método propuesto logró la mayor recuperación (recall) tanto en las tareas de QA como de sumarización (82.7% y 38.0%, respectivamente), superando a las líneas base como Llama-SFT y LettuceDetect en términos de recall, lo cual es crítico en escenarios donde omitir alucinaciones es inaceptable.
- Si bien la precisión fue menor que la de algunas líneas base (por ejemplo, Llama-SFT en sumarización), el alto recall indica que el método identifica eficazmente la mayoría del contenido alucinado.
- La línea base OTAlign tuvo un desempeño deficiente, probablemente debido a la dificultad de alinear oraciones de longitudes significativamente diferentes.
Evaluación Humana:
- Anotadores humanos evaluaron la calidad de las alineaciones de evidencia en el lado de la entrada predichas.
- Para las palabras fieles y de alucinación sin fundamento (baseless), el método propuesto alcanzó puntuaciones de alineación promedio alrededor de 2.0 (en una escala de 0 a 3), lo que indica que los tokens de entrada recuperados eran evidencia relevante.
- Alucinaciones de Conflicto: El método tuvo dificultades con las alucinaciones de conflicto (donde la salida contradice la entrada), asignando a menudo puntuaciones de confianza altas a estos tokens. Esto se atribuye a la alta similitud semántica entre el contexto de la entrada y la salida en conflicto, lo que confunde la estimación de confianza basada en la similitud.

Significado y Limitaciones

El artículo afirma que el método propuesto detecta eficazmente los intervalos alucinados mientras identifica evidencia significativa en el lado de la entrada, lo cual es confirmado por la evaluación humana de la calidad de la alineación. El enfoque ofrece una solución práctica para verificar el contenido generado sin el costo prohibitivo de los datos de alineación manual.

Sin embargo, los autores reconocen limitaciones específicas:

Detección de Conflicto: El método es menos efectivo para detectar alucinaciones de "conflicto" en comparación con las "sin fundamento", ya que la alta similitud entre el texto en conflicto y la entrada conduce a una falsa confianza.
Eficiencia de Inferencia: El proceso de enmascaramiento y re-codificación token por token resulta en costos de inferencia lineales respecto a la longitud de la salida, lo que puede ser computacionalmente costoso para textos largos.
Alcance: Los experimentos se limitaron a QA y sumarización de noticias utilizando el benchmark RAGTruth; la generalización a otros dominios, idiomas o familias de LLM permanece sin investigar.

Los autores concluyen que, si bien el método es efectivo para alucinaciones sin fundamento, el trabajo futuro debería centrarse en desarrollar métodos de estimación de confianza más sofisticados para manejar mejor las alucinaciones de conflicto y mejorar la eficiencia de la inferencia.