Resumen Técnico: Análisis Empírico y Detección de Alucinaciones en Resúmenes de Informes de Errores Generados por LLM

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más para generar resúmenes estructurados de informes de errores de software, extrayendo específicamente secciones como Pasos para Reproducir (S2R), Comportamiento Real (AB) y Comportamiento Esperado (EB). Sin embargo, estos modelos producen frecuentemente "alucinaciones": contenido que suena plausible pero carece de soporte factual. Los métodos existentes de detección de alucinaciones evalúan típicamente las salidas a nivel de respuesta completa, tratando las alucinaciones como una clase de error monolítica. Este enfoque no tiene en cuenta las propiedades estructurales de los documentos técnicos, donde diferentes secciones (por ejemplo, pasos procedimentales frente a comportamientos declarativos) desempeñan roles semánticos distintos. En consecuencia, los métodos actuales pasan por alto cómo los patrones de alucinación varían entre secciones y no proporcionan conocimientos granulares sobre la ubicación o el tipo de errores factuales, limitando su utilidad en flujos de trabajo críticos de ingeniería de software (SE).

Metodología

Los autores proponen un marco de detección de alucinaciones consciente de la sección, validado mediante una metodología de tres fases utilizando el conjunto de datos BugsRepo (derivado de proyectos OSS de Mozilla).

1. Análisis Exploratorio y Modelado de Atención

• Observación Empírica: Un estudio inicial sobre 80 resúmenes generados por LLM reveló que ~47.9% contenían información faltante y 12.3% incluían contenido fabricado.
• Análisis de Atención: Los autores analizaron cómo los modelos transformadores (BERT, RoBERTa, SciBERT, DeBERTa, DistilBERT) distribuyen la atención entre las secciones S2R, AB y EB. Descubrieron que el Comportamiento Esperado (EB) recibe la mayor atención, mientras que los Pasos para Reproducir (S2R) reciben la menor, lo que sugiere que S2R es más susceptible a alucinaciones debido a la subutilización de la información procedimental.

2. Construcción de Conjunto de Datos Sintético

Debido a la falta de puntos de referencia existentes para alucinaciones conscientes de la sección, los autores construyeron un conjunto de datos sintético:

• Conversión de Estructurado a No Estructurado: Los informes de errores estructurados se convirtieron en narrativas no estructuradas utilizando Mistral-7B.
• Filtrado de Calidad: Se utilizó una métrica PARENT modificada (específicamente PARENTtable), que prioriza la alineación con la tabla fuente sobre el texto de referencia, para filtrar conversiones de baja calidad. Esto aseguró que los datos de entrenamiento preservaran fielmente la información estructurada.
• Inyección de Alucinaciones: Una pipeline controlada inyectó alucinaciones sintéticas en secciones específicas. Las alucinaciones se categorizaron en tres tipos: Adición (contenido fabricado), Eliminación (información faltante) y Reordenamiento (cambios estructurales).

3. Modelo de Detección Consciente de la Sección

Los autores propusieron un enfoque de aprendizaje multi-tarea construido sobre un codificador transformador preentrenado con ajuste fino eficiente en parámetros (LoRA). El modelo realiza simultáneamente tres tareas:

1. Detección a Nivel de Informe: Clasificación binaria de si un resumen contiene alucinaciones.
2. Localización a Nivel de Sección: Identificación de qué sección específica (S2R, AB o EB) está afectada.
3. Clasificación de Tipo: Categorización del tipo de alucinación (Añadir, Eliminar, Reordenar).

El modelo se entrena utilizando una función de pérdida combinada: $L = L_{report} + \lambda_s L_{section} + \lambda_t L_{type}$.

Contribuciones Clave

1. Marco Consciente de la Sección: Un enfoque novedoso que modela explícitamente los roles semánticos de S2R, AB y EB para detectar conjuntamente alucinaciones, localizar secciones afectadas y clasificar tipos de errores, superando la detección monolítica.
2. Punto de Referencia Sintético: El desarrollo de una pipeline para convertir informes de errores estructurados en narrativas no estructuradas e inyectar alucinaciones controladas, creando un punto de referencia públicamente disponible para la investigación de alucinaciones a nivel de sección.
3. Conocimientos Empíricos: Evidencia que demuestra que la sensibilidad a las alucinaciones se correlaciona con la asignación de atención (por ejemplo, S2R es más vulnerable) y que las alucinaciones de tipo eliminación son significativamente más difíciles de detectar que las de adición.

Resultados

Se realizaron experimentos en cuatro modelos preentrenados (Mini-LLaMA-1B, Ministral-3B, Mistral-7B, LLaMA-8B) utilizando el conjunto de datos sintético construido.

• Rendimiento: Los modelos ajustados finamente superaron significativamente a las líneas base de indicación (prompting) zero-shot, few-shot y Cadena de Pensamiento (CoT).
  • El modelo de mejor rendimiento, Ministral-3B, logró un Macro-F1 de 0.891 para la detección a nivel de informe, un Macro-F1 de 0.829 para la localización a nivel de sección y un Macro-F1 de 0.836 para la clasificación de tipo de alucinación.
  • Mistral-7B y LLaMA-8B mostraron un rendimiento comparable, mientras que los modelos más pequeños (Mini-LLaMA) exhibieron un rendimiento inferior, lo que indica la necesidad de una capacidad representativa suficiente.
• Localización de Sección: El modelo logró la mayor precisión para S2R (F1=0.891) pero una menor recuperación (recall) para AB y EB. Esto sugiere que el modelo es conservador al señalar alucinaciones en AB/EB, a menudo omitiendo errores de eliminación en estas secciones.
• Clasificación de Tipo: El modelo tuvo un buen rendimiento en alucinaciones de Adición (F1=0.976) y Reordenamiento (F1=0.924). Las alucinaciones de Eliminación fueron las más desafiantes (F1=0.525), principalmente porque detectar información faltante requiere identificar la ausencia de datos fuente en lugar de detectar texto no respaldado.
• Análisis de Errores: El análisis cualitativo de 163 predicciones incorrectas reveló que el 44.8% de los errores se debió a "información faltante o implícita difícil de notar", particularmente en casos de eliminación dentro de las secciones AB y EB.

Significado y Afirmaciones

El artículo afirma que incorporar la estructura del documento en el análisis de alucinaciones es crucial para mejorar la fiabilidad de la resumición de informes de errores asistida por LLM. Al pasar de una visión monolítica a una perspectiva consciente de la sección, el enfoque propuesto proporciona:

• Diagnósticos Granulares: La capacidad de identificar exactamente dónde (qué sección) y qué tipo de error ocurrió, en lugar de simplemente marcar un resumen como "alucinado".
• Eficiencia de Recursos: El hallazgo de que un modelo de escala media (Ministral-3B) puede lograr un rendimiento sólido sugiere que la detección de alta calidad de alucinaciones no requiere necesariamente recursos computacionales masivos.
• Fundamento para la Mitigación: Comprender que diferentes secciones tienen perfiles de vulnerabilidad distintos (por ejemplo, S2R frente a EB) permite el desarrollo de estrategias de detección y mitigación dirigidas en los flujos de trabajo de mantenimiento de software.

Los autores mantienen modestia respecto a sus afirmaciones, reconociendo que su conjunto de datos sintético sirve como un proxy operativo y que se necesita trabajo futuro para validar estos hallazgos en conjuntos de datos del mundo real anotados manualmente y en diversos sistemas de seguimiento de errores empresariales.