Resumen Técnico: Más allá de la fundamentación de documentos

Definición del Problema

Los sistemas de generación aumentada por recuperación (RAG) se están implementando cada vez más en entornos estructurados más allá del lenguaje natural, incluyendo agentes de codificación, herramientas para desarrolladores y documentación de investigación. Mientras que los benchmarks y detectores de alucinaciones existentes se centran principalmente en la evidencia de documentos de lenguaje natural, estos no logran abordar los desafíos de verificación únicos que plantean las entradas estructuradas, tales como el código fuente, la salida de herramientas (por ejemplo, registros de pruebas, salidas de comandos) y documentos estructurados (por ejemplo, markdown, tablas).

En estos entornos estructurados, una sola subcadena no sustentada —como un nombre de método fabricado, un valor de campo incorrecto o una observación de herramienta mal reportada— puede alterar el comportamiento de un programa o confundir a un usuario, incluso si el resto de la respuesta es correcta. Los marcos de evaluación actuales carecen de una formulación unificada a nivel de tramo (span-level) que cubra la generación de código, observaciones de herramientas y documentos estructurados junto con las tareas tradicionales de RAG de lenguaje natural.

Metodología

Construcción de un Benchmark Unificado

Los autores presentan un benchmark unificado que comprende 74,285 ejemplos recién construidos a partir de cinco fuentes, complementados con ejemplos convertidos de conjuntos de datos de RAG de lenguaje natural existentes (RAGTruth y PsiloQA). Las fuentes incluyen:

• Código: Derivado de SWE-bench, que presenta correcciones fundamentadas en repositorios.
• Salida de Herramientas: Derivado de Squeez, que contiene consultas y observaciones de herramientas verbosas.
• Documentos Estructurados: Fragmentos de artículos de ACL, READMEs de GitHub y markdown de Wikipedia.
• Lenguaje Natural: RAGTruth y PsiloQA (14 idiomas).

Pipeline de Construcción de Datos:

1. Fundamentación (Grounding): Se parte de una respuesta conocida como correcta y fundamentada derivada de la fuente (por ejemplo, un parche de oro de SWE-bench).
2. Inyección: Se utiliza un modelo "inyector" específico de la fuente (Gemma 4 31B para código; Qwen 3.6 35B para otros) para proponer ediciones de reemplazo localizadas y estructuradas. Estas ediciones introducen alucinaciones localizadas categorizadas como Contradicción (lógica/valores erróneos), Adición No Sustentada (comportamiento extra) o Referencia Fabricada (métodos/identificadores inventados).
3. Etiquetado de Tramos (Span Labeling): Se aplican las ediciones de manera determinista para extraer los desplazamientos de caracteres exactos para los tramos alucinados, evitando la ambigüedad de comparar diferencias (diffing) entre respuestas mixtas de lenguaje natural/código.
4. Fundamentación de Referencia: Para evitar penalizar respuestas correctas que hacen referencia a librerías externas o métodos hermanos no presentes en contextos truncados, el pipeline añade definiciones resueltas del commit base del repositorio y firmas de API reales de Context7.
5. Verificación: El conjunto de prueba de agentes de código pasó por revisión humana y arbitraje, reteniendo 2,015 ejemplos tras filtrar por validez y precisión de límites.

Arquitectura del Modelo

Se entrenaron dos familias de detectores en el conjunto de datos unificado:

1. LettuceDetect-Qwen-2B: Un detector generativo Qwen3.5-2B ajustado con una ventana de contexto de 32,768 tokens. Produce un JSON que contiene tramos de caracteres, categorías y subcategorías.
2. LettuceDetect-mmBERT-base: Un codificador de clasificación de tokens de 307 millones de parámetros (basado en mmBERT) entrenado con una longitud máxima de secuencia de 8,192 tokens.

Ambos modelos se entrenan utilizando un prompt agnóstico a los datos que define la taxonomía de alucinaciones y proporciona la solicitud, el contexto y la respuesta a verificar.

Principales Contribuciones

1. Formulación de la Tarea: Una formulación de tarea a nivel de tramo para la detección de alucinaciones post-generación diseñada específicamente para contextos de generación fundamentada estructurada (código, salida de herramientas, documentos estructurados).
2. Benchmark Unificado: Un conjunto de datos exhaustivo de 74,285 nuevos ejemplos que cubren diversas modalidades, además de ejemplos convertidos de benchmarks de RAG establecidos, permitiendo la evaluación transdominio.
3. Desempeño del Detector: Demostración de que un detector generativo ajustado (LettuceDetect-Qwen-2B) supera sustancialmente a los detectores estándar y a los jueces de LLM zero-shot en las divisiones de agentes de código y salida de herramientas, mientras permanece competitivo en los benchmarks de RAG de lenguaje natural.

Resultados Experimentales

Hallazgos Principales

En el conjunto de prueba unificado, LettuceDetect-Qwen-2B alcanzó un span-F1 de 0.689.

• Desempeño de Agentes de Código: El modelo logró un span-F1 de 0.602 en la división de agentes de código, superando significativamente a LettuceDetect-large (0.17) y a los jueces LLM zero-shot más fuertes evaluados (Nemotron-3-Ultra y gpt-oss-120b, ambos $\le$ 0.22).
• Desempeño de Lenguaje Natural: El modelo se mantuvo competitivo en benchmarks establecidos, logrando un example-F1 de 81.8 en RAGTruth y un IoU de 0.724 en English PsiloQA (superando al mmBERT-base ajustado de los autores del benchmark con 0.707).
• Capacidad Multilingüe: A través de 14 idiomas en PsiloQA, el modelo alcanzó un IoU medio de 0.689, superando al juez Qwen2.5-32B (0.383).

Comparación con Baselines

• Jueces Zero-Shot: Los LLM zero-shot de gran tamaño (ej. Nemotron-3-Ultra, gpt-oss-120b) tuvieron dificultades con el código y la salida de herramientas, a menudo marcando código nuevo y correcto como no sustentado o fallando en distinguir entre ediciones válidas y alucinaciones.
• Detectores Especializados: Los detectores existentes entrenados únicamente en lenguaje natural (ej. LettuceDetect-large) tuvieron un desempeño pobre en datos estructurados (0.17 span-F1 en código).
• Encoder vs. Generador: El detector generativo (Qwen-2B) superó consistentemente al codificador de clasificación de tokens (mmBERT-base) en todas las fuentes (0.689 vs. 0.642 de span-F1 general).

Significancia y Reivindicaciones

El artículo afirma que el benchmark y el detector propuestos abordan una brecha crítica en la evaluación de RAG: la falta de verificación a nivel de tramo para salidas estructuradas y no de lenguaje natural. Los autores enfatizan que:

• La Verificación Estructurada es Distinta: La verificación en código y salida de herramientas requiere un razonamiento diferente al del lenguaje natural, particularmente respecto a errores de intención y validez estructural.
• Los Detectores Generativos son Superiores: Los modelos generativos ajustados con ventanas de contexto largas son mejores para esta tarea que los codificadores tradicionales o los jueces zero-shot, particularmente cuando se trata de contextos de repositorio largos y dependencias complejas.
• Evaluación Unificada: Un solo modelo puede manejar eficazmente diversas modalidades (código, salida de herramientas, documentos) sin sacrificar el desempeño en tareas de lenguaje natural.

Los autores señalan limitaciones, incluyendo la dependencia de la inyección sintética para la mayoría de las etiquetas (aunque el conjunto de prueba de código fue revisado por humanos) y el enfoque en la verificación de la respuesta final en lugar de trayectorias completas de agentes. Concluyen que su trabajo proporciona una base necesaria para desarrollar sistemas de verificación robustos para la próxima generación de agentes de generación fundamentada.