BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation

Resumen Técnico: Alucinaciones en Citas BibTeX en Agentes de Publicación Científica

1. El Problema

Los modelos de lenguaje grandes (LLM) con búsqueda web se utilizan cada vez más en agentes de publicación científica para automatizar flujos de trabajo, desde revisiones bibliográficas hasta la preparación de manuscritos. Sin embargo, estos modelos siguen generando entradas de BibTeX con errores pervasive a nivel de campos (autores, títulos, DOI, volúmenes, etc.).

• Limitación de estudios previos: La investigación anterior evaluó principalmente modelos base sin búsqueda web o dependía de verificación manual a posteriori. Esto no refleja la práctica actual, donde se utilizan modelos de vanguardia con herramientas de búsqueda nativas activadas.
• Consecuencia: Cuando los modelos fabrican o corrompen metadatos bibliográficos, los errores se propagan a los manuscritos, listas de referencias y análisis de citas posteriores. A diferencia de las alucinaciones de texto libre, los campos de BibTeX tienen valores correctos deterministas registrados en bases de datos editoriales, lo que hace que el error sea verificable pero crítico.

2. Metodología

Los autores construyeron un entorno de evaluación controlado y ecológicamente válido para medir la precisión de la generación de BibTeX.

• Benchmark (Conjunto de Datos):

  • Se seleccionaron 931 artículos científicos de cuatro dominios: Inteligencia Artificial (IA), Medicina, Ciencia de Materiales y Computación Cuántica.
  • Los artículos se estratificaron en tres niveles de citas para disociar la memoria paramétrica de la dependencia de la búsqueda:
    1. Populares (2010-2022): Alta citación, presentes en los datos de entrenamiento.
    2. Baja citación (2015-2025): Menos conocidos, requieren búsqueda.
    3. Recientes (2025-2026): Publicados después de la fecha de corte de conocimiento de los modelos, dependientes exclusivamente de la búsqueda.
  • Verdad Terrena (Ground Truth): Se construyó una verdad terrena "consciente de versiones", reconociendo que un mismo artículo puede tener versiones en arXiv, actas de conferencias y revistas, cada una con metadatos legítimamente diferentes.

• Modelos Evaluados:
  Se evaluaron tres modelos de vanguardia con sus herramientas de búsqueda web nativas habilitadas:

  • GPT-5 (OpenAI)
  • Claude Sonnet 4.6 (Anthropic)
  • Gemini 3 Flash (Google)

• Taxonomía de Errores:
  Cada campo (9 campos evaluables por entrada) se clasificó en una de seis categorías:

  • Correcto (C), Ausente (M), Fabricado (F), Parcialmente Correcto (P), Sustituido (S), No aplicable (X).
  • Sustituido (S) es crucial: indica que el modelo recuperó metadatos de un artículo diferente (error de identidad), no solo un error de formato.

• Pipeline de Evaluación:

  1. Etapa 1: Clasificación determinista basada en reglas (normalización de nombres, DOIs, etc.).
  2. Etapa 2: Un modelo LLM (Gemini 3.1 Flash Lite) actúa como juez para casos ambiguos (coincidencias parciales, sustituciones).
  3. Etapa 3: Validación humana en una muestra estratificada.

3. Contribuciones Clave

1. Benchmark de 931 artículos: Un conjunto de datos estandarizado con verdad terrena consciente de versiones y múltiples niveles de dificultad (popular vs. reciente).
2. Evaluación Sistemática: Análisis de ~23,000 observaciones a nivel de campo en tres modelos con búsqueda activa, revelando que la precisión total es moderada pero la precisión de entrada completa es baja.
3. Análisis de Modos de Fallo: Identificación de dos modos de error estructuralmente distintos:
   • Sustitución de entrada al por mayor: Los campos de identidad (autor, título, año, revista) fallan juntos, indicando que el modelo recuperó un artículo completamente diferente.
   • Error de campo aislado: Errores de formato o numéricos en campos individuales mientras el resto es correcto.
4. Herramienta de Mitigación (clibib): Desarrollo y evaluación de una herramienta de código abierto que recupera BibTeX determinista desde el Servidor de Traducción de Zotero (usando CrossRef, DBLP, PubMed) para corregir las salidas de los LLM.

4. Resultados Principales

• Precisión General:

  • La precisión a nivel de campo es del 83.6%, pero solo el 50.9% de las entradas están completamente correctas.
  • Existe una brecha significativa de 27.7 puntos porcentuales entre artículos populares (92.7%) y recientes (65.0%), demostrando que incluso con búsqueda, los modelos dependen pesadamente de la memoria paramétrica para artículos conocidos y fallan al recuperar metadatos estructurados de artículos nuevos.

• Desempeño por Modelo:

  • Gemini 3 Flash lideró en precisión general (88.9%), seguido por GPT-5 (81.4%) y Claude (80.4%).
  • Los campos más propensos a errores son DOI, número y páginas, mientras que autor y tipo de entrada son los más precisos.

• Modos de Fallo:

  • El análisis de co-ocurrencia de errores mostró que cuando falla un campo de identidad (autor/año), es altamente probable que fallen los demás (sustitución de entrada).
  • Los errores aislados (ej. formato de título) son más comunes que las sustituciones totales, pero las sustituciones son más dañinas.

• Efectividad de la Mitigación (clibib):

  • Se evaluaron dos arquitecturas de integración:
    1. Un solo paso: El modelo usa clibib como herramienta durante la generación.
    2. Dos pasos: El modelo genera una entrada base, y luego un proceso de revisión (sin herramientas) compara y corrige la entrada contra la recuperación determinista de clibib.
  • Resultados: La integración de dos pasos fue superior.
    • Aumentó la precisión general de 83.6% a 91.5%.
    • Aumentó las entradas completamente correctas de 50.9% a 78.3%.
    • La tasa de regresión (errores introducidos en campos que ya eran correctos) fue mínima (0.8% en dos pasos vs. 4.8% en un solo paso).
  • Conclusión de Arquitectura: Separar la búsqueda de la revisión es más efectivo que intentar hacer ambas cosas simultáneamente en un solo bucle de herramientas.

5. Significado y Conclusiones

• La búsqueda no es suficiente: Aunque las herramientas de búsqueda mejoran la precisión en comparación con los modelos base, no eliminan las alucinaciones. Los modelos a menudo encuentran el artículo correcto pero reconstruyen los metadatos desde la memoria en lugar de transcribirlos fielmente.
• Necesidad de Verificación Externa: Dado que los metadatos bibliográficos son deterministas, la única mitigación confiable es bypassar la construcción de metadatos basada en LLM mediante la recuperación directa de bases de datos autoritativas.
• Recomendación Práctica: Las entradas BibTeX generadas por LLM no deben usarse directamente en manuscritos científicos. Deben someterse a una verificación post-hoc o a una integración de dos etapas con herramientas deterministas como clibib.
• Impacto en la Infraestructura Científica: Los errores en campos como DOI y revista corrompen las redes de citas y los análisis bibliométricos. Este trabajo proporciona las herramientas y el marco de evaluación necesarios para detectar y corregir estas alucinaciones estructurales antes de que se publiquen.

En resumen, el artículo demuestra que, aunque los agentes de IA con búsqueda son prometedores, su fiabilidad para tareas de metadatos estructurados es insuficiente sin una capa de verificación determinista, y que la arquitectura de integración de estas herramientas es tan crítica como la capacidad del modelo subyacente.