LLM hallucinations in the wild: Large-scale evidence from non-existent citations

Resumen Técnico: Alucinaciones de los LLM en el Mundo Real

Enunciado del Problema
Se sabe que los Modelos de Lenguaje Grande (LLM) generan información plausible pero falsa ("alucinaciones"), sin embargo, la magnitud y las consecuencias de este fenómeno en el mundo real siguen siendo poco comprendidas. Aunque las alucinaciones se han documentado en entornos simulados y en informes anecdóticos (por ejemplo, informes gubernamentales, presentaciones judiciales), existe una falta de evidencia sistemática y a gran escala sobre su prevalencia en la producción de conocimiento científico desplegada. Estudiar las alucinaciones a gran escala es difícil porque suelen estar incrustadas en texto no estructurado, lo que requiere una evaluación humana costosa o pipelines automatizados que pueden reintroducir sesgos específicos del modelo. Las citas científicas ofrecen una oportunidad única para la auditoría porque proporcionan una verdad fundamental trazable y binaria: una referencia citada existe o no existe.

Metodología
Los autores realizaron una auditoría a escala poblacional de 111 millones de referencias en 2,5 millones de artículos de cuatro corpus principales: arXiv (ciencias matemáticas, físicas y computacionales), bioRxiv (ciencias biológicas), SSRN (ciencias sociales, derecho, humanidades) y PubMed Central (literatura biomédica revisada por pares).

1. Pipeline de Verificación:

   • Extracción y Análisis: Las referencias se extrajeron de archivos de manuscritos sin procesar (LaTeX, PDF mediante GROBID, XML o metadatos).
   • Coincidencia Inicial: Los títulos analizados se consultaron contra un índice local de Elasticsearch construido a partir de Semantic Scholar y OpenAlex. Criterios de similitud de cadenas determinaron las coincidencias válidas.
   • Limpieza: Las entradas sin coincidencia se redirigieron a través de un paso de limpieza basado en LLM (GPT-4o-mini) para excluir fuentes no académicas y refinar la extracción de títulos, reduciendo la tasa de no coincidencia de ~4,9% a 1,54%.
   • Validación Final: Se realizó una búsqueda mediante la API de Google Scholar de terceros en las entradas sin coincidencia restantes. Una referencia se consideró válida si Google Scholar devolvía un registro coincidente o evidencia consistente de que la obra estaba citada en otro lugar.
   • Definición de Alucinación: El estudio define "citas alucinadas" no como cada referencia sin coincidencia, sino como el exceso de citas sin coincidencia observado tras la adopción de LLM en comparación con una línea base previa a los LLM (finales de 2022). Este enfoque controla los errores bibliográficos ordinarios y los artefactos de formato.

2. Marco Analítico:

   • Dinámicas Temporales: Se utilizaron modelos de regresión para estimar la tasa de citas sin coincidencia a lo largo del tiempo, identificando el punto de inflexión de la aparición de alucinaciones.
   • Análisis de Distribución: El estudio examinó la distribución de las citas alucinadas en los artículos para probar si la contaminación estaba concentrada en unos pocos manuscritos "manzanas podridas" o incrustada difusamente.
   • Análisis de Autores y Crédito: Los autores correlacionaron las tasas de alucinación con la productividad de los autores (número de publicaciones anteriores), el tamaño del equipo y las características de los autores citados (productividad, impacto de citas, género y jerarquía del equipo).
   • Evaluación de Salvaguardas: La eficacia de los controles de calidad existentes se evaluó analizando las tasas de rechazo en la moderación de arXiv y la persistencia de las alucinaciones desde los preprints (bioRxiv) hasta las versiones publicadas (PMC).

Resultados Clave

• Aumento de Alucinaciones: Un aumento brusco en referencias inexistentes comenzó a mediados de 2024, aproximadamente 18 meses después del lanzamiento inicial de ChatGPT. Para agosto de 2025, las tasas de alucinación alcanzaron el 0,39% (arXiv), 0,21% (bioRxiv), 1,91% (SSRN) y 0,27% (PMC).
• Magnitud: Extrapolando estas tendencias, los autores estiman conservadoramente que se introdujeron 146.932 citas alucinadas en estos cuatro corpus solo en 2025.
• Contaminación Difusa: Las alucinaciones no están concentradas en unos pocos artículos altamente contaminados. En cambio, están incrustadas de manera difusa; el aumento es impulsado por una proporción creciente de artículos que contienen una pequeña fracción (0–10%) de referencias sin coincidencia, en lugar de unos pocos artículos con altas tasas de errores.
• Correlatos de Producción:
  • Experiencia del Autor: Los autores que citan fuentes alucinadas ("citadores de alucinaciones") tenían significativamente menos publicaciones anteriores a 2023 en comparación con los controles. Sin embargo, para 2025, su productividad se disparó (aumento relativo de 1,33x a 3,13x), lo que sugiere que los LLM han reducido las barreras de entrada para investigadores menos experimentados, lo que lleva a un alto volumen de producción con errores incrustados.
  • Tamaño del Equipo: Las tasas de alucinación están inversamente correlacionadas con el tamaño del equipo; los artículos de autoría individual y de equipos pequeños exhiben tasas más altas.
  • Uso de LLM: Existe una fuerte correlación positiva (r = 0,441) entre el uso estimado de LLM en la escritura y las tasas de alucinación tanto a nivel de subcampo como de artículo.
• Sesgo en la Asignación de Crédito:
  • Las citas alucinadas otorgan crédito de manera desproporcionada a autores con alta productividad previa y alto impacto de citas.
  • Existe una disparidad de género significativa: es un 7,6% más probable que las citas alucinadas otorguen crédito a autores con nombres masculinos.
  • Estos sesgos se extienden a las citas válidas dentro de los mismos artículos, lo que sugiere una reasignación más amplia del crédito científico hacia académicos prominentes.
• Fallo de las Salvaguardas:
  • Moderación de Preprints: Aunque los moderadores de arXiv rechazan manuscritos con tasas más altas de alucinación, se estima que el 78,8% de las citas inexistentes aún superan la moderación.
  • Revisión por Pares: El 85,3% de las citas alucinadas presentes en preprints de bioRxiv persistieron en sus versiones publicadas en PubMed Central.
  • Contaminación de Bases de Datos: Las referencias alucinadas aparecen cada vez más como entradas independientes en Google Scholar, creando un bucle de retroalimentación donde obras inexistentes se convierten en parte de la "verdad fundamental" para futuras recuperaciones.

Significado y Afirmaciones
El artículo afirma proporcionar la primera auditoría a gran escala y transdisciplinaria de las alucinaciones de LLM en el trabajo de conocimiento del mundo real. Su significado principal radica en desplazar el discurso de la negligencia individual a una preocupación a nivel de sistemas. Los hallazgos demuestran que:

1. Escala y Persistencia: Las alucinaciones de LLM están infiltrando la producción de conocimiento a una escala masiva y están persistiendo a través de las etapas de preprint y publicación, superando las salvaguardas actuales.
2. Implicaciones de Equidad: Los errores no son aleatorios; refuerzan las inequidades existentes al canalizar el crédito hacia académicos establecidos y masculinos, mientras son producidos desproporcionadamente por investigadores de carrera temprana o menos experimentados.
3. Generalizabilidad: La ciencia representa un dominio de "mejor caso" para la detección debido a las citas estructuradas y el rico índice. Los autores argumentan que si las alucinaciones están penetrando en la literatura científica a pesar de estos mecanismos de verificación robustos, el problema es probablemente mucho más grave y difícil de detectar en dominios menos estructurados como presentaciones legales, informes de políticas y periodismo.
4. Bucles de Retroalimentación: La acumulación de citas alucinadas en bases de datos bibliométricas amenaza con erosionar los mecanismos utilizados para detectarlas, creando una degradación dependiente de la trayectoria de la fiabilidad científica.

Los autores concluyen que, si bien las herramientas de verificación automatizada ofrecen esperanza para errores estructurados como las citas, el desafío más amplio de detectar afirmaciones alucinadas en prosa no estructurada sigue siendo un problema crítico e irresuelto para la integridad del futuro descubrimiento científico y la toma de decisiones institucionales.