How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations

Este estudio audita la fabricación de citas en 10 modelos de lenguaje grandes, revelando tasas de alucinación variables entre el 11,4% y el 56,8% que dependen del modelo y el dominio, y propone métodos de detección como el consenso multivariante y un clasificador ligero basado en características bibliográficas para identificar citas fantasma sin consultar bases de datos externas.

Lo esencial

Imagina que tienes un grupo de 10 chefs muy famosos (los Modelos de Lenguaje o IA) y les pides que preparen un banquete académico. Les das un tema (como "ingeniería" o "inteligencia artificial") y les dices: "Por favor, incluyan en el menú las recetas (referencias) de los grandes maestros que inspiraron este plato".

El problema es que, aunque estos chefs son geniales cocinando, a veces inventan recetas que nunca existieron. Le ponen el nombre de un chef real a un plato que nunca cocinó, o inventan un libro de cocina que nadie ha escrito. A esto los científicos le llaman "alucinación de citas".

Este estudio es como una gran auditoría de cocina donde se probaron a 10 de estos chefs para ver cuántas recetas falsas inventaban. Aquí te explico lo que descubrieron, usando analogías sencillas:

1. ¿Cuántos mentirosos hay? (La gran diferencia)

No todos los chefs son iguales.

• Algunos son muy honestos: El chef "GPT-5-mini" solo inventó el 11% de las recetas. ¡Casi todo era real!
• Otros son grandes imaginadores: El chef "haiku-4.5" inventó más de la mitad de las recetas (56%).
• La lección: No puedes confiar ciegamente en el nombre del chef. Solo porque es un modelo "nuevo" o "famoso" no significa que no va a inventar cosas. De hecho, a veces el chef "nuevo" (haiku-4.5) fue peor que el anterior.

2. El truco de la "pregunta" (¿Por qué mienten?)

El estudio descubrió algo muy importante: Si no les pides las recetas, ¡no las inventan!

• Cuando los chefs cocinaban sin que nadie les pidiera referencias, ninguno inventó una sola cita falsa.
• La analogía: Es como si un niño no inventara historias de fantasía a menos que tú le digas: "¡Cuéntame una historia sobre dragones!". La mentira no es un defecto interno del chef; es una respuesta a tu petición. Si no les pides que citen, no alucinan.

3. El efecto del "Tiempo" (¿Recientes o Clásicos?)

Les preguntaron a los chefs por dos tipos de recetas:

• "Las clásicas y famosas" (obras fundamentales): Aquí mentían menos.
• "Las más recientes" (lo último del año): Aquí mentían mucho más (74% de invenciones).
• ¿Por qué? Piensa en la memoria del chef. Conoce muy bien los libros viejos porque los ha leído miles de veces. Pero los libros del mes pasado quizás ni siquiera han llegado a su biblioteca de entrenamiento. Cuando les pides algo muy nuevo, el chef se pone nervioso y inventa un título que suena plausible para no quedarse en blanco.

4. ¿Cómo detectar la mentira sin buscar en internet? (Los filtros mágicos)

El estudio encontró dos trucos sencillos para saber si una cita es real sin tener que buscarla en una base de datos gigante:

• El Truco del Consenso (La regla de los 3): Si le pides la misma pregunta a 3 chefs diferentes y los 3 te dan el mismo nombre de libro, ¡es casi seguro que es real! (95% de certeza). Si solo un chef lo menciona, es muy probable que sea una invención.
  • Analogía: Si un solo testigo dice que vio un OVNI, podría estar soñando. Si tres testigos independientes dicen lo mismo, probablemente hubo algo.
• El Truco de la Repetición: Si le pides al mismo chef que responda la misma pregunta tres veces y siempre te da la misma cita, es real. Si cambia la cita cada vez, es una alucinación.
  • Analogía: Si un actor improvisa una escena y cambia los nombres de los personajes cada vez, está inventando. Si los recuerda igual, es porque los conoce de verdad.

5. El "Detector de Mentiras" automático

Los investigadores crearon un pequeño programa (un clasificador) que actúa como un detective de bibliografía.

• Este detective no necesita internet. Solo mira la "forma" de la cita.
• La pista principal: Las citas falsas suelen tener menos autores y nombres de autores más cortos. Las citas reales suelen tener listas de autores más largas y complejas.
• Es como si el detective dijera: "Esta cita tiene solo un autor y un nombre muy corto... ¡sospechoso! Probablemente sea falsa". Funciona muy bien y es gratis de usar.

6. El problema de los "Libros Abiertos"

Los chefs tienden a citar mucho más los libros que son gratuitos y abiertos (Open Access) que los que están detrás de un muro de pago.

• El peligro: Si todos los estudiantes usan a estos chefs para hacer sus trabajos, los libros de pago (que a veces son muy importantes) desaparecerán de las bibliografías. Es como si solo leyéramos noticias de un periódico gratis y olvidáramos que existen otros periódicos serios.

En resumen: ¿Qué debemos hacer?

1. No confíes ciegamente: La IA es una herramienta útil, pero es un "alucinador" cuando le pides citas.
2. Usa el sentido común: Si pides algo muy nuevo, ten más cuidado.
3. Aplica la regla de los 3: Pide la misma cosa a varias IAs. Si coinciden, es real. Si no, búscala tú mismo.
4. Verifica siempre: Nunca entregues un trabajo académico con citas generadas por IA sin verificar que el libro o artículo existe de verdad.

Este estudio nos dice que la IA no es mala, pero necesita supervisión humana, como un copiloto que a veces se equivoca con el mapa y necesita que el conductor verifique la ruta.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations", realizado por M.Z. Naser.

1. El Problema: Alucinación de Citas Académicas

Los Modelos de Lenguaje Grande (LLM) se han integrado rápidamente en los flujos de trabajo de escritura académica. Sin embargo, una falla crítica es la fabricación de citas (alucinación de referencias), donde los modelos generan bibliografías que parecen legítimas (con autores reales, títulos plausibles y formatos correctos) pero que no existen o son combinaciones ficticias.

• Riesgo: Estas "citas fantasma" pueden infiltrarse en la literatura revisada por pares, propagando atribuciones falsas y erosionando la integridad de la investigación.
• Brecha de conocimiento: Estudios anteriores han sido limitados en escala (pocos modelos), no comparables en condiciones experimentales y carecían de un control para determinar si la alucinación es intrínseca al modelo o inducida por el prompt. No existía una cuantificación exhaustiva sobre cómo varía este comportamiento entre proveedores, dominios y marcos temporales.

2. Metodología

El estudio presenta una de las auditorías de alucinación de citas más grandes hasta la fecha, diseñada para ser exhaustiva y controlada.

• Escala de Datos: Se generaron 69,557 instancias de citas a partir de 15,150 respuestas de 10 modelos de lenguaje comercialmente desplegados.
• Modelos Evaluados: 10 modelos de 7 desarrolladores (OpenAI, Anthropic, Meta, DeepSeek, Moonshot AI, Mistral), cubriendo diferentes generaciones, capacidades y estrategias de pesos (abiertos vs. cerrados).
• Diseño Experimental:
  • 4 Dominios Académicos: Ingeniería estructural, Ciencias climáticas y ambientales, Investigación biomédica, y NLP/IA.
  • 2 Marcos Temporales: Solicitudes de referencias "recientes e influyentes" vs. "seminales y fundamentales".
  • Condiciones de Control: Se incluyó una condición sin prompt (preguntas sobre temas sin solicitar citas) para verificar si los modelos generan citas espontáneamente.
  • Replicación: 3 repeticiones independientes por prompt para medir la consistencia.
• Pipeline de Verificación:
  • Se utilizó un sistema de tres fuentes (CrossRef, OpenAlex, Semantic Scholar) con emparejamiento difuso.
  • Se asignó una puntuación de confianza (0-100). Las citas con puntuación ≥80 se consideraron "confirmadas" (reales), 65-79 "probables" y <65 "alucinadas".
  • Se validó la precisión del pipeline mediante una muestra estratificada verificada por otro modelo con búsqueda web.

3. Contribuciones Clave

El artículo aporta seis contribuciones principales:

1. Cuantificación Exhaustiva: Tasas de alucinación medidas en 10 modelos de 7 proveedores bajo condiciones estandarizadas.
2. Efecto del Marco Temporal: Demostración de que la solicitud de referencias "recientes" aumenta drásticamente la tasa de fabricación.
3. Naturaleza Inducida: Evidencia de que la alucinación de citas es inducida por el prompt y no intrínseca, ya que ningún modelo generó citas espontáneamente sin ser solicitado.
4. Sesgos Bibliométricos: Identificación de sesgos sistemáticos en las citas reales generadas (sobrerrepresentación de acceso abierto y obras muy citadas).
5. Heurísticas de Verificación: Propuesta y validación de dos filtros prácticos (consenso multi-modelo y repetición interna) que reducen drásticamente las tasas de error.
6. Clasificador de Alucinación: Desarrollo de un clasificador ligero basado únicamente en características de la cadena de texto bibliográfica (sin consultar bases de datos externas) para pre-filtrar citas.

4. Resultados Principales

Tasas de Alucinación y Desempeño del Modelo

• Variabilidad Extrema: Las tasas de alucinación oscilaron entre un 11.4% (GPT-5-mini) y un 56.8% (haiku-4.5), una diferencia de cinco veces.
• Mejores Modelos: GPT-5-mini, GPT-5-nano y deepseek-v3.1 mostraron las tasas más bajas.
• Peores Modelos: Haiku-4.5 y llama4-scout tuvieron las tasas más altas.
• Regresión Generacional: Contrario a la intuición, Anthropic vio un aumento en la alucinación de haiku-3.5 (48.8%) a haiku-4.5 (56.8%), mientras que OpenAI vio una reducción significativa de GPT-4o-mini (45.3%) a GPT-5-mini (11.4%).

Efectos de Dominio y Temporalidad

• Temporalidad: Las solicitudes de referencias "recientes" tuvieron una tasa de alucinación del 74.1%, frente al 55.0% para referencias "seminales". Esto sugiere que los modelos carecen de datos de entrenamiento suficientes para publicaciones muy recientes.
• Dominio: La alucinación fue menor en NLP/IA (26.6%), donde los datos de entrenamiento son abundantes, y mayor en Ingeniería Estructural (50.1%), donde la literatura es menos accesible digitalmente.

Sesgos Bibliométricos

• Acceso Abierto: Los modelos sobrerrepresentaron masivamente el acceso abierto (77-92% de citas reales vs. un 50-55% en la literatura global).
• Popularidad: Las citas generadas tendían a ser obras con un número de citas muy superior al promedio del campo (sesgo hacia papers ya prominentes).

Heurísticas de Detección

• Consenso Multi-Modelo: Si 3 o más modelos independientes citan la misma obra, la precisión sube al 95.6% (mejora de 5.8x sobre un solo modelo).
• Repetición Interna: Si un mismo modelo repite la misma cita en 2 de 3 intentos, la precisión es del 88.9%.

Clasificador de Texto

• Se entrenó un clasificador (Gradient Boosted Machine) con 27 características textuales (longitud de autores, presencia de "et al.", año de publicación, etc.).
• Rendimiento: Logró un AUC de 0.876 en validación cruzada y 0.834 en generalización leave-one-model-out.
• Señal Principal: Las citas alucinadas tienden a tener menos autores, cadenas de autores más cortas y rara vez incluyen "et al." en comparación con las reales.

5. Significado e Implicaciones

• Reencuadre del Problema: La alucinación de citas no es un defecto aleatorio inevitable, sino una respuesta inducida por la solicitud. Esto sugiere que la mitigación debe centrarse en el diseño de prompts y la verificación post-hoc, no solo en la arquitectura del modelo.
• Herramientas Prácticas: Los investigadores pueden implementar filtros de bajo costo (consenso y repetición) o usar el clasificador de texto para pre-filtrar citas antes de realizar verificaciones costosas en bases de datos.
• Equidad Epistémica: El sesgo hacia el acceso abierto y las obras muy citadas podría marginar aún más la investigación en revistas de suscripción o de países en desarrollo, ya que los LLMs tenderán a "ignorar" literatura menos visible en sus datos de entrenamiento.
• Falta de Transparencia: La variabilidad entre proveedores y la regresión en algunos modelos (como Haiku) indican que la precisión en citas depende de decisiones de alineación y entrenamiento que no son transparentes para el usuario final.

En conclusión, el estudio demuestra que, aunque los LLMs son propensos a fabricar referencias, existen métodos robustos y escalables para detectar y filtrar estas alucinaciones, permitiendo un uso más seguro de la IA en la escritura académica.