Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes

Este estudio empírico demuestra que las restricciones de despliegue en cuatro modelos de lenguaje grandes no mejoran la veracidad de las citas académicas, ya que la mayoría de las referencias generadas son inexistente o no verificables, lo que subraya la necesidad imperativa de verificar las citas después de la generación antes de integrarlas en revisiones de literatura o herramientas de ingeniería de software.

Lo esencial

Imagina que los Modelos de Lenguaje (como ChatGPT o Claude) son chefs de cocina muy talentosos, pero que nunca han salido de su cocina. Solo han visto recetas en libros antiguos y nunca han ido al mercado a comprar ingredientes reales.

Este estudio es como una inspección de salud que le hicimos a cuatro de estos chefs (dos famosos y caros, dos más nuevos y de código abierto) para ver qué pasa cuando les ponemos reglas estrictas mientras cocinan un plato académico.

Aquí tienes lo que descubrieron, explicado de forma sencilla:

1. El Problema: "Citas Falsas con Rostro Real"

Cuando estos chefs escriben un artículo, a menudo inventan referencias bibliográficas. Es como si un chef te dijera: "Este plato lleva 'Salsa de Trufa de la Montaña Mágica' y la receta está en el libro de 1998".
El problema es que la receta no existe. El libro no tiene esa página, y la trufa no existe. Pero la receta suena tan real, con nombres de autores y años, que engaña a cualquiera que no la verifique. A esto los científicos le llaman "alucinación".

2. El Experimento: Las Reglas del Juego

Los investigadores le pidieron a los chefs que escribieran párrafos académicos bajo cinco situaciones diferentes, como si fueran restricciones en un restaurante:

• La Normal: "Cocina lo que quieras".
• La Temporal: "Solo usa recetas de los últimos 5 años".
• La Encuesta: "Haz un menú muy amplio con muchas categorías".
• La Confidencial: "No digas que has leído libros de memoria, actúa como si no supieras de dónde sacaste la info".
• La Combinada: "Haz todo lo anterior a la vez".

3. Los Resultados: ¿Qué pasó en la cocina?

A. Nadie es perfecto (Ni siquiera los mejores)
Incluso los chefs más famosos (los modelos de pago como GPT-4 o Claude) no lograron que más del 47% de sus recetas fueran reales. Es decir, más de la mitad de las referencias que escribieron eran fantasía. Los chefs "gratuitos" (modelos de código abierto) lo hicieron mucho peor, inventando casi todo.

B. La trampa de la "Regla del Tiempo" (La peor situación)
Cuando les dijeron: "Solo usa recetas de los últimos 5 años", los chefs no dejaron de mentir. Al contrario, se volvieron muy buenos en hacer que las mentiras parecieran reales.

• La analogía: Es como si un chef te dijera: "Aquí tienes una pizza de 2024". La pizza tiene la fecha escrita en la caja, el papel parece nuevo, pero dentro no hay pizza, solo cartón. Cumplieron la regla de la fecha, pero el contenido era falso.

C. La "Zona Gris" (El peligro invisible)
Un 36% al 61% de las referencias cayeron en una categoría llamada "Sin Resolver".

• La analogía: Imagina que el inspector revisa la receta y dice: "No puedo confirmar si esta trufa existe, pero tampoco puedo probar que no existe".
• El peligro: Cuando los investigadores revisaron estas "dudas" a mano, descubrieron que casi la mitad eran mentiras puras. Es decir, el sistema automático no pudo detectarlas, pero eran falsas. Si confías solo en la máquina, te comerás la mentira.

D. Los Chefs Caros vs. Los Chefs Gratuitos
Los modelos de pago (proprietarios) siempre lo hicieron mejor que los gratuitos, pero ninguno fue confiable. Sin embargo, la brecha se hizo enorme cuando pidieron "encuestas amplias". Los modelos gratuitos empezaron a inventar referencias a un ritmo alarmante (más del 50% de sus citas eran falsas).

4. ¿Por qué ocurre esto? (Los trucos de los chefs)

Los investigadores encontraron patrones curiosos en cómo inventaban:

• Limpieza de lugares: Inventaron un nombre de revista famoso (como "IEEE") pero con un título de artículo que nunca existió allí.
• Mezcla de autores: Tomaron apellidos reales de científicos famosos y los mezclaron para crear un equipo que nunca existió.
• Títulos que casi suenan: Escribieron títulos que eran casi idénticos a los reales, pero con un cambio pequeño que hacía que la búsqueda fallara.

5. La Lección para Nosotros (El mensaje final)

Este estudio nos dice algo muy importante para el futuro:

1. No confíes ciegamente: Si usas una IA para escribir un trabajo, un informe técnico o una tesis, no puedes confiar en sus referencias.
2. La forma no es el fondo: Que una cita tenga un formato perfecto (con DOI, año, autores) no significa que sea real. Es como un billete falso con un diseño perfecto: si no lo verificas, no sabes que es falso.
3. La solución: Necesitamos herramientas que verifiquen las citas después de que la IA las escribe, como un inspector de calidad que revisa cada ingrediente antes de servir el plato.

En resumen: Las IA son excelentes redactores, pero son malos bibliotecarios. Si las usas para investigar, úsalas para escribir, pero siempre, siempre, verifica tú mismo si los libros y artículos que citan realmente existen.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes" (¿Hacen que las restricciones de despliegue alucinen las citas en los LLMs? Un estudio empírico en cuatro modelos y cinco regímenes de prompting), traducido y sintetizado al español.

---

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) se utilizan cada vez más para redactar textos académicos y apoyar la síntesis de evidencia en Ingeniería de Software (SE). Sin embargo, sufren de alucinación de citas: generan referencias bibliográficas que parecen legítimas (con autores, revistas, DOIs y años) pero que no corresponden a obras reales verificables.

El estudio aborda una brecha crítica: se desconoce cómo se comporta la fiabilidad de estas citas bajo restricciones de despliegue realistas, tales como:

• Restricciones temporales: Ventanas de publicación específicas (ej. "solo artículos de 2020-2025").
• Presión de amplitud (Estilo Encuesta): Solicitudes de sintetizar literatura con un gran número de referencias.
• Políticas de no divulgación: Instrucciones que prohíben al modelo afirmar acceso a documentos de entrenamiento memorizados.

2. Metodología

Los autores diseñaron un marco de evaluación automatizado y determinista para medir la verificabilidad de las citas en un entorno de "libro cerrado" (sin acceso a herramientas de búsqueda en tiempo real durante la generación).

Diseño Experimental

• Modelos Evaluados:
  • Propietarios: Claude Sonnet (Anthropic) y GPT-4o (OpenAI).
  • Pesos Abiertos (Open-weight): LLaMA 3.1–8B (Meta) y Qwen 2.5–14B (Alibaba).
• Dataset: 144 afirmaciones en formato de preguntas, distribuidas en seis dominios académicos (incluyendo 24 específicas de SE e Informática).
• Regímenes de Prompting (5 condiciones):
  1. Baseline: Párrafo académico con 5 citas.
  2. Temporal: Ventana estricta de años de publicación (5 citas).
  3. Survey (Encuesta): Síntesis de trabajo relacionado en 3-4 categorías con 8 citas.
  4. Non-Disclosure (No divulgación): Instrucción de no afirmar acceso a datos de entrenamiento (5 citas).
  5. Combo: Combinación de las tres restricciones anteriores (8 citas).
• Proceso de Verificación:
  • Se generaron 17,443 citas en total.
  • Un pipeline automatizado extrae metadatos y consulta Crossref y Semantic Scholar.
  • Clasificación en tres etiquetas:
    1. Existente (Existing): Coincidencia alta (score ≥ 0.85).
    2. Sin Resolver (Unresolved): Coincidencia media (0.60 ≤ score < 0.85) o metadatos incompletos.
    3. Fabricada (Fabricated): Score bajo (< 0.60) o sin candidatos encontrados.
  • Validación Humana: Una auditoría de 100 citas mostró un acuerdo del 75% (Kappa de Cohen = 0.63) entre el pipeline y etiquetas humanas.

3. Contribuciones Clave

1. Dataset Curado: Un conjunto de 144 afirmaciones en seis dominios, incluyendo un enfoque específico en Ingeniería de Software.
2. Pipeline de Verificación Automatizado: Un sistema determinista que clasifica citas en una taxonomía de tres vías (Existente, Sin Resolver, Fabricada), superando las evaluaciones binarias tradicionales.
3. Análisis Empírico de Restricciones: La primera evaluación sistemática de cómo las restricciones de despliegue (temporal, estilo encuesta, no divulgación) afectan la calidad de las citas y la brecha entre modelos propietarios y de pesos abiertos.

4. Resultados Principales

A. Baja Verificabilidad General

• Ningún modelo superó una tasa de existencia de citas del 50%. El pico más alto fue del 47.5% (Claude Sonnet en condición de Encuesta).
• Incluso los modelos propietarios fallan masivamente; bajo restricciones estrictas, la mayoría de las citas generadas no son verificables.

B. Impacto de las Restricciones (RQ1)

• Restricciones Temporales: Causan la caída más pronunciada en la verificabilidad. Por ejemplo, GPT-4o cayó de un 23.5% (Baseline) a un 1.9% en condiciones temporales. Los modelos obedecieron el formato de año, pero generaron citas falsas dentro de ese rango.
• Estilo Encuesta (Survey): Amplió la brecha entre modelos propietarios y abiertos. Los modelos propietarios mejoraron ligeramente, mientras que los de pesos abiertos (especialmente Qwen) vieron un aumento drástico en la tasa de fabricación (hasta un 54.7%).
• No Divulgación: No eliminó errores, pero los redistribuyó. Redujo la completitud de los DOIs, empujando citas que podrían ser reales a la categoría de "Sin Resolver" (difíciles de verificar), en lugar de "Fabricadas".

C. La Brecha Propietario vs. Abierto (RQ2)

• Existe una diferencia estadísticamente significativa y consistente. Los modelos propietarios (Claude, GPT-4o) superan a los de pesos abiertos (LLaMA, Qwen) en todas las condiciones.
• En la condición de Encuesta, la brecha fue máxima (Δ = +0.310).

D. El Problema de las Citas "Sin Resolver"

• Entre el 36% y el 61% de las citas cayeron en la categoría "Sin Resolver".
• La auditoría manual reveló que casi la mitad de estas citas "Sin Resolver" eran en realidad fabricadas. Esto indica que las evaluaciones binarias (Real/Falso) ocultan un gran grupo de alto riesgo.

E. Patrones de Error Cualitativos

El estudio identificó cuatro modos de fallo que los controles de formato no detectan:

1. Lavado de Venues: Nombres de revistas reales (ej. IEEE TSE) combinados con títulos inexistentes.
2. Bricolaje de Autores: Combinación de apellidos reales que no corresponden a ningún autor real.
3. Fabricación de Identificadores: DOIs sintácticamente válidos pero inexistentes, o su omisión bajo políticas de no divulgación.
4. Deriva de Títulos: Títulos que son parafraseos cercanos de artículos reales pero que no coinciden con ningún registro indexado.

5. Significado e Implicaciones

• Para la Ingeniería de Software (SE): Las revisiones sistemáticas de literatura (SLR) y la síntesis de evidencia son actividades centrales en SE. El uso de LLMs para estas tareas sin verificación posterior es peligroso, ya que las citas alucinadas pueden propagarse en la literatura técnica.
• Conformidad de Formato ≠ Calidad: Cumplir con el formato bibliográfico (año, DOI, autores) no garantiza que la referencia exista. Las restricciones de despliegue pueden empeorar la calidad sin romper el formato.
• Necesidad de Verificación Post-hoc: Se concluye que la ingeniería de prompts por sí sola no resolverá el problema. Se requiere:
  • Verificación obligatoria contra bases de datos académicas (Crossref, Semantic Scholar, DBLP) antes de incluir citas en informes técnicos o revisiones.
  • Tratar las listas de referencias generadas por LLM como "borradores" que requieren validación humana o automatizada.
  • Considerar arquitecturas de generación aumentada por recuperación (RAG) en lugar de generación en libro cerrado.

En resumen, el estudio demuestra que las restricciones prácticas de despliegue exacerban la alucinación de citas, y que la distinción entre modelos propietarios y abiertos es un predictor más fuerte de calidad que el tipo de restricción aplicada.