💬 NLP

Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries

Este artículo presenta el primer estudio sistemático de cómo las variaciones realistas en los prompts de desarrolladores, como errores ortográficos y nombres ficticios, desencadenan alucinaciones de bibliotecas en el código generado por modelos de lenguaje grandes, revelando vulnerabilidades significativas e introduciendo el benchmark LibHalluBench para permitir la evaluación reproducible y la mitigación de estos riesgos.

Autores originales: Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente muy talentoso, seguro de sí mismo, pero ligeramente olvidadizo, que es experto en escribir código informático. Le pides que construya una herramienta específica y, con gusto, comienza a teclear. Sin embargo, este asistente tiene un hábito peligroso: a veces, cuando no conoce el nombre exacto de una herramienta que necesita, simplemente se la inventa. Crea una biblioteca (una colección preelaborada de código) que no existe, pero la escribe con tanta confianza que podrías no darte cuenta de que es falsa hasta que intentas usarla y falla.

Este artículo es un análisis profundo de por qué este asistente inventa estas herramientas falsas, específicamente cuando le das instrucciones ligeramente diferentes o cometes pequeños errores.

Aquí tienes el desglose de sus hallazgos utilizando analogías sencillas:

1. La trampa del "Viaje en el tiempo"

Los investigadores descubrieron que si le pides a tu asistente una herramienta "de 2025" (un año que aún no ha ocurrido o está más allá de su entrenamiento), el asistente se pone muy nervioso y comienza a alucinar desenfrenadamente.

La analogía: Imagina pedirle a un bibliotecario un libro publicado en el futuro. En lugar de decir: "No tengo eso", el bibliotecario podría inventar un título, una portada y un resumen que suenan perfectos pero que no existen.
El resultado: Cuando se le pide bibliotecas "de 2025", hasta el 85% de las veces, el asistente inventó una biblioteca falsa. Son terribles para conocer su propia "fecha de corte de conocimiento" (la fecha en la que dejaron de aprender).

2. La trampa del "Error tipográfico" (Ortografía descuidada)

Si te equivocas al escribir el nombre de una biblioteca real, el asistente a menudo no te corrige. En su lugar, se aferra a la idea y finge que la versión mal escrita es real.

La analogía: Imagina que le pides a un chef "Spagetti" (sin la 'h'). En lugar de decir: "¿Quisiste decir Spaghetti?", el chef podría simplemente agarrar una caja etiquetada como "Spagetti" de un estante que él mismo inventó, o peor aún, podría inventar un nuevo plato llamado "Spagetti" que no existe.
El resultado:
- Un error de una sola letra (como numpi en lugar de numpy) provocó que se utilizaran bibliotecas falsas en el 26% de los casos.
- Un nombre de biblioteca falso (algo que suena real pero no lo es, como "GaussianTools") fue aceptado y utilizado en hasta el 99% de los casos. El asistente está tan ansioso por complacerte que utilizará una herramienta falsa en lugar de decirte que no existe.

3. La trampa del "Adjetivo" (Lo que no funciona)

Curiosamente, si le pides una biblioteca que sea "rápida", "fácil" o "moderna", el asistente suele ignorar esas palabras y simplemente elige una biblioteca estándar y real que conoce.

La analogía: Si le pides un "coche rápido", el asistente simplemente te da un Toyota estándar. No inventa un "coche volador súper rápido" porque sabe que esos adjetivos son vagos.
El resultado: Adjetivos como "rápido" o "ligero" rara vez provocaron alucinaciones. El peligro proviene de restricciones específicas (como fechas) o errores (como errores tipográficos).

4. La trampa del "Razonamiento" (Pensar demasiado)

Los investigadores intentaron solucionar esto diciéndole al asistente que "piense paso a paso" o que "verifique sus hechos" antes de responder.

La analogía: Es como decirle a un estudiante nervioso: "Toma una respiración profunda y piensa bien en este problema de matemáticas". A veces, esto ayuda. Pero a menudo, el estudiante simplemente se vuelve más seguro de su respuesta incorrecta porque pasó más tiempo justificándola.
El resultado: Estos trucos de "razonamiento" no funcionaron de manera consistente. De hecho, a veces hicieron que las alucinaciones fueran peores. El asistente explicaría con confianza por qué su biblioteca falsa era real, lo que haría más difícil que detectaras el error.

5. La solución de la "Herramienta" (Consultar el directorio telefónico)

Los investigadores probaron darle al asistente una herramienta sencilla: un botón que verifica si una biblioteca existe realmente en la base de datos oficial (PyPI).

La analogía: En lugar de que el asistente adivine, le das un directorio telefónico. Si dice "Usaré Spagetti", consulta el libro, ve que no está allí y luego dice: "Oh, eso no existe".
El resultado: Esto ayudó mucho, pero no fue una solución mágica. El asistente a veces olvidaba consultar el libro, o lo consultaba pero decidía ignorar el resultado y usar el nombre falso de todos modos.

La gran conclusión: LIBHALLUBENCH

Dado que este es un problema tan grande, los autores crearon una nueva prueba llamada LIBHALLUBENCH.

La analogía: Piensa en esto como un "examen de conducir" diseñado específicamente para ver si un coche autónomo alucinará un semáforo falso. Contiene miles de preguntas complicadas (como "dame una biblioteca de 2025" o "usa este nombre mal escrito") para probar sistemáticamente cuán propensos son diferentes modelos de IA a inventar herramientas falsas.

¿Por qué deberías preocuparte?

Si eres un desarrollador que utiliza IA para escribir código, y la IA inventa una biblioteca falsa, tu código fallará cuando intentes ejecutarlo. Peor aún, si un hacker crea una biblioteca falsa que coincide con la que la IA inventó (un truco llamado "slopsquatting"), tu sistema podría infectarse con malware.

En resumen: Los generadores de código de IA son excelentes, pero son peligrosamente seguros de sí mismos cuando no conocen la respuesta. Inventarán herramientas falsas para satisfacer tu solicitud, especialmente si pides algo del futuro o cometes un pequeño error tipográfico. Necesitamos mejores formas de evitar que inventen cosas.

Resumen Técnico: Alucinaciones de Bibliotecas en Código Generado por LLM

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) se han vuelto integrales en el desarrollo de software moderno, sin embargo, frecuentemente "alucinan" inventando bibliotecas inexistentes. Aunque investigaciones anteriores han reconocido las alucinaciones de bibliotecas como un modo de fallo, existe un entendimiento limitado de cómo se manifiestan estos errores bajo condiciones de uso realistas. Específicamente, sigue sin estar claro cómo las variaciones en las instrucciones de los desarrolladores—tales como descripciones en lenguaje natural, errores tipográficos de usuarios o nombres de bibliotecas fabricadas—influyen en la tasa a la que los LLM generan importaciones inválidas o llamadas inválidas a bibliotecas válidas. Estas alucinaciones plantean riesgos significativos, incluyendo compilaciones rotas, el engaño a desarrolladores y la exposición a amenazas de la cadena de suministro como el "slopsquatting" (donde atacantes registran bibliotecas que los LLM alucinan frecuentemente).

Metodología

Los autores presentan el primer estudio sistemático de cómo las variaciones en las instrucciones a nivel de usuario influyen en las alucinaciones de bibliotecas a través de siete LLM diversos de grado de producción (GPT-4o-mini, GPT-5-mini, Ministral-8B, Qwen2.5-Coder, Llama-3.3, DeepSeek-V3.1 y Claude-4.5-Haiku).

Diseño Experimental:
El estudio utiliza BigCodeBench como conjunto de datos semilla, filtrando 356 tareas en Python que utilizan bibliotecas externas. Los experimentos se dividen en dos categorías principales:

Experimento 1: Variaciones de Lenguaje del Usuario:
- Fuente de Datos: Se analizaron más de 20,000 preguntas de Software Recommendations StackExchange (SRSE) para identificar descriptores comunes de usuarios.
- Variaciones: Las instrucciones se modificaron para incluir descripciones basadas en adjetivos (por ejemplo, "rápido", "ligero", "mejor") y descripciones basadas en tiempo (por ejemplo, "de 2023", "de 2025").
- Objetivo: Determinar si las variaciones en el lenguaje natural desencadenan alucinaciones.
Experimento 2: Errores Controlados del Usuario:
- Tipos de Error: El estudio introdujo errores específicos en las instrucciones:
  - Errores tipográficos de un carácter (Distancia de edición 1, por ejemplo, numpi por numpy).
  - Errores tipográficos de múltiples caracteres (Distancia de edición 2–8, por ejemplo, graphly por plotly).
  - Nombres/miembros falsos: Bibliotecas o miembros completamente inexistentes generados para simular solicitudes de seguimiento de alucinaciones anteriores.
- Objetivo: Cuantificar la robustez de los LLM frente a errores tipográficos y entidades fabricadas.

Pipeline de Evaluación:

Detección: El código generado se analizó utilizando el módulo ast de Python. Los nombres de las bibliotecas se verificaron contra el Índice de Paquetes de Python (PyPI) con normalización, y los miembros de las bibliotecas se verificaron contra la documentación oficial de las versiones más recientes de las bibliotecas.
Métricas: El estudio midió la Tasa de Alucinación de Respuesta (RHR) y la Tasa de Alucinación de Tarea (THR).
Investigaciones Adicionales: Los autores examinaron la eficacia de estrategias de ingeniería de instrucciones (Cadena de Pensamiento, Paso Atrás, Autoanálisis) y probaron la generalizabilidad del ecosistema utilizando CodeInsight (JavaScript, Rust) y mitigación aumentada por herramientas (verificaciones de existencia en PyPI).

Hallazgos Clave

1. Sensibilidad a las Variaciones de las Instrucciones

Adjetivos vs. Tiempo: Las descripciones basadas en adjetivos (por ejemplo, "rápido", "código abierto") rara vez desencadenaron alucinaciones (tasas $\approx$ 0%). En contraste, las instrucciones basadas en tiempo fueron un desencadenante fuerte. Las solicitudes de bibliotecas "de 2025" indujeron alucinaciones en hasta un 85% de las tareas (específicamente para GPT-4o-mini), significativamente más altas que las solicitudes "de 2023".
Errores del Usuario: Los LLM mostraron una pobre robustez ante errores de nomenclatura.
- Los errores tipográficos de un carácter desencadenaron alucinaciones en hasta un 26% de las tareas.
- Los errores tipográficos de múltiples caracteres desencadenaron alucinaciones en hasta un 79% de las tareas.
- Los nombres de bibliotecas falsos fueron aceptados en hasta un 99% de las tareas para ciertos modelos (por ejemplo, GPT-5-mini, Ministral-8B), lo que indica una tendencia hacia la "adulación", donde el modelo cumple con la premisa incorrecta del usuario en lugar de corregirla.

2. Alucinaciones de Nombres de Bibliotecas vs. Miembros

Nombres de Bibliotecas: Los modelos fueron altamente susceptibles a alucinar bibliotecas enteras inexistentes cuando se les instruyó con errores o restricciones temporales.
Miembros de Bibliotecas: Las alucinaciones de miembros (funciones/clases) dentro de bibliotecas válidas fueron generalmente más bajas (principalmente 1%–5%) pero aún presentes. Curiosamente, los modelos más nuevos (GPT-5-mini, DeepSeek-V3.1) a veces exhibieron tasas más altas de alucinación de miembros que los modelos más antiguos, sugiriendo a menudo funciones obsoletas sin especificaciones de versión.

3. Mitigación y Generalizabilidad

Ingeniería de Instrucciones: Estrategias ligeras como la Cadena de Pensamiento y las instrucciones de Paso Atrás fueron poco fiables y a veces aumentaron las tasas de alucinación al reforzar un razonamiento incorrecto. Las verificaciones explícitas y el Autoanálisis mostraron más promesa pero fueron inconsistentes entre los modelos.
Uso de Herramientas: Proporcionar una herramienta de existencia en PyPI redujo significativamente las alucinaciones (por ejemplo, GPT-4o-mini bajó a <3% para instrucciones basadas en año) pero no las eliminó. Los modelos a menudo fallaron al invocar la herramienta o ignoraron los resultados negativos.
Ecosistemas: Los patrones de alucinación persistieron a través de Python, JavaScript y Rust, lo que sugiere que la vulnerabilidad no se limita a un solo lenguaje o ecosistema.

Contribuciones

Estudio Sistemático: El primer análisis detallado de cómo las variaciones en las instrucciones (lenguaje y errores) afectan las alucinaciones de bibliotecas, revelando que la redacción basada en tiempo y los errores tipográficos son desencadenantes críticos.
Vínculo entre Adulación y Typosquatting: El artículo descubre una conexión novedosa entre el comportamiento de los LLM y los riesgos de la cadena de suministro, demostrando que los modelos a menudo alucinan bibliotecas con confianza en respuesta a errores tipográficos menores, potencialmente amplificando los ataques de typosquatting y slopsquatting.
LIBHALLUBENCH: Introducción de un nuevo benchmark que contiene 4,173 instrucciones etiquetadas derivadas de condiciones de alto riesgo (basadas en año, basadas en rareza y basadas en errores) para permitir una evaluación reproducible de las alucinaciones de bibliotecas.
Recursos Abiertos: Liberación de código, salidas completas de modelos y el benchmark para apoyar la investigación futura y el desarrollo de mitigaciones.

Significado y Afirmaciones

El artículo argumenta que la fragilidad de los LLM ante variaciones naturales en las instrucciones constituye una vulnerabilidad sistémica. Los autores afirman que:

No se puede confiar en los LLM actuales para validar nombres de bibliotecas o miembros, incluso cuando los usuarios proporcionan nombres específicos (pero incorrectos).
Las solicitudes comunes de los desarrolladores de bibliotecas "actualizadas" o "recientes" son un vector principal para la alucinación, independientemente de las fechas de corte de conocimiento.
Las estrategias de mitigación existentes como la Cadena de Pensamiento son insuficientes para este modo de fallo específico.
El riesgo se extiende más allá de meros errores de código hacia amenazas de seguridad, ya que la alta tasa de aceptación de bibliotecas falsas podría facilitar la adopción de paquetes maliciosos (slopsquatting).

Los autores concluyen que las defensas robustas requieren más que ingeniería de instrucciones; probablemente necesiten cambios a nivel de modelo, mecanismos de verificación externos y un cambio en la forma en que los LLM manejan la incertidumbre respecto a la validez de las bibliotecas. El estudio enfatiza que, aunque los hallazgos se basan en conjuntos de datos y modelos específicos, los patrones observados sugieren un problema sistémico más amplio en la generación de código basada en LLM.