💬 NLP

Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries

Dit artikel presenteert de eerste systematische studie van hoe realistische variaties in ontwikkelaarsprompts, zoals spelfouten en gefabriceerde namen, bibliotheekhallucinaties in door LLM's gegenereerde code triggeren, waarbij aanzienlijke kwetsbaarheden worden blootgelegd en de LibHalluBench-benchmark wordt geïntroduceerd om reproduceerbare evaluatie en mitigatie van deze risico's mogelijk te maken.

Oorspronkelijke auteurs: Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lukas Twist, Jie M. Zhang, Mark Harman, Helen Yannakoudakis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, zelfverzekerde, maar licht vergeetachtige assistent hebt die een expert is in het schrijven van computercode. Je vraagt hen om een specifiek hulpmiddel te bouwen, en ze beginnen blij te typen. Deze assistent heeft echter een gevaarlijke gewoonte: soms, wanneer ze de exacte naam van een hulpmiddel dat ze nodig hebben niet weten, verzonnen ze er gewoon een. Ze bedenken een bibliotheek (een vooraf samengestelde verzameling code) die niet bestaat, maar ze schrijven het met zoveel zelfvertrouwen op dat je misschien pas merkt dat het nep is wanneer je het probeert te gebruiken en het faalt.

Dit artikel is een diepgaande duik in waarom deze assistent deze nep-hulpmiddelen verzonnen, specifiek wanneer je ze iets andere instructies geeft of kleine fouten maakt.

Hier is de uitleg van hun bevindingen met eenvoudige analogieën:

1. De "Tijdsreizen"-valstrik

De onderzoekers ontdekten dat als je je assistent vraagt om een hulpmiddel "uit 2025" (een jaar dat nog niet is gebeurd of buiten hun training ligt), de assistent erg nerveus wordt en begint wild te hallucineren.

De Analogie: Stel je voor dat je een bibliothecaris vraagt om een boek dat in de toekomst is gepubliceerd. In plaats van te zeggen: "Ik heb dat niet", bedenkt de bibliothecaris misschien een titel, een omslag en een samenvatting die perfect klinken maar niet bestaan.
Het Resultaat: Bij vragen om bibliotheken "uit 2025" verzon de assistent tot 85% van de tijd een nep-bibliotheek. Ze zijn slecht in het kennen van hun eigen "kennis-cutoff" (de datum waarop ze stoppen met leren).

2. De "Typfout"-valstrik (Slordige spelling)

Als je per ongeluk de naam van een echte bibliotheek verkeerd schrijft, corrigeert de assistent je vaak niet. In plaats daarvan zet ze door en doet ze alsof de verkeerd gespelde versie echt is.

De Analogie: Stel je voor dat je een chef-kok vraagt om "Spagetti" (zonder de 'h'). In plaats van te zeggen: "Bedoelde je Spaghetti?", pakt de chef misschien gewoon een doos met het label "Spagetti" van een plank die ze zelf hebben bedacht, of erger, ze bedenken een nieuw gerecht genaamd "Spagetti" dat niet bestaat.
Het Resultaat:
- Een één-letter typfout (zoals numpi in plaats van numpy) veroorzaakte dat nep-bibliotheken in 26% van de gevallen werden gebruikt.
- Een nep-bibliotheeknaam (iets dat echt klinkt maar niet bestaat, zoals "GaussianTools") werd geaccepteerd en gebruikt in tot 99% van de gevallen. De assistent is zo graag behulpzaam dat ze een nep-hulpmiddel zullen gebruiken in plaats van je te vertellen dat het niet bestaat.

3. De "Bijvoeglijk naamwoord"-valstrik (Wat niet werkt)

Interessant genoeg negeert de assistent als je vraagt om een bibliotheek die "snel", "gemakkelijk" of "modern" is, deze woorden meestal en kiest gewoon een standaard, echte bibliotheek die ze kennen.

De Analogie: Als je vraagt om een "snelle auto", geeft de assistent je gewoon een standaard Toyota. Ze bedenken geen "supersnelle-vliegende-auto" omdat ze weten dat die bijvoeglijke naamwoorden vaag zijn.
Het Resultaat: Bijvoeglijke naamwoorden zoals "snel" of "lichtgewicht" veroorzaakten zelden hallucinaties. Het gevaar komt van specifieke beperkingen (zoals data) of fouten (zoals typfouten).

4. De "Redenering"-valstrik (Te hard nadenken)

De onderzoekers probeerden dit op te lossen door de assistent te vertellen om "stap voor stap na te denken" of "je feiten te controleren" voordat ze antwoordden.

De Analogie: Het is alsof je een nerveuze student zegt: "Haal diep adem en denk hard na over dit wiskundeprobleem." Soms helpt dit. Maar vaak wordt de student alleen maar zelfverzekerder in hun verkeerde antwoord, omdat ze meer tijd hebben besteed om het te rechtvaardigen.
Het Resultaat: Deze "redenering"-trucs werkten niet consequent. Sterker nog, soms maakten ze de hallucinaties erger. De assistent zou zelfverzekerd uitleggen waarom hun nep-bibliotheek echt was, waardoor het moeilijker werd voor jou om de fout te ontdekken.

5. De "Hulpmiddel"-oplossing (De telefoonkaart controleren)

De onderzoekers testten het geven van een eenvoudig hulpmiddel aan de assistent: een knop die controleert of een bibliotheek daadwerkelijk bestaat in de officiële database (PyPI).

De Analogie: In plaats van dat de assistent gissen, geef je ze een telefoonboek. Als ze zeggen "Ik gebruik Spagetti", controleren ze het boek, zien ze dat het er niet is, en zeggen dan: "Oh, dat bestaat niet."
Het Resultaat: Dit hielp veel, maar het was geen magische oplossing. De assistent vergat soms nog steeds om het boek te controleren, of controleerde het maar besloot het resultaat te negeren en de nep-naam toch te gebruiken.

De Grote Conclusie: LIBHALLUBENCH

Omdat dit zo'n groot probleem is, hebben de auteurs een nieuwe test ontwikkeld genaamd LIBHALLUBENCH.

De Analogie: Denk hieraan als een "rijexamen" dat specifiek is ontworpen om te zien of een zelfrijdende auto een nep-stopbord zal hallucineren. Het bevat duizenden lastige vragen (zoals "geef me een bibliotheek uit 2025" of "gebruik deze verkeerd gespelde naam") om systematisch te testen hoe waarschijnlijk het is dat verschillende AI-modellen nep-hulpmiddelen verzonnen.

Waarom zou je hier om geven?

Als je een ontwikkelaar bent die AI gebruikt om code te schrijven, en de AI bedenkt een nep-bibliotheek, dan crasht je code wanneer je probeert het te draaien. Nog erger: als een hacker een nep-bibliotheek maakt die overeenkomt met de door de AI verzonnen bibliotheek (een truc genaamd "slopsquatting"), kan je systeem besmet raken met malware.

Kortom: AI-codegeneratoren zijn geweldig, maar ze zijn gevaarlijk zelfverzekerd wanneer ze het antwoord niet weten. Ze zullen nep-hulpmiddelen verzonnen om aan je verzoek te voldoen, vooral als je iets uit de toekomst vraagt of een kleine typfout maakt. We hebben betere manieren nodig om te voorkomen dat ze dingen verzonnen.

Technische Samenvatting: Bibliothekhallucinaties in door LLM gegenereerde code

Probleemstelling

Grote Taalmodellen (LLM's) zijn integraal geworden in moderne softwareontwikkeling, maar ze "hallucineren" vaak door niet-bestaande bibliotheken te verzinnen. Hoewel eerdere onderzoekers bibliothekhallucinaties hebben erkend als een faalmodus, is er beperkt inzicht in hoe deze fouten zich manifesteren onder realistische gebruiksvoorwaarden. Specifiek blijft het onduidelijk hoe variaties in ontwikkelaarsprompten—zoals beschrijvingen in natuurlijke taal, typfouten van gebruikers of gefabriceerde bibliotheknamen—de snelheid beïnvloeden waarmee LLM's ongeldige imports of ongeldige calls naar geldige bibliotheken genereren. Deze hallucinaties vormen aanzienlijke risico's, waaronder gebroken builds, misleiding van ontwikkelaars en blootstelling aan supply chain-bedreigingen zoals "slopsquatting" (waarbij aanvallers bibliotheken registreren die LLM's vaak hallucineren).

Methodologie

De auteurs presenteren de eerste systematische studie naar hoe promptvariaties op gebruikersniveau bibliothekhallucinaties beïnvloeden bij zeven diverse LLM's van productiekwaliteit (GPT-4o-mini, GPT-5-mini, Ministral-8B, Qwen2.5-Coder, Llama-3.3, DeepSeek-V3.1 en Claude-4.5-Haiku).

Experimenteel Ontwerp:
De studie maakt gebruik van BigCodeBench als seed-dataset, gefilterd op 356 Python-taken die externe bibliotheken gebruiken. De experimenten zijn verdeeld in twee hoofdcategorieën:

Experiment 1: Variaties in Gebruikerstaal:
- Data Bron: Meer dan 20.000 vragen van Software Recommendations StackExchange (SRSE) werden geanalyseerd om veelvoorkomende gebruikersbeschrijvingen te identificeren.
- Variaties: Prompten werden aangepast om bijvoeglijk naamwoord-gebaseerde beschrijvingen (bijv. "snel", "lightweight", "beste") en tijdsgebonden beschrijvingen (bijv. "uit 2023", "uit 2025") op te nemen.
- Doel: Bepalen of variaties in natuurlijke taal hallucinaties triggeren.
Experiment 2: Gecontroleerde Gebruikersfouten:
- Fouttypen: De studie introduceerde specifieke fouten in prompten:
  - Eén-karakter typfouten (Bewegingsafstand 1, bijv. numpi voor numpy).
  - Meerdere-karakter typfouten (Bewegingsafstand 2–8, bijv. graphly voor plotly).
  - Gefabriceerde namen/leden: Volledig niet-bestaande bibliotheken of leden gegenereerd om follow-up-verzoeken voor eerdere hallucinaties te simuleren.
- Doel: De robuustheid van LLM's tegen typfouten en gefabriceerde entiteiten kwantificeren.

Evaluatiepijplijn:

Detectie: Gegenereerde code werd geparseerd met de ast-module van Python. Bibliotheknamen werden geverifieerd tegen de Python Package Index (PyPI) met normalisatie, en bibliothekleden werden geverifieerd tegen de officiële documentatie van de nieuwste bibliothekversies.
Metrieken: De studie mat de Response Hallucination Rate (RHR) en Task Hallucination Rate (THR).
Aanvullende Onderzoeken: De auteurs onderzochten de effectiviteit van prompt engineering-strategieën (Chain-of-Thought, Step-Back, Self-Analysis) en testten ecosysteem-generaliseerbaarheid met CodeInsight (JavaScript, Rust) en tool-versterkte mitigatie (PyPI-bestaanscontroles).

Belangrijkste Bevindingen

1. Gevoeligheid voor Promptvariaties

Bijvoeglijke naamwoorden vs. Tijd: Bijvoeglijk naamwoord-gebaseerde beschrijvingen (bijv. "snel", "open-source") triggerden zelden hallucinaties (snelheden $\approx$ 0%). Daarentegen waren tijdsgebonden prompten een sterke trigger. Verzoeken om bibliotheken "uit 2025" veroorzaakten hallucinaties in tot 85% van de taken (specifiek voor GPT-4o-mini), aanzienlijk hoger dan verzoeken voor "uit 2023".
Gebruikersfouten: LLM's toonden een slechte robuustheid tegen naamfouten.
- Eén-karakter typfouten triggerden hallucinaties in tot 26% van de taken.
- Meerdere-karakter typfouten triggerden hallucinaties in tot 79% van de taken.
- Gefabriceerde bibliotheknamen werden geaccepteerd in tot 99% van de taken voor bepaalde modellen (bijv. GPT-5-mini, Ministral-8B), wat wijst op een neiging tot "sycophancy" waarbij het model zich aanpast aan de onjuiste premiss van de gebruiker in plaats van deze te corrigeren.

2. Bibliotheknaam versus Ledenhallucinaties

Bibliotheknamen: Modellen waren zeer vatbaar voor het hallucineren van volledige niet-bestaande bibliotheken bij prompten met fouten of tijdsbeperkingen.
Bibliothekleden: Hallucinaties van leden (functies/klassen) binnen geldige bibliotheken waren over het algemeen lager (meestal 1%–5%) maar nog steeds aanwezig. Interessant genoeg vertoonden nieuwere modellen (GPT-5-mini, DeepSeek-V3.1) soms hogere ledenhallucinatiematen dan oudere, vaak met suggesties voor verouderde functies zonder verspecificaties.

3. Mitigatie en Generaliseerbaarheid

Prompt Engineering: Lichtgewicht strategieën zoals Chain-of-Thought en Step-Back prompting waren onbetrouwbaar en verhoogden soms de hallucinatiematen door onjuiste redenering te versterken. Expliciete controles en Self-Analysis toonden meer belofte, maar waren inconsistent tussen modellen.
Toolgebruik: Het verstrekken van een PyPI-bestaans-tool verminderde hallucinaties aanzienlijk (bijv. GPT-4o-mini daalde naar <3% voor op jaar gebaseerde prompten), maar elimineerde ze niet. Modellen slaagden er vaak niet in om de tool aan te roepen of negeerden negatieve resultaten.
Ecosystemen: De patronen van hallucinatie bleven bestaan in Python, JavaScript en Rust, wat suggereert dat de kwetsbaarheid niet beperkt is tot één taal of ecosysteem.

Bijdragen

Systematische Studie: De eerste fijnmazige analyse van hoe promptvariaties (taal en fouten) bibliothekhallucinaties beïnvloeden, waarbij wordt geopenbaard dat op tijd gebaseerde formulering en typfouten kritieke triggers zijn.
Link tussen Sycophancy en Typosquatting: Het paper onthult een nieuwe verbinding tussen LLM-gedrag en supply chain-risico's, en toont aan dat modellen vaak zelfverzekerd bibliotheken hallucineren als reactie op kleine typfouten, wat typosquatting- en slopsquatting-aanvallen potentieel kan versterken.
LIBHALLUBENCH: Introductie van een nieuwe benchmark met 4.173 gelabelde prompten afgeleid van hoog-risico condities (op jaar gebaseerd, op zeldzaamheid gebaseerd en op fouten gebaseerd) om reproduceerbare evaluatie van bibliothekhallucinaties mogelijk te maken.
Open Bronnen: Publicatie van code, volledige modeloutput en de benchmark om toekomstig onderzoek en mitigatie-ontwikkeling te ondersteunen.

Betekenis en Aanspraken

Het paper betoogt dat de kwetsbaarheid van LLM's voor natuurlijke promptvariaties een systemische kwetsbaarheid vormt. De auteurs stellen dat:

Huidige LLM's niet kunnen worden vertrouwd om bibliotheknamen of leden te valideren, zelfs niet wanneer gebruikers specifieke (maar onjuiste) namen verstrekken.
Veelvoorkomende ontwikkelaarsverzoeken om "up-to-date" of "recente" bibliotheken een primaire vector vormen voor hallucinatie, onafhankelijk van kennisafsnijpunten.
Bestaande mitigatiestrategieën zoals Chain-of-Thought ontoereikend zijn voor deze specifieke faalmodus.
Het risico verder reikt dan alleen codefouten tot veiligheidsbedreigingen, aangezien de hoge acceptatiegraad van gefabriceerde bibliotheken de adoptie van kwaadaardige pakketten (slopsquatting) kan faciliteren.

De auteurs concluderen dat robuuste verdedigingen meer vereisen dan alleen prompt engineering; ze vereisen waarschijnlijk model-level wijzigingen, externe verificatiemechanismen en een verschuiving in hoe LLM's omgaan met onzekerheid regarding bibliothekvaliditeit. De studie benadrukt dat hoewel de bevindingen gebaseerd zijn op specifieke datasets en modellen, de waargenomen patronen wijzen op een breder, systemisch probleem in door LLM's gegenereerde code.