Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes

Deze empirische studie toont aan dat deployment-constraints de hallucinatie van citaten in LLMs verergeren, waarbij geen enkel getest model een verificatiepercentage van 47,5% bereikte en een aanzienlijk deel van de niet-verifieerbare citaten gefabriceerd bleek te zijn.

De kern

Stel je voor dat je een zeer slimme, maar soms een beetje verzonnen robot hebt die je helpt met het schrijven van een academisch artikel. Je vraagt hem: "Vertel me wat er bekend is over dit onderwerp en geef me de bronnen." De robot schrijft een prachtige tekst en plakt er een lijst met boeken en artikelen onder. Alles ziet er perfect uit: de auteursnamen klinken echt, de tijdschriften bestaan, en de jaartallen kloppen.

Maar hier is de valkuil: die boeken en artikelen bestaan vaak helemaal niet. Ze zijn verzonnen door de robot.

Dit onderzoek van Chen Zhao en zijn team uit New York, Pittsburgh en Boston, kijkt naar precies dit probleem. Ze noemen het "hallucineren van citaten". Maar ze gaan een stap verder: ze kijken wat er gebeurt als je de robot regels geeft, zoals je dat in het echte leven ook doet.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De "Supermarkt"-Problematiek

Stel je voor dat je een robot vraagt om een boodschappenlijstje te maken.

• De basisvraag: "Geef me 5 producten." De robot geeft je 5 producten. Sommige zijn echt, sommige zijn verzonnen.
• De tijdsregels: "Geef me alleen producten die dit jaar zijn uitgebracht."
• De "brede" vraag: "Geef me een overzicht van alles wat er is, verdeeld in 4 categorieën."
• De "geheimhouding": "Vertel niet dat je een boek hebt gelezen; doe alsof je het gewoon weet."

De onderzoekers hebben gekeken wat er gebeurt als ze deze regels aan de robot opleggen. Ze hebben 4 verschillende robots getest (twee dure, gesloten "pro" modellen en twee goedkopere, open modellen) en 144 verschillende vragen gesteld.

2. De Grote Ontdekkingen

A. De "Uiterlijk vs. Inhoud" Val
Dit is het meest verrassende: als je de robot zegt "Geef me alleen artikelen uit 2024", doet de robot precies wat je zegt. De jaartallen kloppen, de vorm is perfect. Maar... de artikelen bestaan niet.
Het is alsof een kok je een bord met een perfecte, glanzende tomatensoep geeft. Het ziet eruit als soep, ruikt als soep, maar als je proeft, is het water met een beetje rode kleurstof. De robot houdt zich aan de regels (de vorm), maar de inhoud (de feiten) is volledig verzonnen.

B. De "Dure vs. Goedkope" Robots
De dure, gesloten robots (zoals die van OpenAI en Anthropic) doen het iets beter dan de open, goedkopere robots. Maar "beter" betekent hier niet "goed". Zelfs de beste robot slaagt er maar in om minder dan de helft van de citaten te vinden die echt bestaan.

• De dure robot: ongeveer 38% van de citaten is echt.
• De goedkope robot: vaak minder dan 10% is echt.
  Het verschil is groot, maar geen van hen is betrouwbaar genoeg om blindelings te vertrouwen.

C. De "Onoplosbare" Lijst
Bijna de helft van alle citaten die de robots maakten, viel in een categorie die ze "Onoplosbaar" noemden.
Stel je voor dat je een detective bent en je zoekt een verdachte.

• Bestaand: Je vindt de verdachte.
• Verzonnen: Je weet zeker dat de persoon niet bestaat.
• Onoplosbaar: Je hebt een naam en een adres, maar je kunt niet vinden of het een echt huis is of een nepadres.
  Het onderzoek toont aan dat van deze "onoplosbare" lijst, bijna de helft eigenlijk ook verzonnen is. Het is dus een gevaarlijke valkuil: als je denkt "oh, dit is misschien wel waar, maar ik kan het niet controleren", ben je waarschijnlijk al bedrogen.

D. Hoe meer regels, hoe slechter
Als je de robot alle regels tegelijk geeft (bijvoorbeeld: "Geef me een breed overzicht van recente artikelen, maar zeg niet dat je ze uit je geheugen haalt"), dan stort de betrouwbaarheid volledig in. De robots blijven wel citaten genereren (ze blijven "praten"), maar de kans dat die echt zijn, zakt naar bijna nul.

3. Wat betekent dit voor jou?

Stel je voor dat je een student bent die een scriptie schrijft, of een ingenieur die een technisch rapport maakt. Je wilt de hulp van een AI gebruiken om tijd te besparen.

• Gebruik de AI als een schrijfhulp, niet als een bibliotheek: Laat de AI de tekst schrijven, maar vertrouw nooit op de lijst met bronnen die hij eronder plakt.
• Controleer alles: Elke bron die de AI geeft, moet je zelf gaan zoeken in een echte database (zoals Google Scholar of Crossref).
• Pas op met "nieuwe" regels: Als je de AI vraagt om alleen heel recente bronnen te vinden, is de kans het grootst dat hij eruit springt met verzonnen artikelen die er perfect uitzien.

Conclusie in één zin

De onderzoekers concluderen dat AI-modellen momenteel erg goed zijn in het vervalsen van een lijst met bronnen die er echt uitziet, maar dat ze er nog niet in slagen om die bronnen ook echt te vinden. Het is als een kunstenaar die een perfecte vervalsing van een schilderij maakt: het ziet eruit als het origineel, maar het is het niet.

De boodschap: Laat de AI schrijven, maar laat jij de feiten controleren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Do Deployment Constraints Make LLMs Hallucinate Citations?" in het Nederlands.

Titel: Do Deployment Constraints Make LLMs Hallucinate Citations? (Maak implementatiebeperkingen LLM's hallucineren citaten?)

Auteurs: Chen Zhao, Yuan Tang, Yitian Qian (NYU, CMU, Boston University)
Context: Empirische studie over citatiehallucinaties in Large Language Models (LLM's) onder verschillende prompting-beperkingen.

---

1. Het Probleem

Large Language Models (LLM's) worden steeds vaker gebruikt voor het schrijven van academische teksten en het ondersteunen van evidence synthesis (zoals systematische literatuurstudies) in de software-engineering (SE). Een kritiek probleem is echter citatiehallucinatie: LLM's genereren bibliografische referenties die er volledig legitiem uitzien (met auteurs, venues, DOI's en jaartallen), maar die verwijzen naar niet-bestaande werken.

Hoewel dit fenomeen bekend is, is er weinig bekend over hoe realistische implementatiebeperkingen (zoals tijdsgebonden beperkingen, de druk om een breed overzicht te geven in surveys, en beleidsregels die toegang tot trainingsdata ontkennen) de betrouwbaarheid van deze citaten beïnvloeden. Dit is cruciaal voor de SE-gemeenschap, waar betrouwbare citaties de basis vormen voor methodologische activiteiten zoals systematische literatuurstudies (SLR's).

2. Methodologie

De auteurs hebben een gestructureerd experiment opgezet om de verifieerbaarheid van citaten te testen onder strikte omstandigheden.

• Datasets en Claims:

  • Er zijn 144 claims (vraaggestuurde prompts) gebruikt, verdeeld over zes academische domeinen, waaronder 24 specifiek voor Software Engineering & Computer Science (SE & CS).
  • De prompts vragen om een academisch paragraaf met een gestructureerde referentielijst.

• Modellen:

  • Twee propriëtaire modellen: Claude Sonnet (Anthropic) en GPT-4o (OpenAI).
  • Twee open-weight modellen: LLaMA 3.1–8B (Meta) en Qwen 2.5–14B (Alibaba).

• Prompting Regimes (5 condities):

  1. Baseline: Standaard academische tekst (5 citaten).
  2. Temporal: Strikte publicatiejaar-window (bijv. alleen artikelen van de laatste 5 jaar).
  3. Survey-style: Breedte-orientatie, vraagt om een synthesese met 3-4 categorieën (8 citaten).
  4. Non-Disclosure: Instructie om niet te claimen toegang te hebben tot trainingsdata (5 citaten).
  5. Combo: Combinatie van alle bovenstaande beperkingen (8 citaten).

• Verificatiepijplijn (Automatisch & Deterministisch):

  • Elke gegenereerde citatie wordt geparseerd en gecontroleerd tegen twee academische databases: Crossref en Semantic Scholar.
  • Een gewogen scoringssysteem (gebaseerd op titel, auteurs, jaar en venue) levert een score op.
  • Labeling: Citaten krijgen een van drie labels:
    • Existing: Bestaand (score ≥ 0.85).
    • Unresolved: Onopgelost (score 0.60–0.85; kan niet zeker worden bevestigd).
    • Fabricated: Gemaakt (score < 0.60 of geen match gevonden).
  • Een menselijke audit op 100 citaten bevestigde de betrouwbaarheid van de pijplijn (Cohen's κ = 0.63).

• Schaal: In totaal werden 17.443 gegenereerde citaten gegenereerd en geëvalueerd over 2.880 runs.

3. Belangrijkste Bijdragen

1. Gecurateerde Dataset: Een dataset van 144 claims over meerdere domeinen, inclusief SE & CS.
2. Automatische Verificatiepijplijn: Een deterministisch framework dat citaten classificeert in drie categorieën (Bestaand, Onopgelost, Gemaakt), wat een nuance biedt boven de gebruikelijke binair "echt/fake"-benadering.
3. Empirische Analyse: Een gedetailleerd inzicht in hoe implementatiebeperkingen en het onderscheid tussen propriëtaire en open-weight modellen de citatiekwaliteit beïnvloeden.

4. Resultaten

De resultaten tonen aan dat geen enkel model een meerderheid van zijn citaten kan verifiëren, en dat beperkingen de hallucinaties verergeren op specifieke manieren:

• Algemene Verifieerbaarheid: Geen enkel model bereikte een "Existing"-rate boven de 0,475 (de piek was bij Claude Sonnet onder de Survey-conditie). De meeste citaties waren ofwel "Unresolved" (36–61%) of "Fabricated".
• Invloed van Beperkingen (RQ1):
  • Temporal: Deze beperking veroorzaakte de steilste daling in verifieerbaarheid. Modellen hielden zich aan het gevraagde jaartal (format-compliance), maar de citaten waren vaak niet-bestaand. Bijvoorbeeld: GPT-4o daalde van 0,235 naar 0,019 verifieerbare citaten.
  • Survey: Deze conditie vergrootte de kloof tussen propriëtaire en open-weight modellen aanzienlijk.
  • Non-Disclosure: Veranderde de aard van de fouten. In plaats van duidelijk fouten, werden citaten vaker "Unresolved" (moeilijk te verifiëren), vaak door het ontbreken van DOI's.
  • Combo: De combinatie van alle beperkingen leidde tot de slechtste resultaten; voor open-weight modellen daalde de verifieerbaarheid naar bijna nul.
• Propriëtaire vs. Open-Weight (RQ2):
  • Propriëtaire modellen (Claude, GPT-4o) presteerden significant beter dan open-weight modellen (LLaMA, Qwen), maar zelfs de beste modellen hallucineerden massaal.
  • De kloof in verifieerbaarheid was het grootst onder de Survey-conditie (Δ = +0,310).
• De "Unresolved" Categorie:
  • Een groot deel van de citaten (36–61%) viel in de "Unresolved"-categorie. Een handmatige audit toonde aan dat bijna de helft van deze "onopgeloste" citaties eigenlijk gefabriceerd waren. Dit betekent dat een binair filter (alleen "Bestaand" vs. "Niet-bestaand") een groot risico zou overslaan.
• Format vs. Inhoud: Modellen voldeden strikt aan de opmaak (tijdsvensters, aantal citaten), maar de inhoud was vaak vals. Dit suggereert dat format-compliance geen indicator is van kwaliteit.

5. Betekenis en Implicaties

• Voor Software Engineering (SE): De bevindingen zijn direct relevant voor SE-onderzoekers die LLM's gebruiken voor literatuurstudies. De hallucinaties in SE & CS zijn vergelijkbaar met andere domeinen, wat betekent dat open-weight modellen (die vaak in SE-tools worden gebruikt) extra voorzichtig moeten worden benaderd.
• Post-hoc Verificatie is Essentieel: Het artikel concludeert dat prompt-engineering alleen niet voldoende is om hallucinaties op te lossen. Elke gegenereerde referentielijst moet onafhankelijk worden geverifieerd tegen academische databases voordat deze wordt gebruikt in reviews of technische rapporten.
• De "Unresolved" Valstrik: Onderzoekers en tools moeten "Unresolved" citaten behandelen als hoog-risico (potentieel gefabriceerd) in plaats van ze te negeren of als correct te accepteren.
• Toekomstige Richting: Betrouwbare generatie vereist waarschijnlijk Retrieval-Augmented Generation (RAG) of ingebouwde verificatiemechanismen, in plaats van puur op trainingsdata vertrouwen.

Conclusie: Implementatiebeperkingen maken LLM's niet alleen minder betrouwbaar, maar veranderen ook de kwaliteit van de fouten (van duidelijk fout naar moeilijk te detecteren fouten). Voor de SE-gemeenschap is het cruciaal om LLM-gegenereerde citaties nooit als waarheid te accepteren zonder strikte, automatische verificatie.