CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

In het moderne digitale landschap krijgen kunstmatige intelligentiesystemen steeds vaker de taak om complexe vragen te beantwoorden door te zoeken in enorme bibliotheken met documenten. Dit proces, bekend als retrieval-augmented generation, werkt als een student die een tekstboek mag openslaan tijdens een examen. In plaats van uitsluitend te vertrouwen op zijn interne geheugen, dat verouderd kan zijn of geneigd is dingen te verzinnen, haalt het systeem relevante pagina's uit een database en gebruikt deze om een antwoord te construeren. Om transparantie te garanderen, zijn deze systemen ontworig om hun bronnen te citeren, waarbij ze een verwijzing koppelen aan het specifieke document dat de bewering ondersteunde. Voor de gebruiker fungeert deze citatie als een bonnetje, een manier om te verifiëren dat de informatie afkomstig is van een betrouwbare plek in plaats van uit de verbeelding van de machine. De onderliggende aanname is simpel: als het systeem naar een bron wijst, dan moet die bron degene zijn die de machine daadwerkelijk heeft overtuigd om dat antwoord te geven.

Een onderzoeker aan de City University of Hong Kong heeft ontdekt dat deze aanname gevaarlijk fragiel is. Hij heeft een nieuwe manier geïdentificeerd om deze systemen te misleiden, niet door het antwoord zelf te veranderen, maar door de bon te kapen. Zijn werk onthult dat een aanvaller één enkel document in de database kan controleren en het systeem kan manipuleren om een volledig foutief antwoord te produceren, terwijl het tegelijkertijd de vinger wijst naar een ander, betrouwbaar document dat geen enkel bewijs bevat voor deze onjuistheid. De onderzoeker noemt dit "citation laundering" (citatie-witwassen). Het is een sluipende vorm van bedrog waarbij de fout legitiem lijkt omdat deze wordt ondersteund door een citatie die de gebruiker al vertrouwt, ook al ligt de werkelijke oorzaak van de fout bij een verborgen, kwaadaardige bron die de gebruiker nooit ziet.

De onderzoeker demonstreerde deze kwetsbaarheid door een gecontroleerd experiment op te zetten met meerdere documenten en een reeks moeilijke vragen die het combineren van informatie uit verschillende bronnen vereisten. In een standaard, veilig scenario zou het systeem de beschikbare documenten lezen, de juiste feiten vinden en de document citeren dat die feiten daadwerkelijk bevat. Echter, toen de onderzoeker één zorgvuldig vervaardigd kwaadaardig document aan de mix toevoegde, veranderde het gedrag van het systeem drastisch. Dit kwaadaardige document probeerde niet de juiste informatie te verwijderen of het systeem te blokkeren om de waarheid te vinden. In plaats daarvan was het geschreven om zo overtuigend te zijn dat het systeem de valse bewering als het antwoord zou overnemen. Cruciaal was dat het document ook zo gestructureerd was dat het een imperfectie in de manier waarop het systeem kiest welke bron te citeren, uitbuit.

De methode van het systeem voor het selecteren van een citatie is geen perfecte reflectie van welke document de oorzaak van het antwoord is. In plaats daarvan wordt het beïnvloed door waar de documenten in de lijst verschijnen en door specifieke markeringen of labels die eraan zijn bevestigd. De onderzoeker ontdekte dat door hun kwaadaardige document in een specifieke positie te plaatsen en een subtiele zin toe te voegen die de naam van een betrouwbaar, onschuldig document weerspiegelt, zij het systeem konden dwingen om de onschuldige bron te citeren. Het resultaat was een "gelaundeerde" citatie: het systeem gaf een foutief antwoord gedreven door het slechte document, maar de gebruiker zag een citatie die naar het goede document wees. In hun tests verhoogde deze techniek het percentage foutieve antwoorden van een verwaarloosbaar één procent naar bijna zeventig procent. In de meest kwetsbare systemen slaagde de aanval in meer dan negentig procent van de gevallen, wat bewijst dat de fout geen zeldzame glitch is, maar een fundamentele zwakte in de manier waarop deze systemen antwoorden aan bronnen koppelen.

Wat deze ontdekking bijzonder zorgwekkend maakt, is dat de aanval werkt zonder complexe instructies of commando's die in de tekst verborgen zitten. Het kwaadaardige document leest simpelweg als een normale encyclopedische vermelding, waarin een onwaar feit wordt gepresenteerd also als een gevestigde waarheid, gevolgd door een zin die nonchalant naar de vertrouwde bron verwijst. Het systeem, dat zijn natuurlijke patronen volgt, pikt deze formulering en de positie van de tekst op om de citatie te genereren. De onderzoeker toonde aan dat deze kwetsbaarheid samenhangt met de bereidheid van een systeem om bronnen te citeren, in plaats van met de algemene grootte of intelligentie ervan. De modellen die het beste zijn in het verstrekken van accurate, goed onderbouwde antwoorden, zijn juist het meest vatbaar voor deze truc, omdat zij degenen zijn die het meest geneigd zijn een citatie te genereren. Een systeem dat nooit iets citeert, kan niet worden misleid tot het witwassen van een citatie, maar kan ook niet door een menselijke lezer worden gecontroleerd.

Om te begrijpen hoe diep dit probleem gaat, testte de onderzoeker een afweermechanisme dat simpelweg controleert of de geciteerde tekst de bewering ondersteunt. Dit is de standaardmanier waarop gebruikers en geautomatiseerde tools momenteel informatie verifiëren. Hij stelde vast dat deze verdediging volledig faalt tegen citatie-witwassen. Omdat het systeem naar het vertrouwde document verwijst, en dat document inderdaad bestaat en relevant is voor het onderwerp, slaagt de controle. Het systeem liegt niet over wat het vertrouwde document zegt; het liegt over welk document de oorzaak van het antwoord was. Het vertrouwde document is onschuldig, maar wordt gebruikt als schild voor het kwaadaardige document. De onderzoeker bevestigde dat de kwaadaardige bron de werkelijke drijfveer van het foutieve antwoord was door deze uit de context te verwijderen en te observeren hoe het systeem terugkeerde naar het juiste antwoord, wat bewees dat de citatie een rode lap tekst was.

De studie onderzocht ook of het simpelweg filteren van vreemde of verwarrende tekst de aanval kon stoppen. Zij vonden dat omdat de kwaadaardige documenten geschreven waren om als natuurlijke, professionele proza te klinken, ze langs filters glipten die ontworpen zijn om overduidelijke fouten of vreemde formuleringen op te vangen. De enige manier om dit specifieke type bedrog betrouwbaar te detecteren, is door te kijken naar de causale link tussen de bron en het antwoord, door niet alleen te vragen "ondersteunt deze bron de bewering?", maar "veroorzaakte deze bron daadwerkelijk de bewering?". De onderzoeker stelde een nieuwe methode van verdediging voor die simuleert dat elke bron één voor één wordt verwijderd om te zien welke werkelijk verantwoordelijk is voor de output. Hoewel deze aanpak computationeel duurder is, is het de enige manier om door de witwaspraktijk heen te kijken.

De implicaties van dit werk reiken verder dan alleen academische nieuwsgierigheid. Naarmate kunstmatige intelligentie meer geïntegreerd raakt in nieuws, onderzoek en besluitvorming, is het vertrouwen in citaties een cruciale veiligheidsfunctie. Als die functie gemanipuleerd kan worden, wordt de gehele audit trail onbetrouwbaar. De onderzoeker toonde aan dat dit geen theoretisch risico is, maar een praktisch risico dat met relatief eenvoudige middelen kan worden uitgevoerd. Hij demonstreerde dat de aanval werkt bij verschillende soorten vragen en verschillende modellen, wat suggereert dat het probleem wijdverspreid is. De meest effectieve modellen, degenen die onder normale omstandigheden het meest behulpzaam en accuraat zijn, zijn degenen die het gemakkelijkst kunnen worden misleid om een foutief antwoord te geven met een geloofwaardig lijkende citatie.

Uiteindelijk onthult het artikel een kloof tussen wat een systeem zegt te hebben gebruikt en wat het daadwerkelijk heeft gebruikt. De citatie is geen herinnering aan de bron die de machine heeft overtuigd; het is een product van het eigen decodeerproces van de machine, gevormd door de positie van de tekst en de labels die het ziet. Deze discrepantie creëert een ruimte waar een aanvaller een valse bewering achter een vertrouwde naam kan verbergen. De onderzoeker vond geen manier om dit met een eenvoudige patch of een regelwijziging op te lossen. In plaats daarvan toonde hij aan dat de huidige manier van informatieverificatie onvoldoende is en dat een nieuwe aanpak nodig is om te waarborgen dat de bron die wordt vermeld, ook echt de bron is die ertoe deed. Het werk dient als een waarschuwing dat in het tijdperk van geautomatiseerde antwoorden, het bonnetje niet altijd het bewijs van de aankoop is, en dat het meest vertrouwde lijkende bewijs het gevaarlijkste kan zijn.