Citation Receipts: Auditing Retrieval-Backed Citation Events in Digital Libraries
Dit artikel introduceert het Citation Receipt Protocol (CRP), een systeem dat cryptografisch ondertekende, controleerbare verslagen van geauthenticeerde bronretrievels genereert om digitale bibliotheken in staat te stellen specifieke citatiegebeurtenissen via steekproefsgewijze controles te verifiëren, terwijl het expliciet de beperkingen erkent met betrekking tot het certificeren van globale volledigheid of semantische citatiegeldigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van onderzoek wordt het werk van een wetenschapper vaak gemeten aan de hand van hoe vaak andere onderzoekers ernaar verwijzen. Decennialang was dit tellen eenvoudig: een menselijke schrijver las een artikel, besloot dat het relevant was, en voegde een referentie toe in het eigen werk. Die handeling creëerde een permanent, verifieerbaar verslag. Vandaag de dag is er echter een nieuw soort schrijver de kamer binnengekomen: kunstmatige intelligentie. Deze systemen kunnen duizenden artikelen lezen en samenvattingen, literatuuronderzoeken en concepten voor onderzoek in enkele seconden schrijven. Ze bevatten vaak citaten die de lezer naar de originele bronnen wijzen. Maar een stil probleem is ontstaan. Wanneer een AI een artikel citeert, kan het zijn dat de AI dat artikel daadwerkelijk heeft gelezen om het antwoord te vinden, of dat het simpelweg de titel heeft geraden op basis van patronen die het jaren geleden heeft geleerd. Nog erger: zelfs wanneer de AI het artikel wel leest, heeft de uitgever van dat artikel vaak geen enkele manier om te weten dat dit is gebeurd. Het AI-bedrijf ziet de interactie, de gebruiker ziet het antwoord, maar de bibliotheek die het artikel beheert, ziet niets. Dit creëert een gat in het verslag van wetenschappelijke ontdekkingen, waarbij een artikel duizenden AI-antwoorden kan beïnvloeden zonder ooit één officiële erkenning te ontvangen.
Een onderzoeker genaamd Kumar Abhinav heeft een manier voorgesteld om dit gat te dichten, niet door te veranderen hoe AI denkt, maar door een nieuw soort digitaal bonnetje te creëren. Stel je een bibliotheek voor waar, elke keer dat een boek wordt uitgeleend, het systeem automatisch een klein, onvervalsbare kaartje print waarop precies staat welk boek is meegenomen, wanneer, en door wie. Abhinavs werk, genaamd het Citation Receipt Protocol, doet iets dergelijks voor het digitale tijdperk. Het is ontworpen om te bewijzen dat een AI-systeem daadwerkelijk een specifieke versie van een wetenschappelijk artikel heeft opgehaald voordat het dat artikel gebruikte om een antwoord te schrijven. Het systeem werkt door de AI-provider een digitale ontvangstbewijs te laten ondertekenen op het moment dat het een bron ophaalt en deze in een antwoord weergeeft. Dit bonnetje wordt vervolgens vastgelegd in een publiek, onveranderlijk logboek, vergelijkbaar met een notaris die een document stempelt en aan een permanent register toevoegt. Dit stelt iedereen, inclus�ien de uitgever van het artikel of een onafhankelijke auditor, in staat om het logboek te controleren en te verifiëren dat de citatie echt was en gebaseerd was op een daadwerkelijke ophaalactie van de brontekst.
Om te testen of dit idee in de echte wereld werkt, heeft Abhinav een reeks gecontroleerde experimenten uitgevoerd met een groot taalmodel dat getraind is op gegevens tot en met januari 2026. De onderzoekers creëerden een set van 100 wetenschappelijke artikelen die werden gepubliceerd na die trainingsdatum, wat betekent dat de AI er niet uit zijn geheugen alleen al over zou moeten weten. Vervolgens stelden ze de AI vragen over deze nieuwe artikelen onder drie verschillende omstandigheden. In de eerste conditie had de AI helemaal geen toegang tot de nieuwe artikelen. In de tweede conditie mocht de AI een lokale bibliotheek van deze nieuwe artikelen doorzoeken en de top vijf resultaten ophalen. In de derde conditie dwongen de onderzoekers de AI om naar een specifiek doelwit-artikel te kijken. De resultaten waren duidelijk. Wanneer de AI geen toegang had tot de nieuwe artikelen, citeerde hij ze nooit. Wanneer de AI werd toegestaan om de artikelen te zoeken en op te halen, citeerde hij het doelwit-artikel in 95 van de 100 pogingen. Cruciaal was dat voor elk van die 95 zichtbare en verklaarde citaties die overeenkwamen met een geauthenticeerde bron, het systeem succesvol een digitaal ontvangstbewijs had gegenereerd en geverifieerd. Dit bewees dat het protocol kon onderscheiden tussen een citatie gebaseerd op een verse ophaalactie en een citatie die slechts een gok of een hallucinatie was.
De studie onderzocht ook of dit systeem kon detecteren of een AI-provider probeerde citaties weg te laten om hun systeem er beter uit te laten zien of om gebruik te vermijden te rapporteren. Ze zetten een test op waarbij de provider bewust 10% van de citaties liet ontbreken. Het auditsysteem, dat fungeert als een willekeurige steekproef, was in staat om deze ontbrekende bonnetjes met een hoge betrouwbaarheid te detecteren. De studie vond echter ook dat het systeem geen wondermiddel is dat elk probleem oplost. Het kan niet bewijzen dat de AI de betekenis van het artikel daadwerkelijk begrepen heeft of dat de citatie de enige reden was voor een specifiek antwoord van de AI. Het kan ook niet vertellen of de AI het artikel in het verleden heeft getraind; het bewijst alleen dat het artikel op dat specifieke moment is opgehaald en geciteerd. Bovendien vertrouwt het systeem op de eerlijkheid van de cliënt die het antwoord registreert; als het apparaat van de gebruiker gecompromitteerd is, kan de audit worden misleid.
De onderzoekers maten de kosten voor het toevoegen van dit systeem en vonden deze zeer klein. Elk digitaal ontvangstbewijs is een minuscuul bestand, ongeveer de grootte van een kort tekstbericht, en het maken of controleren ervan duurt minder dan een seconde op een standaardcomputer. Dit suggereert dat het systeem aan bestaande digitale bibliotheken kan worden toegevoegd zonder deze te vertragen. Het werk benadrukte ook een cruciaal onderscheid in hoe we citaties tellen. Een eenvoudige telling van hoe vaak een artikel voorkomt in een AI-antwoord is niet genoeg. De onderzoekers toonden aan dat zonder het protocol een provider gemakkelijk citaties kan verbergen of nepcitaties kan verzinnen. Met het protocol wordt de telling een geverifieerd verslag van een specifiespecifieke gebeurtenis: een specifieke versie van een artikel werd opgehaald, en een specifiek antwoord werd gegenereerd.
Uiteindelijk biedt dit onderzoek een praktisch instrument voor transparantie in het tijdperk van kunstmatige intelligentie. Het beweert niet de diepe filosofische vragen op te lossen over hoe AI leert of of het werkelijk wetenschap "begrijpt". In plaats daarvan biedt het een mechanische manier om te garanderen dat wanneer een AI naar een bron verwijst, die verwijzing wordt ondersteund door een verifieerbaar verslag van de toegang tot de bron. Voor digitale bibliotheken en uitgevers betekent dit dat ze eindelijk kunnen zien welke van hun artikelen in realtime door AI-systemen worden gebruikt, in plaats van te vertrouwen op de AI-bedrijven om hen de waarheid te vertellen. Voor de wetenschappelijke gemeenschap biedt het een manier om de informatiestroom met een nieuw niveau van precisie te volgen, zodat ervoor wordt gezorgd dat de erkenning voor ontdekkingen terechtkomt, zelfs wanneer de schrijver een machine is. De studie concludeert dat hoewel dit protocol niet de kwaliteit van het denken van de AI certificeert, het succesvol een controleerbaar spoor creëert voor de citaties die het produceert, waardoor een verborgen interactie verandert in een publieke, verifieerbare feit. Het is vermeldenswaardig dat de auteur, Kumar Abhinav, een potentieel financieel tegenstrijdig belang heeft gemeld: hij bezit persoonlijk een ingediende octrooiaanvraag met betrekking tot het Citation Receipt Protocol.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.