Auditing LLM-mediated interpretation through source-to-claim documentation

In de geesteswetenschappen en sociale wetenschappen vertrouwen onderzoekers al lang op een simpel maar krachtig idee: als je wilt begrijpen hoe een conclusie is bereikt, moet je de weg kunnen volgen van het oorspronkelijke bewijs naar de uiteindelijke bewering. Dit pad wordt vaak een "audit trail" (controlepad) genoemd. Het is een verslag van de gemaakte beslissingen, de genoteerde punten en de gevolgde stappen, wat ervoor zorgt dat een andere geleerde dezelfde materialen kan bekijken en kan zien hoe de interpretatie is opgebouwd. Decennialang was dit proces van mens tot mens, waarbij een onderzoeker een tekst leest, een passage markeert en een analyse schrijft. Maar een nieuw instrument is de kamer binnengekomen: generatieve kunstmatige intelligentie. Deze systemen kunnen een tekst lezen en direct een vloeiende paragraaf schrijven die deze samenvat of interpreteert. Het probleem is dat deze snelheid gepaard gaat met een verborgen kostenpost. De AI produceert een soepele, gepolijste zin die het rommelige werk verbergt dat binnen de machine heeft plaatsgevonden. Een lezer ziet de uiteindelijke bewering, maar kan niet zien hoe de machine de oorspronkelijke woorden heeft omgezet in die specifieke conclusie. Erger nog, omdat deze AI-systemen worden gehost op servers die eigendom zijn van bedrijven, kunnen onderzoekers de exacte berekening niet simpelweg later "opnieuw uitvoeren". De software kan veranderen, of dezelfde vraag kan de volgende keer een iets ander antwoord krijgen. Dit creëert een gat in de audit trail, waardoor de verbinding tussen het bewijs en de bewering fragiel en moeilijk te verifiëren wordt.

Om dit op te lossen, stelde een team van onderzoekers van de University of Minnesota en het Georgia Institute of Technology een nieuwe manier van werken voor, genaamd "source-to-claim documentation" (documentatie van bron naar bewering). In plaats van alleen te zeggen: "We hebben AI gebruikt," stellen zij voor om een volledige, gekoppelde keten van registers bij te houden die precies laat zien hoe een stuk bewijs een analytische bewering werd. Dit framework somt niet alleen de gebruikte hulpmiddelen op; het bewaart de specifieke reis van elk enkel stuk gegenereerde tekst. De onderzoekers testten dit idee in een gecontroleerd experiment waarbij ze twaalf eenvoudige zinnen creëerden om als bronmateriaal te dienen. Ze vroegen aan twee verschillende versies van een AI-model om deze zinnen te herschrijven en korte interpretatieve aantekeningen over hen te schrijven. Het doel was niet om te zien welke AI slimmer was, maar om te zien of hun nieuwe documentatiemethode fouten kon ontdekken die anders onopgemerkt zouden blijven. Ze ontdekten dat de AI vaak subtiele maar significante wijzigingen maakte die aan de oppervlakte onschuldig leken. Bijvoorbeeld, toen de bronzin zei dat een vrouw haar aantekeningen aan een vriend "leende", herschreef de AI dit herhaaldelijk als "gaf" haar aantekeningen. "Lenen" impliceert in de echte wereld dat het item zal worden teruggegeven, terwijl "geven" permanente eigendom impliceert. De AI maakte deze verwisseling elke keer opnieuw, waardoor identieke, vloeiende zinnen ontstonden die correct klonken, maar de betekenis van het oorspronkelijke bewijs feitelijk hadden gewijzigd.

De kracht van de nieuwe methode werd duidelijk toen de onderzoekers dieper keken dan de uiteindelijke tekst. Ze introduceerden een stap waarbij ze de AI vroegen om een gestructureerde kaart van de betekenis van de zin te maken naast de herschreven tekst. Deze kaart fungeerde als een blauwdruk die de relaties tussen de woorden liet zien. Toen de onderzoekers de blauwdruk vergeleken met de oorspronkelijke zin, sprong de fout eruit: de kaart toonde de handeling nog steeds als "lenen", ook al zei de uiteindelijke paragraaf "geven". Dit onthulde dat de AI een consistente fout had gemaakt die de vloeiende proza succesvol had verborgen. De onderzoekers ontdekten ook dat wanneer de AI interpretatieve aantekeningen schreef, het soms ideeën toevoegde die niet in de oorspronkelijke tekst stonden, zoals het raden van iemands motivatie, zelfs toen het de opdracht had om de bron direct te citeren. Door de oorspronkelijke zin, de ruwe output van de AI, de gestructureerde kaart en de menselijke beoordeling allemaal gekoppeld te houden in één enkel archief, konden de onderzoekers precies zien waar de betekenis verschoof. Ze ontdekten dat het simpelweg controleren of twee AI-runs hetzelfde antwoord produceerden niet genoeg was, omdat de AI met zichzelf kon instemmen terwijl beide fout waren.

De studie omvatte acht menselijke lezers die het werk van de AI beoordeelden. Deze lezers bevestigden dat hoewel de herschreven zinnen van de AI vaak erg leken op het origineel, ze regelmatig de betekenis veranderden op manieren die ertoe deden. In één specifiek geval dat betrekking had op een zin over een lening, identificeerden de lezers dat de verandering van "lenen" naar "geven" een significante vertekening was in meer dan de helft van de evaluaties. De onderzoekers testten ook of hun methode kon omgaan met veranderingen in het AI-systeem zelf. Ze voerden het experiment uit met twee verschillende versies van het AI-model, gescheiden door maanden. Hoewel de modellen verschillend waren, stelde de documentatiemethode hen in staat de geschiedenis van de bewering te traceren en te zien hoe het bewijs in elk geval werd getransformeerd. De belangrijkste bevinding was dat het framework erin slaagde de "evidential path" (het bewijskundige pad) te bewaren. Het stelde een latere onderzoeker in staat om naar de uiteindelijke bewering te kijken, de link terug te volgen naar de ruwe AI-output, en vervolgens de gestructureerde kaart te controleren om te zien of de betekenis behouden was gebleven. Dit proces vereiste niet dat de onderzoeker de AI vertrouwde of geloofde dat de uiteindelijke tekst perfect was; het vereiste simpelweg dat zij de volledige registratie hadden van hoe de tekst tot stand was gekomen.

Deze aanpak biedt een praktische weg voorwaarts voor onderzoekers die AI willen gebruiken zonder het vermogen te verliezen om hun werk te verifiëren. De onderzoekers suggereren dat de mate van documentatie moet overeenkomen met het belang van de bewering. Voor een privénotitie of een oefening in de klas kan een eenvoudig verslag van de bron en de prompt voldoende zijn. Maar voor een gepubliceerd artikel of een dataset die bedoeld is voor anderen om te gebruiken, moet de volledige keten van bewijs — inclusief de ruwe output, de gestructureerde controles en de menselijke beoordeling — worden bewaard. Dit betekent niet dat elke enkele zin een volledige audit nodig heeft, maar het betekent wel dat wanneer een bewering afhangt van de interpretatie van een AI, de weg van de oorspronkelijke woorden naar die bewering zichtbaar moet blijven. De studie toonde aan dat zonder deze zichtbaarheid, vloeiende proza gemakkelijk fouten kan verbergen, en dat herhaalde overeenstemming tussen AI-runs een vals gevoel van veiligheid kan geven. Door de links tussen de bron, de machine en de menselijke beoordelaar intact te houden, kunnen onderzoekers ervoor zorgen dat hun conclusies zijn gebouwd op een fundament dat door iedereen die het spoor volgt, geïnspecteerd, bevraagd en begrepen kan worden.