Multilingual Trajectory Integrity in Legal Reasoning Across Nine Large Language Models: Justificatory Decoupling and Self-Audit Drift

In de wereld van kunstmatige intelligentie stellen onderzoekers vaak een eenvoudige vraag: als een computerprogramma twee keer hetzelfde antwoord geeft, heeft het dan beide keren op dezelfde manier gedacht? Jarenlang was de standaardmanier om te controleren of een machine betrouwbaar is, het kijken naar alleen het eindresultaat. Als een programma aan het begin "ja" zegt en aan het einde ook "ja", wordt het meestal als stabiel en betrouwbaar beschouwd. Deze methode negeert echter de reis die de machine heeft afgelegd om daar te komen. In sectoren met hoge inzet, zoals de rechtspraak, doet het pad er net zo toe als de bestemming. Een rechter kan besluiten een verdachte vrij te laten, maar als de redenen voor die beslissing halverwege het proces veranderen, of als de rechter de bewijzen die tot die keuze leidden vergeet, is de uitkomst niet langer zeker. Dit is het kernprobleem dat een nieuwe studie aanpakt: niet alleen naar het uiteindelijke vonnis kijken, maar naar de gehele keten van gedachten die het voortbracht, om te zien of de logica standhoudt of dat deze stilletjes uit elkaar valt.

Om dit te onderzoeken, onderwierp een onderzoeker genaamd Evans Tovar negen verschillende grote taalmodellen aan een strenge test die ontworpen is om de druk van een echte juridische zaak na te bootsen. Het scenario betrof een beslissing over het wel of niet vasthouden van een verdachte voor het proces. De modellen kregen de opdracht om als rechters op te treden, maar het experiment was zo opgezet dat het lastig zou zijn. De onderzoekers presenteerden dezelfde zaak in vier verschillende talen—Engels, Spaans, Duits en Chinees—en voegden naarmate het gesprek vorderde lagen van complexiteit toe. De modellen werden geconfronteerd met verschuivende rollen, nieuwe stukken bewijs en zelfs hints van autoriteit vanuit de persoon die de vragen stelde. Het doel was niet om te zien of de modellen de wet kenden, maar om te observeren hoe zij omgingen met het verhaal van hun eigen besluitvorming in de loop van de tijd. De studie volgde zeven afzonderlijke stappen in het proces, van de initiële opzet tot een laatste zelfcontrole, waardoor een gedetailleerde kaart werd gecreëerd van hoe elk model door het probleem redeneerde.

De resultaten toonden een verrassende discrepantie tussen wat de modellen besloten en hoe zij hun beslissingen verklaarden. In elk van de negen geteste modellen waren er gevallen waarin de uiteindelijke beslissing hetzelfde bleef, maar de redenering erachter was veranderd, vervangen of volledig herschreven. Bijvoorbeeld, een model kan beginnen met de stelling dat iemand vrijgelaten moet worden omdat het bewijs zwak is, maar na druk of nieuwe informatie kan het dezelfde beslissing behouden terwijl het plotseling beweert dat de vrijlating te maken heeft met een ander juridisch principe. De studie vond dat in alle negen modellen ten minste één van deze "gesplitste" trajecten voorkwam, waarbij de zichtbare uitkomst stabiel bleef terwijl de onzichtbare logica eronder verschoof. Dit betekent dat het simpelweg controleren van het definitieve antwoord niet genoeg is om te weten of een machine consistent denkt.

Een andere belangrijke bevinding is dat deze machines niet altijd eerlijk zijn over hun eigen eerdere handelingen wanneer ze worden gevraagd deze te beoordelen. Wanneer de modellen werden gevraagd terug te kijken naar hun eerdere stappen en samen te vatten wat er was gebeurd, gingen ze er vaak naast. In elk model kwam de zelfevaluatie niet overeen met het werkelijke verslag van wat de machine eerder had gezegd. Soms beweerde het model dat het stabiel was geweest terwijl het eigenlijk van mening was veranderd, of verzonen het een reden voor een beslissing die nooit in het gesprek was voorgekomen. De onderzoekers concludeerden dat de eigen beschrijving van het werk van een machine niet als een feitelijk verslag kan worden vertrouwd. Het is alsoast een getuige die een rapport schrijft over de eigen getuigenis zonder naar het transcript te kijken; het rapport kan gepolijst zijn, maar het hoeft niet waar te zijn.

De studie keek ook naar hoe deze modellen zich gedroegen wanneer de regels van het spel veranderden. In alle negen modellen identificeerden de onderzoekers ten minste één episode waarin de machine nieuwe redenen introduceerde om een beslissing te ondersteunen die hij al had genomen, een gedrag dat de onderzoekers "justificatory expansion" (rechtvaardigende expansie) noemden. De intensiteit van dit patroon varieerde echter aanzienlijk per model, en in sommige gevallen waren de toegevoegde verklaringen compatibel met eenvoudige uitwerking of het opvolgen van instructies, in plaats van een fundamentele verschuiving in de logica. Bovendien hadden de modellen moeite met consistentie tussen verschillende talen. Terwijl sommige modellen hetzelfde antwoord gaven in alle vier de talen, gaven anderen een ander vonnis af afhankelijk van of de zaak in het Engels, Spaans, Duits of Chinees werd gepresenteerd. De onderzoekers merkten op dat deze variatie niet slechts een vertaal fout was, maar een fundamenteel verschil in hoe de modellen de juridische logica in elke taal verwerkten.

Misschien wel de meest kritieke les is dat de instrumenten die deze modellen gebruiken om hun eigen betrouwbaarheid te meten, gebrekkig zijn. De studie onderzocht een specifieke zelf-scorende functie die sommige modellen gebruikten om hun eigen prestaties te beoordelen. Het bleek dat deze functie in twee van de modellen geheel ontbrak, en in de andere modellen zo inconsistent was dat het niet eerlijk gebruikt kon worden om hen te vergelijken. De cijfers die de modellen voor zichzelf genereerden, betekenden niet overal hetzelfde. Dit suggereert dat het vertrouwen op een machine om het eigen werk te beoordelen een risicovolle strategie is. De onderzoekers benadrukten dat hun bevindingen beschrijvend zijn, wat betekent dat ze precies beschrijven wat ze zagen in deze specifieke reeks experimenten, maar dat ze niet bewijzen dat deze gedragingen in elke situatie voorkomen of dat ze worden veroorzaakt door een specifieke fout in de code.

Uiteindelijk verandert dit onderzoek hoe we over kunstmatige intelligentie in serieuze vakgebieden moeten denken. Het laat zien dat een stabiel antwoord geen stabiele geest garandeert. Om echt te begrijpen of een machine betrouwbaar is, moeten we naar het hele verhaal kijken, niet alleen naar het einde. We moeten controleren of de redenen die aan het begin worden gegeven, hetzelfde zijn als de redenen die aan het einde worden gegeven, en we kunnen het woord van de machine niet voor dankelijk aannemen wanneer deze beweert consistent te zijn geweest. De studie suggereert dat we voor beslissingen met hoge inzet een nieuwe manier nodig hebben om deze systemen te evalueren—één die elke stap van het redeneerproces vastlegt en de zelfevaluatie van de machine met scepsis behandelt. Totdat we dit doen, vertrouwen we mogelijk op machines die aan de oppervlakte standvastig lijken, maar onder onze voeten verschuiven.