💬 NLP

Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis

Dit artikel betoogt dat grootschalige pretraining op zichzelf ontoereikend is om grote taalmodellen voor te bereiden op betrouwbare juridische analyse van de "gewone betekenis", omdat empirisch bewijs aantoont dat hun conclusies niet robuust zijn tegen kleine variaties in de prompt en slechts een matige correlatie vertonen met menselijke beoordelingen, waardoor ze ongeschikt zijn voor autoritair gebruik in juridische contexten met hoge risico's.

Oorspronkelijke auteurs: Abhishek Purushothama, Junghyun Min, Brandon Waldon, Nathan Schneider

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abhishek Purushothama, Junghyun Min, Brandon Waldon, Nathan Schneider

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een rechter voor in een rechtszaal die probeert uit te vinden wat een verwarrend woord in een wet eigenlijk betekent voor de gemiddelde mens. Bijvoorbeeld: valt een contractbepaling als "tuinonderhoud" ook het bouwen van een trampoline? Traditioneel zouden rechters zichzelf misschien de vraag stellen: "Wat zou mijn buurman denken?" of woorden opzoeken in een woordenboek.

Onlangs zijn sommige juridische experts en rechters begonnen met het vragen aan Large Language Models (LLM's) — hetzelfde type AI dat chatbots aandrijft — om deze vraag te beantwoorden. Het idee is: "Als een AI bijna alles wat ooit op internet is geschreven heeft gelezen, moet hij dan niet precies weten hoe gewone mensen woorden gebruiken, toch?"

Dit artikel is een grote, zorgvuldige experiment om te testen of dat idee waar is. De onderzoekers deden alsof ze "zware critici" waren die op de rechterbank zaten en deze AI-modellen onderwierpen aan een rigoureuze stresstest. Hier is wat ze ontdekten, simpel uitgelegd:

1. Het probleem van de "kapotte klok"

De onderzoekers vroegen 15 verschillende AI-modellen (variërend van kleine tot de enorme GPT-4) om te beslissen of 138 verschillende verzekeringsgevallen wel of niet gedekt waren.

De bevinding: Sommige AI-modellen waren als een kapotte klok die vastzit op "Nee." Ongeacht waar het verhaal over ging, gaven ze elke keer exact hetzelfde antwoord.
De metafoor: Stel je voor dat je een weerman vraagt: "Regent het?" Als ze "Ja" zeggen voor een zonnige dag, een bewolkte dag en een sneeuwstorm, kijken ze niet echt naar de lucht. Ze herhalen gewoon een script. Verscheidene AI-modellen deden precies dit, en faalden erin om de specifieke details van de juridische zaak daadwerkelijk te "lezen".

2. De "goocheltruc" van prompting

De onderzoekers probeerden vervolgens een goocheltruc: ze stelden exact dezelfde vraag, maar veranderden alleen de manier waarop ze het vroegen.

Scenario A: "Is John gedekt? Ja of Nee?"
Scenario B: "Is John niet gedekt? Ja of Nee?"
Scenario C: "Ben je het eens dat John gedekt is?"
De bevinding: Het antwoord van de AI zou wild heen en weer slingeren. In één versie van de vraag zou de AI misschien 90% zeker zijn dat John gedekt is. In een iets andere versie (zoals het toevoegen van een "niet" of het omdraaien van de volgorde van opties), zou de AI misschien 90% zeker zijn dat hij niet gedekt is.
De metafoor: Het is als een suggestiebus die van mening verandert op basis van de kleur van het papier waarop je schrijft. Als je een model op één manier een vraag stelt, zegt het "Ja". Als je dezelfde vraag stelt maar de optie "Nee" eerst zet, zegt het "Nee". Dit betekent dat een advocaat potentieel zou kunnen "shoppen" naar de prompt die het antwoord geeft dat ze willen, in plaats van de waarheid te krijgen.

3. De "vertaler" die de taal niet spreekt

De onderzoekers vergeleken de antwoorden van de AI met wat echte mensen (gewone Engelssprekenden) eigenlijk dachten.

De bevinding: De AI en de mensen waren slechts matig het eens. Zelfs de beste AI-modellen (zoals GPT-4) hadden het slechts ongeveer 83% van de tijd goed, als je precies wist hoe je hun waarschijnlijkheidsscores moest interpreteren. Maar in een echte rechtszaal mag je niet in de scores kijken; je krijgt alleen het antwoord.
De metafoor: Stel je voor dat je een vertaler huurt om je te vertellen wat een menigte mensen denkt. Als de vertaler het 83% van de tijd goed heeft, klinkt dat goed. Maar in een juridische zaak is het verkeerd hebben 1 op de 6 keer een ramp. Het is als een GPS die je 83% van de tijd naar de juiste stad brengt, maar je de andere 17% in een moeras laat belanden.

De conclusie

Het artikel betoogt dat het feit dat een AI veel data heeft gelezen (grootschalige voortraining) niet betekent dat hij begrijpt hoe gewone mensen denken.

De auteurs concluderen dat deze AI-modellen momenteel te fragiel en onbetrouwbaar zijn om als het laatste woord in juridische zaken te worden gebruikt. Ze zijn nog geen "autoritatieve" bronnen van de gewone betekenis. Als een rechter zich erop verlaat zonder hun werk te controleren, vertrouwt hij misschien op een kapotte klok of een suggestiebus die van mening verandert op basis van de lettergrootte.

Kortom: De AI is een vloeiende spreker, maar geen betrouwbare denker als het gaat om het bepalen wat woorden betekenen voor gewone mensen.

Technische Samenvatting: Prompten vanuit de praktijk: Grootschalige pretraining is niet voldoende om LLM's voor te bereiden op analyse van de gewone betekenis

Probleemstelling

Het artikel behandelt de groeiende trend in de Amerikaanse rechtspraak waarbij rechters en rechtsgeleerden Large Language Models (LLM's) gebruiken om de "gewone betekenis" van juridische teksten vast te stellen – een standaard interpretatiemethode die vraagt hoe een term zou worden begrepen door een gewone spreker van het Engels. Voorstanders, waaronder Federale Rechter Kevin Newsom, betogen dat de enorme schaal van pretrainingsdata het LLM's mogelijk maakt om statistische patronen van gewoon taalgebruik effectiever te synthetiseren dan traditionele hulpmiddelen zoals woordenboeken of kleinschalige enquêtes.

De auteurs daagden de aanname uit dat grootschalige pretraining en instructie-tuning voldoende zijn om modellen te produceren die betrouwbaar de gewone betekenis kunnen analyseren. Zij stellen dat zonder rigoureuze evaluatie, het vertrouwen op LLM's voor juridische interpretatie met hoge inzet te vroeg is. Het kernprobleem is tweeledig:

Robuustheid: Of LLM-beslissingen stabiel zijn over kleine variaties in de formulering van prompts (een bekende kwetsbaarheid in NLP).
Correlatie: Of LLM-beslissingen daadwerkelijk de interpretatieve consensus van leek-mensenlezers benaderen, wat het doel is van onderzoek naar "gewone betekenis".

Methodologie

De auteurs voerden een grootschalige empirische evaluatie uit waarbij 15 LLM's werden betrokken (inclusief basis- en instructie-getuneerde varianten van Llama-3, OLMo-2, Mistral, Gemma en GPT-2, naast de gesloten-bron GPT-4) over 138 scenario's voor juridische interpretatie.

Data en Taalformulering:

Scenario's: De studie gebruikte 138 items afgeleid van echte geschillen rond verzekeringscontracten (oorspronkelijk uit Waldon et al., 2023). Elk item presenteert een hypothetisch scenario en een specifieke verzekeringsterm (bijvoorbeeld "tuinonderhoud", "interne bron") die een binaire beoordeling vereist: is het verlies gedekt ("Ja") of niet ("Nee")?
Menselijke Baslijn: De studie vergeleek modeluitvoer met menselijke oordelen van 1.338 native Engels-sprekers die dezelfde 138 scenario's beoordeelden.
Promptvarianten: Om robuustheid te testen, pasten de auteurs 9 systematische vraagvarianten toe op elk item. Deze omvatten:
- Standaard Ja/Nee en Nee/Ja volgorde.
- Ontkenning (bijvoorbeeld "is John niet gedekt?").
- Instemming/Onenigheid framing (bijvoorbeeld "Gaat u akkoord dat...").
- Meerkeuze-opties (A/B) met omgekeerde volgorde.
Meting:
- Robuustheid: Gemeten door de consistentie van categorische oordelen (Gedekt vs. NietGedekt) over de 9 promptvarianten voor elk model-item paar.
- Menselijke Correlatie: Gemeten met de determinatiecoëfficiënt ( $R^2$ ) tussen het verschil in waarschijnlijkheid van het model ( $\Delta = p(\text{Gedekt}) - p(\text{NietGedekt})$ ) en het aandeel menselijke "Gedekt"-oordelen. De auteurs behandelden de token-waarschijnlijkheid van het model als een proxy voor populatieconsensus.

Belangrijkste Bijdragen

Systematische Evaluatie van Juridische Interpretatie: Dit werk biedt de meest uitgebreide experimentele evaluatie van LLM's voor juridische interpretatie tot nu toe, en gaat verder dan kwalitatieve casestudies of kleinschalige parafrasetests (bijvoorbeeld Choi, 2025; Waldon et al., 2025) naar een gecontroleerde, grootschalige dataset.
Kwantificering van Promptgevoeligheid: De auteurs tonen aan dat LLM's een "alomtegenwoordig gebrek aan consistentie" vertonen over vraagvarianten. Zij tonen aan dat triviale veranderingen, zoals ontkenning of volgorde van opties, drastische verschuivingen in modeloordelen kunnen veroorzaken, wat effectief "prompt-shopping" voor gewenste uitkomsten mogelijk maakt.
Analyse van Menselijke Correlatie: De studie test rigoureus de "alwetendheid"-hypothese (dat de schaal van trainingsdata gelijkstaat aan menselijke intuïtie). Zij vindt dat zelfs de best presterende modellen slechts een matige correlatie tonen met menselijke consensus, en deze correlatie sterk afhankelijk is van specifieke modelgroottes en promptformuleringen.
Kritiek op Huidige Juridische Praktijk: Het artikel biedt een empirisch tegenargument tegen recente rechterlijke uitspraken die direct LLM-vragen gebruiken voor gewone betekenis, en suggereert dat huidige modellen niet voldoen aan de noodzakelijke voorwaarden van robuustheid en menselijke uitlijning voor dergelijk gebruik.

Belangrijkste Resultaten

Instabiliteit en Bias:
- Stilstaande Klokken: Verschillende modellen (6 van de 15) gaven voor meer dan 92% van de scenario's hetzelfde categorische oordeel, ongeacht de inhoud, en gedroegen zich als "stilstaande klokken".
- Promptgevoeligheid: In 2.061 van de 2.070 model-item-combinaties produceerde het model conflicterende oordelen over de 9 promptvarianten. Slechts 9 combinaties toonden volledige unanimititeit.
- Ontkenning en Complexiteit: Varianties met ontkenning (bijvoorbeeld "Onenigheid met Ontkenning") veroorzaakten vaak minderheidsoordelen en leidden tot de grootste distributieverschuivingen (gemeten door Jensen-Shannon-afstand).
Correlatie met Menselijk Oordeel:
- Matige Correlatie: Alleen grotere, instructie-getuneerde modellen (specifiek 70B+ parameters) toonden enige significante correlatie met menselijke oordelen, en zelfs dan alleen voor specifieke promptvarianten.
- Beste Scenario: GPT-4 bereikte de hoogste correlatie ( $R^2 = 0,60$ ) met menselijke oordelen op de standaard Ja/Nee-variant. Dit vertaalde zich echter naar een orakel-classifier-accuraatheid van slechts 83% (1 op de 6 fouten), wat volgens de auteurs ontoereikend is voor juridische interpretatie waar de inzet hoog is.
- Inconsistentie: Voor veel modellen was de correlatie negatief of dicht bij nul. Sommige modellen toonden een sterke correlatie in waarschijnlijkheidsverdelingen, maar produceerden overweldigend bevooroordeelde categorische output (bijvoorbeeld altijd "NietGedekt" voorspellen, ondanks waarschijnlijkheidsgradiënten die anders suggereren).
Modelgrootte en Tuning: Hoewel grotere modellen over het algemeen beter presteerden, introduceerde instructie-tuning onvoorspelbare biases, die soms oordelen volledig verschoven (bijvoorbeeld voorspelde Llama-8B getuned modellen voornamelijk "NietGedekt", terwijl Llama-70B getuned modellen "Gedekt" voorspelden).

Betekenis en Beweringen

Het artikel concludeert dat grootschalige pretraining niet voldoende is om LLM's voor te bereiden op analyse van de gewone betekenis. De auteurs betogen dat de aanname dat LLM's betrouwbaar kunnen verhelderen hoe gewone mensen woorden gebruiken, niet wordt ondersteund door empirisch bewijs.

Betrouwbaarheidsgat: De bevindingen benadrukken een "betrouwbaarheidsgat" waarbij modellen niet consistent of reproduceerbaar zijn, en een "epistemisch gat" waarbij modeloutput de gewone menselijke betekenis niet nauwkeurig meet.
Rechterlijke Voorzichtigheid: De auteurs waarschuwen expliciet tegen de aanpak van Rechter Newsom en anderen die direct LLM's bevragen om vragen over gewone betekenis op te lossen. Zij stellen dat de waargenomen fragiliteit (gevoeligheid voor promptformulering) en de zwakke correlatie met menselijke consensus huidige LLM's ongeschikt maken als autoritaire hulpmiddelen voor deze specifieke juridische taak.
Toekomstig Werk: Het artikel beweert niet dat LLM's nooit voor juridische interpretatie kunnen worden gebruikt, maar suggereert dat als ze worden gebruikt, ze rigoureuze validatie vereisen die verder gaat dan huidige mogelijkheden. Zij merken op dat nieuwere "redenerende" modellen of systemen met ophaalmechanismen niet zijn getest en sommige beperkingen zouden kunnen mitigeren, maar dergelijke beweringen vereisen verdere empirische demonstratie. Het huidige bewijs, zo stellen zij, "faalt op spectaculaire wijze om te voldoen aan de bewijslast" voor het gebruik van LLM's als autoritaire interpreten van gewone betekenis.