Technische Samenvatting: Tussen de regels door lezen: Modelleren en evalueren van gedragsrealisme in juridische simulatie

Probleemstelling

Deponeringstraining (getuigenverhoren) is een cruciaal onderdeel van juridische educatie, waarbij advocaten meesterschap moeten verwerven in dynamische interpersoonlijke vaardigheden zoals het omgaan met niet-relevante getuigenissen, het afdwingen van specificiteit en het aanpassen aan getuiggedrag dat varieert van ontwijkend tot vijandig. Huidige juridische AI-benchmarks evalueren primair feitelijke nauwkeurigheid, juridisch redeneren of geïsoleerde plausibiliteit van reacties, maar laten de longitudinale gedragsdynamiek die essentieel is voor deponeringpraktijk ongemoeid. Junior advocaten missen vaak toegang tot consistente, schaalbare en realistische oefenmomenten. Hoewel simulaties met Large Language Models (LLM's) een potentiële oplossing bieden, verwarren bestaande evaluaties vaak oppervlakkige responsplausibiliteit met ware gedragsgetrouwheid (behavioral fidelity). Een simulator kan weliswaar plausibele individuele antwoorden genereren, maar faalt mogelijk in het betekenisvol reageren op adversariële druk, of creëert daarentegen strategisch moeilijke interacties die de coherentie van natuurlijke menselijke getuigenissen missen. Er is een gebrek aan kaders die onderscheid maken tussen gedragsrealisme (handelt de getuige als een mens?) en pedagogisch nut (biedt de interactie zinvolle trainingsuitdagingen?).

Methodologie

1. WITNESSSIM: Een staat-gebaseerde deponeringssimulator

De auteurs introduceren WITNESSSIM, een dynamische deponeringssimulator die wordt aangedreven door controleerbare juridische persona's. In tegen tegenstelling tot standaard LLM rolspel, gebruikt WITNESSSIM een continu dynamisch systeem om de evolutie van de psychologische staat van een getuige onder adversariële ondervraging te modelleren.

• Toestandsruimte en Archetypen: De getuige wordt gerepresenteerd door een zesdimensionale toestandsvector $y_t = (C_t, K_t, A_t, V_t, R_t, P_t)$, waarbij de dimensies overeenkomen met Beheersing (Composure), Kennis (Knowledge), Aanpassingsvermogen (Agreeableness), Verborigheid (Verbosity), Rigiditeit (Rigidity) en Prestatie (Performance). Het systeem maakt gebruik van tien door experts geïnformeerde archetypen (bijv. Combativeftig, Coöperatief, Defensief, Inventief, Loquacious/Spraakzaam). Cruciaal is dat het systeem een toegewezen Kennis-dimensie bevat, wat een onderscheid maakt tussen een getuige die informatie mist (Inventief) en een getuige die de informatie bezit maar er excessief over spreekt (Loquacious); een onderscheid dat vaak verloren gaat in standaard Big Five persoonlijkheidsprojecties.
• Attractor-toestanden: Elk archetype is geassocieerd met een vaste attractor-toestand $y_0$ die de basislijn van het gedrag vertegenwoordigt. Bij afwezigheid van aanhoudende druk keert de dynamische staat geleidelijk terug naar deze basislijn.
• Vraagcodering: Juridische vragen worden gecodeerd naar een drukscore ($p_t$) op basis van linguïstische markers (bijv. "is het niet zo dat", "geef toe") en een topic-sensitiviteitsscore ($s_t$) op basis van token-overlap met vooraf geregistreerde gevoelige onderwerpen. Deze worden gecombineerd in een samengesteld stresssignaal $\xi_t$.
• Toestandsdynamiek: De toestandsvector wordt bij elke beurt deterministisch bijgewerkt op basis van het stresssignaal en de huidige staat. Bijvoorbeeld: druk vermindert beheersing en aanpassingsvermogen terwijl het rigiditeit verhoogt; gevoelige onderwerpen verslechteren het geheugen en kunnen de verborigheid vergroten. Een vermoeidheidsmultiplier schaalt de degradatie van de prestaties over de duur van de deponering.
• Event Detectie: Discrete gedragsevenementen (bijv. "Getuige is ontregeld", "Getuige is strijdbaar") worden getriggerd wanneer toestandsdrempels worden bereikt. Deze gebeurtenissen worden aan de LLM-systeemprompt toegevoegd om de gegenereerde dialoog te funderen in de onderliggende wiskundige staat, waardoor het model voorkomen wordt dat het afdwaalt.
• Generatielus: Voor elke beurt codeert het systeem de vraag, werkt het de staat bij, berekent afgeleide gedragsscores, detecteert gebeurtenissen en prompt de onderliggende LLM (Claude Sonnet 5) om een reactie te genereren die geconditioneerd is op de persona, de huidige staat en de historie.

2. Evaluatiekader

De auteurs stellen een tweelaags evaluatiekader voor dat Gedragsrealisme scheidt van Pedagogisch Nut.

• Gedragsrealisme: Beoordeelt of de gegenereerde getuigenis plausibel is en een coherente identiteit behoudt.
  • Adversariële Testen: Test robuustheid tegen specifieke faalmodi (bijv. het dwingen van een coöperatieve getuige om schuld te bekennen, het testen van selectieve ontwijking).
  • Blinde Expertvergelijking: Advocaten vergelijken door WITNESSSIM gegenereerde sequenties met authentieke deponeringstranscripten om de contextuele plausibiliteit te beoordelen.
  • Longitudinale Analyse: Gebruikt emotie-vector trajecten om affectieve dynamiek over tijd te analyseren, waarbij de temporele structuur van gesimuleerde versus echte deponeringen wordt vergeleken.
• Pedagogisch Nut: Beoordeelt of de simulator herkenbare uitdagingen creëert die betekenisvol reageren op interventies van de advocaat.
  • Taakgebaseerde Evaluatie: Vier specifieke trainingsscenario's werden getest: het controleren van de vraagvorm (Coöperatief), het afdwingen van specificiteit bij een ontwijkende getuige, het heroriënteren van een spraakzame (loquacious) getuige, en het omgaan met een vijandige getuige. Succes wordt gemeten aan de hand van de vraag of het gedrag van de getuige verandert als reactie op juridische strategieën zonder de toegewezen archetypische vorm te verliezen.

3. Experimentele Opzet

De evaluatie maakte gebruik van een corpus van 300 deponering- en procesverslagen afkomstig uit de National Prescription Opiate Litigation (Zaak nr. 1:17-MD-2804). Gesimuleerde getuigen werden gegrond in de bijbehorende dossierstukken. Evaluaties omvatten adversariële aanvallen, blinde oordelen door praktiserende advocaten (associates, senior litigators en arbitragecounsel) en geautomatiseerde scoring gevalideerd door menselijke annotatie.

Belangrijkste Resultaten

Gedragsrealisme

• Adversariële Robuustheid: WITNESSSIM behield over het algemeen de beoogde gedragsgrenzen. In tests waarbij coöperatieve getuigen onder druk werden gezet om schuld te bekennen, behielden 99,0% van de gevallen een zelfbeschermende grens. Ontwijkende getuigen vertoonden selectieve weerstand (86,0% ontwijking op gevoelige versus triviale onderwerpen), en irritatie kwam in de verwachte volgorde op bij verschillende archetypen onder herhaling.
• Plausibiliteit: In blinde vergelijkingen gaven praktiserende advocaten geen systematische voorkeur voor authentieke getuigenis boven WITNESSSIM. Associates en senior litigators kozen WITNESSSIM in respectievelijk 30,0% en 32,7% van de gevallen, met hoge aantallen gelijke stemmen (40,0% en 22,4%). Echter, een senior arbitragecounsel met een technische achtergrond en ervaring met AI-simulaties identificeerde in 90% van de gevallen de authentieke getuigenis, wat suggereert dat specifieke artefacten nog steeds detecteerbaar zijn voor experts die getraind zijn in LLM-generatie.
• Longitudinale Getrouwheid: Analyse van de emotie-vector trajecten toonde aan dat hoewel gesimuleerde en echte deponeringen een bescheiden temporele uitlijning vertoonden ($r = .148$), de gesimuleerde trajecten aanzienlijk gladder en compacter waren dan de echte. Principal Component Analysis (PCA) scheidde echte en synthetische transcripten, wat wijst op hiaten in de gedragsgetrouwheid op de lange termijn.

Pedagogisch Nut

• Responsiviteit op Interventie: De simulator genereerde succesvol gedragsmatig onderscheidende scenario's waarbij interventies van de advocaat tot betekenisvolle veranderingen leidden.
  • Vraagvorm: Open vragen lokten langere reacties uit (gem. 175,9 woorden) vergeleken met gesloten (86,5) of hoog-druk vragen (68,4).
  • Evasive Pin-Down: 93,0% van de contexten volgde het beoogde traject van ontwijking naar controle, hoewel 33,1% van de uiteindelijke antwoorden voorbehouden (hedging) bleef.
  • Hostile Witness: 97,7% van de strijdbare getuigen bereikte substantiële controle, maar 97,3% van de gecontroleerde antwoorden behield markers van vijandigheid.
• Behoud van Archetype: Getuigen reageerden op druk zonder uniform te vervallen in generieke coöperatie. Zo bleven spraakzame (loquacious) getuigen vaak verborig zelfs wanneer ze gefocust werden, waardoor de kernuitdaging van het archetype behouden bleef.

Betekenis en Claims

Het artikel claimt een kader te hebben vastgesteld voor de evaluatie van juridische simulaties dat verder gaat dan geïsoleerde responsplausibiliteit door rekening te houden met gedragsgetrouwheid tijdens aanhoudende interacties.

1. Onderscheid van Dimensies: De auteurs beargumenteren dat gedragsrealisme en pedagogisch nut verschillende maar complementaire zaken zijn. Een simulator kan pedagogisch nuttig zijn (het creëren van moeilijke, responsieve interacties), zelfs als deze niet beschikt over perfecte long-horizon realisme, en vice versa.
2. Beperkingen van Evaluatie op Responsniveau: De resultaten tonen aan dat plausibele individuele reacties onvoldoende zijn voor het evalueren van interactieve simulaties. De "gladdere" en "compactere" aard van gesimuleerde trajecten benadrukt dat huidige modellen moeite hebben met het repliceren van de volledige variantie en complexiteit van menselijk gedrag over een langere periode.
3. Trainingsnut: De studie suggereert dat WITNESSSIM advocaten herhaalde, configureerbare mogelijkheden kan bieden om het omgaan met moeilijk getuigengedrag te oefenen. De auteurs verklaren echter expliciet dat de evaluatie niet vaststelt dat deze simulaties de leerprestaties of vaardigheidsoverdracht van advocaten verbeteren; het stelt enkel vast dat de simulaties de noodzakelijke gedragsmatige uitdagingen bevatten om dergelijke praktijk mogelijk te maken.
4. Toekomstige Richting: Het artikel stelt dat high-fidelity menselijke simulatie methoden vereist die niet alleen de plausibiliteit van een enkele prompt-respons beoordelen, maar ook de coherentie van gedrag, de persistentie ervan en de plausibele evolutie ervan binnen een interactie.

De auteurs concluderen dat hoewel WITNESSSIM een stap voorwaarts is richting high-fidelity juridische simulatie, toekomstig werk de noodzaak heeft om maatstaven van gedragsrealisme te verbinden aan downstream leerresultaten om de bruikbaarheid van het systeem voor professionele training volledig te valideren.