Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis

Uit een gerandomiseerd onderzoek onder 164 rechtenstudenten blijkt dat gerichte training de adoptie en prestaties van generatieve AI in juridische analyses significant verbetert, terwijl blootstelling zonder training geen prestatievoordeel oplevert.

De kern

Samenvatting: Hoe een kleine lesje een groot verschil maakt met AI voor advocaten

Stel je voor dat je een zeer moeilijke puzzel moet oplossen, maar je mag een superkrachtige robot helpen. Deze robot kan razendsnel informatie vinden en zinnen schrijven. Maar er is een probleem: de robot is soms een beetje een leugenaar. Hij verzonnen feiten, citeert verdragen die nooit bestaan hebben en geeft advies dat klinkt als een expert, maar volledig fout is.

Dit is precies wat er gebeurt met Generatieve AI (zoals ChatGPT) in de juridische wereld. Advocaten en studenten zijn bang om de robot te gebruiken, omdat ze niet willen dat hij ze in de problemen brengt.

De auteurs van dit onderzoek (Benjamin Chen en Bao Hong) wilden weten: Kan een korte training mensen helpen om deze robot wel veilig en slim te gebruiken?

Het Experiment: Een Proefexamen met een Twist

Om dit te testen, gaven de onderzoekers 164 rechtenstudenten in Hongkong een proefexamen. Het was een "issue-spotter": een casus waarin ze alle juridische problemen moesten vinden en analyseren.

De studenten werden willekeurig in drie groepen verdeeld:

1. De "Oude School" Groep: Geen AI. Alleen een traditionele juridische database.
2. De "Laat maar" Groep: Ze mochten de AI gebruiken, maar kregen geen instructies. Ze moesten het zelf uitzoeken.
3. De "Getrainde" Groep: Ze mochten de AI gebruiken én kregen eerst een korte training (een video van 10 minuten en een quiz).

Wat leerde de training?
De video leerde ze drie belangrijke dingen:

• Wees kritisch: De AI verzon dingen. Controleer altijd alles.
• Gebruik hem als een sparringpartner: Vraag de AI om ideeën, niet om het eindantwoord.
• Breek het probleem op: Gebruik de AI stap voor stap, niet in één keer.

De Resultaten: Wat gebeurde er?

Hier komen de verrassende resultaten, vertaald naar alledaagse taal:

1. Zonder training: De robot is een last
De studenten die de AI mochten gebruiken zonder training, presteerden niet beter dan de groep zonder AI. Sterker nog: ze schreven kortere antwoorden en scoorden iets lager.

• De analogie: Het is alsof je een Ferrari krijgt, maar je hebt geen rijbewijs. Je bent bang om te accelereren, of je rijdt tegen de muur aan. Ze gebruikten de AI, maar omdat ze niet wisten hoe, vertraagden ze hun eigen werk of maakten ze fouten.

2. Met training: De robot is een kracht
De studenten die de training kregen, gebruikten de AI veel vaker (van 26% naar 41%) en scoorden beter. Hun cijfers waren gemiddeld een derde van een lettergrade hoger dan de groep zonder training.

• De analogie: Deze studenten kregen een rijlesje. Ze leerden dat de Ferrari (de AI) niet de bestuurder is, maar de motor. Zij bleven achter het stuur, gebruikten de motor om sneller te gaan, maar hielden de handen op het stuur om de bochten veilig te nemen.

3. Waarom werkte het?
De onderzoekers ontdekten dat de training twee dingen deed:

• Het overwon de angst: Veel slimme studenten durfden de AI eerst niet te gebruiken omdat ze bang waren voor fouten. De training gaf ze het vertrouwen om het toch te proberen.
• Het verbeterde de samenwerking: Als ze de AI gebruikten, deden ze het slimmer. Ze stelden betere vragen en controleerden de antwoorden beter.

De Grote Les: Training is de sleutel

De belangrijkste conclusie van dit papier is simpel maar krachtig:

Gewoon een AI-tool geven aan professionals is niet genoeg.
Als je iemand een gereedschapskist geeft zonder uitleg, gebruiken ze misschien alleen de hamer om een schroef vast te draaien (en dat gaat niet goed). Als je ze eerst uitlegt welk gereedschap ze moeten gebruiken en hoe ze het vasthouden, wordt het een wonder.

In de juridische wereld (en waarschijnlijk ook in andere beroepen) betekent dit:

• Als je AI invoert zonder training, kan het de productiviteit zelfs verminderen.
• Als je AI invoert met training, kan het een enorme boost geven, zelfs voor de slimste mensen.

Het is niet de technologie op zich die de wereld verandert, maar de menselijke vaardigheid om die technologie slim te benutten. De training was de brug tussen "angst voor de robot" en "samenwerken met de robot".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis" van Benjamin M. Chen en Bao Hong, vertaald en samengevat in het Nederlands.

1. Probleemstelling en Context

De opkomst van generatieve kunstmatige intelligentie (GenAI), en specifiek Large Language Models (LLM's), belooft een transformatie voor kennisintensieve beroepen zoals de juridische sector. Er bestaat echter een fundamentele spanning tussen het potentieel voor productiviteitswinst en de realiteit van de implementatie:

• Betrouwbaarheidsprobleem: GenAI kan "hallucineren" (feitelijke onjuistheden of verzonnen jurisprudentie produceren), wat in juridische contexten met hoge foutkosten riskant is.
• Adoptiebarrière: Ondanks het potentieel is de adoptie in de praktijk beperkt. Juristen zijn terughoudend omdat ze niet weten hoe ze de technologie effectief en veilig moeten integreren in complexe, oordeelsafhankelijke taken.
• Kernvraag: Kan gerichte gebruikersopleiding (training) de productiviteit verhogen door de adoptie van GenAI te stimuleren en/of de effectiviteit van het gebruik te verbeteren, zelfs in onzekere omstandigheden?

2. Methodologie

De auteurs voerden een gerandomiseerd gecontroleerd experiment (RCT) uit met 164 rechtenstudenten (LLB en JD) aan de Universiteit van Hongkong.

• Opdracht: Een gesimuleerd "issue-spotting" examen in contractenrecht. Studenten moesten juridische problemen identificeren en analyseren binnen een complex feitenpatroon.
• Experimentele Condities (3 groepen):
  1. Controlegroep (Geen GenAI): Toegang uitsluitend tot traditionele juridische databases (Westlaw).
  2. GenAI-zonder-training: Toegang tot een LLM (DeepSeek) zonder enige instructie over hoe deze te gebruiken voor juridische analyse.
  3. GenAI-met-training: Toegang tot DeepSeek, voorafgegaan door een korte interventie (een video van ~10 minuten en een quiz). De training leerde studenten hoe ze prompts moeten structureren, hoe ze het model moeten laten redeneren (chain-of-thought), en benadrukte de noodzaak van kritische verificatie van output (om hallucinaties te voorkomen).
• Design: De groepen waren willekeurig verdeeld. De training was de enige variabele tussen groep 2 en 3.
• Data-analyse: De auteurs gebruikten principl stratification (hoofdstukstratificatie) om het totale effect van de training te ontleden in twee kanalen:
  • Adoptie-effect: Training zorgt ervoor dat mensen die het anders niet zouden gebruiken, het wel gaan gebruiken.
  • Effectiviteits-effect: Training verbetert de kwaliteit van het gebruik bij mensen die het sowieso al zouden gebruiken.

3. Belangrijkste Resultaten

A. Adoptie van GenAI

• De training had een significant effect op het gebruik.
• Groep 2 (Zonder training): 26% van de studenten gebruikte de LLM.
• Groep 3 (Met training): 41% van de studenten gebruikte de LLM.
• Dit verschil van ~15 procentpunten is statistisch significant, wat aantoont dat training de drempel voor adoptie verlaagt.

B. Prestaties op het Examen

• GenAI zonder training (Groep 2 vs. Groep 1): Studenten die alleen toegang hadden tot de LLM zonder training scoorden niet beter dan de controlegroep. Sterker nog, ze schreven kortere antwoorden en scoorden licht (maar niet significant) lager. Dit suggereert dat ongeleid gebruik van GenAI in deze context niet productief is en mogelijk afleidt.
• GenAI met training (Groep 3 vs. Groep 2): Studenten met training scoorden gemiddeld 0,27 grade points hoger dan studenten zonder training (p = 0,027). Dit komt overeen met ongeveer één derde van een lettergrade (bijv. van een B naar een B+).
• GenAI met training vs. Controlegroep: Groep 3 scoorde ook hoger dan de controlegroep, hoewel dit verschil net de conventionele drempel voor statistische significantie miste (p = 0,064).

C. Kwaliteit van Antwoorden

• Leesbaarheid: Er waren geen significante verschillen in leesbaarheid (Flesch-Kincaid score) tussen de groepen.
• Lengte: Antwoorden van studenten zonder training (Groep 2) waren significant korter dan die van de controlegroep. Studenten met training schreven net zo lang als de controlegroep. Dit suggereert dat ongeleid gebruik van GenAI leidt tot minder diepgaande uitwerking, terwijl training helpt om de omvang van het werk te behouden of te verhogen.

D. Mechanisme: Adoptie vs. Effectiviteit

Door middel van principal stratification analyseerden de auteurs of de winst kwam door meer gebruikers of door betere gebruikers.

• De schattingen wijzen erop dat het adoptie-effect (meer studenten die GenAI gaan gebruiken) de dominante factor is.
• Hoewel de betrouwbaarheidsintervallen breed zijn, suggereert de data dat training vooral werkt door de "scope" van gebruik te verbreden (meer mensen durven het aan) in plaats van door de effectiviteit van bestaande gebruikers drastisch te verhogen.

4. Kernbijdragen

1. Het belang van "Complementary Investments": De studie toont aan dat het simpelweg beschikbaar stellen van GenAI-tools niet voldoende is voor productiviteitswinst. Zonder training kan het zelfs contraproductief zijn. Investeringen in menselijk kapitaal (training) zijn essentieel om de technologische potentie te realiseren.
2. Ontleding van het Productiviteitskanaal: De auteurs onderscheiden tussen het extensieve margin (wie gebruikt het?) en het intensieve margin (hoe goed wordt het gebruikt?). Ze tonen aan dat training vooral het extensieve margin beïnvloedt in kennisintensieve, risicovolle omgevingen.
3. Juridische Toepassing: Het onderzoek biedt empirisch bewijs voor de juridische sector dat "AI-literacy" en specifieke instructie over prompt-engineering en verificatie cruciaal zijn voor het veilig en effectief integreren van LLM's in juridische analyse.

5. Betekenis en Implicaties

• Voor Juridisch Onderwijs: Curricula moeten niet alleen toegang tot tools bieden, maar ook expliciete training in hoe men samenwerkt met AI, met nadruk op kritische evaluatie van output en het vermijden van hallucinaties.
• Voor Juridische Praktijk: Kantoren die GenAI invoeren zonder begeleidende training riskeren geen productiviteitswinst en mogelijk een daling in kwaliteit. Training is een noodzakelijke voorwaarde voor succesvolle implementatie.
• Economische Theorie: De resultaten nuanceren het debat over "skill-biased technological change". Het suggereert dat GenAI niet alleen laaggeschoolde werkers helpt (zoals sommige eerdere studies suggereren), maar dat bij gebrek aan training juist hooggeschoolde professionals (die risico-avers zijn) afhouden. Met training kunnen hooggeschoolde professionals echter wel profiteren van de technologie voor complexe, niet-routinematige taken.
• Diffusie van Technologie: De studie benadrukt dat de diffusie van GenAI als "General Purpose Technology" afhankelijk is van taakspecifieke aanpassing en leerprocessen, wat de adoptie kan vertragen maar wel leidt tot duurzame productiviteitswinst.

Conclusie:
De auteurs concluderen dat de productiviteitswinst van GenAI niet technologisch voorbestemd is, maar afhankelijk is van complementaire investeringen in kennis en vaardigheden. Zelfs een korte, doelgerichte training kan het gebruik van GenAI in kritieke juridische taken aanzienlijk verhogen en de kwaliteit van het werk verbeteren, terwijl ongeleid gebruik vaak leidt tot suboptimale resultaten.