Can Small Models Reason About Legal Documents? A Comparative Study

Stel je voor dat je een enorme, superduurzame bibliotheek hebt met alle wetboeken ter wereld. De "grote modellen" (zoals de beroemde AI's van OpenAI of Anthropic) zijn als een team van duizenden briljante juristen die in die bibliotheek werken. Ze zijn ongelooflijk slim, maar ze zijn ook duur, traag en vragen veel privacy.

De vraag die deze onderzoekers zich stelden, is: Kunnen we ook werken met een klein, slim team van slechts een paar juristen? Zouden die "kleine modellen" (minder dan 10 miljard 'hersencellen' of parameters) net zo goed kunnen redeneren over juridische documenten als die grote teams?

Hier is het verhaal van hun onderzoek, vertaald in alledaags taal:

1. De Grote Wedstrijd: Kleintjes vs. Giganten

De onderzoekers hebben negen verschillende "kleine" AI-modellen getest tegen twee grote, commerciële modellen (GPT-4o-mini en Claude 3.5). Ze hebben ze laten werken op drie soorten juridische taken:

• Contracten: "Betekent deze zin in het contract dat X waar is?" (Ja/Nee/Misschien).
• Zaakjes: "Welke uitspraak past bij dit vonnis?" (Meerkeuzevragen).
• Mensenrechten: "Welke artikelen van het verdrag zijn geschonden?" (Een complexe puzzel met veel mogelijke antwoorden).

Het verrassende resultaat:
Een heel klein model, genaamd Qwen3-A3B, deed het bijna even goed als de duurste, grootste AI. Het is een slimme "mozaïek-architectuur": het heeft wel 30 miljard parameters in totaal, maar gebruikt er per vraag maar 3 miljard.

• De analogie: Het is alsof je een gigantisch kantoor hebt met 30.000 werknemers, maar voor elke taak alleen de 3.000 meest gespecialiseerde mensen erbij haalt. Dat is veel goedkoper en sneller, maar net zo effectief als het kantoor dat alle 30.000 mensen tegelijk laat werken.

2. De Grootte is niet alles (De "Grote Dummie")

Je zou denken: "Hoe groter het model, hoe slimmer het is." Maar dat bleek niet waar te zijn.

• Het grootste model in de test (9 miljard parameters) deed het slechtst van allemaal.
• De analogie: Het is alsof je een enorme, zware vrachtwagen (9B) koopt om een pakketje te bezorgen. Die vrachtwagen is traag, verbruikt veel brandstof en kan de smalle straatjes (juridische nuances) niet goed vinden. Een kleine, wendbare scooter (3B MoE) komt veel sneller en efficiënter aan.

Conclusie: Het gaat niet om hoeveel "hersencellen" je hebt, maar om hoe goed ze zijn opgeleid en hoe ze samenwerken.

3. De Kunst van het Vragen (Prompting)

De onderzoekers probeerden verschillende manieren om de AI's vragen te stellen. Dit was het meest leerzame deel:

• De "Denk-stap-voor-stap" methode (Chain-of-Thought):

  • Wat het is: Je vraagt de AI: "Denk eerst na, leg uit waarom, en geef dan het antwoord."
  • Het resultaat: Dit werkte wonderbaarlijk goed voor het begrijpen van contracten (logica). Maar voor meerkeuzevragen over zaakjes werkte het tegen. De AI begon te veel te praten en vergat het antwoord te kiezen.
  • De analogie: Het is alsof je iemand vraagt een wedstrijd te winnen. Als je zegt: "Vertel eerst je hele strategie uit," wint hij de wedstrijd. Maar als je zegt: "Vertel eerst je strategie uit, en kies dan snel het juiste antwoord," raakt hij in paniek en kiest hij verkeerd.

• De "Voorbeelden" methode (Few-Shot):

  • Wat het is: Je geeft de AI drie voorbeelden van hoe een vraag beantwoord moet worden, voordat je je eigen vraag stelt.
  • Het resultaat: Dit was de beste en meest betrouwbare methode voor bijna alle taken.
  • De analogie: Het is alsof je een stagiair instrueert: "Kijk, zo hebben we dit de afgelopen drie keer gedaan. Doe jij het nu ook zo." Dat werkt altijd beter dan alleen maar een opdracht geven.

4. De Zoekmachine (RAG)

De onderzoekers keken of het helpen om de AI eerst een zoekopdracht te laten doen in een database met juridische teksten (Retrieval Augmented Generation).

• Ze vergeleken een simpele zoekmethode (BM25, zoals Google vroeger) met een slimme, moderne zoekmethode (Dense Retrieval).
• Het resultaat: Het maakte bijna geen verschil welke zoekmethode je gebruikte. De AI's maakten vaak fouten in het gebruik van de gevonden informatie, niet in het vinden ervan.
• De analogie: Het maakt niet uit of je een oude, simpele kaart (BM25) of een supermoderne GPS (Dense) gebruikt om een adres te vinden. Als de chauffeur (de AI) niet goed kan lezen of de weg niet begrijpt, komt hij toch niet aan.

Waarom is dit belangrijk voor jou?

1. Kosten: Je kunt nu juridische taken laten doen door kleine, open-source modellen die je voor een paar centen per dag kunt draaien, in plaats van duizenden euro's betalen aan dure API's.
2. Privacy: Je kunt deze modellen lokaal draaien, zodat je gevoelige contracten niet naar een groot bedrijf hoeft te sturen.
3. Slimme Keuzes: Je hoeft niet altijd het "grootste en duurste" model te kiezen. Soms is een slim, klein model met de juiste instructies (voorbeelden geven) veel beter.

Kortom: De toekomst van juridische AI ligt niet per se bij de duurste, grootste modellen, maar bij slimme, kleine modellen die we op de juiste manier "aansturen". Het is niet de grootte van de motor die telt, maar hoe goed je de auto bestuurt.