Investigating Multi-Agent Deliberation in Law

Technische Samenvatting: Onderzoek naar Multi-Agent Deliberatie in het Recht

Probleemstelling
De toepassing van Large Language Models (LLM's) op juridische redenering groeit, maar de huidige benaderingen leunen voornamelijk op monolithische modellen die een enkel narratief genereren. Deze "eenzijdige" redenering brengt het risico op tunnelvisie met zich mee, waarbij alternatieve interpretaties mogelijk over het hoofd worden gezien en minder robuuste conclusies worden geproduceerd. Juridische redenering is inherent adversarieel en deliberatief, waarbij tegengestelde argumenten worden afgewogen en meerdere perspectieven worden verzoend. Hoewel multi-agent systemen (MAS) zijn verkend in andere domeinen, blijft hun potentieel voor juridische deliberatie grotendeels onontgonnen. Het centrale probleem dat wordt geadresseerd is of multi-agent deliberatie (MAD) frameworks de juridische redeneertaken kunnen verbeteren door concurrerende perspectieven expliciet te modelleren, en of juridisch geïnspireerde architecturen standaard single-model baselines kunnen overtreffen.

Methodologie
De auteurs evalueerden vier verschillende frameworks over vijf benchmarks (vier juridische redeneertaken en één logische redeneertaak). De datasets omvatten LEXAM (examens in de rechtenstudie), COLIEE (Japans burgerlijk recht entailment), SARA (Amerikaans federaal belastingrecht), PRIVACY (analyse van privacybeleidclausules) en LOGIQA (logische redenering). Alle taken werden omgezet naar een binaire 'ja'/'nee' classificatie.

De vergeleken frameworks waren:

1. Baseline: Een standaard enkele LLM-aanroep die een antwoord en een korte uitleg geeft.
2. Multi-Agent Deliberation (MAD): Een standaard framework waar drie agenten onafhankelijk voorspellingen genereren, waarna ze twee rondes van reflectie op elkaars reacties doorlopen, waarbij het definitieve antwoord wordt bepaald door een meerderheidsstemming. Dit vereist negen model-aanroepen per vraag.
3. 3-Ply Framework: Een nieuwe architectuur geïnspireerd door rechtszaalprocedures. Het maakt gebruik van drie agenten: een Eiser (die 'ja' bepleit), een Verdediger (die 'nee' bepleit) en een Rechter. Het proces omvat een initiële argumentatie door de Eiser, een tegenargument door de Verdediger, en een repliek door de Eiser. De Rechter brengt vervolgens een definitieve beslissing uit op basis van de merites van de argumenten. Dit vereist vier model-aanroepen.
4. Parrots Framework: Een nieuwe architectuur gebaseerd op argumentatietheorie. Een "Alex"-agent (die fungeert als de primaire voorspeller) gaat in dialoog met vier "parrot"-agenten, die elk een specifiek kritisch perspectief aannemen: Socratisch (het uitdagen van aannames), Cynisch (het weerleggen van argumenten), Eclectisch (het aanbieden van alternatieve interpretaties) en Aristotelisch (het evalueren van de logische kracht). Alex kan maximaal drie rondes van dialoog voeren voordat het antwoord wordt gefinaliseerd. Dit vereist tussen de drie en zeven model-aanroepen.

De experimenten maakten gebruik van OpenAI's GPT-5-mini model met 2-shot prompting (met behulp van BM25 voor de retrieval van vergelijkbare voorbeelden). De studie analyseerde niet alleen nauwkeurigheid (F1-scores), maar ook de aard van de onenigheid tussen frameworks en de kwaliteit van de rechtvaardigingen.

Belangrijkste Bijdragen

• Nieuwe Frameworks: Het artikel introduceert twee juridisch geïnspireerde multi-agent frameworks: het 3-Ply model, dat adversariële rechtszaalrollen simuleert, en het Parrots model, dat gebruikmaakt van gestructureerde kritische dialoog op basis van argumentatietheorie.
• Empirische Evaluatie: Een uitgebreide evaluatie van deze frameworks tegenover een standaard baseline en een generieke MAD-setup over diverse juridische en logische redeneerdatasets.
• Kwalitatieve Analyse: Een gedetailleerde inspectie van hoe multi-agent systemen omgaan met ambiguïteit, specif met name in gevallen die vereisen dat een letterlijke versus een pragmatische interpretatie wordt verzoend.

Resultaten

• Prestaties: De multi-agent frameworks bereikten geen significant hogere algemene F1-scores vergeleken met de monolithische baseline. De gemiddelde prestatieverschillen over de datasets heen waren minimaal (binnen 1,5 punt).
• Divergente Redenering: Ondanks vergelijkbare geaggregeerde scores vertoonden de frameworks significant verschillende beslissingspatronen (McNemar test, p < 0,001).
• Complementaire Sterkten: Multi-agent frameworks losten succesvol een subset van gevallen op die de baseline niet kon adresseren (variërend van 42,6% tot 51,9% van de onenigheden), en vice versa. Opvallend genoeg losten de multi-agent frameworks in de Privacy-dataset veel gevallen op die de baseline miste, terwijl de baseline geen enkele casus oploste die de multi-agent frameworks misten.
• Kwalitatieve Superioriteit: In gevallen met ambigue clausules (bijv. de interpretatie van "geolocatiegegevens" om wifi-gegevens te omvatten), toonden de 3-Ply en Parrots frameworks een superieur vermogen om genuanceerde, juridisch onderbouwde argumenten te formuleren. Ze slaagden erin om een balans te vinden tussen letterlijke en pragmatische interpretaties, terwijl de baseline vaak faalde door een gebrek aan expliciete vermelding.
• Resource Kosten: Multi-agent benaderingen vereisen aanzienlijk meer model-aanroepen (3–9 aanroepen) vergeleken met de baseline (1 aanroep), zonder dat er een duidelijke correlatie is tussen de hoeveelheid deliberatierondes en verbeterde F1-scores.

Significantie en Claims
De auteurs positioneren multi-agent systemen als een veelbelovende richting voor AI in het juridische domein, niet noodzakelijkerwijs voor winst in pure nauwkeurigheid, maar voor hun vermogen om onderscheidende en complementaire redeneringen te produceren. Het artikel stelt dat:

1. Perspectiefdiversiteit: Multi-agent benaderingen zijn beter geschikt voor taken die kritisch denken vanuit meerdere perspectieven vereisen, met name bij het oplossen van ambigue juridische clausules waar letterlijke en pragmatische interpretaties tegen elkaar moeten worden afgewogen.
2. Robuustheid: Door concurrerende standpunten expliciet te modelleren, kunnen deze systemen vormen van redenering vastleggen die voor monolithische modellen ontoegankelijk zijn, wat potentieel "tunnelvisie" vermindert.
3. Kwaliteit van Rechtvaardiging: De outputs van multi-agent systemen bieden rijkere rechtvaardigingen, wat een effectievere hybride mens-AI samenwerking bij geschilbeslechting kan faciliteren.
4. Beperkingen: De studie erkent dat hallucinaties een structurele beperking blijven en dat de verhoogde computationele kosten momenteel niet vertalen naar een hogere algehele prestatie. De auteurs suggereren dat toekomstig werk neuro-symbolische benaderingen moet verkennen om formele argumentatiemethoden te integreren en te onderzoeken hoe sycophantisme (vleierij/bevestigingsdrang) in agentgroepen kan worden gemitigeerd.

Het artikel concludeert dat hoewel multi-agent deliberatie niet universeel beter presteert dan single modellen in termen van nauwkeurigheid, het een waardevol mechanisme biedt voor het verkennen van alternatieve conclusies en het omgaan met de inherente complexiteit van juridische argumentatie.