L-MARS: Legal Multi-Agent Workflow with Orchestrated Reasoning and Agentic Search
Dit paper introduceert L-MARS, een multi-agent framework voor juridische vraagbeantwoording dat door middel van georkestreerde redenering en actieve webzoekopdrachten tot 96% nauwkeurigheid bereikt op de nieuwe LegalSearchQA-benchmark, waarmee wordt aangetoond dat actuele feitelijke kennis cruciaal is voor juridische taken die niet in statische corpora of trainingsdata zijn opgenomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een juridisch expert nodig hebt, maar deze expert heeft een heel groot probleem: hij heeft een geheugen dat stopt in 2024. Hij weet alles over oude wetten, maar als er morgen een nieuwe belastingregel wordt aangepast of een nieuw immigratiestelsel komt, denkt hij dat die oude regels nog steeds gelden. Als je hem dan vraagt om advies, geeft hij je met heel veel zelfvertrouwen een antwoord dat volledig verouderd is. In de juridische wereld kan zo'n fout je geld kosten of je zelfs in de gevangenis brengen.
De auteurs van dit paper, L-MARS, hebben een slimme oplossing bedacht om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:
1. Het Probleem: De "Verouderde Expert"
Stel je een advocaat voor die zijn kennisboeken heeft dichtgeklapt en alleen nog maar op zijn eigen herinnering vertrouwt. Als je hem vraagt: "Mag ik nu als F1-student in de VS werken?", en hij denkt dat de regels van 2023 nog gelden, dan geeft hij je misschien een "nee". Maar als de regels in 2025 zijn veranderd, is dat antwoord fout.
Wetenschappers hebben geprobeerd dit op te lossen door de advocaat te laten "redeneren" (Chain-of-Thought). Ze zeiden: "Denk stap voor stap na!" Maar dat werkte juist slechter! Omdat de advocaat op zijn oude, foutieve geheugen redeneerde, werd hij alleen maar zekerder van zijn onzin. Het was alsof je iemand vraagt om een route te plannen naar een stad die al tien jaar niet meer bestaat; hoe meer hij nadenkt, hoe beter hij de verkeerde route kan uitleggen.
2. De Oplossing: L-MARS (De Slimme Rechercheur)
L-MARS is geen enkele advocaat die alles uit zijn hoofd weet. Het is een team van gespecialiseerde rechercheurs die samenwerken.
Stel je voor dat je een detective-bureau bent met drie specifieke rollen:
- De Vragende Agent (De Detective): Deze luistert naar je vraag en beseft: "Hé, dit is een vraag over iets dat recent is veranderd. Ik kan dit niet uit mijn hoofd weten. Ik moet gaan zoeken." Hij breekt je grote vraag op in kleine, specifieke zoekopdrachten.
- De Zoekende Agent (De Agent op het Veld): Deze gaat het internet af. Hij zoekt niet zomaar, maar gebruikt slimme tools om de allerlaatste nieuwsberichten, officiële overheidswebsites en recente uitspraken van rechters te vinden. Hij pakt de volledige teksten, niet alleen de korte samenvattingen.
- De Rechter-Agent (De Kwaliteitscontroleur): Dit is de belangrijkste. Voordat het antwoord wordt gegeven, kijkt deze agent kritisch: "Is dit bewijs wel actueel? Komt het van een betrouwbare bron? Tegenstrijdt dit iets anders?" Als het antwoord niet stevig genoeg is, stuurt hij de zoekende agent terug om beter te zoeken. Pas als alles klopt, mag het antwoord worden gegeven.
3. Twee Manieren van Werken
Het systeem werkt op twee manieren, afhankelijk van hoe moeilijk de vraag is:
- De Snelle Manier (Simple Mode): Voor vragen waar je snel een antwoord op wilt. De agent zoekt één keer, controleert het, en geeft het antwoord.
- De Grondige Manier (Multi-Turn Mode): Voor complexe zaken. Het team blijft in een kring draaien: zoeken, controleren, twijfelen, opnieuw zoeken, tot ze 100% zeker zijn.
4. Wat hebben ze ontdekt? (De Test)
De auteurs hebben een nieuwe test gemaakt genaamd LegalSearchQA. Dit zijn 50 vragen over actuele wetten (zoals belastingen van 2025 of nieuwe immigratieregels) die in de oude boeken van de AI niet staan.
- Zonder hulp (Alleen geheugen): De AI had het in 58% van de gevallen goed.
- Met "redeneren" (Alleen denken): De AI werd er erger op (slechts 30% goed). Ze dachten te hard na over de verkeerde feiten.
- Met L-MARS (Zoeken + Team): De AI had het in 96% van de gevallen goed!
De grote les: Als je feiten nodig hebt die veranderen (zoals wetten, prijzen of nieuws), is het niet belangrijk om slim te denken. Het is belangrijk om goed te zoeken. Als je zoekt, wordt de AI een super-expert.
5. Wanneer werkt het niet?
Ze hebben de AI ook getest op een oude "Bar Exam" (een juridisch examen) met hypothetische situaties die niet veranderen (bijvoorbeeld: "Als A een auto rijdt en B stopt, wie is er schuldig?").
Hier gaf het zoeken niets extra's. De AI kon het al uit zijn hoofd. Het zoeken bracht zelfs alleen maar ruis mee.
Conclusie in één zin
Als je een vraag hebt over de huidige wereld, moet je een AI niet vragen om na te denken, maar om te zoeken. L-MARS is het team dat die zoektocht doet, controleert of de informatie klopt, en je dan een betrouwbaar antwoord geeft, in plaats van een zelfverzekerd, maar verouderd, verhaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.