When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval

Technische Samenvatting: Wanneer regels leren: Een zelf-evoluerende agent voor juridische casusretrieval

Probleemstelling
Juridische casusretrieval blijft een uitdagende taak vanwege de complexiteit van juridische taal, de lengte van documenten en de noodzaak voor precieze lexicale uitlijning tussen gebruikersqueries en relevante zaken. Hoewel dense retrieval-modellen gebaseerd op neurale embeddings aanzienlijk zijn geavanceerd, geven empirische studies op de Chinese juridische benchmark LeCaRD-v2 aan dat ze vaak onderpresteren vergeleken met traditionele lexicale matchingsmethoden. Specifiek presteert BM25 consequent beter dan representatieve dense retrieval-modellen (inclusclusief modellen die zijn gefinetuned op juridische data) over diverse recall-cutoffs. Dit suggereert dat in plaats van BM25 te vervangen, een veelbelovendere richting is om de prestaties ervan te verbeteren door de lexicale uitlijning van queries te verbeteren via rewriting. Echter, het ontwerpen van hoogwaardige, regelgestuurde query-rewriting strategieën vereist doorgaans aanzienlijke domeinexpertise, en naïeve regelgeneratie leidt vaak tot suboptimale resultaten.

Methodologie
De auteurs stellen een zelf-evolutieframework voor regelgestuurde query-rewriting voor dat opereert zonder gradiënt-gebaseerde parametertraining. Het systeem maakt gebruik van een LLM-gebaseerde agent die interageert met een geautomatiseerde evaluatieomgeving om iteratief een set rewriting-regels te verfijnen. Het framework functioneert als een closed-loop systeem waarbij adaptatie voortkomt uit interactie in plaats van modeloptimalisatie.

Het besluitvormingsproces van de agent omvat drie primaire acties:

1. Regelgeneratie: De agent creëert nieuwe query-rewriting regels door de huidige actieve regelset te analyseren, evenals eerder geëlimineerde regels en geaccumuleerde experimentele scores. De agent kan bestaande regels modificeren om effectieve gedragingen te versterken of geheel nieuwe strategieën voorstellen, waarbij wordt gewaarborgd dat nieuwe regels niet degenereren naar eerder verworpen patronen.
2. Experimentplanning: De agent selecteert subsets van actieve regels om combinaties te vormen voor testen. De agent maakt gebruik van historische experimentele resultaten om veelbelovende combinaties te identificeren (bijvoorbeeld die met complementaire effecten) terwijl redundante evaluaties van reeds geteste sets worden vermeden.
3. Regeleliminatie: Om te voorkomen dat de strategieruimte onbeheersbaar wordt, identificeert de agent ineffectieve regels en verwijdert deze. Dit proces maakt gebruik van een tweestaps consensusmechanisme om stochastische fouten te mitigeren: de agent bepaalt eerst of een regel verwijderd moet worden op basis van meerdere onafhankelijke proeven, en indien er een consensus wordt bereikt, selecteert de agent een specifieke regel voor eliminatie op basis van een stemdrempel.

De omgeving voert deze beslissingen uit door een bevroren externe LLM aan te roepen om queries te herschrijven volgens de geselecteerde regels, die vervolgens worden geëvalueerd met het BM25-algoritme op een ontwikkelset. De agent doorloopt dit proces (tot 500 stappen) om de regelset te verfijnen voordat deze wordt geëvalueerd op een onafhankelijke testset.

Belangrijkste Bijdragen

• Herwaardering van Baselines: Het werk toont aan dat BM25 een sterke baseline blijft voor juridische casusretrieval, waarbij het verschillende state-of-the-art dense retrieval-modellen op LeCaRD-v2 overtreft, en pleit voor het verbeteren van BM25 via query-rewriting in plaats van vervanging.
• Zelf-evolutieframework: De auteurs introduceren een nieuw, training-vrij framework waarbij een agent autonoom rewriting-regels optimaliseert door middel van generatie, experimentplanning en eliminatie. Deze aanpak biedt interpreteerbaarheid en controleerbaarheid, wat cruciaal is in de juridische sector.
• Gedragsanalyse: Het paper biedt een gedetailleerd onderzoek naar de mechanismen die zelf-evolutie drijven, waarbij de gedragsdynamiek van LLM-agents wordt gekarakteriseerd en intrinsieke factoren worden geïdentificeerd die hun vermogen tot zelfverbetering beïnvloeden.

Experimentele Resultaten
Het framework werd geëvalueerd op de LeCaRD-v2 benchmark. Belangrijke bevindingen zijn onder meer:

• Prestaties vs. Baselines: Wanneer aangedreven door een hoogwaardige kern-LLM (specifiek gpt-oss-120b), presteerde het zelf-evolutieframework consistent beter dan niet-evolutionaire baselines, inclusief menselijk ontworpen regels en een greedy regelselectiestrategie. Het behaalde een gemiddelde recall-verbetering van +0,61% ten opzichte van de greedy strategie en +1,03% ten opzichte van handmatig ontworpen regels.
• Modelafhankelijkheid: De effectiviteit van het framework is sterk afhankelijk van de capaciteiten van de kern-LLM. Kleinere modellen (bijv. Qwen3-4B-Thinking) slaagden er niet in om consequent de greedy strategieën te overtreffen, waarbij ze vaak over-optimaliseerden voor hogere recall-cutoffs (bijv. Recall@500) terwijl ze onderpresteerden bij lagere cutoffs.
• Mechanismen van Succes: Gedetailleerde analyse onthulde dat het succes van zelf-evolutie minder afhangt van de progressieve generatie van steeds effectievere individuele regels (wiens kwaliteit fluctueerde) en meer van het vermogen van de agent om:
  • Experimenten te plannen: Effectief gebruik te maken van historische resultaten om hoogwaardige "anker"-combinaties te selecteren voor nieuwe experimenten.
  • Regels te elimineren: Ineffectieve regels accuraat te identificeren en te verwijderen terwijl effectieve regels behouden blijven, een taak waarbij grotere modellen een betere controle over de omvang van de actieve regelset demonstreerden.

Betekenis en Claims
Het paper claimt dat zelf-evoluerende agents een levensvatbaar pad bieden voor de interpreteerbare en adaptieve verbetering van juridische casusretrieval-systemen zonder de noodzaak van uitgebreide trainingsdata of model-finetuning. De auteurs benadrukken dat het succes van het framework afhangt van de redeneercapaciteiten van de kern-LLM, speciferlijk het vermogen om experimenten te plannen op basis van historische data en om conservatieve, op bewijs gebaseerde beslissingen te nemen met betrekking tot regeleliminatie.

Het werk erkent beperkingen en merkt op dat de aanpak zwaar leunt op het vermogen van de kern-LLM om complexe instructies op te volgen en coherente tekst te genereren in de doeltaal (Chinees). Modellen die deze specifieke capaciteiten missen, slaagden er niet in om betekenisvolle regels te genereren of hielden zich slecht aan de formaatbeperkingen. Verder suggereren de auteurs dat voor toepassing in verschillende juridische jurisdicties passende zaadregels (seed rules) moeten worden verstrekt tijdens de initialisatie om rekening te houden met variaties in juridische terminologie en documentstructuur. De studie claimt niet de dense retrieval volledig te vervangen, maar positioneert zelf-evoluerende regelgestuurde rewriting als een robuuste, complementaire strategie om bestaande lexicale retrieval-systemen te verbeteren.