Technische Samenvatting: GAVEL – Agent ontmoet Checklist voor het evalueren van LLM's op Long-Context Juridische Samenvattingen

Probleemstelling

Hoewel moderne Large Language Models (LLM's) nu contextvensters ondersteunen tot 1 miljoen tokens, blijft hun effectiviteit bij complexe, multi-document long-context taken onduidelijk. Specifiek juridische casussamenvatting vormt een unieke uitdaging: een enkele juridische procedure bestaat vaak uit tientallen documenten (bijv. klachten, moties, beslissingen) die samen meer dan 100.000 tokens beslaan, en soms zelfs meer dan 1 miljoen. In tegenstelling tot nieuws- of roman-samenvattingen, waarbij cruciale informatie vaak sequentieel of nabij het begin aanwezig is, vereist juridische samenvatting het integreren van onderling verbonden argumenten over meerdere documenten heen, terwijl de chronologie, de relaties tussen partijen en uitspraken, en nauwkeurige kruisverwijzingen behouden blijven. Huidige evaluatiemethoden slagen er vaak niet in om de nuances van feitelijke dekking en de betrouwbaarheid van automatische evaluatoren in dit domein te vatten.

Methodologie

De auteurs introduceren GAVEL, een uitgebreid evaluatiekader bestaande uit twee complementaire componenten: GAVEL-REF (referentie-gebaseerd) en GAVEL-AGENT (referentie-vrij).

1. GAVEL-REF: Referentie-gebaseerde Evaluatie

GAVEL-REF evalueert model-samenvattingen tegen expert-geschreven referenties met behulp van drie onderscheidende metrieken:

• Checklist Evaluatie: Maakt gebruik van 26 door experts ontworpen checklist-items (bijv. indieningsdatum, partijen, gezochte rechtsmiddelen). In plaats van eenvoudige string-matching, extraheert het framework waarden en ondersteunende tekst als lijsten, wat gedeeltelijke credit mogelijk maakt en het afhandelen van multi-waarde items faciliteert. Het classificeert relaties (gelijk, bevatting, verschillend) om precisie, recall en F1-scores te berekenen.
• Residual-Fact Evaluatie: Erkenning dat 78% van de menselijke samenvattingen belangrijke feiten bevat die niet door de vooraf gedefinieerde checklist worden gedekt (gemiddeld 6,8 feiten per samenvatting), extraheert deze component "residuele" atomaire feiten uit tekstfragmenten die niet door checklist-waarden worden gedekt. Deze worden vergeleken tussen de model- en menselijke samenvattingen om over het hoofd geziene informatie te vangen.
• Schrijfstijl Evaluatie: Een LLM-judge beoordeelt de gelijkenis tussen de model-samenvatting en de menselijke referentie over vijf dimensies (Leesbaarheid/Jargon, Narratieve Orde, Zinstructuur, Formattering, Citatiestijl) op een 1–5 Likert-schaal.

Deze componenten worden geaggregeerd in een enkele score ($S_{GAVEL-REF}$), gewogen door inhoudelijke dekking ($\alpha=0,9$) en het relatieve belang van residuele feiten ($r$).

2. GAVEL-AGENT: Referentie-vrije Agent Scaffold

Om de hoge kosten van het verzamelen van expert-samenvattingen aan te pakken, is GAVEL-AGENT een referentie-vrije agent ontworpen om checklist-items direct uit brondocumenten te extraheren.

• Tool-gebaseerde Navigatie: De agent is uitgerust met zes tools (list_documents, read_document, search_document_regex, get_checklist, append_checklist, update_checklist) om strategisch door lange documentcollecties te navigeren, waarbij het menselijk expertgedrag nabootst (scannen, zoeken, bijwerken).
• Contextbeheer: Om lange contexten (256K+ tokens) en talrijke tool-calls aan te kunnen, verfrist de agent zijn context na elke actie, waarbij alleen de 5 meest recente volledige responsen worden behouden en de rest van de historie wordt gecomprimeerd.
• Configuraties: De auteurs testten single-agent, multi-agent (gegroepeerd) en 26-agent (één per item) configuraties om de optimale extractiestrategie te bepalen.

3. Meta-Evaluatie

Om de betrouwbaarheid van GAVEL te valideren, voerden de auteurs een systematische meta-evaluatie uit met 160 uur aan menselijke annotatie. Dit omvatte 5.442 checklist item-niveau annotaties, 450 vergelijkingsoordelen, 281 residuele fact-extracties en 375 stijl-ratings. Deze dataset werd gebruikt om de prestaties van diverse LLM's te benchmarken die optreden als evaluatoren binnen het GAVEL-REF framework.

Belangrijkste Bijdragen

1. GAVEL Framework: Een nieuw evaluatiesysteem dat checklist, residuele-fact en stijl-evaluaties combineert voor long-context juridische samenvatting, inclusief een referentie-vrije agent scaffold voor directe document-gebaseerde extractie.
2. Grootschalige Meta-Evaluatie: Een dataset van 160 uur menselijke annotaties die aantoont dat GAVEL-REF een nauwkeurigheid kan bereiken die vergelijkbaar is met state-of-the-art modellen (zoals GPT-5) met behulp van sterke open-source modellen (bijv. GPT-oss, Qwen3), wat de haalbaarheid van kosteneffectieve automatische evaluatie bewijst.
3. Uitgebreide Benchmarking: Een evaluatie van 12 frontier LLM's (proprietary en open-source) op 100 recente (2025) juridische zaken uit 18 diverse vakgebieden en vijf lengteschalen (32K tot 512K tokens).
4. Demonstratie van Generaliseerbaarheid: De succesvolle adaptatie van GAVEL-AGENT naar het medische domein (Cochrane reviews), wat de overdraagbaarheid buiten het recht laat zien.

Resultaten

LLM Prestaties op Juridische Samenvatting

• Omissie vs. Hallucinatie: Huidige modellen zijn aanzienlijk gevoeliger voor het weglaten van cruciale informatie dan voor het hallucineren van onjuiste inhoud. Precisie presteert consistent beter dan recall over alle modellen heen.
• Checklist Prestaties: Zelfs het best presterende model, Gemini 2.5 Pro, behaalde slechts 59,1 F1 op de checklist-evaluatie (66,6 precisie, 55,3 recall). Modellen presteerden goed op eenvoudige, single-value items (bijv. indieningsdatum) maar worstelden met zeldzame en complexe multi-value items (bijv. schikkingen, gerelateerde zaken).
• Lengtegevoeligheid: Prestaties verslechteren naarmate de casus langer wordt. De checklist F1 van Gemini 2.5 Pro daalde met ongeveer 10% wanneer men overging van 32K-token naar 512K-token zaken. Open-source modellen degradeerden scherper bij langere zaken vanwege contextlimieten en afkorting (truncation).
• Residuele Feiten: GPT-4.1 en GPT-5 waren de enige modellen die meer residuele feiten vastlegden dan menselijke samenvattingen (residual ratio > 11%), hoewel GPT-5 verbale, checklist-stijl samenvattingen produceerde in plaats van narratieve.

GAVEL-AGENT Efficiëntie

• Token Reductie: GAVEL-AGENT bereikte concurrerende prestaties terwijl het 36–54% minder tokens gebruikte dan end-to-end en chunk-by-chunk extractiemethoden in het juridische domein.
• Medisch Domein: In het medische domein behaalde GAVEL-AGENT de beste prestaties terwijl het minstens 77% minder tokens gebruikte dan baseline methoden.
• Agent Architectuur: Een configuratie met 26 individuele agents (één per checklist-item) presteerde beter dan een single agent die alle items gezamenlijk extraheert, wat suggereert dat item-niveau specialisatie helpt bij het navigeren door lange dossiers.

Betekenis en Claims

Het paper claimt dat GAVEL een robuuste, schaalbare en kosteneffectieve oplossing biedt voor het evalueren van long-context samenvattingen, waarmee het de beperkingen van eerder werk dat sterk leunde op handmatige verificatie of eenvoudige n-gram metrieken aanpakt. Door aan te tonen dat huidige LLM's primair falen door omissies in plaats van hallucinaties, benadrukt dit werk een specifiek gebied voor modelverbetering. Verder suggereert het succes van GAVEL-AGENT dat agent-gebaseerde scaffolds effectief dure menselijke referenties kunnen vervangen voor checklist-extractie, waardoor hoogwaardige evaluatie toegankelijk wordt voor domeinen waar expert-samenvattingen niet beschikbaar zijn. De auteurs benadrukken dat hun werk zich richt op evaluatie in plaats van het direct verbeteren van de samenvattingsmodellen zelf, en laten de ontwikkeling van modellen die conditioneren op geëxtraheerde checklists als toekomstig werk over.