Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

Technische Samenvatting: Herwaardering door een Attributie-lens voor de Kwaliteit van Citaten in Juridische QA

Probleemstelling
Retrieval-augmented generation (RAG)-systemen voor juridische vraag en antwoord (QA) vertrouwen doorgaans op semantische gelijkenis om passages te extraheren, uitgaande van de veronderstelling dat de hoogst gerangschikte documenten het meest nuttig zijn voor het taalmodel (LM) om te citeren. Deze aanname faalt echter in gespecialiseerde domeinen zoals de rechtspraak van het Europees Hof voor de Rechten van de Mens (EHRM). Op de AQuAECHR-benchmark vertoont de semantische gelijkenis tussen een query en de opgehaalde passages effectief geen correlatie met perturbatie-gebaseerde attributiescores, die de werkelijke causale invloed van een passage op het gegenereerde antwoord meten. Als gevolg hiervan halen standaard retrievers vaak topisch verwante maar doctrinaal irrelevante precedenten naar boven, waardoor de generator de hoogst gerangschikte bewijslast negeert of claims "post-rationaliseert" met behulp van parametrische geheugen in plaats van de verstrekte context. Bov�iment is semantische gelijkenis-gebaseerde rangschikking minder effectief dan willekeurige selectie bij het naar boven halen van "gouden" citatieparagrafen binnen de kandidaat-pool.

Methodologie
De auteurs stellen een pijplijn voor die perturbatie-gebaseerde attributiemethoden hergebruikt als een trainingssignaal voor passage-herwaardering (re-ranking), in plaats van ze uitsluitend te gebruiken voor post-hoc verklaringen. De aanpak bestaat uit drie stadia:

1. Attributiescore-bepaling: Voor elke vraag worden de top 10 passages opgehaald met behulp van een GTR-T5-XL dense bi-encoder. Een taalmodel (Mistral-7B of Llama-3-8B) genereert een antwoord, en C-LIME (een lineaire perturbatie-gebaseerde attributiemethode) wordt toegepast om continue scores voor alle passages te berekenen. Deze scores kwantificeren hoeveel de gegenereerde output verandert wanneer een specifieke passage wordt verwijderd, waardoor onderscheid wordt gemaakt tussen passages waar het model op vertrouwt en passages die het negeert.
2. Cross-Encoder Training: Een lichtgewicht cross-encoder (ms-marco-MiniLM-L-6-v2) wordt getraind om deze continue C-LIME-scores te voorspellen op basis van vraag-passage paren. Het model wordt getraind met behulp van mean squared error loss tegen de attributiedoelen. Dit proces wordt herhaald voor elk taalmodel en via vijf-voudige kruisvalidatie, wat resulteert in tien verschillende re-rankers.
3. Herwaardering en Generatie: Tijdens de inferentie haalt de retriever de top 50 passages op. De getrainde cross-encoder herwaardeert deze kandidaten, waarna de top 10 aan het taalmodel wordt doorgegeven voor antwoordgeneratie. Deze stap voegt minimale latentie toe (<1% van de totale tijd) en vereist geen extra LLM-aanroepen.

Belangrijkste Bijdragen

1. Attributie als Trainingssignaal: Dit werk transformeert perturbatie-gebaseerde attributie van een post-hoc verklaringstool naar een trainingssignaal voor passage-herwaardering. Dit resulteert in verbeterde citatiegetrouwheid en afstemming met gouden expertantwoorden.
2. Architectuur versus Trainingssignaal: De auteurs tonen aan dat de prestatiewinsten specifiek voortkomen uit het trainen op attributiescores, en niet louter uit de cross-encoder architectuur. Een voorgetrainde cross-encoder zonder C-LIME-training legt minder dan de helft van de citatie-winsten vast die het door attributie getrainde model behaalt.
3. Cross-Model Convergentie: Twee re-rankers die onafhankelijk van elkaar zijn getraind op verschillende taalmodellen (Mistral en Llama), convergeren naar een hoge overeenkomst (Spearman-correlatie van 0,858), ondanks dat hun ruwe attributiescores slechts een overeenkomst van 0,480 vertonen. Dit geeft aan dat de cross-encoder model-specifieke ruis vermindert en een gedeeld relevantiesignaal leert dat overdraagbaar is tussen modellen, hoewel herwaardering binnen hetzelfde model effectiever blijft.

Resultaten
Geëvalueerd op de AQuAECHR-benchmark (1.116 vragen), presteert de C-LIME-getrainde re-ranker consistent beter dan de baseline en een enkel voorgetrainde re-ranker over alle zes metrieken:

• Citatiegetrouwheid: Verbeterd met +5,02 procentpunten (pp) voor Mistral en +2,70 pp voor Llama.
• NLI-gebaseerde Citatiegelijkenis: Verbeterd met +6,67 pp (Mistral) en +5,72 pp (Llama).
• Gouden Citatie-extractie: Onder standaard gelijkenis-rangschikking hadden gouden paragrafen een gemiddelde rang van 37,4 van de 50. Herwaardering verschoof dit naar 11,1 (Mistral) en 12,0 (Llama).
• Antwoordcorrectheid: Metrieken zoals ROUGE-L, BERTScore en Claim Recall zagen verwaarloosbare veranderingen (<0,5 pp), wat aangeeft dat de re-ranker de kwaliteit van citaties verbetert zonder de kerninhoud van het antwoord te wijzigen.
• Cross-Model Transfer: Re-rankers getraind op één model en toegepast op het andere behielden 43–51% van dezelfde-model citatie-winsten, wat de aanwezigheid van een overdraagbaar relevantiesignaal bevestigt.

Betekenis en Claims
Het artikel beweert dat de kloof tussen retriever-relevantie en generator-citeerbaarheid kan worden verkleind door te trainen op gedragsmatige maten van passage-invloed (attributie) in plaats van op oppervlakkige relevantie of zelfgerapporteerde rationales. De auteurs benadrukken dat een enkele offline attributierun trainingsdata kan genereren voor een re-ranker die de kwaliteit van citaties tijdens de inferentie verbetert zonder extra kosten.

De auteurs blijven echter bescheiden over de bredere implicaties. Ze merken op dat hun evaluatie steunt op automatische NLI-gebaseerde metrieken en dat een beoordeling door juridische experts vereist is om te valideren of deze verbeteringen zich vertalen in betekenisvolle winst voor praktijkbeoefenaars. Ze erkennen het risico dat herwaardering op basis van generatorgedrag bestaande modelbiases kan versterken in plaats van objectief relevante passages te bevorderen, hoewel de bevinding over cross-model convergentie suggereert dat er een gedeeld signaal bestaat. Het werk wordt gepresenteerd als een proof-of-concept voor het "attributie-naar-herwaardering"-paradigma binnen het EHRM-domein, waarbij de generaliseerbaarheid naar grotere modellen en andere jurisdicties een openstaande vraag blijft.