Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

Sintesi Tecnica: Il Re-Ranking attraverso una Lente di Attribuzione per la Qualità delle Citazioni nel QA Legale

Problema
I sistemi di generazione aumentata dal recupero (RAG) per il question answering (QA) legale si affidano tipicamente alla similarità semantica per recuperare i passaggi, assumendo che i documenti con il ranking più alto siano i più utili affinché il modello linguistico (LM) possa citarli. Tuttavia, questa assunzione fallisce in domini specializzati come la giurisprudenza della Corte Europea dei Diritti dell'Uomo (CEDU). Nel benchmark AQuAECHR, la similarità semantica tra una query e i passaggi recuperati mostra una correlazione effettivamente nulla con i punteggi di attribuzione basati su perturbazione, che misurano l'effettiva influenza causale di un passaggio sulla risposta generata. Di conseguenza, i retriever standard spesso presentano precedenti topicamente correlati ma dottrinalmente irrilevanti, causando l'ignoranza da parte del generatore delle prove con alto ranking o la "post-razionalizzazione" delle affermazioni utilizzando la memoria parametrica invece del contesto fornito. Inoltre, il ranking basato sulla similarità semantica performa peggio della selezione casuale nel far emergere i paragrafi di citazione "gold" all'interno del pool di candidati.

Metodologia
Gli autori propongono una pipeline che riutilizza i metodi di attribuzione basati sulla perturbazione come segnale di addestramento per il re-ranking dei passaggi, piuttosto che utilizzarli esclusivamente per la spiegazione post-hoc. L'approccio consiste in tre fasi:

1. Scoring di Attribuzione: Per ogni domanda, i primi 10 passaggi vengono recuperati utilizzando un bi-encoder denso GTR-T5-XL. Un modello linguistico (Mistral-7B o Llama-3-8B) genera una risposta, e viene applicato C-LIME (un metodo di attribuzione lineare basato sulla perturbazione) per calcolare punteggi continui per tutti i passaggi. Questi punteggi quantificano quanto cambia l'output generato quando un passaggio specifico viene rimosso, distinguendo i passaggi su cui il modello si affida da quelli che ignora.
2. Addestramento del Cross-Encoder: Un cross-encoder leggero (ms-marco-MiniLM-L-6-v2) viene addestrato per predire questi punteggi continui di C-LIME partendo da coppie domanda-passaggio. Il modello è addestrato utilizzando la perdita dell'errore quadratico medio rispetto ai target di attribuzione. Questo processo è ripetuto per ogni modello linguistico e tramite validazione incrociata a cinque pieghe, producendo dieci re-ranker distinti.
3. Re-Ranking e Generazione: Durante l'inferenza, il retriever recupera i primi 50 passaggi. Il cross-encoder addestrato ricalcola il punteggio di questi candidati, e i primi 10 vengono passati al modello linguistico per la generazione della risposta. Questo passaggio aggiunge una latenza minima (<1% del tempo totale) e non richiede chiamate aggiuntive al LLM.

Contributi Chiave

1. L'Attribuzione come Segnale di Addestramento: Il lavoro transita dall'uso dell'attribuzione basata su perturbazione come strumento di spiegazione post-hoc a segnale di addestramento per il re-ranking dei passaggi. Ciò si traduce in un miglioramento della fedeltà delle citazioni e dell'allineamento con le risposte "gold" degli esperti.
2. Architettura vs Segnale di Addestramento: Gli autori dimostrano che i guadagni di performance derivano specificamente dall'addestramento sugli punteggi di attribuzione, non semplicemente dall'architettura del cross-encoder. Un cross-encoder pre-addestrato senza l'addestramento C-LIME cattura meno della metà dei guadagni di citazione ottenuti dal modello addestrato con l'attribuzione.
3. Convergenza tra Modelli: Due re-ranker addestrati indipendentamente su diversi modelli linguari (Mistral e Llama) convergono verso un alto accordo (correlazione di Spearman di 0,858) nonostante i loro punteggi di attribuzione grezzi concordino solo allo 0,480. Ciò indica che il cross-encoder riduce il rumore specifico del modello e apprende un segnale di rilevanza condiviso che si trasferisce tra i modelli, sebbene il re-ranking dello stesso modello rimanga più efficace.

Risultati
Valutato sul benchmark AQuAECHR (1.116 domande), il re-ranker addestrato con C-LIME supera costantemente il baseline e un re-ranker solo pre-addestrato in tutti i sei parametri:

• Fedeltà della Citazione: Migliorata di +5,02 punti percentuali (pp) per Mistral e +2,70 pp per Llama.
• Similarità della Citazione basata su NLI: Migliorata di +6,67 pp (Mistral) e +5,72 pp (Llama).
• Recupero delle Citazioni Gold: Sotto il ranking di similarità standard, i paragrafi gold avevano un rango medio di 37,4 su 50. Il re-ranking ha spostato questo valore a 11,1 (Mistral) e 12,0 (Llama).
• Correttezza della Risposta: Metriche come ROUGE-L, BERTScore e Claim Recall hanno visto cambiamenti trascurabili (<0,5 pp), indicando che il re-ranker migliora la qualità della citazione senza alterare il contenuto centrale della risposta.
• Trasferimento tra Modelli: I re-ranker addestrati su un modello e applicati all'altro hanno mantenuto il 43–51% dei guadagni di citazione dello stesso modello, confermando l'esistenza di un segnale di rilevanza trasferibile.

Significatività e Rivendicazioni
Il paper sostiene che il divario tra la rilevanza del retriever e la citabilità del generatore può essere colmato addestrando sui segnali comportamentali dell'influenza dei passaggi (attribuzione) piuttosto che sulla rilevanza superficiale o su razionali auto-riportati. Gli autori sottolineano che una singola esecuzione offline dell'attribuzione può generare dati di addestramento per un re-ranker che migliora la qualità della citazione al momento dell'inferenza senza costi aggiuntivi.

Tuttalavia, gli autori rimangono modesti riguardo alle implicazioni più ampie. Notano che la loro valutazione si basa su metriche automatiche basate su NLI e che è necessaria una valutazione di esperti legali per validare se questi miglioramenti si traducano in guadagni significativi per i professionisti. Riconoscono il rischio che il re-ranking basato sul comportamento del generatore possa rafforzare i bias esistenti del modello piuttosto che promuovere passaggi oggettivamente rilevanti, sebbene il risultato della convergenza tra modelli suggerisca l'esistenza di un segnale condiviso. Il lavoro è presentato come una prova di concetto per il paradigma "dall'attribuzione al re-ranking" all'interno del dominio CEDU, lasciando come questione aperta la generalizzabilità futura a modelli più grandi e altre giurisdizioni.