Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

Résumé technique : Le re-classement par le prisme de l'attribution pour la qualité des citations en QA juridique

Énoncé du problème
Les systèmes de génération augmentée par récupération (RAG) pour le questionnement (QA) juridique reposent généralement sur la similitude sémantique pour extraire des passages, supposant que les documents les mieux classés sont les plus utiles pour le modèle de langage (LM) afin de citer. Cependant, cette supposition échoue dans des domaines spécialisés comme la jurisprudence de la Cour européenne des droits de l'homme (CEDH). Sur le benchmark AQuAECHR, la similitude sémantique entre une requête et les passages extraits ne montre pratiquement aucune corrélation avec les scores d'attribution basés sur la perturbation, qui mesurent l'influence causale réelle d'un passage sur la réponse générée. Par conséquent, les récupérateurs standards font souvent remonter des précédents topiquement liés mais doctrinalement non pertinents, ceant le générateur à ignorer les preuves de haut rang ou à pratiquer une « post-rationalisation » de revendications en utilisant sa mémoire paramétrique plutôt que le contexte fourni. De plus, le classement basé sur la similitude sémantique est moins performant qu'une sélection aléatoire pour faire remonter les paragraphes de citations « d'or » au sein du pool de candidats.

Méthodologie
Les auteurs proposent un pipeline qui détourne les méthodes d'attribution basées sur la perturbation pour les utiliser comme signal d'entraînement pour le re-classement de passages, plutôt que de les utiliser uniquement pour l'explication post-hoc. L'approche se compose de trois étapes :

1. Score d'attribution : Pour chaque question, les 10 meilleurs passages sont extraits à l'aide d'un bi-encodeur dense GTR-T5-XL. Un modèle de langage (Mistral-7B ou Llama-3-8B) génère une réponse, et C-LIME (une méthode d'attribution basée sur la perturbation linéaire) est appliquée pour calculer des scores continus pour tous les passages. Ces scores quantifient à quel point la sortie générée change lorsqu'un passage spécifique est supprimé, distinguant les passages sur lesquels le modèle s'appuie de ceux qu'il ignore.
2. Entraînement du Cross-Encoder : Un cross-encoder léger (ms-marco-MiniLM-L-6-v2) est entraîné pour prédire ces scores continus C-LIME à partir de paires question-passage. Le modèle est entraîné en utilisant une perte d'erreur quadratique moyenne par rapport aux cibles d'attribution. Ce processus est répété pour chaque modèle de langage et via une validation croisée à cinq plis, résultant en dix re-classeurs distincts.
3. Re-classement et Génération : Lors de l'inférence, le récupérateur extrait les 50 meilleurs passages. Le cross-encoder entraîné re-classe ces candidats, et les 10 meilleurs sont transmis au modèle de langage pour la génération de la réponse. Cette étape ajoute une latence minimale (<1 % du temps total) et ne nécessite aucun appel supplémentaire au LLM.

Contributions clés

1. L'attribution comme signal d'entraînement : Ce travail fait passer l'attribution basée sur la perturbation d'un outil d'explication post-hoc à un signal d'entraînement pour le re-classement de passages. Cela améliore la fidélité des citations et l'alignement avec les réponses d'experts de référence.
2. Architecture vs Signal d'entraînement : Les auteurs démontrent que les gains de performance proviennent spécifiquement de l'entraînement sur les scores d'attribution, et non simplement de l'architecture du cross-encoder. Un cross-encoder pré-entraîné sans entraînement C-LIME capture moins de la moitié des gains de citation obtenus par le modèle entraîné par attribution.
3. Convergence inter-modèles : Deux re-classeurs entraînés indépendamment sur des modèles de langage différents (Mistral et Llama) convergent vers un haut degré d'accord (corrélation de Spearman de 0,858) malgré des scores d'attribution bruts ne s'accordant qu'à 0,480. Cela indique que le cross-encoder réduit le bruit spécifique au modèle et apprend un signal de pertinence partagé qui se transfère d'un modèle à l'autre, bien que le re-classement sur le même modèle reste plus efficace.

Résultats
Évalué sur le benchmark AQuAECHR (1 116 questions), le re-classeur entraîné par C-LIME surpasse systématiquement la ligne de base et un re-classeur uniquement pré-entraîné sur les six métriques :

• Fidélité de la citation : Amélioration de +5,02 points de pourcentage (pp) pour Mistral et +2,70 pp pour Llama.
• Similitude de citation basée sur la NLI : Amélioration de +6,67 pp (Mistral) et +5,72 pp (Llama).
• Récupération de la citation d'or : Sous un classement de similitude standard, les paragraphes d'or avaient un rang moyen de 37,4 sur 50. Le re-classement a déplacé ce rang à 11,1 (Mistral) et 12,0 (Llama).
• Exactitude de la réponse : Des métriques telles que ROUGE-L, BERTScore et le rappel de revendication (Claim Recall) ont connu des changements négligeables (<0,5 pp), indiquant que le re-classeur améliore la qualité de la citation sans altérer le contenu de la réponse elle-même.
• Transfert inter-modèles : Les re-classeurs entraînés sur un modèle et appliqués à l'autre ont conservé 43 à 51 % des gains de citation du même modèle, confirmant l'existence d'un signal de pertinence transférable.

Signification et Revendications
L'article affirme que l'écart entre la pertinence du récupérateur et la citabilité par le générateur peut être réduit en s'entraînant sur des mesures comportementales de l'influence d'un passage (attribution) plutôt que sur la pertinence de surface ou des rationales auto-déclarées. Les auteurs soulignent qu'une seule exécution d'attribution hors ligne peut générer des données d'entraînement pour un re-classeur qui améliore la qualité des citations lors de l'inférence sans coût supplémentaire.

Cependant, les auteurs restent modestes quant aux implications plus larges. Ils notent que leur évaluation repose sur des métriques automatiques basées sur la NLI et qu'une évaluation par des experts juridiques est nécessaire pour valider si ces améliorations se traduisent par des gains significatifs pour les praticiens. Ils reconnaissent le risque qu'un re-classement basé sur le comportement du générateur puisse renforcer les biais existants du modèle plutôt que de promouvoir des passages objectivement pertinents, bien que la découverte de la convergence inter-modèles suggère l'existence d'un signal partagé. Ce travail est présenté comme une preuve de concept pour le paradigme « de l'attribution au re-classement » au sein du domaine de la CEDH, la généralisabilité future à des modèles plus larges et à d'autres juridictions restant une question ouverte.