Rule-Based Explanations for Retrieval-Augmented LLM Systems

1. Problématique

L'émergence des modèles de langage (LLM) couplés à la Génération Augmentée par Récupération (RAG) a permis d'enrichir les connaissances statiques des modèles avec des informations dynamiques récupérées à l'exécution. Cependant, cela complexifie considérablement la provenance des informations générées. Bien que des méthodes d'explication d'IA (XAI) existent, comme l'attribution de caractéristiques (feature attribution) ou les explications contrefactuelles, elles présentent des limites pour les systèmes RAG :

• L'attribution de caractéristiques n'est pas directement actionnable (elle ne permet pas facilement de corriger le système).
• Les explications contrefactuelles peuvent être nombreuses et submerger l'utilisateur.
• Il manque un cadre pour expliquer les sorties des systèmes RAG via des règles logiques claires reliant la présence ou l'absence de sources de données à un résultat spécifique.

Le papier vise à combler ce vide en proposant la première formulation d'explications basées sur des règles pour les systèmes RAG, permettant de déterminer quelles combinaisons de documents récupérés conduisent systématiquement à une sortie donnée (par exemple, une réponse incorrecte ou biaisée).

2. Méthodologie

Les auteurs proposent un cadre formel et des algorithmes efficaces pour extraire ces règles.

A. Formulation des Règles

Le cadre repose sur la définition de règles de type "Si-Alors" (If-Then) basées sur la présence ou l'absence de sources de données (features).

• Antécédent (Condition) : Défini par la rétention ou l'omission d'un sous-ensemble de sources $s'$ parmi l'ensemble des sources disponibles $s$.
• Conséquent (Résultat) : Défini par un prédicat de sortie $O$ (défini par l'utilisateur) qui vérifie si la sortie du modèle satisfait une condition (ex: "la réponse contient une désinformation", "la réponse est correcte").
• Deux variantes de règles :
  1. Règles de Rétention : Si l'ensemble $s'$ est retenu, alors le prédicat $O$ est toujours satisfait.
  2. Règles d'Omission : Si l'ensemble $s'$ est omis, alors le prédicat $O$ est toujours satisfait.
• Validité : Une règle est considérée comme exacte (100 % de confiance) si elle tient pour toutes les combinaisons possibles de sources qui respectent la condition de l'antécédent. La validité est définie récursivement : la validité d'une règle dépend de la validité de tous ses "ancêtres" (sur-ensembles pour la rétention, sous-ensembles pour l'omission).

B. Algorithmes d'Extraction (Rule Mining)

Pour explorer l'espace des combinaisons possibles (l'ensemble des parties de $s$, ou power set), qui croît exponentiellement ($2^{|s|}$), les auteurs proposent deux algorithmes inspirés de l'algorithme Apriori mais adaptés au contexte des modèles de langage :

1. Mono Rule Miner :

   • Explore l'espace de recherche (un treillis ou lattice) en largeur d'abord (BFS) de haut en bas.
   • Utilise la programmation dynamique pour mémoriser la validité des nœuds parents, évitant ainsi de recalculer la validité des ancêtres.
   • Implémente une terminaison précoce (pruning) : si un nœud (une combinaison de sources) est invalidé, tous ses descendants (sous-ensembles pour la rétention) sont immédiatement élagués car ils ne peuvent pas être valides.
   • Complexité spatiale optimisée à $O(\binom{|s|}{\lfloor |s|/2 \rfloor})$ en ne gardant en mémoire que deux niveaux du treillis.

2. Dual Rule Miner :

   • Permet d'extraire simultanément les règles de rétention et d'omission en un seul passage.
   • Utilise une représentation par masque pour interpréter chaque sous-ensemble de deux manières opposées (présence vs absence).
   • Bien qu'il effectue plus d'appels au modèle que le Mono dans certains cas, il évite la redondance de lancer deux passes séparées et gère le cache des réponses du modèle.

3. Contributions Clés

1. Première formulation de règles pour RAG : Introduction d'un cadre formel liant la présence/absence de sources documentaires à des conditions de sortie spécifiques pour les LLMs.
2. Algorithmes d'extraction optimisés : Développement de deux algorithmes (Mono et Dual) qui exploitent la propriété de monotonie (similaire à Apriori) pour élaguer efficacement l'espace de recherche, rendant l'extraction de règles exactes faisable pour des ensembles de sources de taille modérée (jusqu'à 10 documents).
3. Évaluation rigoureuse :
   • Étude de cas qualitative : Démonstration dans le domaine de la santé (Long COVID) pour identifier des documents sources causant des réponses médicales erronées.
   • Évaluation quantitative : Tests sur le jeu de données HotpotQA pour mesurer l'efficacité (réduction du nombre d'appels au LLM) et la robustesse face au bruit stochastique des LLMs commerciaux.

4. Résultats Expérimentaux

• Efficacité et Élagage :
  • Les algorithmes proposés réduisent considérablement le nombre d'appels au modèle par rapport à une approche naïve (qui testerait toutes les $2^{|s|}$ combinaisons).
  • Dans les scénarios réels (HotpotQA), le Mono Rule Miner peut élaguer jusqu'à 50 % des nœuds pour les règles de rétention et 70 % pour les règles d'omission.
  • Le Dual Rule Miner est plus efficace que l'exécution de deux passes Mono distinctes, évitant de réévaluer les mêmes nœuds.
• Scalabilité : L'approche est tractable pour $|s| \le 10$ (taille typique des résultats de recherche web), avec un temps d'exécution de quelques minutes. Au-delà, la complexité exponentielle devient un obstacle, bien que des stratégies de "diviser pour régner" soient proposées pour les grands ensembles.
• Robustesse :
  • Les règles extraites sont robustes malgré la stochasticité des LLMs (température 1.0). L'utilisation d'un vote majoritaire sur plusieurs échantillons permet d'obtenir des règles exactes fiables.
  • Le prédicat "LLM-as-a-judge" (utilisé pour valider la cohérence des réponses) atteint une précision de 98,89 % et un rappel de 100 % par rapport à une validation humaine experte.
• Cas d'usage (Red Teaming) : Une application à grande échelle a permis d'identifier des combinaisons spécifiques de 50 sources adverses qui, prises ensemble, contournent les mesures de sécurité d'un système RAG, démontrant l'utilité de l'approche pour la sécurité de l'IA.

5. Signification et Impact

Ce travail est significatif car il transforme l'explicabilité des systèmes RAG d'une analyse statistique approximative vers une logique déductive exacte.

• Actionnabilité : Contrairement aux scores d'importance, les règles fournissent des instructions claires (ex: "Retirer le document D2 et D4") pour corriger les comportements indésirables.
• Audit et Sécurité : La méthode permet aux auditeurs et aux chercheurs en sécurité de cartographier précisément les vulnérabilités des systèmes RAG, en identifiant les sources de désinformation ou les injections de prompts.
• Fondation pour le futur : Les auteurs suggèrent que cette approche pourrait servir de base pour de nouveaux benchmarks de LLMs, permettant de vérifier si les modèles respectent les règles attendues dérivées de leurs sources de vérité.

En résumé, le papier propose une solution technique robuste pour rendre les systèmes RAG "boîte noire" transparents, actionnables et auditable, en reliant mathématiquement les entrées (sources) aux sorties (réponses) via des règles logiques garanties.