Explainability of Text Processing and Retrieval Methods: A Survey

Cet article propose une vaste revue des recherches sur l'explicabilité et l'interprétabilité des méthodes de traitement du langage naturel et de recherche d'information, en examinant spécifiquement les approches appliquées aux plongements de mots, aux modèles de séquence, aux mécanismes d'attention, aux transformers, à BERT et au classement de documents, tout en suggérant des pistes pour les travaux futurs.

L'essentiel

Voici une explication de l'article de recherche « Explicabilité des méthodes de traitement et de récupération de texte : Une enquête » (Explainability of Text Processing and Retrieval Methods: A Survey), racontée comme une histoire simple.

🕵️‍♂️ Le Grand Mystère de la Boîte Noire

Imaginez que vous utilisez un moteur de recherche (comme Google) ou un assistant intelligent (comme une IA qui répond à vos questions). Jusqu'à il y a quelques années, ces outils fonctionnaient un peu comme un cuisinier qui suit une recette écrite. Si vous demandiez « Pourquoi ce plat est-il salé ? », le cuisinier pouvait vous montrer la liste des ingrédients et dire : « J'ai mis deux cuillères de sel ». C'était facile à comprendre.

Mais aujourd'hui, avec l'arrivée de l'intelligence artificielle très puissante (les modèles de « Deep Learning »), le cuisinier a changé. Il ne suit plus une recette. Il est devenu un chef étoilé génial mais mystérieux qui cuisine avec des milliers d'ingrédients invisibles dans une cuisine fermée à clé. Il vous donne un plat délicieux (la bonne réponse), mais si vous demandez : « Pourquoi avez-vous choisi cette sauce ? », il vous répond : « Je ne sais pas, c'est juste ma magie ».

C'est ce qu'on appelle une « boîte noire ». L'article de Sourav Saha et ses collègues est une enquête pour essayer de ouvrir cette boîte noire et comprendre comment ces chefs magiques prennent leurs décisions.

---

🧩 Le Problème : Trop de Magie, Pas assez de Confiance

Les auteurs disent : « C'est super que ces outils soient si intelligents, mais nous, les humains, avons besoin de savoir pourquoi ils nous disent ce qu'ils disent. »

• Si un système médical dit « Ce patient a une maladie », le médecin veut savoir pourquoi.
• Si un moteur de recherche classe un document en premier, l'utilisateur veut savoir pourquoi il est mieux que les autres.

Sans explication, on ne fait pas confiance à la machine. C'est comme conduire une voiture qui roule toute seule, mais dont vous ne connaissez pas le volant ni les freins.

---

🔍 Les Outils du Détective (Comment on explique ?)

L'article recense toutes les méthodes que les chercheurs ont inventées pour débusquer la vérité. Voici les principales, avec des analogies :

1. Le « Double » ou le « Jumeau » (Modèles de substitution)

Imaginez que vous essayez de comprendre un grand mathématicien qui résout des équations complexes dans sa tête. Pour comprendre, vous lui demandez de vous expliquer sa logique avec des mots simples.

• L'analogie : On crée un « jumeau » simple (un modèle facile à lire) qui imite le comportement du grand mathématicien (le modèle complexe). Si le jumeau dit « J'ai choisi ce document parce qu'il contient le mot 'chat' », alors on sait que le grand modèle a probablement fait la même chose. C'est comme utiliser une carte simplifiée pour comprendre un itinéraire complexe.

2. Le « Jeu de l'Élimination » (Attribution de caractéristiques)

Imaginez que vous avez un gâteau et vous voulez savoir quel ingrédient est le plus important pour son goût.

• L'analogie : Vous enlevez un peu de sucre. Le gâteau est moins bon ? Le sucre est important. Vous enlevez la farine ? Le gâteau s'effondre. La farine est cruciale.
• Dans l'article : Les chercheurs enlèvent des mots d'un texte un par un pour voir si la réponse de l'IA change. Si enlever le mot « urgent » fait changer la réponse, alors ce mot était la clé du mystère.

3. Le « Contrefactuel » (Et si... ?)

C'est le jeu de l'imagination : « Et si j'avais fait ça à la place ? »

• L'analogie : Vous dites à l'IA : « Pourquoi as-tu classé ce document en 5ème place ? » L'IA répond : « Parce qu'il manque le mot 'prix'. » Vous lui dites : « Et si j'ajoutais 'prix' ? » L'IA répond : « Ah, maintenant il est en 1ère place ! »
• Cela permet de voir exactement quel petit changement aurait tout modifié.

4. La « Loupe » sur les RAG (Les IA qui lisent des livres)

Aujourd'hui, les IA ne se contentent pas de répondre de leur tête ; elles lisent des documents pour répondre (c'est le système RAG).

• Le problème : Parfois, l'IA cite un document comme source, mais en réalité, elle a inventé la réponse de sa tête (c'est ce qu'on appelle « halluciner »).
• L'explication : Les chercheurs créent des outils pour vérifier : « Est-ce que cette phrase dans la réponse vient vraiment du document que tu as lu, ou est-ce que tu l'as inventée ? » C'est comme un détective qui vérifie si un témoin a vraiment vu l'événement ou s'il raconte une histoire qu'il a entendue ailleurs.

---

🗺️ Les Zones d'Ombre (Ce qu'on ne sait pas encore)

L'article est aussi honnête sur ce qui manque. Les auteurs disent : « Nous avons beaucoup de méthodes, mais nous n'avons pas encore de règle unique pour dire si une explication est bonne ou mauvaise. »

C'est comme si chaque détective utilisait sa propre échelle pour mesurer la vérité. Il faudrait un « test standard » (comme un examen de conduite pour les IA) pour vérifier si une explication est fiable.

Ils soulignent aussi que les IA modernes (comme les grands modèles de langage) ont parfois des comportements bizarres :

• Elles oublient les informations qui sont au milieu d'un long texte (le phénomène « perdu au milieu »).
• Elles peuvent se contredire entre ce qu'elles ont appris par cœur et ce qu'elles lisent dans un document.

---

🚀 Conclusion : Vers un Futur Transparent

En résumé, cet article est une carte au trésor pour tous ceux qui veulent rendre l'intelligence artificielle plus humaine et plus transparente.

Les auteurs nous disent : « Ne nous contentons pas de résultats magiques. Nous devons comprendre la mécanique derrière le rideau. » L'objectif est de passer d'une IA qui dit « Faites-moi confiance, je suis intelligente » à une IA qui dit « Voici pourquoi je pense cela, et voici les preuves ».

C'est essentiel pour que nous puissions utiliser ces outils puissants dans des domaines sérieux comme la justice, la médecine ou l'éducation, sans avoir peur de ce qui se cache derrière l'écran.

Résumé technique

Voici un résumé technique détaillé de l'article de sondage "Explainability of Text Processing and Retrieval Methods: A Survey" (Explicabilité des méthodes de traitement et de récupération de texte : Une enquête), rédigé par Sourav Saha, Debapriyo Majumdar et Mandar Mitra.

1. Problématique et Contexte

L'article aborde le défi croissant de l'opacité des modèles d'apprentissage profond (Deep Learning) et des Grands Modèles de Langage (LLM) appliqués au traitement du texte et à la récupération d'information (RI).

• Le constat : Bien que les modèles neuronaux (comme les Rankers neuronaux, BERT, et les systèmes RAG - Retrieval-Augmented Generation) surpassent les méthodes traditionnelles en termes de performance, leur structure non linéaire complexe les rend "boîtes noires".
• Le besoin : Il est crucial de comprendre pourquoi un modèle prend une décision (par exemple, pourquoi un document est classé au-dessus d'un autre) pour des raisons de confiance, de débogage, de conformité réglementaire et d'amélioration des systèmes.
• La lacune : Bien qu'il existe des sondages sur l'explicabilité en NLP général ou en vision par ordinateur, cet article vise à combler le vide spécifique à la Récupération d'Information (IR) et à l'interaction entre l'IR et le NLP, en se concentrant sur les développements récents (2004-2025).

2. Méthodologie et Cadre de Classification

Les auteurs ont mené une enquête systématique sur les publications issues de conférences majeures (SIGIR, CIKM, ACL, NeurIPS, etc.). Ils structurent leur analyse autour d'un cadre de classification rigoureux pour catégoriser les méthodes d'explicabilité :

• Nature du modèle :
  • Model-agnostic (Indépendant du modèle) : Traite le modèle comme une boîte noire (ex: LIME, SHAP).
  • Model-aware (Conscient du modèle) : Utilise la structure interne du modèle (ex: analyse des poids, des gradients).
• Moment de l'explication :
  • Intrinsèque (Inherent) : Le modèle est conçu pour être interprétable (ex: modèles linéaires, arbres de décision).
  • Post-hoc : Explication générée après l'entraînement d'un modèle complexe.
• Portée de l'explication :
  • Globale : Comportement général du modèle (ex: "Le modèle privilégie les documents courts").
  • Locale : Décision pour une instance spécifique (ex: "Pourquoi ce document D est-il classé devant D' pour la requête Q ?").
  • Types locaux en IR : Pointwise (score d'un document), Pairwise (comparaison de deux documents), Listwise (explication d'une liste entière).
• Forme de l'explication :
  • Modèles substituts (Surrogates) : Approximation par un modèle simple (ex: LIME).
  • Attribution de caractéristiques (Feature Attribution) : Identification des termes clés (heatmaps, cartes de saillance).
  • Rationales : Extraits de texte justifiant la décision.
  • Explications contrastives : Comparaison avec un cas alternatif (contre-factuel).

3. Contributions Clés et Revue de Littérature

L'article se divise en plusieurs sections techniques majeures :

A. Méthodes Fondamentales et Évaluation

• Méthodes de base : Revue des techniques standards comme LIME (explications locales par perturbations), SHAP (valeurs de Shapley pour l'attribution de caractéristiques), et les classificateurs de sondage (probing classifiers) pour analyser les représentations internes.
• Évaluation : Les auteurs soulignent l'absence de protocole d'évaluation standardisé. Ils distinguent les mesures de fidélité (le substitut imite-t-il le modèle ?), de suffisance (les caractéristiques expliquent-elles la prédiction ?) et de compréhensibilité (l'explication est-elle humaine ?).

B. Explicabilité du Classement de Documents (Document Ranking)

• Modèles Traditionnels : Analyse des modèles statistiques (BM25, Language Models) et de l'approche Axiomatique (cadre de Fang et al.) qui définit des contraintes logiques (ex: fréquence des termes, longueur du document) que les modèles doivent respecter pour être efficaces.
• Modèles Neuronaux (NRM) :
  • Probing : Analyse de ce que les modèles comme BERT apprennent (syntaxe vs sémantique) à travers différentes couches.
  • Axiomes appliqués aux NRMs : Études montrant que les modèles neuronaux violent souvent les axiomes IR classiques (ex: ils sont moins sensibles à la longueur des documents ou aux fréquences exactes que BM25).
  • Explications locales : Utilisation de LIME/SHAP adaptés au classement (LIRME, EXS) et méthodes basées sur l'expansion de requête pour expliquer les listes de résultats.
  • Attribution listwise : Introduction de RankSHAP et RankingSHAP, des extensions de SHAP conçues spécifiquement pour attribuer l'importance des caractéristiques à un classement complet plutôt qu'à un seul document.

C. Systèmes de Génération Augmentée par Récupération (RAG)

Une section dédiée aux systèmes modernes combinant LLM et récupération de documents :

• Fidélité (Faithfulness) : Méthodes pour vérifier si la réponse générée est bien ancrée dans les documents récupérés (ex: RAGAs, ARES).
• Attribution : Techniques pour identifier quels passages du contexte ont influencé la réponse (ex: MIRAGE, citations auto-générées).
• Conflits de connaissances : Analyse des situations où la mémoire paramétrique du LLM entre en conflit avec le contexte récupéré, et comment les modèles résolvent (ou échouent à résoudre) ces conflits.

D. Annexes Techniques (NLP)

L'article inclut des annexes détaillées sur l'explicabilité des composants spécifiques du NLP :

• Embeddings : Transformation des espaces vectoriels pour les rendre interprétables (ex: POLAR, Densifier).
• Modèles Séquentiels (RNN/LSTM) : Décomposition contextuelle pour identifier les phrases influentes.
• Attention : Débat sur la fiabilité des poids d'attention comme explication (souvent non fiables sans modification du modèle) et méthodes pour rendre l'attention plus "fidèle".
• Transformers/BERT : Analyse de la signification des différentes couches et têtes d'attention (ex: les premières couches gèrent la syntaxe, les dernières la sémantique).

4. Résultats et Observations Majeures

• Limites des modèles actuels : Les modèles neuronaux modernes (BERT, LLM) sont souvent plus performants mais moins "axiomatiques" que les modèles traditionnels. Ils peuvent ignorer des heuristiques IR classiques (comme la normalisation de la longueur).
• Défi de l'évaluation : Il n'existe pas encore de consensus sur la manière d'évaluer objectivement la qualité d'une explication en IR. Les études humaines sont coûteuses et les métriques automatiques (comme la fidélité) ne capturent pas toujours la plausibilité humaine.
• RAG et Confiance : Dans les systèmes RAG, le problème de "l'attribution" est critique. Les LLM peuvent citer des documents pertinents même si la réponse provient de leur mémoire interne (phénomène "juste pour la mauvaise raison"), ce qui fausse l'explicabilité.
• Phénomène "Lost in the Middle" : Les LLM ont tendance à ignorer les informations situées au milieu des contextes longs, ce qui pose un problème pour l'explicabilité des systèmes de récupération profonde.

5. Signification et Perspectives Futures

Cet article est une référence essentielle pour la communauté IR/NLP car il :

1. Unifie les champs : Il fait le pont entre l'IR classique, le NLP moderne et l'IA explicable (XAI).
2. Identifie les lacunes : Il met en lumière le manque de benchmarks standardisés pour l'évaluation des explications en IR.
3. Propose des pistes de recherche :
   • Développement de cadres d'évaluation standardisés (protocoles, collections de test).
   • Meilleure compréhension des conflits de connaissances dans les systèmes RAG.
   • Analyse de l'impact des données d'entraînement (négatives) sur les modèles de classement.
   • Adaptation des tokenizers et des modèles pour des domaines spécifiques (médical, juridique).

En conclusion, l'article démontre que si les progrès en performance sont indéniables, la transparence reste le goulot d'étranglement principal pour le déploiement responsable et efficace des systèmes de traitement de texte avancés.