Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
Cette étude de cartographie systématique analyse 1 252 articles de recherche sur les méthodes d'explicabilité pour les grands modèles de langage, révélant que la plupart des techniques nécessitent des données internes de modèles inaccessibles et que les preuves concernant l'utilité humaine et le déploiement en conditions réelles restent critiquement rares.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Au cours des dernières années, un nouveau type de programme informatique a remodelé notre façon d'interagir avec la technologie. Ces systèmes, connus sous le nom de grands modèles de langage, peuvent écrire des histoires, résoudre des problèmes mathématiques et tenir des conversations qui semblent remarquablement humaines. Ils fonctionnent en prédisant le mot suivant dans une phrase, couche après couche, jusqu'à ce qu'une pensée complète émerge. Mais parce que ces programmes sont construits avec des milliards de paramètres ajustables, leur fonctionnement interne est souvent un mystère. Lorsqu'un tel système donne une réponse, il est difficile de savoir si cette réponse provient d'une compréhension profonde des faits ou simplement d'une supposition habile basée sur des motifs déjà observés. Cette incertitude a créé un besoin pressant d'explicabilité : la capacité de regarder à l'intérieur de la machine et de comprendre pourquoi elle a fait un choix spécifique. Les chercheurs tentent de construire des outils capables de remonter une décision jusqu'à sa source, révélant la logique, les données ou les parties spécifiques du cerveau de l'ordinateur qui ont conduit au résultat final.
Une équipe de chercheurs de l'Université de Piraeus, en Grèce, a franchi une étape majeure vers la clarification de ce domaine. Ils ont mené une enquête exhaustive sur près de 8 000 rapports scientifiques publiés entre 2019 et août 2026, en les réduisant à 1 252 études qui tentaient spécifiquement d'expliquer comment ces grands modèles de langage fonctionnent. Leur objectif n'était pas d'inventer une nouvelle méthode, mais de cartographier l'ensemble du paysage des méthodes existantes. Ils voulaient voir quels types d'explications les scientifiques construisent, quelles parties de l'ordinateur ils sont autorisés à observer, et si ces explications aident réellement les gens à comprendre la machine ou si elles sont simplement convaincantes. Pour gérer cette tâche colossale, les chercheurs ont utilisé un système d'intelligence artificielle soigneusement conçu pour lire et catégoriser chaque article, avec des experts humains vérifiant le travail pour en assurer l'exactitude.
La découverte la plus frappante de leur carte est un décalage fondamental entre les outils que les scientifiques construisent et la réalité de la façon dont ces modèles sont utilisés aujourd'hui. La grande majorité des méthodes qu'ils ont trouvées — près de 70 pour cent — nécessite un accès profond et interne au cerveau de l'ordinateur. Pour utiliser ces outils, un chercheur doit pouvoir voir les chiffres bruts circulant à travers le système ou même modifier les paramètres du modèle lui-même. Cependant, les modèles de langage les plus puissants que les gens utilisent quotidiennement sont hébergés par des entreprises en tant que services fermés. Les utilisateurs peuvent envoyer un message et recevoir une réponse, mais ils ne peuvent pas voir les chiffres internes ni modifier les paramètres. Cela signifie que les manières les plus sophistiquées d'expliquer ces modèles sont effectivement inutiles pour les systèmes mêmes où les gens ont le plus besoin d'explications. Seuls environ 23 pour cent des études décrivent des méthodes qui pourraient fonctionner avec l'accès limité disponible pour le public, comme la simple lecture du texte de sortie ou des scores de probabilité du mot suivant.
Les chercheurs ont également examiné ce que ces explications prouvaient réellement. Ils ont constaté que la plupart des études se concentraient sur la « fidélité » (faithfulness), une façon technique de demander si l'explication correspond véritablement à la logique interne de l'ordinateur. Environ 70 pour cent des articles tentaient de montrer que leur méthode identifiait correctement la cause d'une décision. Cependant, l'étude a révélé que très peu de chercheurs testaient si ces explications étaient réellement utiles aux êtres humains. Seulement environ 3 pour cent des études impliquaient de vraies personnes testant les explications pour voir si elles les aidaient à prendre de meilleures décisions, à comprendre le système ou à faire confiance au résultat. C'est comme si des ingénieurs avaient passé des années à perfectionner la carte des tunnels souterrains d'une ville, sans jamais demander à un usager si la carte l'aide à trouver son chemin.
Un autre écart significatif est apparu dans la manière dont les chercheurs testaient leurs idées. Bien que de nombreuses études prétendent que leurs méthodes sont robustes, moins d'un tiers d'entre elles ont utilisé un groupe de contrôle rigoureux pour prouver que leurs résultats n'étaient pas simplement dus au hasard. De plus, le lien avec les règles et réglementations du monde réel était presque inexistant. Malgré la mention fréquente de lois concernant la transparence de l'intelligence artificielle, seule une infime partie des études a réellement lié leurs méthodes techniques à des exigences juridiques spécifiques. Les chercheurs ont noté que bien que le domaine progresse rapidement, avec près de la moitié des études incluses publiées au cours de la dernière année, il reste fortement axé sur les modèles open-source que n'importe qui peut télécharger, plutôt que sur les systèmes propriétaires fermés qui dominent le marché.
L'étude conclut que le domaine de l'explication des grands modèles de langage est à la croisée des chemins. Les outils actuellement disponibles sont puissants mais souvent inaccessibles, et ils privilégient la justesse technique sur l'utilité humaine. Les chercheurs suggèrent que les travaux futurs doivent se concentrer sur la création de méthodes qui fonctionnent avec l'accès limité fourni par les services commerciaux et sur le test de ces explications auprès de vraies personnes. D'ici là, les explications les plus avancées restent enfermées dans les laboratoires des chercheurs qui ont un accès total aux machines, laissant le grand public face à des systèmes qui sont de plus en plus puissants mais de plus en plus difficiles à comprendre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.