Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations
Cet article introduit la Régularisation d'Attribution Latente (LAR), une méthode de phase d'entraînement qui impose la cohérence de l'attribution sous des substitutions de synonymes préservant la sémantique, démontrant qu'elle améliore significativement la stabilité des explications basées sur le gradient dans les Transformers affinés sans compromettre la précision du modèle, tout en établissant qu'un alignement approprié des jetons est essentiel pour mesurer avec précision une telle stabilité.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, une façon courante de comprendre comment un ordinateur prend une décision est d'examiner les parties de l'entrée auxquelles il a prêté le plus d'attention. Imaginez une machine lisant une phrase et décidant si elle est joyeuse ou triste ; les chercheurs peuvent générer une carte montrant quels mots le modèle a considérés comme les plus importants pour ce jugement. Ces cartes, connues sous le nom d'attributions de caractéristiques, sont de plus en plus utilisées pour expliquer les décisions de l'IA aux humains. Cependant, un schéma troublant est apparu : si vous modifiez légèrement la phrase en remplaçant un mot par un synonyme qui signifie la même chose, la carte change souvent complètement. L'ordinateur peut soudainement pointer un mot différent comme étant la raison de sa décision, même si le sens de la phrase et la réponse finale n'ont pas changé. Cela rend l'explication peu fiable, comme si l'IA était peu fiable ou confuse, alors qu'en réalité, le changement pourrait être une illusion créée par la façon dont l'ordinateur lit le texte.
Une nouvelle étude menée par le chercheur indépendant Junaid Hassan enquête sur ce problème, révélant qu'une grande partie de l'instabilité apparente est en fait une erreur de mesure causée par la façon dont les ordinateurs décomposent les mots. Les modèles de langage modernes ne lisent pas des mots entiers comme les humains ; au contraire, ils découpent le texte en morceaux plus petits appelés jetons de sous-mots (subword tokens). Lorsqu'un seul mot est remplacé par un synonyme, le nombre de ces petits morceaux peut changer, décalant la position de chaque jeton qui suit. Si les chercheurs comparent les scores d'importance des mots en fonction de leur position dans la liste, ils comparent souvent des choses totalement différentes, comme faire correspondre la première page d'un livre à la deuxième page d'un autre. Le chercheur a développé une méthode pour corriger cela en faisant correspondre les mots sur la base de leur identité réelle plutôt que de leur position, et a découvert que la stabilité de ces explications était bien meilleure qu'on ne le pensait auparavant.
S'appuyant sur cette méthode de mesure corrigée, l'étude introduit une nouvelle technique d'entraînement appelée Régularisation de l'Attribution Latente. Cette méthode enseigne au modèle d'IA de garder ses cartes d'explication cohérentes, même lorsque le texte d'entrée est légèrement modifié par des synonymes. Pendant le processus d'entraînement, le modèle se voit présenter une phrase et une version légèrement modifiée de cette phrase, et il est récompensé si les scores d'importance des mots inchangés restent similaires dans les deux versions. Cela est fait parallèlement à la tâche standard consistant à apprendre à classifier le sentiment du texte correctement. L'objectif n'est pas seulement d'obtenir la bonne réponse, mais de s'assurer que le raisonnement derrière cette réponse reste stable lorsque la formulation change.
Le cherchenaire a testé cette approche en utilisant un modèle appelé DistilBERT sur un ensemble de données d'avis de films. Les expériences ont été menées à deux échelles différentes : un test plus petit de 1 500 exemples et un test plus large et plus réaliste de 20 000 exemples. Dans les deux cas, le modèle a été entraîné avec et sans cette nouvelle technique de cohérence. Les résultats ont montré que les modèles entraînés avec la technique de cohérence produisaient des explications nettement plus stables. Lorsque le texte était modifié avec des quantités légères, moyennes ou importantes de substitutions de synonymes, les explications restaient cohérentes beaucoup plus souvent que celles des modèles entraînés sans la technique. Par exemple, dans le test plus large, l'amélioration de la stabilité augmentait à mesure que les changements de texte devenaient plus difficiles, montrant un bénéfice clair dans des conditions plus ardues.
Crucialement, cette amélioration de la stabilité ne s'est pas faite au détriment de la capacité du modèle à comprendre le texte. Les modèles entraînés avec la nouvelle technique ont atteint la même précision dans la classification des avis de films que les modèles entraînés sans elle. Dans l'expérience plus large, les deux groupes ont atteint une précision d'environ 82 pour cent, prouvant que le modèle pouvait apprendre à être plus cohérent sans oublier sa tâche principale. L'étude a également confirmé que la découverte initiale d'une instabilité extrême était effectivement un artefact de la méthode de mesure ; une fois l'alignement corrigé, la stabilité de base était déjà élevée, mais la nouvelle méthode d'entraînement l'a poussée encore plus haut.
Les conclusions suggèrent que, pour les développeurs construisant des systèmes d'IA qui expliquent leurs décisions aux utilisateurs, il existe un moyen pratique de rendre ces explications plus fiables. En ajoutant ce contrôle de cohérence pendant la phase d'entraînement, l'IA peut apprendre à ignorer le bruit causé par des changements mineurs de formulation et à se concentrer sur le sens réel. Le chercheur note que bien que ce travail ait été réalisé sur un type spécifique de modèle et une tâche unique, la méthode offre un ajout à faible risque à l'entraînement standard qui pourrait rendre les explications de l'IA plus dignes de confiance pour des applications réelles. L'étude conclut que l'instabilité souvent attribuée aux modèles d'IA eux-mêmes pourrait être un tour joué par la mesure, et qu'avec les bons outils et un bon entraînement, nous pouvons construire des systèmes qui s'expliquent avec une plus grande constance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.