Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Cet article introduit CHIVE, un pipeline agentique qui évalue et améliore les méthodes d'explication des LLM en utilisant des expériences contrefactuelles pour déterminer si les explications peuvent prédire avec précision le comportement du modèle sur des entrées connexes, révélant que les techniques d'interprétabilité actuelles n'offrent aucun avantage prédictif tout en démontrant que l'entraînement sur des données générées par CHIVE améliore la généralisation.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour comprendre de quoi traite cette recherche, imaginez que vous essayiez de comprendre pourquoi une personne fait un choix spécifique. Si vous lui posez la question, elle pourrait vous donner une raison, mais cette raison pourrait être une supposition, une rationalisation ou simplement erronée. Dans le monde de l'intelligence artificielle, les chercheurs sont confrontés à un défi similaire avec les grands modèles de langage. Ces systèmes sont des outils puissants capables d'écrire du code, de raconter des histoires et de résoudre des problèmes, mais ce sont aussi des « boîtes noires ». Nous pouvons voir ce qu'ils disent, mais nous ne pouvons pas facilement voir les rouages internes qui tournent pour produire ces mots. Les scientifiques tentent depuis longtemps de construire des outils pour jeter un coup d'œil à l'intérieur de ces rouages, espérant trouver la véritable cause du comportement d'un modèle. L'objectif est de savoir si un modèle est honnête sur son propre raisonnement ou s'il cache une motivation différente. La question est la suivante : comment savoir si une explication est réellement bonne ? Si un chercheur affirme : « Le modèle a fait une erreur parce qu'il a été confus par un mot spécifique », comment peut-on tester si cela est vrai ?
Une équipe de chercheurs chez Anthropic a décidé de tester cela en allant au-delà des simples suppositions pour entrer dans le domaine du « et si ». Au lieu de simplement demander à un modèle de s'expliquer, ils ont construit un système qui modifie activement l'environnement du modèle pour voir si l'explication tient la route. Ils appellent ce processus l'investigation contrefactuelle. Cela fonctionne comme ceci : si vous croyez qu'un modèle a commis une erreur à cause d'un mot spécifique, vous changez ce mot et voyez si l'erreur disparaît. Si l'erreur disparaît lorsque vous changez le mot, votre explication était probablement correcte. Si l'erreur persiste, votre explication était erronée. Cette méthode transforme une théorie vague en un fait testable. Les chercheurs voulaient voir si les outils actuels que les scientifiques utilisent pour regarder à l'intérieur des modèles d'IA pouvaient réellement aider à prédire ces changements, et s'ils pouvaient apprendre aux modèles à mieux comprendre leur propre comportement.
Pour ce faire, les chercheurs ont créé un nouveau pipeline automatisé appelé CHIVE. Ce système agit comme un enquêteur infatigable. Il commence par poser des milliers de questions à un modèle d'IA cible issues de conversations réelles, cherchant les moments où le modèle fait quelque chose d'inattendu ou d'étrange. Une fois qu'il trouve un comportement étrange, le système ne s'arrête pas là. Il lance une série d'expériences. Il prend la question originale et effectue de petites modifications spécifiques — comme changer un nom, supprimer une phrase ou remplacer un mot — puis pose à nouveau la nouvelle question au modèle. Il fait cela des dizaines de fois pour voir combien de fois le comportement étrange se produit avec la question originale par rapport à la question modifiée. Si le changement d'un mot spécifique fait disparaître le comportement étrange, le système enregistre cela comme la preuve que le mot était la cause. Ce processus génère des milliers d'exemples de haute qualité où la cause d'un comportement est connue et vérifiée par l'expérience elle-même.
Les chercheurs ont utilisé cette vaste collection d'exemples vérifiés pour tester deux idées majeures. Premièrement, ils voulaient voir si les outils existants que les scientifiques utilisent pour interpréter les modèles d'IA étaient réellement utiles. Ces outils sont conçus pour lire l'activité interne du modèle, de manière similaire à la façon dont un médecin pourrait lire un scanner cérébral, afin de trouver les « pensées » derrière une réponse. Les chercheurs ont donné ces outils à un agent informatique intelligent et lui ont demandé de prédire si un changement spécifique dans un prompt modifierait le comportement du modèle. Ils s'attendaient à ce que les outils donnent un avantage significatif à l'agent, l'aidant à voir les causes cachées qui échapperaient à une simple lecture de la conversation. Étonnamment, les outils n'ont apporté aucune aide. L'agent a performé tout aussi bien, ou parfois même moins bien, lorsqu'il avait accès à ces outils de lecture interne par rapport à lorsqu'il n'avait que le texte de la conversation. Les outils n'ont pas réussi à révéler le lien entre une entrée spécifique et le comportement résultant, laissant l'agent dans l'obscurité comme avant.
Deuxièmement, les chercheurs ont demandé s'ils pouvaient apprendre aux modèles à prédire leur propre comportement en utilisant les données qu'ils avaient collectées. Ils ont pris les modèles cibles et les ont entraînés sur les milliers d'expériences qu'ils avaient menées. La tâche d'entraînement était simple : montrer au modèle une conversation et un changement proposé, puis lui demander de deviner si ce changement arrêterait le comportement étrange. Les résultats ici étaient beaucoup plus prometteurs. Les modèles ayant reçu cet entraînement sont devenus nettement meilleurs pour prédire l'issue de ces changements. Ils ont appris à reconnaître des motifs dans leur propre comportement qu'ils n'avaient pas remarqués auparavant. Cette amélioration s'est maintenue même lorsque les chercheurs ont testé les modèles sur de nouveaux types de questions et de scénarios qu'ils n'avaient jamais vus lors de l'entraînement. Les modèles avaient acquis une compétence générale pour comprendre comment leurs propres actions étaient influencées par leurs entrées.
L'étude a également exploré si les modèles étaient simplement en train de mémoriser les réponses ou s'ils avaient acquis une compréhension interne plus profonde d'eux-mêmes. Pour tester cela, les chercheurs ont entraîné un modèle sur des données concernant son propre comportement et un autre modèle sur des données concernant le comportement d'un autre modèle. Si le premier modèle avait un accès spécial et privé à son propre état interne, il devrait avoir mieux performé que le second. Cependant, les deux modèles ont performé de manière égale. Cela suggère que les modèles n'accédaient pas à une connaissance cachée et privilégiée sur eux-mêmes. Au lieu de cela, ils apprenaient à reconnaître les schémas de cause à effet à partir des données qui leur étaient présentées, tout comme un étudiant apprenant un sujet en étudiant des exemples.
Les conclusions offrent un portrait clair de l'état actuel du domaine. Les outils actuels pour regarder à l'intérieur des modèles d'IA, qui ont montré des promesses dans des tests simples et contrôlés, ne semblent pas fonctionner lorsqu'ils sont appliqués aux comportements désordonnés et complexes qui surviennent dans les conversations du monde réel. Ils ne parviennent pas à produire le moment de déclic (« aha ») qui explique pourquoi un modèle a fait ce qu'il a fait. En revanche, l'étude montre que les modèles peuvent être entraînés pour devenir bien meilleurs dans la prédiction de leurs propres réactions aux changements de leur environnement. Cela suggère que la voie pour comprendre le comportement de l'IA ne passe peut-être pas par la construction de meilleurs microscopes pour regarder à l'intérieur de la machine, mais plutôt par l'entraînement de la machine à reconnaître les schémas de ses propres actions. Les chercheurs ont rendu publiques toutes leurs données et leur code, fournissant ainsi une nouvelle base pour que d'autres puissent poursuivre ce travail, garantissant que les futures explications du comportement de l'IA soient fondées sur ce qui se passe réellement lorsque le monde change, et non seulement sur ce que nous pensons qu'il se passe.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.