Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation
Cette étude préenregistrée démontre que les preuves d'interprétabilité mécaniste destinées à la régulation de l'IA ne répondent pas aux normes de vérifiabilité car les résultats de la découverte de circuits sont hautement instables et structurellement disjoints à travers des variations analytiques défendables, ce qui les rend peu fiables pour la documentation de conformité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'expliquer un tour de magie à un ami sceptique. Vous dites : « Le magicien n'a pas seulement agité une baguette ; il a utilisé un levier caché spécifique sous la scène. » Mais votre ami vous demande alors : « Comment savons-nous qu'il s'agit de ce levier ? Et si je regarde sous une autre partie de la scène, ou si j'utilise une lampe de poche différente, ou si je demande à un autre magicien de vérifier ? » Si votre explication change complètement selon la manière dont vous cherchez le secret, pouvez-vous vraiment appeler cela un fait ? C'est là le cœur d'une nouvelle étude dans le monde de l'Intelligence Artificielle (IA).
Dans le domaine de l'« interprétabilité mécaniste », les scientifiques tentent de jeter un coup d'œil à l'intérieur des cerveaux de l'IA (comme le célèbre modèle GPT-2) pour trouver les « circuits » spécifiques — de minuscules réseaux de connexions — qui font que l'IA agit de telle manière. C'est comme essayer de cartographier exactement le câblage électrique d'une maison pour expliquer pourquoi une lumière s'est allumée. L'Union européenne a une nouvelle loi stipulant que si une IA prend une décision à enjeux élevés (comme refuser un prêt), l'entreprise doit déposer un rapport expliquant comment l'IA a décidé. Le moyen évident d'y parvenir est de déposer une carte des circuits internes de l'IA. Mais cet article pose une question difficile : si deux experts intelligents utilisent la même IA et les mêmes outils, mais font des choix légèrement différents et pourtant raisonnables sur la manière de chercher les circuits, trouveront-ils la même carte ? Ou trouveront-ils deux histoires totalement différentes ?
L'auteur de cet article a décidé de tester cela en mettant en place une expérience massive de type « livre dont vous êtes le héros ». Ils n'ont pas seulement observé l'IA une seule fois ; ils l'ont observée 15 840 fois de manières différentes. Ils ont créé une grille de sept façons différentes d'analyser l'IA, en utilisant chaque paramètre de tous les outils publiés existants. Ils ont demandé : « Si nous changeons la métrique, la graine (seed), la taille du circuit ou la façon de le tester, l'histoire que nous racontons sur le cerveau de l'IA reste-t-elle la même ? »
La réponse, malheureusement, est un « Non » retentissant.
Lorsque les chercheurs ont mené leur expérience, ils ont constaté que les preuves sont incroyablement fragiles. Sur toutes les façons dont ils auraient pu analyser les données, l'histoire qu'ils racontaient sur le circuit de l'IA basculait vers une version complètement différente 73,2 % du temps. Cela signifie que si deux auditeurs examinaient la même IA avec les mêmes outils mais des paramètres légèrement différents, ils déposeraient probablement deux rapports complètement différents. Même lorsqu'ils ont essayé d'être super stricts et de standardiser les choix les plus importants, le taux de basculement n'est descendu qu'à 59,4 %.
Pour s'assurer qu'il ne s'agissait pas d'un coup de chance, ils ont vérifié si les circuits trouvés étaient réellement la même chose décrite avec des mots différents. Ils ne l'étaient pas. Les circuits étaient structurellement presque entièrement différents (ne partageant qu'environ 4 % de leurs composants) et non corrélés sur le plan fonctionnel. C'est comme si un auditeur avait trouvé un plan du câblage de la cuisine, et l'autre un plan de la plomberie, et que les deux affirmaient : « Voici le secret pour comprendre comment la maison fonctionne ! »
L'article a également découvert que l'un des sept principaux outils utilisés pour trouver ces circuits ne fonctionnait pas du tout sur la tâche testée ; il plantait immédiatement. De plus, plus de la moitié des explications potentielles ont été écartées parce qu'elles ne respectaient pas les règles strictes du test.
Alors, qu'est-ce que cela signifie pour l'avenir ? L'auteur ne dit pas que l'IA est défaillante ou que nous ne pouvons pas la comprendre. Il dit que les « reçus » actuels dont nous disposons pour prouver le fonctionnement de l'IA ne sont pas prêts à être déposés auprès d'un régulateur gouvernemental. Si vous remettez à un juge une carte de circuit aujourd'hui, et qu'un second juge utilise les mêmes outils mais une méthode légèrement différente, il pourrait rejeter votre carte et dire : « Ce n'est pas la bonne explication. » Les preuves, en l'état actuel, échouent au test de fiabilité nécessaire pour être un document juridique. L'étude suggère qu'avant de pouvoir faire confiance à ces explications d'IA devant un tribunal ou lors de contrôles de sécurité, nous devons trouver comment rendre les cartes stables, peu importe qui tient la lampe de poche.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.