Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
Cet article démontre que la méthode standard pour identifier les couches et les neurones critiques pour la sécurité dans les modèles de langage affinés est statistiquement erronée en raison d'un « effet de plancher » causé par des batteries de prompts restreintes et des bases de référence non sécurisées, ce qui conduit au comptage erroné excessif de composants critiques et invalide les preuves publiées pour un compte de sécurité à double mécanisme.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Lorsque nous demandons à un grand modèle de langage de refuser une requête malveillante, nous lui demandons d'accomplir un acte complexe d'autocontrôle. Ces modèles sont entraînés sur de vastes quantités de textes humains, apprenant à prédire le mot suivant dans une phrase, mais ils subissent également une phase d'entraînement spéciale pour apprendre ce qu'il ne faut pas dire. Les chercheurs du domaine de l'interprétabilité mécaniste traitent ces modèles comme des machines complexes qui peuvent être démontées pour voir comment elles fonctionnent. Ils pensent que des parties spécifiques de la structure interne du modèle agissent comme des gardiens, décidant de répondre à une question ou de la refuser. Pour trouver ces gardiens, les scientifiques utilisent souvent une méthode appelée ablation. Cela consiste à désactiver temporairement une petite partie du modèle, telle qu'une seule couche de traitement ou un neurone spécifique, puis à observer si le modèle se met soudainement à produire des réponses malveillantes alors qu'il ne le faisait pas auparavant. Si le modèle ne parvient pas à refuser après qu'une partie a été désactivée, cette partie est étiquetée comme critique pour la sécurité. L'objectif est de cartographier la machinerie exacte du refus afin de comprendre, et peut-être d'améliorer, la manière dont ces systèmes restent sûrs.
Une étude récente de Yangyi Zhang, de l'Université de Georgetown, examine un cas spécifique de cette recherche et conclut que les conclusions qui en sont tirées reposent sur une illusion statistique. L'étude audite une expérience archivée où des chercheurs affirmaient avoir identifié six couches spécifiques et 205 neurones spécifiques qui agissent comme les principaux gardiens de la sécurité d'un modèle de langage. L'analyse de Zhang révèle que ces chiffres ne reflètent pas la véritable mécanique du modèle. Au lieu de cela, ils sont le résultat d'un défaut de conception de l'expérience elle-même, plus précisément d'un problème connu sous le nom d'effet de plancher. Dans ce contexte, l'effet de plancher se produit parce que le test utilisé pour mesurer la sécurité était trop petit et trop faible pour détecter de réels changements. L'expérience reposait sur une batterie de seulement quatre requêtes malveillantes pour tester le modèle. Avant que toute partie du modèle ne soit désactivée, le modèle avait déjà échoué à refuser trois de ces quatre requêtes. Il était déjà dangereux sur la majorité des cas de test.
Parce que le modèle échouait déjà sur trois des quatre requêtes, désactiver n'importe quelle partie du modèle ne pouvait pas le faire échouer plus souvent qu'il ne l'était déjà. Le décompte des réponses non sécurisées était bloqué à un minimum de trois, quelle que soit la couche éteinte. La seule façon pour une couche d'être marquée comme « critique » était qu'elle soit celle qui provoquait le basculement de la seule requête encore sûre vers un état non sûr. L'étude montre que les six couches signalées comme critiques étaient simplement celles qui avaient fait basculer cette requête spécifique. Les 26 autres couches, qui n'avaient pas fait basculer cette requête, ont été signalées comme sûres, même si elles se comportaient de manière presque identique aux couches critiques. La distinction entre une couche « critique » et une couche « sûre » n'était pas une différence dans le fonctionnement du modèle, mais une différence dans la manière dont la minuscule batterie de tests s'est comportée. L'ensemble des six couches critiques rapportées n'était pas une découverte du mécanisme de sécurité du modèle ; c'était une propriété des quatre requêtes utilisées dans le test.
L'enquête a également révélé des problèmes similaires concernant les affirmations relatives aux neurones individuels. Le rapport original indiquait que les chercheurs avaient scanné des centaines de milliers de neurones et en avaient trouvé 205 critiques, en utilisant un seuil spécifique pour les sélectionner. Cependant, lorsque Zhang a examiné les fichiers de données réels stockés de cette expérience, les chiffres ne correspondaient pas. Les données stockées ne contenaient des enregistrements que pour 500 neurones, et non pour l'ensemble complet, et les scores d'impact enregistrés pour eux étaient bien inférieurs au seuil utilisé dans le rapport. Dans les données stockées, un seuil qui sélectionnerait 205 neurones n'existait pas ; au contraire, les données montraient qu'un seul neurone dépassait le seuil rapporté. L'affirmation de 205 neurones critiques n'était pas soutenue par les preuves qui avaient été réellement sauvegardées. De plus, d'autres mesures spécifiques mentionnées dans le rapport original, telles que la vitesse d'un calcul ou le chevauchement entre différentes méthodes de test, n'ont été trouvées dans aucun des fichiers stockés. Les chiffres apparaissaient dans le texte de l'article mais ne pouvaient pas être tracés jusqu'aux données brutes.
L'étude remet également en question l'affirmation selon laquelle l'importance des couches du modèle suit un schéma lisse et prévisible qui s'estompe à mesure que l'on descend plus profondément dans le réseau. Le rapport original suggérait que l'impact de la désactivation des couches chutait selon une courbe exponentielle nette, le travail le plus important se déroulant dans les toutes premières couches. La réanalyse des données stockées montre que le schéma réel est beaucoup plus désordonné. L'impact des couches ne s'estompe pas de manière fluide ; au contraire, il est dominé par quelques couches spécifiques, y compris la toute dernière couche du réseau, qui a montré un impact important lorsqu'elle a été désactivée. Les données ne soutiennent pas l'idée d'une courbe de décroissance propre et ordonnée. Elles suggèrent plutôt une réalité plus complexe où la sécurité est influencée par un ensemble épars de couches dispersées dans le modèle, plutôt que par une décroissance unique et ordonnée.
Ce travail ne prouve pas que le modèle manque de mécanismes de sécurité ou que la théorie du double mécanisme est fausse. Il démontre simplement que les preuves spécifiques présentées dans la version archivée sont insuffisantes pour soutenir ces affirmations. Ces conclusions soulignent une exigence fondamentale pour ce type de recherche : la batterie de tests doit être suffisamment large et composée d'assez de requêtes que le modèle refuse réellement, afin qu'un changement de résultat puisse être observé lors de la désactivation d'une partie. Lorsque la ligne de base est déjà non sûre sur la plupart des requêtes, le test ne peut pas mesurer la contribution de parties individuelles. Pour identifier véritablement quelles couches ou quels neurones sont responsables de la sécurité, les chercheurs ont besoin d'un ensemble beaucoup plus large de requêtes de base sûres, et ils doivent rapporter la distribution complète des résultats plutôt qu'une simple liste de couches ayant franchi un seuil arbitraire. L'étude conclut que les affirmations d'attribution ne sont aussi fortes que les données à partir desquelles elles peuvent être recalculées, et dans ce cas, les données ne soutenaient pas les conclusions audacieuses qui en avaient été tirées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.