Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

Résumé Technique : Tester si les précurseurs de portes dérobées internes précèdent le comportement

Énoncé du Problème
La surveillance de la sécurité actuelle des modèles d'IA évalue généralement si un modèle terminé contient une porte dérobée (backdoor) ou analyse la dynamique d'entraînement de manière isolée. Un fossé temporel critique subsiste : on ignore si une représentation interne associée à une porte dérobée devient détectable avant que le comportement de sortie du modèle ne présente un changement statistiquement significatif. Les méthodes existantes échouent à établir une comparaison causale et temporelle entre les signaux internes et le comportement de sortie car elles manquent souvent de conditions nuls appariées, utilisent des seuils de classification arbitraires ou ne contrôlent pas le taux d'erreur familial lors des inspections denses de points de contrôle (checkpoints). De plus, un signal interne décodable n'implique pas nécessairement un précurseur causal ; il peut simplement encoder la présence du déclencheur sans pour autant piloter le comportement cible.

Méthodologie
L'auteur propose un protocole rigoureux et falsifiable pour tester si un précurseur de porte dérobée interne précède la manifestation comportementale. L'expérience utilise un modèle GPT-2 de 124 millions de paramètres affiné sur la tâche de classification de sentiment SST-2.

1. Conception Expérimentale :

   • Protocole d'Entraînement : Le modèle subit une phase d'« adaptation propre » (clean adaptation), suivie d'une phase de continuation où seuls les blocs transformeurs 10 et 11 (et la couche de normalisation finale) sont mis à jour.
   • Conditions : Deux conditions sont exécutées en parallèle :
     • Condition de Porte Dérobée : Un marqueur de jeton spécifique (cf) est associé à un comportement cible (cartographie des avis négatifs vers un sentiment positif).
     • Condition de Nul Apparié : Des entrées, l'exposition au marqueur, les totaux d'étiquettes et le bruit d'étiquette sont identiques, mais le marqueur actif n'est pas associé au comportement cible (le mauvais étiquetage se produit sur des exemples non marqués).
   • Points de Contrôle Denses : Les modèles sont évalués à chaque étape de mise à jour (0 à 80).

2. Double Détecteur :

   • Essai Comportemental : Mesure le changement continu de la marge de logit de sortie (positif moins négatif) pour les entrées avec marqueur actif par rapport aux entrées avec marqueur de contrôle, par rapport à la ligne de base pré-continuation. Cela évite le seuillage arbitraire.
   • Essai Interne : Mesure le décalage dans le flux résiduel (post-bloc 10) projeté sur une direction unidimensionnelle verrouillée. Cette direction est dérivée d'une « découverte » de continuation indépendante, entraînée sur un ensemble de données distinct pour capturer le mécanisme mature de la porte dérobée. Crucialement, la direction est fixée avant que les exécutions de confirmation ne commencent pour éviter le surapprentissage.

3. Interventions Causales :
   Pour vérifier qu'un signal interne précoce est un précurseur et non un simple passager décodable, le protocole emploie des interventions causales au moment de la détection revendiquée :

   • Ablation : Suppression de la coordonnée acquise de l'activation du marqueur actif.
   • Restauration : Ajout d'une amplitude de même amplitude provenant d'exemples donneurs indépendants à l'activation ablée.
   • Patch de Contrôle : Ajout de l'amplitude aux entrées de marqueur de contrôle.
     Ces interventions sont testées sur un ensemble de prompts disjoint pour assurer la séparation temporelle.

4. Calibrage Statistique :

   • Contrôle de l'Erreur : Pour traiter le « problème des comparaisons multiples » inhérent à l'inspection de 160 détecteurs-checkpoints (2 détecteurs × 80 mises à jour), le protocole utilise un seuil de statistique maximale dérivé de 20 000 tirages bootstrap de trajectoires nulles. Cela garantit un taux de faux positifs familial strict.
   • Appariement de Puissance : Les deux détecteurs utilisent la même taille d'échantillon ($n=128$), le même statisticien de moyenne studentisée et le même seuil, assurant une puissance statistique comparable.
   • Portes de Décision : Un résultat positif nécessite : (1) que le test interne franchisse le seuil avant le test comportemental dans un nombre significatif de runs ; (2) un succès de la suppression (ablation) et du sauvetage (restauration) du comportement cible au point de franchissement interne ; et (3) une signification statistique via des tests de renversement de signe exacts avec correction de Holm.

Contributions Clés

• Protocole Exécutable : Le papier présente un protocole entièrement spécifié et falsifiable pour comparer l'apparition des représentations internes et des comportements sous des conditions appariées.
• Comparaison Temporelle Causale : Il dépasse la simple corrélation en exigeant qu'un signal interne précoce soit causalement nécessaire (via l'ablation/restauration) pour le comportement final.
• Cadre Statistique Rigoureux : Il introduit un calibrage de statistique maximale conjointe pour contrôler les faux positifs lors des inspections temporelles denses et assure l'appariement de la puissance entre les tests internes et comportementaux.
• Découplage de la Décodabilité et de la Causalité : En utilisant une découverte de direction indépendante et des interventions causales, le protocole distingue l'information qui est simplement présente dans les poids de l'information qui pilote fonctionnellement la porte dérobée.

Résultats
Le papier stipule explicitement qu'aucun résultat de confirmation concernant l'hypothèse temporelle n'est rapporté.

• L'auteur a réalisé des « tests de fumée » (smoke tests) et des tests unitaires synthétiques pour vérifier le pipeline, incluant l'adaptation propre, l'ajustement de la direction de découverte, l'évaluation dense et la logique d'intervention causale.
• Ces tests ont confirmé les détails de l'implémentation (par exemple, les identifiants de jetons, le nombre de paramètres, le timing du flux de travail) mais étaient expressément non inférentiels.
• Par conséquent, la question « Les représentations de portes dérobées causalement nécessaires deviennent-elles détectables avant le comportement apparié ? » demeure ouverte. Le papier fournit la procédure de décision et l'analyse d'erreur, mais ne fournit pas la réponse.

Signification et Revendications
La contribution principale du papier est méthodologique, et non empirique.

• Il établit un critère falsifiable pour répondre à la question de savoir si les précurseurs internes précèdent le comportement, empêchant les chercheurs de confondre l'identité des jetons, le seuillage du comportement, la flexibilité des sondes ou des budgets d'erreur inégaux avec de véritables alertes précoces.
• Il soutient qu'une affirmation d'« alerte précoce » nécessite quatre composantes liées : une ligne de base excluant l'identité statique de l'entrée, un comparateur de sortie continu, des opportunités de rejet égalisées (appariement de puissance), et une intervention établissant l'usage causal plutôt que la simple décodabilité.
• Ce travail soutient l'agenda de l'« interprétabilité développementale » en fournissant un test opérationnel pour surveiller les dynamiques d'entraînement à la recherche de précurseurs pertinents pour la sécurité, plutôt que de simplement auditer les modèles finaux.

En résumé, le papier définit comment tester rigoureusement les précurseurs de portes dérobées, mais ne prétend pas en avoir trouvé, laissant la question substantielle ouverte pour une application future de ce protocole.