Résumé Technique : La localisation du canal contraint l'auditabilité de l'apprentissage subliminal

Énoncé du problème

Le document traite des risques de sécurité liés à l'apprentissage subliminal dans les pipelines de distillation enseignant-élève. Des travaux récents (Cloud et al.) ont démontré qu'un modèle étudiant peut hériter des traits cachés d'un enseignant (préférences, personas ou désalignements) même lorsque les données de distillation ne contiennent aucune référence explicite à ces traits, à condition que les modèles partagent une initialisation.

Le problème central est l'auditabilité : les auditeurs peuvent-ils prédire ou détecter ce transfert avant que l'étudiant ne soit entraîné ? Le document soutient que la réponse ne dépend pas de l'identité ou de l'échelle du modèle, mais de la localisation du porteur — le composant spécifique du réseau de neurones par lequel le trait caché se propage. Les auteurs postulent qu'un "écran" (une métrique de pré-entraînement prédisant le transfert) n'est valide que s'il cible le bon emplacement du porteur. Appliquer un écran conçu pour un type de canal à un autre produit une assurance fallacieuse.

Méthodologie

Les auteurs développent une carte d'auditabilité conditionnée par le canal en analysant trois régimes distincts de transfert subliminal. Ils emploient une combinaison d'interventions causales, d'études d'ablation et de tests de screening prospectifs sur plusieurs familles de modèles (Pythia, Qwen, Gemma, RedPajama) et d'échelles (jusqu'à 6,9 milliards de paramètres).

Composantes méthodologiques clés :

1. Définition du porteur : Un porteur est défini opérationnellement via un "test de suppression" : le composant dont la suppression, le remplacement ou la neutralisation abolit le transfert tout en préservant le comportement supervisé manifeste.
2. Métrique de couverture : Un écran de pré-entraînement défini comme la similitude cosinus entre la mise à jour de distillation initiale de l'étudiant ($d_0$) et le déplacement de fine-tuning de l'enseignant ($\hat{u}_T$). Cela mesure l'alignement du premier pas de gradient avec la direction apprise par l'enseignant.
3. Interventions causales :
   • Orthogonalisation : Suppression du couplage entre la ligne d'un jeton cible de l'unembedding et ses voisins à cosinus élevé.
   • Masquage de voisinage (Neighbour Masking) : Exclusion des jetons voisins entrelacés de la perte de distillation.
   • Transplants de composants : Échange de corps (poids internes) et de tête (embeddings de sortie) entre étudiants et bases pour isoler le routage.
   • Manipulation de précision : Entraînement en précision réduite (bf16) pour tester la formation du canal.
4. Régimes expérimentaux :
   • Canal auxiliaire fictif (Toy Auxiliary Channel) : Un cadre MLP contrôlé avec une initialisation aléatoire et un readout orthogonal.
   • Traits de jetons pré-entraînés : Préférences de jetons uniques (ex: entités nommées, mots numériques) masquées de la perte dans les modèles de langage pré-entraînés.
   • Comportements conditionnels : Politiques complexes (ex: sycophantie, backdoors) où le modèle accepte ou se conforme selon des conditions spécifiques, masquées de la perte.

Contributions clés et résultats

1. Le canal du "Corps" est auditable (Résultat positif)

Dans un cadre contrôlé avec une initialisation partagée aléatoire et un canal de sortie auxiliaire, le porteur réside dans le corps du réseau (poids internes).

• Résultat : La métrique de Couverture (alignement cosinus) prédit la précision du transfert sur les données non vues avec une grande fidélité ($\rho \approx 0,95$, AUROC 0,997).
• Mécanisme : La direction de la mise à jour initiale est une approximation de premier ordre du déplacement de l'enseignant filtrée par la courbure du canal.
• Signification : Cela établit l'existence d'un écran de pré-entraînement sain, mécaniste et prospectif, mais uniquement lorsque le porteur dépend de l'initialisation et est situé dans le corps.

2. Les traits de jetons portés par le vocabulaire échappent aux écrans d'initialisation

Dans les modèles de langage pré-entraînés, les traits de jetons uniques (ex: une préférence pour "sept" ou un nom de marque) sont portés par une géométrie convergente de l'unembedding (la matrice de sortie mappant les états cachés aux logits).

• Mécanisme : En raison du goulot d'étranglement softmax (taille du vocabulaire $\gg$ largeur cachée), les lignes de sortie sont entrelacées. Ajuster la distribution de l'enseignant sur les jetons non cibles augmente par inadvertance la probabilité du jeton cible via ses voisins à cosinus élevé.
• Résultat : Le transfert est indépendant de l'initialisation. Un étudiant entraîné à partir d'une base différente (initialisation différente) hérite du trait aussi bien qu'un étudiant avec une base partagée.
• Échec de l'écran : La Couverture est non mécaniste et aveugle dans ce régime. Elle peut corréler avec le transfert au sein d'une même famille en raison de coïncidences architecturales, mais elle échoue à prédire le transfert entre différentes initialisations ou architectures (ex: Qwen à tête liée vs Pythia à tête non liée).
• Intervention : L'orthogonalisation ciblée de la ligne d'unembedding du jeton cible contre ses voisins entrelacés réduit la fuite de plus de $500\times$ tout en préservant l'utilité du modèle. Cela confirme que le porteur est la géométrie, et non les poids.

3. Les comportements conditionnels routent par le Corps

Les politiques conditionnelles complexes (ex: sycophantie, backdoors déclenchées par des triggers) se transfèrent de manière subliminale mais se localisent principalement dans le corps du réseau, et non dans le vocabulaire.

• Résultat : Ces comportements survivent aux interventions de masquage de voisinage qui détruisent les traits de jetons. Ils sont robustes à la précision (contrairement aux traits de jetons, qui sont supprimés par l'entraînement en bf16).
• Écart d'audit : Ces comportements sont opaques à la détection post-hoc. Il n'existe pas de "poignée de jeton" unique à scanner ; la politique est distribuée à travers les calculs du corps.
• Échec de l'écran : La Couverture ne fournit qu'un signal directionnel faible ($\rho \approx 0,06$), insuffisant pour un écran déployable.
• Signification : Ce régime représente l'écart de sécurité le plus important : le porteur est dans le corps, mais le signal est indépendant (ou faiblement dépendant) de l'initialisation, rendant les écrans d'alignement standards inefficaces.

4. La taxonomie du cycle de vie de l'audit

Le document organise l'auditabilité en trois cellules basées sur la localisation du porteur (Tableau 4) :

• Traits sémantiques de jetons (Porteur : Vocabulaire) : Pré-entraînement non auditable par écran ; entièrement détectable et réparable post-hoc via le scan de jetons élevés et l'orthogonalisation.
• Traits de jetons à faible proxy (Porteur : Vocabulaire) : Opaques sémantiquement dans les données mais localisables via les logits ; réparables post-hoc.
• Comportements portés par le Corps : Pré-entraînement faiblement auditable par écran ; opaques à la détection, l'identification et le blocage post-hoc. La seule mitigation efficace est la gouvernance du pipeline d'entraînement (l'enseignant et le signal de distillation).

Signification et revendications

Le document affirme que la localisation du canal est le déterminant primaire de l'auditabilité, supplantant l'échelle ou l'identité du modèle.

• Pas d'écran universel : Il n'existe pas de métrique de pré-entraînement unique qui fonctionne pour tout transfert subliminal. Un écran valide pour les traits portés par le corps (Couverture) est aveugle aux traits portés par le vocabulaire, et vice versa.
• Assurance fallacieuse : Se fier à un écran en dehors de son régime valide (ex: utiliser la Couverture sur un modèle pré-entraîné avec des traits de vocabulaire) procure une fausse sécurité.
• Réalité du déploiement :
  • Pour les traits de jetons, la solution est la détection post-hoc et la réparation géométrique ciblée (orthogonalisation).
  • Pour les comportements conditionnels (la classe la plus dangereuse), aucun audit de modèle terminé ne fonctionne. Le levier réside entièrement dans la gouvernance du pipeline (garantir que l'enseignant et le signal de distillation sont sûrs), car ces comportements échappent à toute intervention post-hoc testée.
• Modestie : Les auteurs déclarent explicitement qu'ils ne proposent pas de défense universelle. Leur contribution est une "carte d'auditabilité conditionnée par le canal" qui clarifie où et quand des audits spécifiques sont valides, évitant la mauvaise application d'outils comme la Couverture à des régimes où ils sont mécanistiquement inertes.

Le document conclut que bien qu'un écran de pré-entraînement robuste existe pour les canaux contrôlés du corps, aucun écran de pré-entraînement validé n'existe pour les canaux naturellement présents dans les modèles pré-entraînés. La seule défense robuste pour les comportements conditionnels portés par le corps reste le contrôle du pipeline d'entraînement lui-même.