Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map

Résumé technique : « Ce checkpoint a-t-il été ablité ? Un audit à deux signaux et sa carte d'échec »

Énoncé du problème
La prolifération rapide de modèles à « poids ouverts » qui ont été « ablités » (dépouillés de leurs mécanismes de refus) pose un défi important pour les plateformes et les organismes de gouvernance. Ces artefacts apparaissent souvent peu de temps après la sortie de modèles de base majeurs. Les garde-fous actuels en temps d'exécution sont insuffisants pour l'audit pré-déploiement car ils évaluent les générations du modèle plutôt que l' artefact du modèle lui-même. De plus, l'accès en boîte noire ne peut supporter des audits rigoureux. La question centrale est la suivante : Un artefact de checkpoint spécifique a-t-il vu son mécanisme de refus supprimé ?

Méthodologie
Les auteurs proposent un audit de checkpoint sans seuil qui combine deux signaux internes complémentaires, standardisés et additionnés pour créer un score unique. L'audit nécessite un checkpoint candidat ($M_c$) et un checkpoint de référence attesté et fiable ($M_b$).

1. Écart de refus d'activation ancré sur la référence ($\rho$) :

   • Mécanisme : Calcule le ratio de l'écart d'activation « nocif moins bénin » dans le modèle candidat par rapport au modèle de référence.
   • Définition : $\rho = \text{gap}(M_c) / \text{gap}(M_b)$, où le gap est la différence moyenne des activations du dernier jeton sur des prompts nocifs vs bénins dans une bande de couches de milieu de pile.
   • Fonction : Fournit la spécificité du refus. Une valeur proche de 1 indique un mécanisme de refus intact ; une valeur proche de 0 indique une suppression.
   • Limitation : Il est limité à une seule direction (la direction de la différence des moyennes) et peut manquer des suppressions le long de directions non canoniques ou dans les modèles distillés pour le raisonnement où le refus migre vers la chaîne de pensée (chain-of-thought).

2. Énergie de récupération des poids ($E_1$) :

   • Mécanisme : Mesure la fraction d'énergie de rang 1 de la différence de poids ($\Delta W = W_b - W_c$) dans les matrices de projection de sortie d'attention et de MLP-down.
   • Définition : $E_1 = \frac{1}{|W|} \sum \frac{\sigma_1^2(\Delta W_m)}{\sum \sigma_i^2(\Delta W_m)}$.
   • Fonction : Fournit le rappel. Il détecte toute modification de poids de faible rang, capturant les suppressions multidirectionnelles que l'écart d'activation manque.
   • Limitation : Il ne peut pas distinguer la suppression du refus d'éditions bénignes de faible rang (ex: fine-tuning agressif) de manière autonome.

3. Détecteur combiné :

   • Les deux signaux sont négativement corrélés ($r \approx -0,41$) et complémentaires dans l'étiquetage.
   • Le score final est la somme de leurs scores z : $s(M_c) = z(-\rho) + z(E_1)$.
   • Le système utilise une standardisation transductive basée sur une population de référence et définit un point de fonctionnement via la statistique $J$ de Youden sur un ensemble de calibration.

Principales contributions

1. Détecteur de triage de checkpoint efficace : La somme des scores z du détecteur combiné atteint un AUROC de 0,95 sur un registre de 273 checkpoints (57 non censurés, 37 bénins), surpassant nettement chaque signal pris isolément (0,84 et 0,90). Il se transfère à des familles de modèles non vues avec une précision équilibrée de 0,89 (FPR 0,11).
2. Carte d'échec : Le papier cartographie explicitement deux modes d'échec :
   • Référence usurpée (Spoofed Reference) : Si la référence déclarée est elle-même adversaire (déjà ablitée) ou si le candidat est utilisé comme sa propre référence, l'audit échoue sans aucun entraînement ($\Delta W=0, \rho=1$).
   • Évasion en boîte blanche (White-Box Evasion) : Un propriétaire en boîte blanche peut entraîner un checkpoint pour évader le détecteur (poussant le score sous le seuil) tout en maintenant un comportement non sécurisé et cohérent.
3. Registre public : L'évaluation est menée sur un registre de 273 checkpoints couvrant Qwen, DeepSeek-distillé Qwen, Llama et Gemma, incluant des négatifs bénins (fine-tunes, merges, instruction-tunes).

Résultats

• Séparabilité : Le détecteur combiné sépare 53 des 57 checkpoints non censurés des éditions bénignes. Les 4 cas manqués étaient des variantes ordinaires d'ablitération, et non des « recettes complexes ».
• Transférabilité : Sous une calibration de type « laisser une famille de côté », le détecteur maintient une performance élevée (Précision équilibrée 0,89), alors que les méthodes de seuillage absolu (comme AMS Tier-1) échouent de manière significative (Précision équilibrée 0,35).
• Complémentarité : L'écart d'activation échoue lorsque le refus est supprimé le long de multiples directions ou caché dans les traces de raisonnement ; l'énergie des poids capture ces cas mais signale trop souvent les éditions bénignes. La combinaison atténue ces faiblesses individuelles.
• Évasion : Une attaque adaptative en boîte blanche a réussi à faire passer un modèle Qwen2.5-1.5B de l'état « détecté » à l'état « évadé » en 600 étapes d'entraînement. Le modèle résultant est resté non sécurisé (20/20 prompts nocifs) et cohérent, n'incurant qu'une faible « taxe d'obscurcissement » sur les connaissances générales et les mathématiques.

Signification et affirmations
Le papier positionne cet audit comme un outil de triage efficace, et non comme une solution infaillible contre les manipulations.

• Utilité : Il fournit un premier filtre peu coûteux pour les plateformes afin de signaler les checkpoints pour une revue humaine avant déploiement, réduisant considérablement la dépendance à l'évaluation de la génération en temps d'exécution.
• Limites : Les auteurs déclarent explicitement que les affirmations de l'audit sont limitées par le registre évalué et l'hypothèse d'une référence attestée.
• Double usage : Le papier reconnaît que la méthodologie elle-même fournit une « recette d'évasion sensible à la détection », notant que le fine-tuning naturel n'ouvre pas cette vulnérabilité, mais qu'une optimisation ciblée le fait.
• Modestie : Les auteurs ne prétendent pas résoudre entièrement le problème de la sécurité. Ils soulignent que l'audit repose entièrement sur l'intégrité de l'attestation de base ; si la référence est usurpée, l'audit est nul à la racine. De plus, la capacité d'évasion en boîte blanche démontre que des propriétaires déterminés peuvent entraîner les modèles pour passer outre ces signaux tout en conservant un comportement non sécurisé.