Résumé Technique : Distill to Detect (D2D)

Énoncé du Problème

L'article traite du défi critique de la détection des biais préférentiels furtifs dans les modèles de langage (LLM) déployés. Ces biais sont introduits par des acteurs de la chaîne d'approvisionnement des modèles (par exemple, des fournisseurs de services, des distillateurs tiers) qui peuvent favoriser certaines entités, marques ou points de vue.

La difficulté fondamentale réside dans une asymétrie entre l'attaquant et le défenseur :

• L'Attaquant connaît le sujet du biais et peut s'assurer que le modèle se comporte de manière identique à son modèle de base non modifié sur tous les sujets non liés, ne révélant la préférence que lorsque le sujet déclencheur spécifique survient.
• Le Défenseur ignore le sujet du biais et doit auditer le modèle sans connaissance préalable de ce qu'il doit rechercher.

Les méthodes de détection existantes échouent car les biais furtifs sont conçus pour rester en dessous du seuil de détection de toute évaluation opérant uniquement sur le texte généré. Le signal de biais réside entièrement dans la distribution des logits (soft logits) (décalages de probabilité) plutôt que dans les jetons générés, ce qui le rend invisible à l'inspection textuelle, aux classificateurs standards et même aux agents de red-teaming qui sondent des catégories prédéfinies.

Méthodologie : Distill to Detect (D2D)

Les auteurs proposent Distill to Detect (D2D), une méthode qui amplifie les biais cachés en distillant le décalage de distribution entre un modèle suspecté ($\pi_{\theta_B}$) et son modèle de base connu ($\pi_{\theta_0}$) dans un adaptateur à faible capacité.

1. Le Mécanisme de la Cartouche

D2D distille le comportement du modèle suspecté dans une cartouche, un type spécifique d'adaptateur de préfixe de cache KV (Eyuboglu et al., 2025 ; Li & Liang, 2021).

• Architecture : Les paramètres du modèle de base sont gelés. Un petit ensemble de paramètres entraînables ($\alpha$) optimise les états Key-Value (KV) appris, prépendés à chaque couche du transformer.
• Contrainte de Capacité : L'adaptateur possède des ordres de grandeur de paramètres en moins que le modèle de base (par exemple, 4M contre 3B) et est nettement plus petit que le modèle complet ou les adaptateurs LoRA standards.
• Objectif d'Entraînement : L'adaptateur est entraîné pour minimiser la divergence KL directe entre le modèle suspecté et le modèle de base adapté ($\pi_{\alpha}$) :
  $$\mathcal{L}_{detect} = \mathbb{E}_{x \sim D} [ D_{KL}(\pi_{\theta_B}(\cdot | x) \parallel \pi_{\alpha}(\cdot | x)) ]$$
  Crucialement, cet entraînement utilise un jeu de données sans rapport avec le sujet du biais (par exemple, des prompts d'instruction de suivi d'Alpaca), garantissant que le défenseur n'a pas besoin d'accéder aux données d'injection de l'attaquant.

2. Le Mécanisme d'Amplification

L'intuition centrale est que le goulot d'étranglement de la capacité force l'adaptateur à prioriser les composantes les plus saillantes du décalage de distribution.

• Structure du Biais : Les auteurs supposent que le décalage de logit se décompose en un signal de biais cohérent de faible rang ($\Delta_{bias}$) et un résidu de masquage diffus de rang élevé ($\Delta_{res}$). Le modèle furtif utilise le résidu pour supprimer le biais sur les prompts bénins.
• Projection Pondérée par Fisher : L'analyse théorique montre que la minimisation de la divergence KL sous une contrainte de capacité effectue une projection pondérée par Fisher du décalage de logit.
• Résultat : L'adaptateur de faible capacité capture le signal de biais cohérent et de faible rang (qui domine le spectre) mais rejette le résidu de masquage diffus. Cette « concentration » amplifie le biais, provoquant son émergence dans le texte généré du modèle adapté, même sur des prompts où le modèle furtif original semblait propre.

3. Cadre Théorique

L'article fournit un cadre théorique (Théorème 1) définissant le Ratio de Concentration de Biais (BCR). Il prédit une relation en U inversé entre la capacité de l'adaptateur et l'amplification :

• Trop Petit : Ne peut pas capturer l'intégralité du signal de biais.
• Optimal (Intermédiaire) : Capture le biais tout en rejetant le résidu de masquage, maximisant le BCR.
• Trop Grand : Récupère le résidu de masquage, diluant le biais et ramenant le modèle à un comportement furtif (BCR $\to$ 1).

Principales Contributions

1. Méthode D2D : Introduction d'une méthode qui amplifie les biais furtifs en distillant les décalages de distribution dans un adaptateur de préfixe de cache KV de petite taille, rendant les biais auparavant indétectables visibles pour les oracles de détection existants sans connaissance du sujet du biais.
2. Justification Théorique : Un cadre démontrant que le goulot d'étranglement de la capacité effectue une projection pondérée par Fisher qui conserve le biais cohérent tout en rejetant les résidus de masquage, prédisant une courbe d'amplification en U inversé.
3. Validation Empirique : Démonstration que l'alignement structurel de la cartouche avec le mécanisme d'injection de préfixe KV (utilisé dans la distillation de contexte) produit une amplification fiable, alors que les adaptateurs dans l'espace des poids (LoRA) ou la distillation de modèle complet de capacité comparable ou supérieure échouent à faire émerger le biais dans le texte généré.

Résultats Expérimentaux

Les auteurs ont évalué D2D sur deux types de biais (préférence pour les hiboux et préférence pour la marque Fanta) en utilisant Llama-3.2-3B-Instruct et Qwen3-4B-Instruct.

• Performance de Détection : D2D a nettement surpassé les lignes de base.
  • Biais Hibou (Owl) : La détection par Petri est passée de 37 % (ligne de base furtive) à 70 % avec D2D.
  • Biais Fanta : La détection par Petri est passée de 33 % à 100 % avec D2D.
  • En revanche, LoRA et la distillation de modèle complet sont restés proches ou en dessous de la ligne de base furtive (par exemple, LoRA n'a atteint que 10 % de détection Petri pour le biais Hibou).
• Écart Préférence vs Détection : Bien que LoRA et les modèles complets aient appris le signal de préférence du biais (atteignant des taux de préférence élevés), ils ont échoué à l'amplifier pour la détection car ils ont également appris le résidu de masquage. La cartouche, contrainte par sa capacité, ne pouvait pas se permettre d'apprendre le comportement de masquage.
• Robustesse :
  • Post-Entraînement : D2D est resté efficace même après que le modèle a subi un post-entraînement supplémentaire (GRPO sur GSM8K), récupérant le biais avec 93 % de détection.
  • Variations d'Injection : D2D a fonctionné même lorsque le prompt d'injection utilisait un langage descriptif sans nommer le jeton cible (injection non-lexicale) et s'est généralisé à différentes familles de modèles (Qwen3).
• Balayage de Capacité : Les expériences ont confirmé la courbe en U inversé, la détection culminant avec une taille de cartouche de 16 jetons et diminuant pour des tailles plus grandes.

Signification et Revendications

L'article positionne D2D comme un bloc de construction pratique pour l'audit des comportements cachés dans les modèles de langage déployés.

• Outil Défensif : Il est explicitement présenté comme un mécanisme défensif nécessitant un accès "gray-box" (à la fois le modèle suspecté et son checkpoint de base), un scénario correspondant aux cas d'audit légitimes où un déployeur a la garde de ces deux artefacts.
• Couche Complémentaire : D2D ne remplace pas les oracles de détection existants (comme Petri ou AuditBench) ; il agit plutôt comme une étape de pré-traitement qui transforme un modèle furtif en un modèle « adapté » où le biais est ouvertement visible, permettant aux auditeurs standards de fonctionner de manière fiable.
• Limites : Les auteurs reconnaissent que D2D repose sur le fait que le biais soit un décalage de logit cohérent et de faible rang (typique de la distillation de contexte). Il pourrait être moins efficace contre les stratégies d'injection de rang élevé (par exemple, empoisonnement de données, portes dérobées/backdoors) ou dans des contextes strictement "black-box" où le modèle de base n'est pas disponible.

Ce travail démontre qu'en transformant le goulot d'étranglement de la capacité des adaptateurs de réglage de préfixe en un outil de détection, il est possible d'exposer des biais furtifs qui seraient autrement invisibles à l'inspection textuelle.