Résumé technique : Demander en retour : Filigranes antidistillation de la couche d'interaction

Énoncé du problème

La prolifération des modèles de langage de pointe servis via des API boîtes noires a créé une menace commerciale mature : la distillation de connaissances non autorisée. Des adversaires récoltent des paires de prompts et de réponses depuis une API enseignante, affinent un modèle étudiant plus petit et le déploient sans autorisation. Se défendre contre cela est difficile car le défenseur ne contrôle ni le pipeline d'entraînement de l'attaquant ni les logits internes de l'enseignant (distributions du prochain token).

Les défenses antidistillation existantes opèrent sur trois couches principales, qui partagent toutes une vulnérabilité au rewriting pré-distillation :

1. Couche de distribution de tokens : Perturbe les probabilités du prochain token (par exemple, filigranes de liste verte, schémas cryptographiques).
2. Couche modèle : Modifie le modèle enseignant lui-même pour y intégrer des signatures.
3. Couche de trace de raisonnement : Réorganise ou réécrit les traces de chaîne de pensée.

Des travaux récents démontrent que les attaquants peuvent paraphraser les réponses récoltées avant l'entraînement, éliminant efficacement ces signaux de surface tout en préservant le transfert de connaissances sous-jacent. Cela laisse un vide structurel : même si un signal survit, il ne spécifie pas nécessairement un comportement distinctif et interrogeable dans l'étudiant distillé.

Méthodologie

Cet article propose un quatrième lieu complémentaire pour le filigranage : la couche d'interaction. Au lieu de modifier les probabilités de tokens ou les paramètres du modèle, le défenseur enveloppe l'enseignant avec un prompt système qui induit intermittemment un marqueur comportemental ($B$) spécifique.

Le mécanisme de demande en retour

Le défenseur implémente une politique de déclenchement ($\Pi_B$) qui sélectionne un prompt système ($s_B$) pour une fraction ($\rho$) des entrées. Le prompt système instruit l'enseignant à exhiber un comportement d'interaction spécifique, tel que :

• FORT (Explicite) : Ajout d'une question de suivi concernant le cas d'utilisation, l'environnement ou l'intention de l'utilisateur.
• DOUX (Explicite faible densité) : La même question de suivi, mais seulement pour un sous-ensemble d'environ 20 % des prompts.
• CONTRÔLE DE STYLE (Implicite) : Une reformulation déclarative ou une phrase d'avertissement (par exemple, « En pratique, cela fonctionne mieux lorsque... ») intégrée dans la réponse, également à une densité d'environ 20 %.

Un distillateur ignorant, ignorant la politique de déclenchement, entraîne un étudiant sur le corpus récolté. Parce que le marqueur comportemental fait partie du texte de réponse que l'étudiant est invité à imiter, l'étudiant hérite de ce comportement. Le défenseur peut ensuite auditer un étudiant suspecté via des requêtes boîte noire, en utilisant un LLM comme juge pour détecter la présence du marqueur.

Formalisation

Le filigrane est défini comme un triplet $(B, \Pi_B, \rho)$, où $B$ est une fonction de marqueur, $\Pi_B$ est la politique de déclenchement et $\rho$ est le taux de marqueur induit. L'article introduit des métriques pour :

• Taux de transfert ($\tau$) : Le taux auquel un étudiant exhibe le marqueur sur des données de test.
• Transfert relatif ($\tau_{rel}$) : Le taux de l'étudiant normalisé par le taux de l'enseignant.
• Robustesse à la paraphrase : Décomposée en un plafond auto-enseignant ($R_T$, la rétention de l'enseignant sous paraphrase côté prompt) et une rétention relative étudiant ($R_{rel}$, la capacité de l'étudiant à préserver le signal par rapport à la dégradation de l'enseignant).

Contributions clés

1. Cadrage du problème : Les auteurs formalisent le filigrane de la couche d'interaction et définissent des équivalents comportementaux aux métriques de niveau token existantes (liste verte, données radioactives).
2. Échelle : L'étude présente l'évaluation de filigranage de distillation inter-familles la plus large à ce jour, impliquant 63 étudiants distillés par LoRA répartis sur trois familles de modèles (Gemma, OLMo, Qwen) entraînés sur un enseignant Llama-3.3-70B-Instruct, avec 35 343 échantillons jugés.
3. Robustesse à la paraphrase à deux niveaux : Le travail caractérise la robustesse non pas comme un nombre unique, mais comme une décomposition des limites héritées de l'enseignant et de la rétention spécifique à l'étudiant, révélant que certains étudiants peuvent préserver les filigranes plus fiablement que l'enseignant lui-même dans des conditions spécifiques.

Résultats expérimentaux

L'évaluation couvre cinq hypothèses ($H1$–$H5$) et plusieurs constatations :

• Apprenabilité ($H1$) : Les étudiants entraînés sur des données filigranées exhibent le marqueur à des taux nettement supérieurs à la ligne de base. Dans une étude de cas intra-famille, un étudiant entraîné sur des données « FORT » a atteint un taux de marqueur de 99,56 % contre une ligne de base de 5,09 %.
• Généralisation inter-familles ($H2$) : L'effet se maintient à travers trois familles de modèles distinctes. Les taux de transfert relatifs pour le marqueur « FORT » étaient de 88,9 % (Gemma), 80,9 % (OLMo) et 45,2 % (Qwen).
• Robustesse à la paraphrase ($H3$) : Lorsque le prompt utilisateur est paraphrasé (en utilisant DIPPER), le taux de marqueur de l'enseignant baisse (par exemple, de 90,9 % à 60,4 % pour FORT, soit une rétention de 66,4 %). Cela établit un plafond. Cependant, la rétention relative étudiant varie :
  • Gemma : 89 % de rétention du taux dégradé de l'enseignant.
  • Qwen : 65 % de rétention.
  • Anomalie OLMo : OLMo a présenté une rétention de 112 %, préservant le filigrane au-dessus de la performance dégradée de l'enseignant lui-même.
• Densité-détection ($H4$) : Même à de faibles densités ($\rho \approx 20 \%$), les taux de détection sont fiablement au-dessus du plancher de bruit par famille. Par exemple, les étudiants OLMo entraînés sur des données à 20 % de densité ont montré un taux de détection de 31,99 % (contre 0,65 % de ligne de base), dépassant le taux propre de l'enseignant de 17,85 % sur le même sous-ensemble.
• Discrétion ($H5$) : Une étude en laboratoire ($N=20$) utilisant un protocole latin-carré pré-enregistré a constaté que les marqueurs à faible densité (20 % et 50 %) ne dégradaient pas significativement la qualité de l'interaction perçue par l'utilisateur. Toutes les variantes de marqueurs sont restées dans 0,22 échelons Likert de la ligne de base.
• Transfert implicite (F-Style) : Le marqueur « CONTRÔLE DE STYLE » (déclaratif, non interrogatif) s'est également transféré de manière fiable (4,1 à 7,9 fois la ligne de base), démontrant que le mécanisme repose sur le discours de niveau interaction plutôt que sur des formes syntaxiques spécifiques comme les points d'interrogation.

Importance et revendications

L'article revendique que la couche d'interaction est un lieu de conception viable pour le filigranage antidistillation, offrant un canal d'audit complémentaire aux défenses de niveau token, modèle et trace de raisonnement.

• Modes de défaillance complémentaires : Alors que les signaux de niveau token sont vulnérables au rewriting au niveau de la réponse, et que les traces de raisonnement sont vulnérables au réordonnancement structurel, les signaux de la couche d'interaction (tendances comportementales) semblent robustes à la paraphrase côté prompt et survivent à la distillation en tant que compétences discursives apprises.
• Transfert comportemental : Les résultats suggèrent que la distillation préserve préférentiellement les régularités structurelles et les compétences de niveau discours (comme « demander en retour ») plutôt que les statistiques de tokens de surface.
• Viabilité pratique : L'étude démontre que des filigranes à faible densité peuvent être déployés sans dégrader l'expérience utilisateur, fournissant une méthode pratique pour auditer la distillation non autorisée via des requêtes boîte noire.

Les auteurs restent modestes quant à la portée, notant que le modèle de menace actuel se concentre sur la paraphrase non adaptative côté prompt. Ils identifient le rewriting côté réponse et les attaques adaptatives comme des problèmes ouverts pour les travaux futurs. De plus, l'effet d'« amplification » observé chez OLMo (où l'étudiant surpasse l'enseignant) est traité comme une observation mono-famille nécessitant un ancrage empirique supplémentaire plutôt que comme une propriété universelle.