Résumé technique : Un tatouage numérique pour les modèles de Vision-Langage-Action et de Monde-Action

Énoncé du problème

Les modèles de Vision-Langage-Action (VLA) et les modèles de Monde-Action (WAM) sont de plus en plus déployés en tant que services "boîte noire" où les poids du modèle restent privés, mais où la politique est exécutée via une API ou un package sur site. Ces modèles représentent une propriété intellectuelle (PI) significative en raison des données propriétaires et des ressources de calcul nécessaires à leur entraînement. Un défi critique surgit lorsqu'un partenaire ou un adversaire tente de revendre ou de redéployer une politique protégée sans l'autorisation du propriétaire.

Les solutions de tatouage numérique existantes pour les politiques robotiques font face à deux limitations principales :

1. Tatouages basés sur des portes dérobées (backdoors) : Ils nécessitent la modification des poids du modèle pour déclencher des actions spécifiques. Ils sont difficiles à étendre aux scénarios d'identification multi-utilisateurs et peuvent être affaiblis par un ajustement fin (fine-tuning) ultérieur ou par l'apprentissage par imitation (behavior cloning).
2. Tatouages par perturbation de la sortie : Ils intègrent des signaux dans le bruit d'exploration du flux d'actions. Cependant, comme le signal est concentré dans une bande de fréquence étroite de la sortie, il est facilement détectable par des adversaires qui peuvent appliquer une analyse spectrale et des filtres étroits pour supprimer le tatouage avec un impact minimal sur la performance de la tâche.

Le problème central est de concevoir un mécanisme de tatouage numérique capable de protéger la propriété dans un contexte de boîte noire, de supporter l'identification par clés multiples, de rester robuste face aux attaques de suppression du côté de la sortie, et de ne pas dégrader la performance de la tâche.

Méthodologie : Vérification de la provenance latente par clé (Keyed Latent-Provenance Verification)

Les auteurs proposent la Vérification de la provenance latente par clé, une méthode en deux étapes qui intègre la preuve de propriété dans la graine du bruit latent plutôt que dans la sortie d'action finale.

1. Injection de l'empreinte (Fingerprint Injection)

L'injection se produit avant que le modèle ne génère un bloc d'actions (action chunk).

• Mécanisme : Le propriétaire du modèle remplace la graine de bruit gaussien standard ($z_c$) tirée par l'échantillonneur par une graine "empreintée" ($z^{fp}_c$).
• Perturbation par clé : La graine empreintée est une combinaison linéaire du bruit original et d'un vecteur de référence lié à une clé ($r_c$) :
  $$z^{fp}_c = \sqrt{1-\beta^2} z_c + \beta r_c$$
  où $\beta$ contrôle l'intensité de l'injection. Le vecteur de référence $r_c$ est généré à l'aide d'un générateur de nombres pseudo-aléatoires amorcé par une clé secrète $k^*$, un nonce $\nu_e$, et l'indice du bloc.
• Invariance statistique : Crucialement, la graine $z^{fp}_c$ résultante conserve exactement la même distribution gaussienne ($N(0, I)$) que le bruit original. Cela garantit que le flux d'actions ne présente pas de signal additif explicite qu'un adversaire pourrait facilement filtrer. La corrélation entre la graine et la clé est dissimulée au sein du processus de génération non linéaire du modèle.
• Injection sélective : Tous les blocs d'actions ne sont pas marqués. Un sélecteur lié à la clé détermine quels blocs sont perturbés afin de limiter la perturbation de la tâche et d'empêcher les adversaires d'identifier des blocs spécifiquement "marqués" pour une suppression ciblée.

2. Vérification de l'empreinte (Fingerprint Verification)

La vérification est effectuée par un propriétaire autorisé ayant accès aux actions exécutées par le robot suspect (qui peuvent être partielles ou post-traitées).

• Récupération MAP du latent : Puisque le vérificateur ne peut pas voir la graine interne, il doit la récupérer à partir des actions observées ($y_c$). Les auteurs formulent cela comme un problème d'optimisation de type Maximum A Posteriori (MAP). Le vérificateur recherche une graine latente $\hat{z}$ qui minimise l'erreur entre l'action prédite (générée à partir de $\hat{z}$) et l'action observée, tout en pénalisant les écarts par rapport au prior gaussien. Cette approche évite d'avoir à deviner les canaux d'action non observés, un point de défaillance des méthodes de réversion d'ODE utilisées dans le tatouage d'images.
• Score conditionné par la clé : La graine récupérée est comparée à des références par clé candidates à l'aide d'un filtre adapté (produit scalaire).
• Calibration et agrégation : Pour gérer la variabilité entre les tâches et les épisodes, le vérificateur évalue le suspect par rapport à une banque de clés "leurres" pour normaliser les scores (Z-score). La preuve provenant de plusieurs passages (group aggregation) est sommée pour prendre une décision binaire finale sur la propriété ou pour identifier la clé spécifique parmi plusieurs candidates.

Contributions clés

1. Vérification de la provenance latente par clé : Un cadre novateur qui tatoue les déploiements de VLA et de WAM en modifiant la graine de bruit latente, préservant la loi du bruit gaussien et évitant les signaux visibles du côté de la sortie.
2. Conception de vérificateur en boîte noire : Un système de vérification capable de récupérer des graines latentes à partir de commandes d'action partielles et post-traitées via une optimisation MAP, supportant à la fois la vérification de propriété binaire et l'identification multi-clés.
3. Évaluation complète : Expérimentations approfondies sur deux familles de politiques ($\pi0.5$ et LingBot-VA) et deux suites robotiques (LIBERO-10 et RoboTwin), évaluant la robustesse face aux attaques de suppression du côté de la sortie (écrêtage, lissage, jitter, délai), aux variantes du côté du propriétaire (LoRA, élagage, quantification) et aux attaques d'ajustement fin adaptatif.

Résultats expérimentaux

La méthode a été évaluée sur quatre combinaisons modèle-robot. Principales conclusions :

• Performance de la tâche : L'injection du tatouage numérique a entraîné des changements négligeables sur les taux de réussite des tâches (généralement de quelques points de pourcentage) et sur la longueur des épisodes.
• Précision de la détection : En l'absence d'attaques, la méthode a atteint une détection parfaite (TPR 1.00 à un taux de faux positifs de 1 %) pour toutes les combinaisons lors de l'agrégation de 16 passages.
• Robustesse aux attaques de sortie : Le tatouage est resté détectable sous diverses attaques de suppression du côté de la sortie. Bien qu'un lissage ou un jitter agressif sur la combinaison $\pi0.5$/LIBERO-10 ait réduit les taux de détection, la méthode a généralement maintenu une haute robustesse. Les auteurs notent que les attaques assez fortes pour supprimer le tatouage dégradent souvent de manière significative la performance de la tâche.
• Robustesse aux variantes du propriétaire : L'empreinte a survécu à l'ajustement fin par LoRA, à l'élagage (pruning) et à la quantification. Dans les cas où la compression endommageait l'architecture du modèle (réduisant le succès de la tâche), l'empreinte était toujours récupérable après agrégation.
• Identification : Le système a identifié avec succès la clé spécifique assignée à une politique suspecte parmi 33 candidates, atteignant une haute précision de rang 1 après agrégation.
• Analyse de sécurité :
  • Risque de fausse clé : La probabilité qu'une clé aléatoire ou indépendante franchisse le seuil est extrêmement faible (estimée empiriquement entre $10^{-3}$ et $10^{-9}$ selon le seuil).
  • Suppression adaptative : Les attaques en boîte blanche où un adversaire ajuste la politique pour minimiser le score du tatouage ont échoué à supprimer l'empreinte sans dégrader sévement la performance de la tâche.
  • Distillation : L'apprentissage par imitation (entraînement d'un étudiant sur les sorties du professeur) a réussi à supprimer le tatouage, car l'étudiant apprend la distribution des actions mais pas l'invariance de la loi du bruit spécifique de l'échantillonneur du professeur. Les auteurs présentent cela comme la limite où le coût de l'évasion (entraîner un nouveau modèle) devient prohibitif.

Signification et affirmations

L'article affirme que la vérification de la provenance latente par clé offre un mécanisme pratique et robuste pour protéger les politiques robotiques génératives privées. En intéant le tatouage dans la graine latente plutôt que dans la sortie, la méthode évite la vulnérabilité de "suppression facile" des tatouages basés sur la fréquence.

Les auteurs soulignent que leurs garanties sont des points de fonctionnement empiriques plutôt que des preuves cryptographiques. La méthode est conçue pour des audits autorisés et a posteriori, où le propriétaire a accès au service suspect. La signification réside dans la capacité des propriétaires à détecter le redéploiement non autorisé de leurs politiques, même lorsque les poids sont cachés et que la sortie est sujette aux traitements post-déploiement standards. Ce travail met en évidence un compromis : bien que le tatouage soit robuste face à la manipulation de la sortie et à l'édition du modèle, il est vulnérable à la distillation, suggérant que le coût de l'évasion passe du simple filtrage à l'étape coûteuse du réentraînement d'une nouvelle politique.