Membership Inference Attacks Against Video Large Language Models

1. Définition du Problème

L'article aborde la vulnérabilité en matière de confidentialité des Modèles de Langage Vidéo à Grande Échelle (VideoLLMs) concernant les Attaques d'Inférence d'Appartenance (MIAs).

• La Question Centrale : Un auditeur externe peut-il déterminer, avec un accès boîte noire, si une vidéo spécifique faisait partie de l'ensemble de données d'entraînement d'un modèle ?
• Le Défi : Contrairement aux modèles uniquement textuels ou uniquement image, les VideoLLMs font face à des défis uniques dans les contextes boîte noire :
  • Observabilité Limitée : Les attaquants ne voient que le texte généré, pas les probabilités de tokens, les logits ou les états internes.
  • Facteurs Confondants : L'instabilité de la génération dans les VideoLLMs ne résulte pas uniquement de la mémorisation. Elle est fortement influencée par des propriétés intrinsèques de la vidéo, telles que la complexité du mouvement, la durée temporelle et la densité d'échantillonnage des images. Un modèle peut générer un texte instable pour une vidéo difficile même s'il ne l'a jamais vue auparavant, créant ainsi de faux positifs pour l'inférence d'appartenance.
• Objectif : Développer une attaque capable de distinguer l'instabilité causée par la mémorisation (appartenance) de celle causée par la difficulté de l'entrée (non-appartenance).

2. Méthodologie : TempVideo-MIA

Les auteurs proposent TempVideo-MIA, un cadre d'attaque boîte noire qui couple la génération perturbée par température avec des fonctionnalités de difficulté conscientes de la vidéo. La méthode opère en trois étapes :

A. Signal de Réponse Basé sur la Température

L'attaque exploite l'hypothèse selon laquelle les échantillons membres (vus pendant l'entraînement) induisent un motif de génération conditionnelle plus net et plus concentré que les non-membres.

• Procédure : L'attaquant interroge le VideoLLM cible avec la même vidéo et le même prompt sous deux températures de décodage différentes :
  • $\tau_{low}$ (par exemple 0,0) : Favorise une génération déterministe et à haute confiance.
  • $\tau_{high}$ (par exemple 0,8) : Favorise une exploration stochastique de formulations alternatives.
• Métrique : L'attaquant calcule la dérive sémantique entre les deux sorties générées par rapport à un texte de référence (sous-titre vérité terrain).
  • $sim\_low$ : Similarité cosinus entre la sortie à basse température et la référence.
  • $sim\_high$ : Similarité cosinus entre la sortie à haute température et la référence.
  • $temp\_diff = sim\_low - sim\_high$.
• Intuition : Si un échantillon est un membre, le modèle possède un « mode mémorisé ». À basse température, il reste proche de ce mode (forte similarité). À haute température, il s'écarte considérablement du mode mémorisé (similarité plus faible), résultant en un $temp\_diff$ plus élevé. Les non-membres, n'ayant pas d'ancrage mémorisé fort, montrent des variations moins dramatiques.

B. Fonctionnalités de Difficulté Conscientes de la Vidéo

Pour empêcher l'attaque d'être trompée par des vidéos intrinsèquement difficiles, les auteurs extraient des descripteurs auxiliaires directement à partir de la vidéo d'entrée :

• Complexité du Mouvement : Calculée à l'aide de statistiques de flux optique (magnitude moyenne du mouvement). Les vidéos à fort mouvement sont plus difficiles à résumer de manière cohérente.
• Durée de la Vidéo : Les vidéos plus longues introduisent plus de contexte temporel et de potentiel d'occasions manquées lors de l'échantillonnage espacé des images.
• Transformation : Les deux fonctionnalités sont transformées logarithmiquement pour réduire la sensibilité à l'échelle.

C. Fonctionnalités d'Interaction et Classification

Les auteurs modélisent explicitement l'interaction entre le signal de température et la difficulté de la vidéo, car la signification de la dérive sémantique dépend du type de vidéo.

• Vecteur de Caractéristiques : Un vecteur à 6 dimensions est construit pour chaque échantillon :
  1. $sim\_low$
  2. $temp\_diff$
  3. $complexity$ (Mouvement)
  4. $duration\_log$
  5. $complex\_temp$ (Interaction : Complexité $\times$ Différence de Température)
  6. $duration\_temp$ (Interaction : Durée $\times$ Différence de Température)
• Classifieur : Des classifieurs binaires standards (Régression Logistique, Forêt Aléatoire, SVM, MLP) sont entraînés sur ces fonctionnalités pour prédire l'appartenance ($m \in \{0, 1\}$).

3. Configuration Expérimentale

• Modèle Cible : LLaVA-Video-7B-Qwen2-Video-Only.
• Ensembles de Données :
  • Membres : 350 échantillons du corpus d'ajustement par instruction LLaVA-Video-178K.
  • Non-Membres : 350 échantillons de l'ensemble de données VideoChatGPT (disjoint de l'entraînement).
  • Contrôle : Un échantillonnage apparié par longueur garantit que les ensembles de membres et de non-membres ont des distributions de durée vidéo comparables pour éviter l'apprentissage de raccourcis.
• Protocole : 100 exécutions répétées avec des divisions aléatoires entraînement/test pour assurer la robustesse.

4. Résultats Clés

L'attaque a obtenu des résultats statistiquement significatifs sur quatre classifieurs différents :

• AUC Moyenne : 0,68 (le meilleur résultat étant obtenu par le Perceptron Multicouche).
• Précision Moyenne : 0,63.
• Cohérence : Tous les classifieurs (y compris les linéaires comme la Régression Logistique) ont performé de manière similaire, suggérant que le signal est stable et ne dépend pas de frontières de décision non linéaires complexes.
• Signification : La performance est bien supérieure au hasard (0,5), prouvant que les signaux d'appartenance sont détectables même sans accès aux états internes du modèle.

5. Contributions Clés

1. Formulation du Problème : Première formalisation de l'inférence d'appartenance en boîte noire spécifiquement pour les VideoLLMs, abordant le défi unique de la dissociation entre mémorisation et difficulté spécifique à la vidéo.
2. Nouveau Cadre d'Attaque (TempVideo-MIA) : Introduction d'une méthode combinant l'analyse de sensibilité à la température avec des descripteurs au niveau de la vidéo (mouvement, durée) et leurs interactions pour isoler les signaux d'appartenance.
3. Preuve Empirique : Démonstration que les VideoLLMs fuient des informations d'appartenance mesurables dans un contexte strictement boîte noire, remettant en cause l'hypothèse selon laquelle les modèles multimodaux seraient intrinsèquement plus privés en raison de leur complexité.

6. Signification et Implications

• Risque de Confidentialité : L'étude révèle que les VideoLLMs sont vulnérables aux attaques contre la confidentialité même lorsque l'attaquant n'a aucun accès aux logits, aux gradients ou aux métadonnées d'entraînement. La « trace » des données d'entraînement reste dans le comportement de génération du modèle.
• Auditabilité : Fournit un outil pratique aux propriétaires d'ensembles de données et aux régulateurs pour auditer si du contenu vidéo propriétaire ou sensible a été utilisé dans l'entraînement, sans nécessiter la coopération du développeur du modèle.
• Limites des Défenses Actuelles : Les résultats suggèrent que les défenses standard (comme la déduplication ou la confidentialité différentielle) conçues pour le texte ou les images ne se transfèrent pas directement à la vidéo, car l'interaction entre la compression visuelle, la sparsité temporelle et la génération de langage crée des motifs de fuite uniques.
• Directions Futures : Souligne la nécessité de benchmarks de confidentialité spécialisés et de défenses adaptées à la nature multimodale et temporelle des VideoLLMs.

En conclusion, l'article établit que les VideoLLMs ne sont pas privés par défaut en matière d'appartenance. L'attaque proposée exploite avec succès l'interplay entre la température de décodage et la complexité vidéo pour révéler des fuites de données d'entraînement, exhortant la communauté à prioriser l'audit de confidentialité dans les modèles de base multimodaux.