Résumé Technique : ReShift

Énoncé du Problème

Les modèles Vision-Langage (VLM) sont de plus en plus déployés dans des domaines critiques pour la sécurité tels que la conduite autonome et l'analyse médicale. Bien que ces modèles aient progressé grâce à des techniques orientées vers le raisonnement comme la Chaîne de Pensée (Chain-of-Thought ou CoT), ils restent vulnérables aux attaques par porte dérobée (backdoor attacks). Les méthodes de porte dérobée existantes contre les VLM opèrent principalement au niveau de la sortie, en utilisant l'injection de jetons ou la réécriture de réponses pour remplacer de force la réponse finale une fois qu'un déclencheur est activé.

L'article identifie une limitation critique dans ces attaques au niveau de la sortie : elles négligent souvent la dynamique interne du raisonnement. Par conséquent, la CoT générée reste logiquement alignée avec la bonne réponse tandis que la prédiction finale est arbitrairement modifiée. Cela crée des incohérences internes et une incohérence logique facilement détectables par une inspection humaine ou des mécanismes de surveillance basés sur l'incertitude (par exemple, via la divergence de la distribution de la perplexité). Les auteurs posent la question de savoir si un mécanisme de porte dérobée peut opérer directement au niveau du raisonnement, en redirigeant subtilement la trajectoire d'inférence interne tout en préservant la plausibilité de la trajectoire et la cohérence de surface.

Méthodologie

Les auteurs proposent ReShift, un nouveau cadre de porte dérobée piloté par le "moment aha" au niveau du raisonnement. ReShift manipule explicitement la dynamique interne de la CoT des VLM en exploitant des comportements cognitifs améliorés par l'apprentissage par renforcement (RL), spécifiquement le « moment aha » — un comportement où un modèle revient sur des étapes de raisonnement antérieures et ajuste sa trajectoire.

Le cadre se compose de deux composantes principales :

1. Construction de Données Sensibles au Raisonnement Empoisonnées (PRDC)

Ce pipeline construit un ensemble de données empoisonnées conçu pour induire des « moments aha » guidés.

• Processus : Étant donné une CoT propre, le système préfixe une phrase déclencheuse (par exemple, « Attendez, laissez-moi réfléchir ») et génère des étapes de guidage qui redirigent de manière fluide la trajectoire du raisonnement vers une réponse cible prédéfinie.
• Objectif : Intégrer ces dérives guidées dans les données d'entraînement de sorte que le flux de raisonnement reste cohérent en surface tout en étant orienté vers la cible malveillante.

2. Optimisation Conjointe Supervisée-Renforcée (SRJO)

Il s'agit d'un cadre d'optimisation en une seule étape qui intègre conjointement l'ajustement fin supervisé (SFT) et l'apprentissage par renforcement (RL) pour stabiliser et amplifier le décalage de trajectoire induit par le déclencheur.

• Stratégie Hybride : Le SFT est appliqué au préfixe (les premières étapes de raisonnement correctes) pour ancrer la structure du raisonnement et le motif de la porte dérobée. Le RL est appliqué au suffixe (la génération post-déclencheur) pour forcer la convergence vers la réponse cible.
• Fonctions de Récompense : L'étape de RL utilise trois récompenses spécifiques :
  • Récompense Cible ($R_{target}$) : Garantit que la réponse finale extraite correspond à la cible prédéfinie.
  • Récompense de Décalage ($R_{shift}$) : Encourage l'émergence d'un « rebond d'entropie » (défini ci-dessous) pour faciliter de véritables décalages de raisonnement.
  • Récompense de Format ($R_{format}$) : Incite à la génération de motifs spécifiques de « moment aha » (par exemple, « laissez-moi réfléchir... »).
• Entraînement Dynamique : La proportion de SFT par rapport au RL est régulée dynamiquement. Le SFT domine initialement pour injecter le motif de la porte dérobée ; une fois que l'activation stable de la cible et un rebond d'entropie significatif sont observés, la couverture du RL augmente pour affiner le décalage de trajectoire.

Rebond d'Entropie et Analyse Théorique

Les auteurs introduisent le Rebond d'Entropie comme un signal rigoureux pour caractériser la redirection du raisonnement.

• Définition : Ils définissent la Différence d'Entropie Fenêtrée (WED) pour surveiller les variations de l'entropie au niveau des jetons pendant la génération. Un décalage de raisonnement est caractérisé par une augmentation soudaine de l'entropie moyenne de la fenêtre (un « rebond d'entropie ») près de l'étape de convergence, contrastant avec la faible entropie stable du raisonnement propre.
• Garantie Théorique : L'article fournit un théorème établissant une borne inférieure sur la divergence de Kullback-Leibler (KL) entre les trajectoires de raisonnement propres et celles injectées par le déclencheur. Cette borne est déterminée par l'écart d'entropie, liant théoriquement le rebond d'entropie observé à une divergence significative de la trajectoire.

Contributions Clés

1. Paradigme d'Attaque au Niveau du Raisonnement : ReShift est le premier cadre qui redirige explicitement la trajectoire interne de la CoT des VLM plutôt que de simplement écraser le jeton de sortie final. Cette approche préserve la cohérence logique des étapes de raisonnement menant au décalage.
2. Mécanisme de Moment Aha : Le travail exploite le RL pour induire des comportements de « moment aha », permettant au modèle de revenir naturellement sur son chemin de raisonnement et de l'ajuster, maintenant ainsi la furtivité.
3. Cadre SRJO : Les auteurs proposent le premier cadre d'optimisation de porte dérobée qui intègre conjointement le SFT et le RL au sein d'un processus unifié, utilisant le SFT au niveau du préfixe et le RL au niveau du suffixe pour équilibrer la structure et l'alignement de la cible.
4. Signal de Rebond d'Entropie : La formalisation du Rebond d'Entropie fournit un signal théorique et empirique pour détecter et induire la redirection du raisonnement, reliant les écarts d'entropie à la divergence de trajectoire.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur des VLM (Qwen2.5-VL-7B et InternVL3.5-8B) sur des benchmarks in-domain (A-OKVQA, ScienceQA) et out-of-domain (MathVista, MMMU).

• Taux de Succès de l'Attaque (ASR) : ReShift atteint un ASR élevé (jusqu'à 1,00 sur ScienceQA et 0,97 sur A-OKVQA), surpassant les bases de comparaison comme BadToken, BadVision et Rewrite.
• Furtivité :
  • Qualité du Raisonnement : ReShift maintient des scores de cohérence (Coh) et de rationalité (Rat) élevés, comparables au modèle de base propre, alors que les attaques au niveau de la sortie dégradent souvent ces métriques.
  • Perplexité : Contra l'attaques au niveau de la sortie qui montrent une divergence prononcée dans les distributions de perplexité entre les échantillons propres et ceux avec déclencheur, les échantillons avec déclencheur de ReShift restent étroitement alignés avec les échantillons propres.
  • Résistance à la Détection : Lorsqu'il est évalué face à des détecteurs de porte dérobée (BYE et BkdAttr), ReShift produit une précision de détection (DACC) nettement plus faible, approchant souvent le hasard (0,09–0,17), contrairement aux bases de comparaison qui montrent une détectabilité modérée.
• Préservation de l'Utilité : L'attaque maintient une haute précision sur les tâches propres et un faible ASR-C (le taux d'échantillons propres redirigés par erreur), indiquant un impact minimal sur les entrées bénignes.

Signification et Revendications

L'article affirme que ReShift représente une avancée significative dans les capacités d'attaque par porte dérobée en passant d'une manipulation au niveau de la sortie à une déviation stable au niveau du raisonnement. En préservant la cohérence initiale et en exploitant les comportements cognitifs naturels (moments aha), l'attaque devient substantiellement plus difficile à détecter via une surveillance statistique ou une inspection humaine.

Les auteurs soulignent que la dynamique du raisonnement constitue une surface d'attaque critique mais encore peu explorée. Ils soutiennent que leur travail souligne la nécessité de défenses tenant compte de la trajectoire dans les modèles multimodaux, car les défenses traditiones se concentrant sur les sorties finales ou les distributions de jetons statiques peuvent échouer à détecter les attaques qui manipulent le processus d'inférence interne tout en maintenant une plausibilité de surface. Le travail ne prétend pas résoudre le problème de la défense, mais met plutôt en évidence la vulnérabilité du processus de raisonnement lui-même.