Riepilogo Tecnico: ReShift

Problema

I modelli Vision-Language (VLM) sono sempre più impiegati in domini critici per la sicurezza, come la guida autonoma e l'analisi medica. Sebbene questi modelli si siano evoluti attraverso tecniche orientate al ragionamento come la Chain-of-Thought (CoT), rimangono vulnerabili ad attacchi backdoor. Gli attuali metodi di backdoor contro i VLM operano principalmente a livello di output, utilizzando l'iniezione di token o la riscrittura della risposta per sovrascrivere forzatamente la risposta finale una volta attivato un trigger.

Il documento identifica un limite critico in questi attacchi a livello di output: essi spesso trascurano la dinamica interna del ragionamento. Di conseguenza, la CoT generata rimane logicamente allineata alla risposta corretta mentre la predizione finale viene alterata arbitrariamente. Ciò crea inconsistenze interne e incoerenza logica facilmente rilevabili tramite ispezione umana o meccanismi di monitoraggio basati sull'incertezza (ad esempio, tramite la divergenza della distribuzione della perplexity). Gli autori pongono la questione se un meccanismo di backdoor possa operare direttamente a livello di ragionamento, reindirizzando sottilmente la traiettoria di inferenza interna pur preservando la plausibilità della traiettoria e la coerenza superficiale.

Metodologia

Gli autori propongono ReShift, un nuovo framework di backdoor guidato dal concetto di "momento aha" (aha-moment-driven) a livello di ragionamento. ReShift manipola esplicitamente le dinamiche interne della CoT dei VLM sfruttando comportamenti cognitivi potenziati dal reinforcement learning (RL), specificamente il "momento aha": un comportamento in cui il modello rivisita i passaggi di ragionamento precedenti e ne regola la traiettoria.

Il framework si compone di due componenti principali:

1. Costruzione di Dati Avversi al Ragionamento (Poisoned Reasoning-Aware Data Construction - PRDC)

Questa pipeline costruisce un dataset avverso progettato per indurre "momenti aha" guidati.

• Processo: Dato una CoT pulita, il sistema premette una frase trigger (ad esempio, "Aspetta, lasciami pensare") e genera passaggi guida che reindirizzano fluidamente la traiettoria del ragionamento verso una risposta target predefinita.
• Obiettivo: Incorporare questi spostamenti guidati nei dati di addestramento affinché il flusso del ragionamento rimanga coerente in superficie, pur essendo guidato verso il target malevolo.

2. Ottimizzazione Congiunta Supervisionata-Reinforcement (Supervised–Reinforcement Joint Optimization - SRJO)

Questo è un framework di ottimizzazione in un unico stadio che integra congiuntamente il Supervised Fine-Tuning (SFT) e il Reinforcement Learning (RL) per stabilizzare e amplificare lo spostamento della traiettoria indotto dal trigger.

• Strategia Ibrida: L'SFT è applicato al prefisso (i passaggi iniziali di ragionamento corretto) per ancorare la struttura del ragionamento e il pattern della backdoor. L'RL è applicato al suffisso (la generazione post-trigger) per forzare la convergenza verso la risposta target.
• Funzioni di Reward: Lo stadio RL utilizza tre reward specifici:
  • Target Reward ($R_{target}$): Assicura che la risposta estratta corrisponda al target predefinito.
  • Shift Reward ($R_{shift}$): Incoraggia l'emergere di un "rimbalzo di entropia" (entropy rebound, definito sotto) per facilitare veri spostamenti di ragionamento.
  • Format Reward ($R_{format}$): Stimola la generazione di specifici pattern di "momento aha" (ad esempio, "lasciami pensare...").
• Addestramento Dinamico: La proporzione tra SFT e RL è regolata dinamicamente. L'SFT domina inizialmente per iniettare il pattern della backdoor; una volta che si osservano una stabilizzazione dell'attivazione del target e un significativo rimbalzo di entropia, la copertura dell'RL aumenta per raffinare lo spostamento della traiettoria.

Rimbalzo di Entropia e Analisi Teorica

Gli autori introducono il Rimbalzo di Entropia come un segnale principato per caratterizzare il reindirizzamento del ragionamento.

• Definizione: Definiscono la Differenza di Entropia Finestrata (Windowed Entropy Difference - WED) per monitorare le variazioni dell'entropia a livello di token durante la generazione. Uno spostamento del ragionamento è caratterizzato da un improvviso aumento dell'entropia media della finestra (un "rimbalzo di entropia") vicino alla fase di convergenza, in contrasto con la stabile bassa entropia del ragionamento pulito.
• Garanzia Teorica: Il documento fornisce un teorema che stabilisce un limite inferiore sulla divergenza di Kullback-Leibler (KL) tra le traiettorie di ragionamento pulite e quelle con iniezione di trigger. Questo limite è determinato dal gap di entropia, collegando teoricamente il rimbalzo di entropia osservato a una significativa divergenza a livello di traiettoria.

Contributi Chiave

1. Paradigma di Attacco a Livello di Ragionamento: ReShift è il primo framework che reindirizza esplicitamente la traiettoria interna della CoT dei VLM invece di limitarsi a sovrascrivere il token di output finale. Questo approccio preserva la coerenza logica dei passaggi di ragionamento che precedono lo spostamento.
2. Meccanismo del Momento Aha: Il lavoro sfrutta l'RL per indurre comportamenti di "momento aha", permettendo al modello di rivisitare naturalmente e regolare il proprio percorso di ragionamento, mantenendo così la furtività.
3. Framework SRJO: Gli autori propongono il primo framework di ottimizzazione della backdoor che integra congiuntamente SFT e RL all'interno di un processo unificato, utilizzando SFT a livello di prefisso e RL a livello di suffisso per bilanciare struttura e allineamento al target.
4. Segnale di Rimbalzo di Entropia: La formalizzazione del Rimbalzo di Entropia fornisce un segnale teorico ed empirico per rilevare e indurre il reindirizzamento del ragionamento, collegando i gap di entropia alla divergenza della traiettoria.

Risultati Sperimentali

Sono stati condotti estesi esperimenti su VLM (Qwen2.5-VL-7B e InternVL3.5-8B) su benchmark in-domain (A-OKVQA, ScienceQA) e out-of-domain (MathVista, MMMU).

• Attack Success Rate (ASR): ReShift raggiunge un alto ASR (fino a 1.00 su ScienceQA e 0.97 su A-OKVQA), superando i baseline come BadToken, BadVision e Rewrite.
• Furtività (Stealthiness):
  • Qualità del Ragionamento: ReShift mantiene alti punteggi di coerenza (Coh) e razionalità (Rat), comparabili al modello base pulito, mentre gli attacchi a livello di output spesso degradano queste metriche.
  • Perplexity: A differenza degli attacchi a livello di output che mostrano una pronunciata divergenza nelle distribuzioni di perplexity tra campioni puliti e con trigger, i campioni con trigger di ReShift rimangono strettamente allineati con i campioni puliti.
  • Resistenza al Rilevamento: Quando valutato contro i detector di backdoor (BYE e BkdAttr), ReShift produce un'accuratezza di rilevamento (DACC) significativamente inferiore, spesso avvicinandosi al caso casuale (0.09–0.17), rispetto ai baseline che mostrano una rilevabilità moderata.
• Preservazione dell'Utilità: L'attacco mantiene un'alta accuratezza sui task puliti e un basso ASR-C (il tasso di campioni puliti erroneamente reindirizzati), indicando un impatto minimo sugli input benigni.

Significato e Rivendicazioni

Il documento afferma che ReShift rappresenta un avanzamento significativo nelle capacità di attacco backdoor, passando dalla manipolazione a livello di output allo scostamento stabile a livello di ragionamento. Preservando la coerenza nelle fasi iniziali e sfruttando i naturali comportamenti cognitivi (momenti aha), l'attacco diventa sostanzialmente più difficile da rilevare tramite monitoraggio statistico o ispezione umana.

Gli autori sottolineano che la dinamica del ragionamento costituisce una superficie di attacco critica e ancora poco esplorata. Argomentano che il loro lavoro evidenzia la necessità di difese consapevoli della traiettoria (trajectory-aware) nei modelli multimodali, poiché le difese tradizionali focalizzate sugli output finali o sulle distribuzioni statiche dei token potrebbero non rilevare attacchi che manipolano il processo di inferenza interna mantenendo una plausibilità superficiale. Il lavoro non pretende di risolvere il problema della difesa, ma piuttosto di evidenziare la vulnerabilità del processo di ragionamento stesso.