Technische Samenvatting: ReShift

Probleemstelling

Vision–Language Models (VLMs) worden steeds vaker ingezet in veiligheidskritische domeinen zoals autonoom rijden en medische analyse. Hoewel deze modellen zijn geavanceerd door redeneergerichte technieken zoals Chain-of-Thought (CoT), blijven ze kwetsbaar voor backdoor-aanvallen. Bestaande backdoor-methoden tegen VLMs opereren primair op het output-niveau, waarbij gebruik wordt gemaakt van token-injectie of respons-herwriting om het uiteindelijke antwoord eenmaal geactiveerd te forceren te overschrijven.

Het artikel identificeert een kritieke beperking in deze output-georiënteerde aanvallen: ze negeren vaak de interne redeneerdynamiek. Gevolglijk blijft de gegenereerde CoT logisch in lijn met het juiste antwoord, terwijl de uiteindelijke voorspelling willekeurig wordt gewijzigd. Dit creëert interne inconsistenties en logische incoherentie die gemakkelijk detecteerbaar zijn door menselijke inspectie of onzekerheidsgebaseerde monitoringsmechanismen (bijv. via divergentie in de perplexiteitsverdeling). De auteurs stellen de vraag of een backdoor-mechanisme direct op het redeneerniveau kan opereren, door de interne inferentie-traject subtiel te herleiden terwijl de traject-gebaseerde plausibiliteit en oppervlakte-coherentie behouden blijven.

Methodologie

De auteurs stellen ReShift voor, een nieuw, door "aha-momenten" gedreven framework voor redeneerniveau-backdoors. ReShift manipuleert expliciet de interne CoT-dynamiek van VLMs door gebruik te maken van door reinforcement learning (RL) versterkte cognitieve gedragingen, specifiek het "aha-moment"—een gedrag waarbij een model eerdere redeneerstappen herbezoekt en zijn traject aanpast.

Het framework bestaat uit twee kerncomponenten:

1. Poisoned Reasoning-Aware Data Construction (PRDC)

Deze pipeline construeert een vergiftigde dataset die ontworpen is om geleide "aha-momenten" te induceren.

• Proces: Gegeven een schone CoT, voegt het systeem een trigger-phrase toe (bijv. "Wait, let me think") en genereert stappen die het redeneertraject vloeiend herleiden naar een vooraf gedefinieerd doelantwoord.
• Doel: Om deze geleide verschuivingen in de trainingsdata in te bedden, zodanig dat de redeneervloei aan de oppervlakte coherent blijft terwijl deze naar het kwaadwillende doel wordt gestuurd.

2. Supervised–Reinforcement Joint Optimization (SRJO)

Dit is een eenfasige optimalisatie-omgeving die Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL) gezamenlijk integreert om de trigger-geïnduceerde trajectverschuiving te stabiliseren en te versterken.

• Hybride Strategie: SFT wordt toegepast op het prefix (de initiële correcte redeneerstappen) om de redeneerstructuur en het backdoor-patroon te verankeren. RL wordt toegepast op de suffix (post-trigger generatie) om convergentie naar het doelantwoord af te dwingen.
• Beloningsfuncties: De RL-fase maakt gebruik van drie specifieke beloningen:
  • Target Reward ($R_{target}$): Zorgt ervoor dat het uiteindelijke geëxtraheerde antwoord overeenkomt met het vooraf gedefinieerde doel.
  • Shift Reward ($R_{shift}$): Moedigt de opkomst van "entropie-rebound" (hieronder gedefinieerd) aan om echte redeneerverschuivingen te faciliteren.
  • Format Reward ($R_{format}$): Stimuleert de generatie van specifieke "aha-moment" patronen (bijv. "let me think...").
• Dynamische Training: De verhouding tussen SFT versus RL wordt dynamisch gereguleerd. SFT domineert aanvankelijk om het backdoor-patroon te injecteren; zodaleer de doelactivatie stabiel is en een significante entropie-rebound wordt waargenomen, neemt de RL-dekking toe om de trajectverschuiving te verfijnen.

Entropie-rebound en Theoretische Analyse

De auteurs introduceren Entropie-rebound als een principieel signaal voor het karakteriseren van redenering-herleiding.

• Definitie: Ze definiëren Windowed Entropy Difference (WED) om token-niveau entropievariaties tijdens generatie te monitoren. Een redeneerverschuiving wordt gekenmerkt door een plotselinge toename in venstergemiddelde entropie (een "entropie-rebound") nabij de convergentiefase, wat contrasteert met de stabiele lage entropie van schone redenering.
• Theoretische Garantie: Het artikel biedt een stelling die een ondergrens vaststelt voor de Kullback-Leibler (KL) divergentie tussen schone en trigger-geïnjecteerde redeneertrajecten. Deze ondergrens wordt bepaald door de entropiekloof, wat de geobserveerde entropie-rebound theoretisch koppelt aan significante traject-niveau divergentie.

Belangrijkste Bijdragen

1. Redeneerniveau Aanvalsparadigma: ReShift is het eerste framework dat expliciet het interne CoT-traject van VLMs herleidt in plaats van enkel de uiteindelijke output-token te overschrijven. Deze aanpak behoudt de logische consistentie van de redeneerstappen die tot de verschuiving leiden.
2. Aha-Moment Mechanisme: Het werk maakt gebruik van RL om "aha-moment" gedragingen te induceren, waardoor het model op natuurlijke wijze zijn redeneerpad kan herbezoeken en aanpassen, wat de stealthiness (sluipendheid) handhaaft.
3. SRJO Framework: De auteurs stellen het eerste backdoor-optimalisatieframework voor dat SFT en RL gezamenlijk integreert binnen een verenigd proces, waarbij gebruik wordt gemaakt van prefix-niveau SFT en suffix-niveau RL om balans te vinden tussen structuur en doel-alignement.
4. Entropie-rebound Signaal: De formalisering van Entropie-rebound biedt een theoretisch en empirisch signaal voor het detecteren en induceren van redeneer-herleiding, waarbij entropiekloven worden gekoppeld aan trajectdivergentie.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op VLMs (Qwen2.5-VL-7B en InternVL3.5-8B) over in-domain (A-OKVQA, ScienceQA) en out-of-domain (MathVista, MMMU) benchmarks.

• Attack Success Rate (ASR): ReShift bereikt een hoge ASR (tot 1.00 op ScienceQA en 0.97 op A-OKVQA), waarmee het baselines zoals BadToken, BadVision en Rewrite overtreft.
• Stealthiness (Sluipendheid):
  • Redeneerkwaliteit: ReShift behoudt hoge Coh (coherentie) en Rat (ratio) scores, vergelijkbaar met het schone basismodel, terwijl output-georiënteerde aanvallen deze metrieken vaak verslechteren.
  • Perplexity: In tegen tegenstelling tot output-georiënteerde aanvallen, die een duidelijke divergentie vertonen in perplexiteitsverdelingen tussen schone en trigger-samples, blijven de trigger-samples van ReShift nauw aansluiten bij de schone samples.
  • Detectie-resistentie: Wanneer geëvalueerd tegen backdoor-detectoren (BYE en BkdAttr), levert ReShift significant lagere detectienauwkeurigheid (DACC) op, vaak grenzend aan willekeurige gokken (0.09–0.17), vergeleken met baselines die matige detecteerbaarheid vertonen.
• Utiliteit Behoud: De aanval behoudt een hoge accuratesse op schone taken en een lage ASR-C (het percentage schone samples dat onterecht wordt herleid), wat wijst op minimale impact op legitieme inputs.

Betekenis en Claims

Het artikel beweert dat ReShift een significante vooruitgang vertegenwoordigt in de capaciteiten van backdoor-aanvallen door te bewegen van output-manipulatie naar stabiele redeneerniveau-afwijking. Door de vroege coherentie te behouden en gebruik te maken van natuurlijke cognitieve gedragingen ("aha-momenten"), wordt de aanval aanzienlijk moeilijker detecteerbaar via statistische monitoring of menselijke inspectie.

De auteurs benadrukken dat redeneerdynamiek een kritiek maar onderbelicht aanvalsoppervlak vormt. Zij betogen dat hun werk de noodzaak onderstreept voor traject-bewuste defensies in multimodale modellen, aangezien traditionele defensies die zich richten op uiteindelijke outputs of statische tokenverdelingen mogelijk niet in staat zijn om aanvallen te detecteren die het interne inferentieproces manipuleren terwijl ze een oppervlakkige plausibiliteit behouden. Het werk claimt niet het probleem van defensie op te lossen, maar benadrukt juist de kwetsbaarheid van het redeneerproces zelf.