Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

Technische Samenvatting: Vision Token Manipulatie-aanvallen op Cloud-Edge Inferentie van Grote Visuele-Taalmodellen

Probleemstelling
Het artikel behandelt een kritieke beveiligingskwetsbaarheid in Cloud-Edge Large Vision-Language Model (LVLM) inferentiesystemen. In deze architectuur voeren middels beperkte edge-apparaten lichte visuele codering uit en verzenden zij intermediaire vision tokens naar cloudservers, waar de computationeel intensieve tekstencoder en de Large Language Model (LLM) backbone zich bevinden. De auteurs identificeren de communicatielink tussen de edge en de cloud als een nieuw, onverkend aanvalsoppervlak. In tegenstelling tot traditionele aanvallen die gericht zijn op ruwe visuele inputs (bijv. adversariële perturbaties) of tekstprompts, richt dit werk zich op Vision Token Manipulation (VTM) Aanvallen. Het kernprobleem is dat een aanvaller, opererend in een black-box Man-in-the-Middle (MitM) setting, een subset van deze verzonden vision tokens kan onderscheppen en manipuleren. Omdat vision tokens compacte, hoogdimensionale representaties zijn die semantische inhoud coderen, kan het manipuleren van hen het begrip van de LVLM voor ruimtelijke relaties en semantische aanwijzingen verstoren, wat leidt tot significante inferentiefouten zonder dat de aanvaller toegang nodig heeft tot de modelgewichten of de ruwe beeldgegevens.

Methodologie
De auteurs stellen een familie van VTM-Aanvallen voor onder een beperkte black-box setting waarbij de aanvaller geen toegang heeft tot de modelparameters op noch de edge, noch de cloud. De aanval is onderworpen aan twee primaire beperkingen:

1. Dimensionale Consistentie: De gemanipuleerde tokens moeten de oorspronkelijke vorm ($L_v \times d$) behouden om directe detectie of falen van de pipeline te voorkomen.
2. Manipulatiebudget: De aanvaller kan slechts een subset van tokens ($I$) modificeren, gedefinieerd door een Token Manipulatie Ratio ($\rho$), om stealthy te blijven.

De methodologie is verdeeld in twee componenten:

1. Naïeve Aanvalsstrategieën: De auteurs ontwerpen vier baseline manipulatiestrategieën toegepast op willekeurig geselecteerde tokens:

   • Permutatie (Structuur-gebaseerd): Husselt de positionele rangschikking van geselecteerde tokens terwijl de waarden behouden blijven, wat de structurele consistentie verstoort.
   • Masking (Waarde-gebaseerd): Zet geselecteerde tokens op nul, waardoor informatieve inhoud wordt verwijderd.
   • Gaussische Perturbatie (Waarde-gebaseerd): Injecteert norm-geschaalde ruis in geselecteerde tokens om hun magnitude en richting stochastisch te wijzigen.
   • Sign Flip (Waarde-gebaseerd): Keert de richting van geselecteerde tokens in de embedding-ruimte om ($\hat{v}_i = -v_i$) terwijl de norm behouden blijft. Dit creëert een grote verplaatsing in de representatieruimte.

2. Optimalisatie-gebaseerde Token Selectie: Erkennend dat willekeurige selectie suboptimaal is, stellen de auteurs een optimalisatiestrategie voor om de meest invloedrijke vision tokens te identificeren. Omdat directe meting van de impact op de outputdistributie onhandelbaar is in een black-box setting, gebruiken zij Self-Attention Disruption als een proxy. Zij formuleren een doelstelling om de discrepantie tussen de self-attention outputs van de originele en gemanipuleerde tokens ($L_{SA}$) te maximaliseren. Om selectiebias naar tokens met een hoge norm te voorkomen (die mogelijk worden genormaliseerd door downstream lagen), introduceren zij een norm-bewuste regularisatieterm ($L_{norm}$). De uiteindelijke doelstelling maximaliseert $L_{SA} - \lambda L_{norm}$ met behulp van projected gradient ascent om de optimale set tokens te bepalen die vervolgens worden aangevallen met de Sign Flip strategie.

Belangrijkste Bijdragen

• Identificatie van een Nieuw Aanvalsoppervlak: Het artikel definieert formeel de cloud-edge vision token transmissie-interface als een praktisch en kwetsbaar aanvalsoppervlak voor LVLMs.
• VTM-Attack Framework: Het introduceert een uitgebreide familie van token-niveau aanvallen, inclusief zowel structuur-gebaseerde (permutatie) als waarde-gebaseerde (masking, Gaussische, sign flip) manipulatiestrategieën.
• Optimalisatiestrategie: Het stelt een innovatieve optimalisatie-gebaseerde token selectiemethode voor die gebruikmaakt van self-attention disruptie en norm-bewuste regularisatie om de effectiviteit van de aanval onder beperkte budgetten aanzienlijk te vergrongen.
• Empirische Evaluatie: De studie biedt uitgebreide evaluaties over zes state-of-the-art LVLMs (variërend van 3B tot 72B parameters) en vier diverse benchmarks (OCRBench, MMBench, HallusionBench, MathVista).

Experimentele Resultaten
De experimenten demonstreren dat cloud-edge LVLM inferentie zeer kwetsbaar is voor VTM-Aanvallen, zelfs met een laag manipulatiebudget ($\rho = 0.1$, of 10% van de tokens):

• Ernst van de Impact: Het manipuleren van slechts 10% van de tokens kan de nauwkeurigheid met wel 88.31% verminderen. Zo verminderde de Sign Flip aanval op de MMBench benchmark de nauwkeurigheid van Qwen2.5-VL-72B-Instruct van 88.39% naar 0.23%.
• Effectiviteit van Sign Flip: Onder de naïeve strategieën produceerde Sign Flip consistent de meest catastrofale degradatie, wat vaak leidde tot een instorting van de modelprestaties tot bijna nul nauwkeurigheid op MMBench en HallusionBench. Dit suggereert dat het omkeren van de semantische oriëntatie van tokens destructiever is dan het husselen of maskeren.
• Variantie in Modelrobuustheid: Een aanzienlijk verschil in robuustheid werd waargenomen tussen modelfamilies. Qwen2.5-VL modellen vertoonden catastrofale degradatie onder diverse aanvallen, terwijl InternVL3.5 modellen aanzienlijk hogere robuustheid demonstreerden. Verder waren de scaling laws inconsistent; grotere InternVL modellen waren over het algemeen robuuster, maar deze trend hield niet consistent stand voor de Qwen modellen.
• Optimalisatie Winst: De optimalisatie-gebaseerde token selectiestrategie versterkte de effectiviteit van de aanval verder vergeleken met willekeurige selectie. Bijvoorbeeld, op HallusionBench verbeterde de optimalisatiestrategie de succesrate van de aanval op InternVL3.5-4B en InternVL3.5-38B met respectievelijk 5.79% en 21.09% ten opzichte van willekeurige selectie.

Significantie
Het artikel stelt dat deze resultaten een kritieke kwetsbaarheid onthullen in de inzet van LVLMs in cloud-edge omgevingen. De bevindingen wijzen erop dat de communicatielink die intermediaire representaties verzendt een hoog risico vormt dat grotendeels is genegeerd in de bestaande beveiligingsliteratuur, die zich primair richt op input-ruimte aanvallen of enkel tekstuele modaliteiten. De studie benadrukt dat zelfs beperkte, stealthy manipulaties van vision tokens de visuele-taal interactie fundamenteel kunnen verstoren, wat leidt tot volledige inferentiefalen. Dit onderstreept de dringende behoefte aan veilige transmissieprotocollen en robuuste defensiemechanismen die specifiek zijn ontworpen voor de intermediaire representatielaag in gedistribueerde LVLM-systemen.