SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) vertonen een aanzienlijke kwetsbaarheid voor visuele illusies met verborgen patronen. In deze afbeeldingen zijn specifieke patronen (zoals cijfers, letters of Chinese karakters) onzichtbaar voor het model, maar duidelijk waarneembaar voor mensen.

• De Uitdaging: Bestaande datasets focussen vaak op simpele patronen (dieren, kleding). Dit paper richt zich op tekst-gebaseerde illusies (cijfers, letters, Chinese karakters), die veel subtieler zijn en fijnere structurele details vereisen.
• De Gevolgen: MLLM's falen hierin niet vanwege gebrek aan kennis, maar door een perceptuele misalignering met mensen. Dit creëert veiligheidsrisico's, aangezien dergelijke illusies kunnen worden gebruikt om automatische moderatie te omzeilen of kwaadaardige inhoud te camoufleren.
• Observatie: Zelfs geavanceerde modellen zoals Qwen3-VL-8B-Instruct behalen slechts een nauwkeurigheid van ongeveer 13% op deze illusies, terwijl mensen bijna 100% halen.

Onderliggend Mechanisme: High-Frequency Attention Bias

De auteurs identificeren de oorzaak van dit falen als een bias voor hoge frequenties in de aandacht van het model:

1. Frequentiedomein-analyse: Illusie-afbeeldingen bevatten achtergronden met sterke hoge-frequentie componenten (ruis, complexe texturen). De verborgen patronen zijn daarentegen voornamelijk gecodeerd in lagere frequenties.
2. Aandachtsverschuiving: MLLM's (die vaak CLIP-ViT backbones gebruiken) worden afgeleid door deze hoge-frequentie achtergrondruis. In plaats van zich te focussen op het verborgen patroon, vestigen ze hun aandacht op de achtergrond.
3. Menselijke Vergelijking: Mensen kunnen hun perceptie aanpassen (bijv. door te knipperen of van veraf te kijken) om de hoge-frequentie ruis te onderdrukken en het patroon te zien. MLLM's missen deze adaptieve perceptiestrategie.

Methodologie: SMSP (Strategy of Multi-Scale Perception)

Om dit probleem op te lossen, stellen de auteurs SMSP voor, een plug-and-play framework dat geen hertraining van het model vereist. Het imiteert menselijke perceptiestrategieën in twee stappen:

1. Perception Module (Perceptiemodel)

Deze module verwerkt de invoerafbeelding om de hoge-frequentie afleiding te onderdrukken, gebaseerd op twee menselijke strategieën:

• Hoogfrequente Filtering (Squinting): Het toepassen van een laagdoorlaatfilter in het frequentiedomein (via FFT) om ruis en scherpe details boven een bepaalde drempel ($\lambda$) te verwijderen.
• Ruimtelijke Rescaling (Van veraf kijken): Het verkleinen van de afbeelding met een schalingsfactor ($s$) en het terugvullen naar de oorspronkelijke grootte met een witte achtergrond. Dit comprimeert de achtergrondinformatie en maakt het verborgen patroon dichter bij elkaar, waardoor het makkelijker te herkennen is.

2. Multi-Scale Strategie

Omdat verborgen patronen verschillende groottes hebben, gebruikt SMSP een pyramide-achtige aanpak:

• Er worden $K$ verschillende varianten van de afbeelding gegenereerd met variërende parameters $(\lambda, s)$.
• Sterke filtering/verkleining helpt bij grote patronen; mildere filtering helpt bij kleine patronen.
• De originele afbeelding wordt ook als invoer behouden om te voorkomen dat originele details verloren gaan.
• Het model ontvangt dus een tuple van $K+1$ afbeeldingen (origineel + $K$ verwerkte varianten) en kan zelf de meest informatieve variant selecteren.

Belangrijkste Bijdragen

1. IlluChar Dataset: Een nieuwe, uitgebreide en uitdagende dataset voor visuele illusies met tekstpatronen (cijfers, Engels, Chinees) in diverse achtergronden (semantisch/realistisch en ruis) en schalen (groot, medium, klein).
2. Mechanisme-analyse: Het identificeren en kwantificeren van High-Frequency Attention Bias als de primaire oorzaak van het falen van MLLM's bij illusies.
3. SMSP Framework: Een trainingsvrije, plug-and-play oplossing die de perceptuele kloof tussen mens en machine overbrugt door menselijke perceptiestrategieën te simuleren.

Resultaten

Experimenten met zes state-of-the-art MLLM's (waaronder Qwen, GLM, GPT, Gemini, Claude) tonen aan:

• Drastische Verbetering: SMSP verhoogt de nauwkeurigheid van Qwen3-VL-8B-Instruct op illusie-afbeeldingen van 13,0% naar 84,0%.
• Robuustheid: De verbetering is consistent over verschillende achtergrondtypes (ruis en semantisch) en schalen van verborgen tekens.
• Behoud van Algemene Capabiliteiten: In tegenstelling tot andere methoden (zoals blur of CoT-prompting), degradeert SMSP de prestaties van het model op standaard taken (zoals VQA-benchmarks) niet; het behoudt of verbetert deze zelfs licht.
• Generalisatie: De methode werkt ook effectief voor andere patronen (dieren, FashionMNIST, schadelijke inhoud), niet alleen voor tekst.
• Efficiëntie: Hoewel SMSP de invoer-tokens met een factor 4 verhoogt (vanwege meerdere afbeeldingen), is de toename in runtime minimaal (van 1,08s naar 1,43s), wat een goede afweging biedt.

Betekenis en Impact

• Paradigmaverschuiving: Het paper toont aan dat veel visuele fouten van MLLM's niet komen door gebrek aan rekenkracht of kennis, maar door een fundamentele perceptuele misalignering met de mens.
• Trainingsvrije Oplossing: Het bewijst dat complexe perceptuele problemen kunnen worden opgelost zonder dure hertraining (fine-tuning), maar door slimme voorverwerking van de invoerdata.
• Veiligheid: Door de kwetsbaarheid voor visuele illusies te verminderen, draagt dit bij aan de robuustheid van AI-systemen tegen manipulatie en het omzeilen van contentmoderatie.
• Toekomst: De aanpak biedt een nieuw perspectief voor het ontwikkelen van meer betrouwbare en mens-gealigneerde vision-language systemen.