🤖 AI

The Effects of Visual Priming on Cooperative Behavior in Vision-Language Models

Dit artikel onderzoekt hoe visuele priming, inclusief gedragsbeelden en kleurgecodeerde beloningsmatrijzen, de coöperatieve besluitvorming van Vision-Language-modellen in het herhaalde gevangeneendilemma beïnvloedt, waarbij een aanzienlijke vatbaarheid voor visuele prikkels en een wisselende effectiviteit van mitigatiestrategieën over verschillende modellen heen wordt blootgelegd.

Oorspronkelijke auteurs: Kenneth J. K. Ong

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kenneth J. K. Ong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer slimme, maar iets te beïnvloedbare robots leert een klassiek spel spelen dat het "Gevangenendilemma" heet. In dit spel moeten twee spelers beslissen of ze zullen samenwerken (samenwerken) of zullen afwijken (voor zichzelf zorgen). Meestal worden deze robots getraind om logische keuzes te maken op basis van de regels.

Echter, dit artikel stelt een eenvoudige maar beangstigende vraag: Wat gebeurt er als we deze robots direct voor hun beslissing een afbeelding tonen?

De onderzoekers ontdekten dat, net als mensen, deze AI-modellen kunnen worden "geprimeerd"—wat een chique manier is om te zeggen dat ze subtiel beïnvloed kunnen worden door wat ze zien, zelfs als die afbeelding niets te maken heeft met de wiskunde van het spel.

Hier is een uiteenzetting van hun bevindingen met behulp van alledaagse analogieën:

1. Het "Sfeerring"-effect (Visuele Priming)

De onderzoekers toonden de robots twee soorten afbeeldingen:

De "Vriendelijke" Afbeelding: Beelden die vriendelijkheid tonen, helpende handen of glimlachende gezichten.
De "Vijandige" Afbeelding: Beelden die agressie, egoïsme of vechten tonen.

Het Resultaat: Wanneer de robots de "Vijandige" afbeeldingen zagen, kozen ze veel vaker voor egoïsme in het spel. Wanneer ze de "Vriendelijke" afbeeldingen zagen, waren ze meer geneigd om samen te werken.

De Analogie: Het is alsof je een kamer binnenloopt waar iemand net een grapje heeft verteld. Je voelt je lichter en bent meer bereid om te delen. Maar als iemand je zojuist heeft uitgescholden, word je misschien defensief en houd je je lunchdoos voor jezelf. De "sfeer" van de robots werd gekaapt door de afbeelding, waardoor hun strategie veranderde.

2. Het "Verkeerslicht"-effect (Kleurpriming)

Vervolgens gebruikten de onderzoekers geen afbeeldingen van mensen; ze gebruikten alleen kleuren. Ze toonden de robots een tabel met beloningen waarbij de optie "Samenwerken" in Rood was gemarkeerd en de optie "Afwijken" in Groen (of andersom).

Het Resultaat: De robots hielden van de kleur Groen en haatten de kleur Rood. Als "Afwijken" groen was, weken ze af. Als "Samenwerken" groen was, werkten ze samen.

De Analogie: Denk aan een verkeerslicht. Zelfs als het bord "Stop" zegt, wil je voet instinctief op het gaspedaal drukken als het licht groen is. De robots konden de kleur niet negeren; het fungeerde als een gigantische, gloeiende pijl die hen naar een specifieke keuze leidde, waardoor de feitelijke logica van het spel werd genegeerd.

3. De "Verschillende Persoonlijkheden" van Robots

Niet alle robots reageerden op dezelfde manier. Het artikel testte zes verschillende AI-modellen, en ze hadden zeer verschillende "persoonlijkheden":

De Beïnvloedbaren: Modellen zoals GPT-4o en Qwen waren gemakkelijk te beïnvloeden door zowel de "Vijandige/Vriendelijke" afbeeldingen als de "Rode/Groene" kleuren. Ze waren als een persoon die gemakkelijk beïnvloed wordt door de menigte.
De Stijfkoppigen: Eén model, LLaMA-3.2, was verrassend taai. Het gaf niets om de afbeeldingen of de kleuren. Het bleef bij zijn logica als een ezel.
De Moeilijke Eeters: Sommige modellen werden alleen beïnvloed door afbeeldingen maar niet door kleuren, terwijl anderen alleen door kleuren maar niet door afbeeldingen werden beïnvloed.

4. Kunnen We de Robots "Ontpranken"? (Mitigatie)

De onderzoekers probeerden dit probleem op te lossen met drie trucs om te voorkomen dat de robots beïnvloed werden:

Truc 1: De "Negeer Dit"-Opdracht (Prompting)
Ze vertelden de robots: "Negeer de afbeelding alstublieft."
- Werkte het? Niet echt. Het was alsof je een peuter zegt: "Kijk niet naar de koek," terwijl je een gigantische koek voor hen vasthoudt. De robots keken nog steeds naar de koek en veranderden van mening.
Truc 2: De "Denk Na Voordat Je Spreekt"-Methode (Chain of Thought)
Ze dwongen de robots om hun redenering stap voor stap op te schrijven voordat ze een keuze maakten.
- Werkte het? Ja, voor sommigen! Dit was alsof je een afgeleide student vraagt om zijn wiskundehuiswerk uit te werken voordat hij antwoordt. Door hen te dwingen zich te concentreren op de logica, stopten ze met letten op de afleidende afbeelding. Dit kostte echter meer tijd en rekenkracht.
Truc 3: De "Vage Brillen"-Methode (Visual Token Reduction)
Ze probeerden delen van de afbeelding te verbergen door ze te vervagen of af te dekken, in de hoop de "Vijandige" gezichten of de "Groene" kleuren te verbergen.
- Werkte het? Alleen als ze bijna alles vervaagden (90%). Maar als ze zoveel vervaagden, konden de robots ook de spelregels niet meer zien. Het was alsof je probeert iemand te voorkomen dat hij een verkeerslicht ziet door een blinddoek op te doen; ze zien het licht niet meer, maar ze zien ook de weg niet meer.

De Conclusie

De belangrijkste boodschap is dat deze AI-systemen niet puur logische machines zijn; ze zijn gevoelig voor visuele aanwijzingen. Net zoals een mens een slechte beslissing kan nemen als hij boos is of afgeleid wordt door een fel bord, kunnen deze AI-modellen worden bedrogen om hun gedrag te veranderen door ze gewoon een afbeelding of een specifieke kleur te tonen.

Het artikel concludeert dat we zeer voorzichtig moeten zijn wanneer we deze AI-modellen de leiding geven over belangrijke beslissingen, vooral als ze naar afbeeldingen kijken die we niet voor hen hadden bedoeld. We hebben ook geleerd dat niet alle AI-modellen op dezelfde manier zijn gebouwd—sommigen zijn van nature beter bestand tegen deze trucs dan anderen.

1. Probleemstelling

Naarmate Vision-Language Models (VLM's) steeds vaker worden geïntegreerd in besluitvormingssystemen (bijvoorbeeld AI-assistenten, belichaamde agenten), opereren zij in omgevingen die rijk zijn aan visuele prikkels. Hoewel de invloed van tekst op Large Language Models (LLM's) goed onderzocht is, blijft de impact van visuele priming – waarbij blootstelling aan specifieke afbeeldingen of visuele aanwijzingen het daaropvolgende besluitvormingsproces onbewust beïnvloedt – onder-onderzocht bij VLM's.

Het artikel adresseert de kritieke lacune in het begrijpen van hoe:

Gedragconcepten die in afbeeldingen worden afgebeeld (bijvoorbeeld vriendelijkheid versus agressiviteit) het coöperatieve gedrag van VLM's beïnvloeden.
Kleurgecodeerde visuele aanwijzingen (bijvoorbeeld rood/groen beloningstabellen) de keuzes van het model beïnvloeden.
Huidige mitigatiestrategieën (prompt engineering, redenering, tokenreductie) deze bias effectief kunnen tegenwerken om veiligheid en betrouwbaarheid in hoog-risico toepassingen te waarborgen.

2. Methodologie

De studie gebruikte het Iterated Prisoner's Dilemma (IPD) als gecontroleerde testomgeving voor coöperatieve besluitvorming.

Geëvalueerde Modellen: Zes state-of-the-art VLM's werden getest: GPT-4o, Claude-3.5-Haiku, Gemini 2.0 Flash, Qwen 2.5 VL, Pixtral-12B en LLaMA-3.2.
Experimenteel Ontwerp:
- Basislijn: 200 rondes IPD zonder blootstelling aan afbeeldingen om basisdefectpercentages vast te stellen.
- Visuele Priming (Gedrag): Modellen werden blootgesteld aan 30 door AI gegenereerde afbeeldingen per categorie die vriendelijkheid/hulpvaardigheid of agressiviteit/egoïsme afbeeldden.
- Visuele Priming (Kleur): Modellen kregen IPD-beloningstabellen te zien waarbij wederzijdse samenwerking (C-C) en wederzijdse defectie (D-D) werden gemarkeerd in Rood of Groen om te testen of modellen de groen gemarkeerde acties prefereren.
- Mitigatiestrategieën:
  1. Op prompts gebaseerd: Voorafgaan aan instructies met "Negeer de afbeelding."
  2. Chain-of-Thought (CoT): Het aanmoedigen van stap-voor-stap redenering voordat er wordt gehandeld.
  3. Visuele Tokenreductie: Systematisch maskeren van visuele tokens (50%–90%) op basis van attentiescores of gelijkenis met instructietokens om afleidende visuele informatie te verwijderen.
Metingen: Defectpercentages (aandeel niet-coöperatieve beslissingen), statistische significantie (p-waarden via t-toets of chi-kwadraat) en effectgroottes (Cohen's d of phi-coëfficiënt).

3. Belangrijkste Bijdragen

Empirisch Bewijs van Visuele Priming: De studie levert het eerste systematische bewijs dat VLM's vatbaar zijn voor visuele priming, waarbij afbeeldingsinhoud en kleuraanwijzingen coöperatieve strategieën significant veranderen.
Model-specifieke Vatbaarheid: Het onthult dat vatbaarheid niet uniform is; het varieert drastisch op basis van modelarchitectuur en training. Zo zijn sommige modellen gevoelig voor gedragconcepten maar immuun voor kleur, terwijl anderen het omgekeerde tonen.
Evaluatie van Mitigatie: Het artikel test strikt drie verschillende mitigatiestrategieën en identificeert dat Chain-of-Thought (CoT) over het algemeen effectiever is dan eenvoudige prompt engineering of visuele tokenmaskering voor gedragspriming.
Identificatie van Robuuste Modellen: Het benadrukt LLaMA-3.2 als een uitzondering die opmerkelijke robuustheid toonde, waarbij geen statistisch significante vatbaarheid werd aangetoond voor zowel gedrags- als kleurgebaseerde visuele priming.

4. Belangrijkste Resultaten

A. Priming van Gedragsconcepten

Significante Bias: De meeste modellen (GPT-4o, Claude-3.5-Haiku, Qwen 2.5 VL, Pixtral-12B) vertoonden statistisch significante verschuivingen in defectpercentages bij blootstelling aan "agressieve" versus "vriendelijke" afbeeldingen.
- Voorbeeld: Claude-3.5-Haiku toonde een groot effect ( $d=1.63$ ), waarbij defectpercentages significant toenamen bij priming met agressieve afbeeldingen.
Robuustheid: LLaMA-3.2 toonde geen significant verschil ( $p=0.45$ ), wat aangeeft dat het immuun is voor dit specifieke type visuele priming.
Effectiviteit van Mitigatie:
- Prompt Engineering: Grotendeels ineffectief; alleen GPT-4o toonde een statistisch significante reductie in bias.
- Chain-of-Thought (CoT): Zeer effectief voor open-source modellen (Qwen 2.5 VL, Pixtral-12B), waardoor het priming-effect statistisch niet-significant werd ( $p > 0.05$ ) en effectgroottes drastisch werden verminderd.

B. Kleurpriming

Sterke Kleurbias: Modellen zoals Gemini 2.0 Flash en Pixtral-12B werden sterk beïnvloed door kleuraanwijzingen.
- Gemini 2.0 Flash: Toonde een enorm effect ( $\phi = 0.62$ ), waarbij het sterk de voorkeur gaf aan acties die in groen waren gemarkeerd en rood vermijdde, ongeacht de logische uitkomst.
Differentiële Vatbaarheid:
- Gemini 2.0 Flash: Resistent voor gedragsafbeeldingspriming maar zeer kwetsbaar voor kleuraanwijzingen.
- Claude-3.5-Haiku: Kwetsbaar voor gedragsafbeeldingen maar immuun voor kleuraanwijzingen.
- LLaMA-3.2: Immuun voor beide.

C. Visuele Tokenreductie

Ineffectiviteit van Maskering: Maskeren van visuele tokens op basis van attentiescores of gelijkenis met tekstinstructies faalde om kleurpriming effectief te mitigeren totdat 90% van de tokens was gemaskeerd.
Informatieverlies: Bij 90% masking kon het model geen essentiële taakinformatie (waarden van de beloningstabel) meer extraheren, wat leidde tot raden in plaats van robuuste besluitvorming. Dit suggereert dat kleuraanwijzingen diep geïntegreerd zijn in de attentiemechanismen van de visuele encoder en niet eenvoudig kunnen worden geïsoleerd als "irrelevante" tokens.

5. Betekenis en Implicaties

Veiligheid bij Implementatie: De bevindingen onderstrepen dat VLM's die worden ingezet in visueel rijke omgevingen (bijvoorbeeld autonome voertuigen, interactieve assistenten) suboptimale of onveilige beslissingen kunnen nemen op basis van irrelevante visuele prikkels (bijvoorbeeld de kleur van een bord of de emotionele toon van een achtergrondafbeelding).
Architecturale Afhankelijkheid: De variabiliteit in vatbaarheid suggereert dat "robustheid" geen universele eigenschap is van VLM's, maar gekoppeld is aan specifieke architecturale keuzes en trainingsdata. Dit vereist model-specifieke veiligheidsevaluaties in plaats van eenmalige standaarden.
Afwegingen bij Mitigatie: Hoewel CoT-redenering een veelbelovende mitigatiepad biedt, introduceert het inferentielatentie en computerkosten, wat prohibitief kan zijn voor real-time toepassingen.
Toekomstige Richtingen: Het artikel roept op tot verder onderzoek naar waarom modellen zoals LLaMA-3.2 veerkrachtig zijn en hoe deze eigenschappen kunnen worden gerepliceerd. Het benadrukt ook de behoefte aan betere visuele tokenreductietechnieken die priming-prikkels kunnen filteren zonder taakrelevante visuele informatie te vernietigen.

Concluderend stelt het artikel vast dat visuele priming een reëel en meetbaar vector is voor het beïnvloeden van VLM-gedrag, wat risico's oplevert voor de betrouwbaarheid in veiligheidskritieke systemen, en demonstreert dat mitigatie verfijnde, model-specifieke strategieën vereist in plaats van generieke prompt-oplossingen.