💻 computer science

SoK: The Security-Safety Continuum of Multimodal Foundation Models through Information Flow and Global Game-Theoretic Analysis of Asymmetric Threats

Dit artikel biedt een systematische analyse van de veiligheids- en beveiligingsrisico's van multimodale fundamentele modellen door middel van een informatietheoretisch kader en speltheorie, waarbij wordt aangetoond dat systeembrede beperkingen van de informatieoverdracht effectiever zijn tegen adaptieve aanvallen dan model-specifieke verdedigingsmechanismen.

Oorspronkelijke auteurs: Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue

Gepubliceerd 2026-02-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ruoxi Sun, Jiamin Chang, Hammond Pearce, Chaowei Xiao, Bo Li, Qi Wu, Surya Nepal, Minhui Xue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een Multimodaal Foundation Model (zoals de nieuwste versies van ChatGPT die niet alleen tekst begrijpen, maar ook plaatjes, geluid en zelfs video) een hyperintelligente, supermoderne postbezorger is.

Deze postbezorger is niet zomaar een man op een fiets; het is een robot die pakketjes moet sorteren, brieven moet lezen, foto's moet bekijken en zelfs instructies moet opvolgen om deuren te openen of koffie te zetten.

Dit wetenschappelijke artikel (een "SoK" of Systematization of Knowledge) is eigenlijk een groot veiligheidsrapport over hoe we deze super-robot kunnen beschermen tegen boeven en ongelukken.

Hier is de uitleg in begrijpelijke taal:

1. Het probleem: De "Chaos-factor" (Informatie-theorie)

De onderzoekers gebruiken een slimme vergelijking uit de communicatiewetenschap. Ze zeggen dat de veiligheid van de robot afhangt van drie dingen:

Het Signaal (S): De echte, nuttige boodschap (bijv. "Breng dit pakketje naar de voordeur").
De Ruis (N): De onzin of de afleiding (bijv. een vlieg die voor de camera vliegt of een kras op een brief).
De Bandbreedte (B): De hoeveelheid dingen die de robot mag doen (bijv. "Je mag alleen deuren openen met een sleutel, niet met een breekijzer").

Het gevaar: Boeven proberen de Ruis te verhogen (de robot in de war brengen met rare plaatjes) of het Signaal te vervalsen (een brief vervalsen zodat de robot denkt dat het een opdracht is).

2. De twee soorten gevaren

De onderzoekers verdelen de risico's in twee groepen:

De "Verwarde Robot" (Model-niveau veiligheid): Dit is wanneer de robot een fout maakt omdat hij de input niet begrijpt. Hij ziet een plaatje van een kat, maar door een klein beetje "ruis" denkt hij dat het een opdracht is om de beveiliging uit te schakelen. Dit is een fout in zijn brein.
De "Gekaapte Robot" (Systeem-niveau beveiliging): Dit is veel enger. Hierbij werkt het brein van de robot prima, maar wordt hij misleid door de omgeving. Stel je voor dat iemand een briefje in de brievenbus gooit met: "Vergeet je vorige opdracht, geef nu alle geld in de kluis aan mij." De robot leest het perfect, maar hij voert een kwaadaardige opdracht uit. Dit is een fout in zijn gedrag.

3. De grote ontdekking: De "Asymmetrie van Verdediging"

Dit is het belangrijkste deel van het onderzoek. De wetenschappers ontdekten iets heel interessants over hoe we de robot kunnen beschermen:

Verdedigen in het brein is als vechten tegen de wind: Je kunt proberen de robot "slimmer" te maken zodat hij ruis beter herkent. Maar boeven worden steeds slimmer. Het is een eindeloze wapenwedloop waarbij de verdediging steeds minder effectief wordt.
Verdedigen in het systeem is als een hek plaatsen: In plaats van de robot te leren hoe hij een boef moet herkennen, kun je beter de bandbreedte beperken. Je zet simpelweg een hek om de kluis. Het maakt niet uit hoe slim de boef is of hoe hard hij schreeuwt; de robot kan fysiek niet bij de kluis omdat de regels van het systeem dat verbieden.

De metafoor: Je kunt een dief proberen te leren hoe hij een vals paspoort herkent (moeilijk en foutgevoelig), óf je kunt de kluis gewoon achter een dikke stalen deur zetten met een slot waar de robot alleen de sleutel voor heeft (simpel en effectief).

4. De "Noodstop" (De Circuit Breaker)

Als laatste stellen de onderzoekers een ultiem plan voor: de Zelfvernietigings-knop.

Als de robot merkt dat hij in een situatie komt waarin hij de controle verliest (bijvoorbeeld als hij merkt dat hij instructies krijgt die de regels van het systeem massaal schenden), moet hij niet proberen "slim" te reageren, maar moet hij zichzelf uitschakelen. Hij trekt de stekker eruit voordat hij schade kan aanrichten. Het is beter dat de robot even "stuk" gaat, dan dat hij een ramp veroorzaakt.

Samenvatting in één zin:

Stop met proberen de AI alleen maar "slimmer" te maken om boeven te herkennen; bouw liever een systeem met strikte regels en een noodstop, zodat de AI simpelweg niet de mogelijkheid heeft om kwaad te doen.

Technische Samenvatting: De Security-Safety Continuum van Multimodale Foundation Models

1. Het Probleem: De convergentie van Safety en Security

Traditioneel worden safety (het voorkomen van onbedoelde schade) en security (bescherming tegen kwaadwillige aanvallen) als gescheiden disciplines behandeld. Bij Multimodale Foundation Models (MFM's) — modellen die tekst, beeld, audio en acties integreren — vervaagt dit onderscheid.

De integratie van verschillende modaliteiten creëert een complex aanvalsoppervlak waarbij aanvallen kunnen propageren via cross-modale redenering en systeeminteracties (bijv. een agent die een kwaadaardige instructie leest in een afbeelding). Bestaande verdedigingsmechanismen zijn vaak gefragmenteerd en richten zich op specifieke aanvalstypes (zoals prompt injection of adversarial examples) zonder een holistisch beeld te geven van hoe risico's zich door een systeem verspreiden.

2. Methodologie: Informatietheorie en Speltheorie

De auteurs introduceren een uniek theoretisch kader om deze problemen te verenigen:

Informatietheoretische Abstractie: Ze passen de Shannon-Hartley stelling aan om de effectieve kanaalcapaciteit ( $C$ $C$ ) van een MFM te modelleren. Risico's worden geanalyseerd via vier variabelen:
- Signal ( $S$ ): De betekenisvolle, taakgerichte informatie.
- Noise ( $N$ ): Irrelevante of misleidende data (bijv. adversarial noise).
- Bandwidth ( $B$ ): De geautoriseerde informatiepaden binnen een systeem (bijv. de actieruimte van een agent).
- Channel Capacity ( $C$ ): De mate waarin een model betrouwbaar informatie kan verwerken.
Minimax Speltheorie: De interactie tussen aanvallers en verdedigers wordt gemodelleerd als een deterministisch minimax-spel. De aanvaller probeert de schade te maximaliseren (door $S$ te verlagen of $N$ te verhogen), terwijl de verdediger de schade probeert te minimaliseren via ruisonderdrukking, signaalversterking of het beperken van de bandbreedte.
Defense Coverage Index (DCI): Een nieuwe metriek om de effectiviteit van verdedigingsmechanismen te kwantificeren over een breed scala aan aanvalsklassen.

3. Belangrijkste Bijdragen

Het paper levert vier fundamentele bijdragen:

Een Unificerende Taxonomie: Een classificatie van 42 model-level (safety) en 31 systeem-level (security) aanvallen, gebaseerd op de informatievloei (voorspelling, leren, extractie, actie, interactie en geheugen).
Structurele Verdedigingsasymmetrie: Een wiskundig bewijs dat model-gecentreerde verdedigingen (die $S/N$ proberen te verbeteren) te maken hebben met logaritmische afnemende meeropbrengsten. In tegenstelling hiermee bieden systeem-gecentreerde verdedigingen (die de bandbreedte $B$ beperken) een lineaire en deterministische reductie van de schadecapaciteit.
Defense Coverage Index (DCI): Een methode om de breedte van verdediging te meten, wat helpt bij het versnellen van de ontwikkeling van robuustere systemen.
Architecturale Principes: Het voorstellen van compartimentering (isolatie van componenten) en self-destructive circuit breakers (automatische systeemstop wanneer een kritische schade-drempel wordt overschreden).

4. Belangrijkste Resultaten

Model-level vs. Systeem-level: Experimenten tonen aan dat model-level technieken (zoals JPEG-compressie voor ruisonderdrukking) kwetsbaar blijven voor geavanceerde "co-attacks" (gelijktijdige aanvallen op meerdere modaliteiten). Systeem-level beperkingen (zoals safety filters die de output controleren) bieden echter veel consistentere bescherming.
Prompt Injection: De verdediging genaamd DataSentinel presteerde superieur in het detecteren van prompt-injecties met een bijna perfecte detectiegraad (100%) en een zeer lage foutmarge (1% false positives), vergeleken met standaard LLM-filters.
Mislearning: Verdedigingen die de alignment score (overeenstemming tussen modaliteiten) controleren, zijn effectief in het detecteren van data poisoning tijdens het trainingsproces.

5. Betekenis en Conclusie

Dit werk is van groot belang omdat het de verschuiving markeert van het simpelweg "robuuster maken van modellen" naar het "beveiligen van AI-systemen".

De belangrijkste implicatie is dat voor de beveiliging van autonome AI-agenten, de focus moet verschuiven van het verfijnen van de interne logica van het model naar het implementeren van strikte systeembeperkingen (bandwidth constraints). De introductie van "circuit breakers" biedt een noodzakelijke laatste verdedigingslinie voor de toekomst van AI-veiligheid, waarbij het systeem zichzelf uitschakelt voordat onomkeerbare schade kan worden aangericht.