🤖 machine learning

Capability and Robustness Cannot Both Be Free: An Information-Theoretic Bound for Vision-Language-Action Models

Dit artikel stelt een theoretische informatie-theoretische grens vast die aantoont dat Vision-Language-Action-modellen geconfronteerd worden met een inherente afweging waarbij de som van capaciteit en robuustheid een vast budget niet kan overschrijden dat wordt bepaald door taakentropie en de capaciteit van een adverterend kanaal, en hiermee bewijst dat significante verbeteringen in de ene dimensie onvermijdelijk ten koste gaan van de andere.

Oorspronkelijke auteurs: Jianwei Tai

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianwei Tai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een complexe taak uit te voeren, zoals een sandwich maken of een speelgoedstuk in elkaar zetten. Je wilt dat de robot bekwaam is (hij voert de taak perfect uit als de kamer schoon en stil is) en robust (hij blijft de taak perfect uitvoeren, zelfs als iemand stiekem binnenkomt en de verlichting lichtjes verstoort of een klein, onzichtbaar sticker op de tafel plakt).

Lange tijd hoopten onderzoekers dat ze robots konden maken die zowel superbekwaam als superrobust waren, misschien gewoon door ze "slimmer" te trainen.

Dit artikel zegt: Nee, je kunt niet beide gratis krijgen. Er is een harde, wiskundige limiet aan hoe goed een robot tegelijkertijd in beide dingen kan zijn.

Hier is de uitleg met eenvoudige analogieën:

1. De "Begrotings"-analogie

Stel je de vermogen van de robot om de wereld te hanteren voor als een vaste begroting aan "informatiegeld".

Bekwaamheid is hoe goed de robot de echte instructies begrijpt (de "Orakel").
Robuustheid is hoe goed de robot de nep of rommelige instructies negeert (de "Aanval").

Het artikel bewijst dat de som van je Bekwaamheid en je Robuustheid een specifieke Totale Begroting niet mag overschrijden. Deze begroting wordt bepaald door twee dingen:

Hoe complex de taak is (De "Taak-entropie"): Als de taak "pak een rode blok vast" is, is de begroting klein. Als de taak "bouw een huis van kaarten" is, is de begroting enorm.
Hoeveel ruis de aanvaller kan toevoegen (De "Kanaalcapaciteit"): Als de aanvaller alleen een klein stofje kan toevoegen, is de begroting klein. Als ze het hele beeld kunnen smeren, is de begroting enorm.

De Valt: Je kunt deze begroting niet tegelijkertijd besteden aan Bekwaamheid en Robuustheid zonder op te raken. Als je meer geld uitgeeft aan robuustheid tegen aanvallen, moet je minder uitgeven aan bekwaamheid onder normale omstandigheden, en andersom.

2. De "Geen Gratis Lunch"-ontdekking

De auteurs keken naar een populaire robotbrein genaamd OpenVLA.

Het Probleem: Wanneer de robot een schoon beeld ziet, slaagt hij 95% van de tijd. Maar als een hacker een klein, onzichtbaar patroon toevoegt (een "adversariële verstoring"), daalt het slagingspercentage van de robot naar onder de 5%.
De Oude Hoop: Misschien kan het, als we het anders trainen, 95% goed zijn op schone beelden en 95% goed op aangevallen beelden.
De Realiteit: De wiskunde bewijst dat dit onmogelijk is. Er is een "theoretische vloer". Je kunt niet zomaar uit deze afweging trainen; de wetten van de informatietheorie zeggen dat je moet kiezen.

3. Waarom de "Begroting" Eerst Zo Groot (en toen Klein) Was

Aanvankelijk berekenden de auteurs de begroting met behulp van het hele beeld (miljoenen pixels).

De Losse Grens: Ze vonden een begroting van ongeveer 5.000 eenheden. De robot gebruikte slechts ongeveer 7,5 eenheden voor zijn daadwerkelijke taak. Dit liet het lijken alsof er genoeg ruimte was om beide kanten te verbeteren. Het was alsof je zegt: "Je hebt een toelage van $5.000, maar je geeft slechts $7,50 uit aan lunch, dus je moet nog $4.992,50 over hebben om uit te geven aan Robuustheid!"

Maar dat was misleidend.
De robot kijkt niet naar elk afzonderlijk pixel. Het kijkt naar een "samenvatting" van het beeld (zoals een gecomprimeerde foto) voordat het een beslissing neemt.

De Strakke Grens: Toen de auteurs de begroting specifiek voor het deel van het beeld dat de robot daadwerkelijk gebruikt bekeken, kromp de begroting van 5.000 naar 31 eenheden.
De Schok: Nu geeft de robot al 24% van zijn totale begroting uit aan het zijn van bekwaam. Dat laat zeer weinig ruimte over (slechts ~23 eenheden) om Robuustheid te verbeteren zonder Bekwaamheid te schaden.

4. Het "Lekkage"-Probleem

Het artikel introduceert ook een slimme manier om "Robuustheid" te meten die bedrog voorkomt.
Stel je een robot voor die, in plaats van de aanval te negeren, de aanval gewoon kopieert in zijn actie.

Aanval: "Beweeg links."
Robotactie: "Beweeg links."
Resultaat: De robot lijkt "robuust" omdat hij niet van gedachten veranderde, maar hij volgt de hacker eigenlijk gewoon blindelings.

De wiskunde van het artikel trekt dit "bedrieglijke" gedrag af. Het zorgt ervoor dat ware Robuustheid betekent dat de robot de ruis negeert, en niet gewoon kopieert.

5. Wat Dit Betekent voor de Toekomst

De auteurs zeggen niet dat we moeten opgeven. In plaats daarvan bieden ze een nieuwe liniaal aan voor wetenschappers om te gebruiken.

In plaats van alleen te zeggen: "Onze nieuwe verdediging maakt de robot 10% beter", suggereren ze dat wetenschappers zouden moeten zeggen:

"Onze nieuwe verdediging gebruikt 60% van de resterende 'Robuustheidsbegroting' die beschikbaar is voor deze specifieke robotarchitectuur."

Dit helpt iedereen om verschillende robots eerlijk te vergelijken. Het vertelt ons dat we voor huidige robots tegen een muur aanlopen. Om beter te worden, kunnen we niet alleen de training aanpassen; we moeten misschien de "hersenen" van de robot (zijn architectuur) veranderen, of accepteren dat het op schone dagen iets minder perfect zal zijn om op rommelige dagen veiliger te zijn.

Kortom: Je kunt geen robot hebben die perfect is in zijn werk en perfect immuun voor trucs. Er is een harde wiskundige limiet, en voor de robots van vandaag besteden we al een groot deel van die limiet alleen al om de taak überhaupt te doen.

Technische Samenvatting: Capabiliteit en Robuustheid Kunnen Niet Beide Gratis Zijn

Probleemstelling

Vision-Language-Action (VLA)-modellen, die multimodale observaties (afbeeldingen en taal) direct koppelen aan robotacties, hebben hoge succespercentages behaald op schone invoer, maar vertonen catastrofale fragiliteit onder adversariële perturbaties. Empirische studies tonen aan dat onwaarneembare perturbaties (bijvoorbeeld een $16/255$ PGD-aanval) de taaksuccespercentages kunnen laten dalen van $>95\%$ naar $<5\%$ . Hoewel er empirische verdedigingen bestaan, impliceren deze doorgaans een afweging: het herstellen van robuustheid gaat vaak ten koste van de nauwkeurigheid op schone data.

De centrale open vraag die door dit werk wordt aangepakt, is of deze afweging een theoretische ondergrens heeft. Specifiek: kan een slimmere trainingsprocedure tegelijkertijd hoge capabiliteit (nauwkeurigheid op schone data) en hoge robuustheid bereiken zonder limiet, of is er een fundamentele informatie-theoretische beperking die verhindert dat beide gelijktijdig worden gemaximaliseerd?

Methodologie

De auteurs formuleren een theoretisch kader gebaseerd op informatie-theorie om de gezamenlijke prestaties van VLA-beleid te begrenzen.

1. Theoretisch Kader

Het paper definieert een VLA-beleid $\pi$ dat een observatie $X$ afbeeldt op een actie $A_\pi$ . Laat $A^\star$ de orakel- (expert-) actie zijn en $\tilde{X} = X + \delta$ de geperturbeerde observatie. De auteurs definiëren twee sleutelmetrieken:

Capabiliteit ($Cap$): De wederzijdse informatie tussen de actie van het beleid en de orakel-actie, $I(A^\star; A_\pi)$ .
Robuustheid ($Rob$): De wederzijdse informatie die onder aanval behouden blijft, aangepast voor "lekage", gedefinieerd als $I(A_\pi; \tilde{A}_\pi) - I(A_\pi; \delta)$ . De aftrekking van $I(A_\pi; \delta)$ voorkomt dat degeneratieve beleidsregels hoge scores behalen door simpelweg de perturbatie $\delta$ te kopiëren naar de actie.

De kernbijdrage is Stelling 1, die stelt dat voor elk VLA-beleid met discrete (of gediscretiseerde) acties:
$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(X; \tilde{X})$
Waarbij:

$H(A^\star)$ de entropie van de orakel-actie is (taakcomplexiteit).
$I(X; \tilde{X})$ de wederzijdse informatie is tussen de schone en de geperturbeerde observatie (aanvalskanaalcapaciteit).

Het bewijs rust op twee toepassingen van de Data Processing Inequality (DPI) en de niet-negativiteit van wederzijdse informatie. De bovengrens is beleid-onafhankelijk, wat betekent dat het "budget" voor capabiliteit en robuustheid uitsluitend wordt bepaald door de taak en de aanval, en niet door de modelarchitectuur.

2. Verscherpen van de Bovengrens

De auteurs erkennen dat de pixel-level bovengrens losjes is voor huidige modellen, omdat de afbeeldingsdimensie ( $D \approx 49.152$ ) de dimensie van de actieruimte ($7$-D) ver overtreft. Om dit aan te pakken, stellen ze Corollarium 4 (Encoder-specifieke Bovengrens) voor:
$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(\phi(X); \phi(\tilde{X}))$
Hierbij vertegenwoordigt $\phi$ een bevroren encoder (bijvoorbeeld DINOv2+SigLIP in OpenVLA). Dit beperkt de kanaalcapaciteit tot de beleidsrelevante deelruimte, waardoor het theoretische budget aanzienlijk wordt verscherpt.

3. Validatiestrategie

Het paper valideert de bovengrens via twee distincte benaderingen:

Synthetische Validatie (Gaussian-VLA): Een gesloten-vorm proxy waarbij alle grootheden ( $H, I$ ) analytisch kunnen worden berekend of met hoge precisie kunnen worden geschat. Dit omvat 252 experimentele cellen met variërende dimensies en ruisniveaus.
Validatie met Realistische Modellen: Evaluatie van OpenVLA-7B over vier LIBERO-suites (Spatial, Object, Goal, LIBERO-10) onder Projected Gradient Descent (PGD)-aanvallen. De auteurs gebruiken MINE (Mutual Information Neural Estimation) en gediscretiseerde histogram-schattingen om de termen te meten.

Belangrijkste Resultaten

1. Theoretische Verificatie

Nul Schendingen: De bovengrens geldt in 252/252 synthetische Gaussian-VLA-cellen en 48/48 echte OpenVLA-7B experimentele cellen.
Slak-gedrag: De "slak" ( $S = \text{Budget} - (Cap + Rob)$ ) is in alle gevallen niet-negatief. Naarmate het aanvalsbudget $\epsilon$ toeneemt, neemt de kanaalcapaciteit $I(X; \tilde{X})$ af, waardoor het totale budget krimpt, wat overeenkomt met theoretische voorspellingen.

2. Omvang van de Bovengrens

Pixel-level Bovengrens: Op OpenVLA is het pixel-level budget ongeveer 5.000 nats (gedomineerd door de kanaalcapaciteit van de afbeelding), terwijl de gemeten $Cap + Rob$ verwaarloosbaar is ( $<1$ nat). Dit resulteert in een slak van $\sim 10^3$ nats, wat aangeeft dat de pixel-level bovengrens een los plafond is.
Encoder-specifieke Bovengrens: Door het kanaal te beperken tot de encoder-deelruimte, daalt het budget naar $\sim 31$ nats ( $H(A^\star) \approx 26$ nats + $I(\phi(X); \phi(\tilde{X})) \approx 4,6$ nats).
Beperking in de Realiteit: Onder de encoder-specifieke bovengrens verbruikt de gediscretiseerde capabiliteit ( $Cap_{disc} \approx 7,5$ nats) al $\sim 24\%$ van het totale budget. Dit suggereert dat voor huidige architecturen de afweging niet alleen theoretisch is, maar praktisch beperkend; er is beperkte ruimte om robuustheid te verbeteren zonder capabiliteit op te offeren.

3. Robuustheid van Schatters

De auteurs tonen aan dat de bovengrens geldt, zelfs bij het gebruik van bevooroordeelde schatters (MINE, InfoNCE, KSG). Omdat MINE de wederzijdse informatie de neiging heeft te onderschatten (een ondergrens), onderschat het de Linker-Helft (LHS) van de ongelijkheid, waardoor de bovengrens makkelijker te voldoen is. Derhalve is het resultaat van nul schendingen robuust tegen schatter-bevooroordeeldheid.

Betekenis en Claims

Het paper claimt de volgende bijdragen en betekenis:

Eerste Onmogelijkheidsresultaat voor Actiebeleid: In tegenstelling tot eerdere werken (bijvoorbeeld Tsipras et al., 2019) die zich richtten op binaire classifiers, is dit de eerste informatie-theoretische bovengrens die specifiek is voor actiegenererende beleidsregels. Het bewijst dat capabiliteit en robuustheid niet beide gratis kunnen zijn; ze concurreren om een vast budget dat wordt bepaald door taakentropie en aanvalskanaalcapaciteit.
Een Nieuwe Metriek voor Evaluatie van Verdediging: De auteurs stellen Encoder-specifieke Slak ( $S_{enc}$ ) voor als een genormaliseerde metriek voor het vergelijken van verdedigingspapers. In plaats van absolute robuustheidscijfers te rapporteren die niet overdraagbaar zijn tussen verschillende settings, kan toekomstig werk het fractie van het encoder-budget rapporteren dat wordt verbruikt. Dit maakt een gestandaardiseerde beoordeling mogelijk van hoe dicht een beleid bij de theoretische limiet ligt.
Diagnostische Waarde voor Architectuur: De bovengrens onthult dat de "losjesheid" in huidige modellen structureel is. De kloof tussen het pixel-level budget en het encoder-level budget benadrukt dat huidige beleidsregels de informatie die beschikbaar is in de encoder-representatie niet volledig benutten.
Veiligheidsimplicaties: Het werk herformuleert adversariële fragiliteit van een nauwkeurigheidsprobleem naar een veiligheidsprobleem. Aangezien elke voorspelling een fysieke actie is, impliceert de theoretische ondergrens dat er een harde limiet is tot hoe robuust een VLA kan worden gemaakt zonder zijn vermogen om de taak uit te voeren te compromitteren, wat een verschuiving vereist in de manier waarop veiligheidskritieke systemen worden ontworpen en geëvalueerd.

Het paper concludeert dat, hoewel de bovengrens niet-constructief is (het biedt geen recept om een beleid te bouwen dat de bovengrens verzadigt), het een fundamentele limiet vaststelt die door geen enkele hoeveelheid architecturale tuning kan worden omzeild. De "slak" vertegenwoordigt de kloof tussen huidige capabiliteiten en het theoretische maximum, wat nu kwantificeerbaar is.