🤖 machine learning

Capability and Robustness Cannot Both Be Free: An Information-Theoretic Bound for Vision-Language-Action Models

Dieser Artikel leitet eine theoretische informationstheoretische Obergrenze her, die belegt, dass Vision-Language-Action-Modelle einem inhärenten Trade-off unterliegen, bei dem die Summe aus Leistungsfähigkeit und Robustheit eine durch die Task-Entropie und die Kapazität des adversarialen Kanals bestimmte feste Obergrenze nicht überschreiten kann, wodurch gezeigt wird, dass signifikante Verbesserungen in einer Dimension unvermeidlich zu Lasten der anderen gehen.

Ursprüngliche Autoren: Jianwei Tai

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jianwei Tai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter eine komplexe Aufgabe, wie etwa ein Sandwich zuzubereiten oder ein Spielzeug zusammenzubauen. Sie möchten, dass der Roboter fähig ist (er erledigt die Aufgabe perfekt, wenn der Raum sauber und ruhig ist) und robust (er führt die Aufgabe auch dann perfekt aus, wenn jemand unbemerkt hereinkommt und die Beleuchtung leicht verändert oder einen winzigen, unsichtbaren Aufkleber auf den Tisch klebt).

Lange Zeit hofften Forscher, sie könnten Roboter entwickeln, die sowohl superfähig als auch superrobust sind, vielleicht einfach indem sie sie „klüger" trainieren.

Dieses Papier sagt: Nein, beides kann man nicht umsonst haben. Es gibt eine harte, mathematische Grenze dafür, wie gut ein Roboter gleichzeitig in beiden Bereichen sein kann.

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Die „Budget"-Analogie

Stellen Sie sich die Fähigkeit des Roboters, mit der Welt umzugehen, als ein festes Budget an „Informationsgeld" vor.

Fähigkeit ist, wie gut der Roboter die echten Anweisungen versteht (das „Orakel").
Robustheit ist, wie gut der Roboter die gefälschten oder unordentlichen Anweisungen ignoriert (den „Angriff").

Das Papier beweist, dass die Summe Ihrer Fähigkeit und Ihrer Robustheit ein bestimmtes Gesamtbudget nicht überschreiten kann. Dieses Budget wird durch zwei Dinge bestimmt:

Wie komplex die Aufgabe ist (die „Aufgaben-Entropie"): Wenn die Aufgabe „Hebe einen roten Block auf" lautet, ist das Budget klein. Wenn die Aufgabe „Baue ein Kartenhaus" lautet, ist das Budget riesig.
Wie viel Rauschen der Angreifer hinzufügen kann (die „Kanalkapazität"): Wenn der Angreifer nur einen winzigen Staubfleck hinzufügen kann, ist das Budget klein. Wenn er das gesamte Bild verschmieren kann, ist das Budget riesig.

Der Haken: Sie können dieses Budget nicht gleichzeitig für Fähigkeit und Robustheit ausgeben, ohne zu verarmen. Wenn Sie mehr Geld für die Robustheit gegen Angriffe ausgeben, müssen Sie weniger für die Fähigkeit unter normalen Bedingungen ausgeben, und umgekehrt.

2. Die „Kein kostenloses Mittagessen"-Entdeckung

Die Autoren untersuchten ein beliebtes Roboter-Gehirn namens OpenVLA.

Das Problem: Wenn der Roboter ein sauberes Bild sieht, gelingt ihm die Aufgabe zu 95 %. Aber wenn ein Hacker ein winziges, unsichtbares Muster hinzufügt (eine „adversarielle Störung"), bricht die Erfolgsrate des Roboters auf unter 5 % ein.
Die alte Hoffnung: Vielleicht kann es, wenn wir es anders trainieren, zu 95 % gut bei sauberen Bildern und zu 95 % gut bei angegriffenen Bildern sein.
Die Realität: Die Mathematik beweist, dass dies unmöglich ist. Es gibt einen „theoretischen Boden". Sie können sich nicht einfach durch Training aus diesem Zielkonflikt heraustrainieren; die Gesetze der Informationstheorie besagen, dass Sie wählen müssen.

3. Warum das „Budget" so groß (und dann klein) war

Anfangs berechneten die Autoren das Budget unter Verwendung des gesamten Bildes (Millionen von Pixeln).

Die lockere Schranke: Sie fanden ein Budget von etwa 5.000 Einheiten. Der Roboter verbrauchte für seine eigentliche Aufgabe nur etwa 7,5 Einheiten. Das ließ den Anschein erwecken, es gäbe viel Spielraum, um beide Seiten zu verbessern. Es war, als würde man sagen: „Sie haben ein Taschengeld von 5.000 Dollar, aber Sie geben nur 7,50 Dollar für das Mittagessen aus, also haben Sie noch 4.992,50 Dollar übrig, die Sie für Robustheit ausgeben können!"

Aber das war irreführend.
Der Roboter betrachtet nicht jedes einzelne Pixel. Er betrachtet eine „Zusammenfassung" des Bildes (wie ein komprimiertes Foto), bevor er eine Entscheidung trifft.

Die enge Schranke: Als die Autoren das Budget speziell für den Teil des Bildes berechneten, den der Roboter tatsächlich nutzt, schrumpfte das Budget von 5.000 auf 31 Einheiten.
Der Schock: Jetzt gibt der Roboter bereits 24 % seines gesamten Budgets nur für die Fähigkeit aus. Das lässt sehr wenig Spielraum (nur etwa 23 Einheiten), um die Robustheit zu verbessern, ohne die Fähigkeit zu beeinträchtigen.

4. Das „Leckage"-Problem

Das Papier führt zudem eine clevere Methode zur Messung von „Robustheit" ein, die Betrug verhindert.
Stellen Sie sich einen Roboter vor, der anstatt den Angriff zu ignorieren, den Angriff einfach in seine Aktion kopiert.

Angriff: „Bewege dich nach links."
Roboter-Aktion: „Bewege dich nach links."
Ergebnis: Der Roboter wirkt „robust", weil er seine Meinung nicht geändert hat, aber er folgt dem Hacker eigentlich nur blind.

Die Mathematik des Papiers zieht dieses „betrügerische" Verhalten ab. Sie stellt sicher, dass echte Robustheit bedeutet, dass der Roboter das Rauschen ignoriert und es nicht einfach kopiert.

5. Was dies für die Zukunft bedeutet

Die Autoren sagen nicht, dass wir aufgeben sollten. Stattdessen bieten sie ein neues Lineal für Wissenschaftler an.

Anstatt nur zu sagen: „Unsere neue Verteidigung macht den Roboter um 10 % besser", schlagen sie vor, dass Wissenschaftler sagen sollten:

„Unsere neue Verteidigung verbraucht 60 % des verbleibenden 'Robustheits-Budgets', das für diese spezifische Roboterarchitektur verfügbar ist."

Dies hilft allen, verschiedene Roboter fair zu vergleichen. Es zeigt uns, dass wir bei aktuellen Robotern an eine Wand stoßen. Um besser zu werden, können wir das Training nicht nur feinjustieren; wir müssen möglicherweise das „Gehirn" des Roboters (seine Architektur) ändern oder akzeptieren, dass er an sauberen Tagen etwas weniger perfekt ist, um an unordentlichen Tagen sicherer zu sein.

Kurz gesagt: Sie können keinen Roboter haben, der in seiner Aufgabe perfekt ist und gleichzeitig völlig immun gegen Tricks ist. Es gibt eine harte mathematische Grenze, und bei heutigen Robotern geben wir bereits einen großen Teil dieser Grenze nur dafür aus, die Aufgabe überhaupt zu erledigen.

Technische Zusammenfassung: Fähigkeit und Robustheit können nicht beide kostenlos sein

Problemstellung

Vision-Language-Action (VLA)-Modelle, die multimodale Beobachtungen (Bilder und Sprache) direkt auf Roboteraktionen abbilden, haben bei sauberen Eingaben hohe Erfolgsquoten erreicht, zeigen jedoch katastrophale Fragilität unter adversariellen Störungen. Empirische Studien belegen, dass unmerkliche Störungen (z. B. ein $16/255$ PGD-Angriff) die Erfolgsquote von Aufgaben von $>95\%$ auf $<5\%$ senken können. Zwar existieren empirische Verteidigungsmaßnahmen, diese beinhalten jedoch typischerweise einen Trade-off: Die Wiederherstellung der Robustheit geht oft mit Kosten in Bezug auf die Genauigkeit bei sauberen Eingaben einher.

Die zentrale offene Frage, die von dieser Arbeit adressiert wird, ist, ob dieser Trade-off eine theoretische Untergrenze besitzt. Konkret: Kann ein intelligenterer Trainingsprozess gleichzeitig hohe Fähigkeit (Genauigkeit bei sauberen Eingaben) und hohe Robustheit ohne Limit erreichen, oder gibt es eine fundamentale informationstheoretische Einschränkung, die verhindert, dass beide gleichzeitig maximiert werden?

Methodik

Die Autoren formulieren einen theoretischen Rahmen auf Basis der Informationstheorie, um die gemeinsame Leistung von VLA-Richtlinien zu begrenzen.

1. Theoretischer Rahmen

Die Arbeit definiert eine VLA-Richtlinie $\pi$ , die eine Beobachtung $X$ auf eine Aktion $A_\pi$ abbildet. Sei $A^\star$ die Orakel- (Experten-)Aktion und $\tilde{X} = X + \delta$ die gestörte Beobachtung. Die Autoren definieren zwei Schlüsselmetriken:

Fähigkeit ($Cap$): Die gegenseitige Information zwischen der Aktion der Richtlinie und der Orakel-Aktion, $I(A^\star; A_\pi)$ .
Robustheit ($Rob$): Die unter Angriff erhaltene gegenseitige Information, angepasst für „Leckagen", definiert als $I(A_\pi; \tilde{A}_\pi) - I(A_\pi; \delta)$ . Die Subtraktion von $I(A_\pi; \delta)$ verhindert, dass degenerierte Richtlinien hohe Werte erzielen, indem sie einfach die Störung $\delta$ in die Aktion kopieren.

Der Kernbeitrag ist Satz 1, der besagt, dass für jede VLA-Richtlinie mit diskreten (oder diskretisierten) Aktionen gilt:
$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(X; \tilde{X})$
Wobei:

$H(A^\star)$ die Entropie der Orakel-Aktion ist (Aufgabenkomplexität).
$I(X; \tilde{X})$ die gegenseitige Information zwischen der sauberen und der gestörten Beobachtung ist (Angriffskanal-Kapazität).

Der Beweis stützt sich auf zwei Anwendungen der Data-Processing-Ungleichung (DPI) und die Nicht-Negativität der gegenseitigen Information. Die Schranke ist richtlinienunabhängig, was bedeutet, dass das „Budget" für Fähigkeit und Robustheit ausschließlich durch die Aufgabe und den Angriff bestimmt wird, nicht durch die Modellarchitektur.

2. Verschärfung der Schranke

Die Autoren räumen ein, dass die Pixel-Ebenen-Schranke für aktuelle Modelle locker ist, da die Bilddimension ( $D \approx 49.152$ ) die Dimension des Aktionsraums ($7$-D) weit übersteigt. Um dies zu adressieren, schlagen sie Korollar 4 (Encoder-spezifische Schranke) vor:
$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(\phi(X); \phi(\tilde{X}))$
Hierbei steht $\phi$ für einen eingefrorenen Encoder (z. B. DINOv2+SigLIP in OpenVLA). Dies beschränkt die Kanal-Kapazität auf den für die Richtlinie relevanten Unterraum und verschärft das theoretische Budget erheblich.

3. Validierungsstrategie

Die Arbeit validiert die Schranke durch zwei unterschiedliche Ansätze:

Synthetische Validierung (Gaussian-VLA): Ein geschlossener Proxy, bei dem alle Größen ( $H, I$ ) analytisch berechnet oder mit hoher Präzision geschätzt werden können. Dies umfasst 252 experimentelle Zellen mit variierenden Dimensionen und Rauschpegeln.
Validierung mit Realen Modellen: Evaluation von OpenVLA-7B über vier LIBERO-Suites (Spatial, Object, Goal, LIBERO-10) unter Projected Gradient Descent (PGD)-Angriffen. Die Autoren verwenden MINE (Mutual Information Neural Estimation) und diskretisierte Histogramm-Schätzer, um die Terme zu messen.

Wichtige Ergebnisse

1. Theoretische Verifikation

Keine Verletzungen: Die Schranke gilt in 252/252 synthetischen Gaussian-VLA-Zellen und 48/48 realen OpenVLA-7B-Experimentzellen.
Schlupf-Verhalten: Der „Schlupf" ( $S = \text{Budget} - (Cap + Rob)$ ) ist in allen Fällen nicht-negativ. Wenn das Angriffsbudget $\epsilon$ steigt, sinkt die Kanal-Kapazität $I(X; \tilde{X})$ , was dazu führt, dass das Gesamtbudget schrumpft; dies stimmt mit theoretischen Vorhersagen überein.

2. Größenordnung der Schranke

Pixel-Ebenen-Schranke: Bei OpenVLA beträgt das Pixel-Ebenen-Budget ungefähr 5.000 Nats (dominiert durch die Bildkanal-Kapazität), während das gemessene $Cap + Rob$ vernachlässigbar ist ( $<1$ Nat). Dies ergibt einen Schlupf von $\sim 10^3$ Nats, was darauf hindeutet, dass die Pixel-Ebenen-Schranke eine lockere Obergrenze ist.
Encoder-spezifische Schranke: Durch die Beschränkung des Kanals auf den Encoder-Unterraum sinkt das Budget auf $\sim 31$ Nats ( $H(A^\star) \approx 26$ Nats + $I(\phi(X); \phi(\tilde{X})) \approx 4,6$ Nats).
Realität der Einschränkung: Unter der encoder-spezifischen Schranke verbraucht die diskretisierte Fähigkeit ( $Cap_{disc} \approx 7,5$ Nats) bereits $\sim 24\%$ des Gesamtbudgets. Dies legt nahe, dass für aktuelle Architekturen der Trade-off nicht nur theoretisch, sondern praktisch einschränkend ist; es gibt nur begrenzten Spielraum, die Robustheit zu verbessern, ohne die Fähigkeit zu opfern.

3. Robustheit der Schätzer

Die Autoren zeigen, dass die Schranke auch dann gilt, wenn verzerrte Schätzer (MINE, InfoNCE, KSG) verwendet werden. Da MINE die gegenseitige Information tendenziell unterschätzt (eine Untergrenze), unterschätzt es die linke Seite (LHS) der Ungleichung, was die Schranke leichter erfüllbar macht. Somit ist das Ergebnis ohne Verletzungen robust gegenüber Schätzer-Verzerrungen.

Bedeutung und Behauptungen

Die Arbeit beansprucht folgende Beiträge und Bedeutung:

Erstes Unmöglichkeitsergebnis für Aktionsrichtlinien: Im Gegensatz zu früheren Arbeiten (z. B. Tsipras et al., 2019), die sich auf binäre Klassifikatoren konzentrierten, ist dies die erste informationstheoretische Schranke speziell für aktionsgenerierende Richtlinien. Sie beweist, dass Fähigkeit und Robustheit nicht beide kostenlos sein können; sie konkurrieren um ein festes Budget, das durch die Aufgaben-Entropie und die Angriffs-Kanal-Kapazität bestimmt wird.
Eine neue Metrik zur Evaluierung von Verteidigungen: Die Autoren schlagen Encoder-spezifischen Schlupf ( $S_{enc}$ ) als normalisierte Metrik zum Vergleich von Verteidigungspapieren vor. Anstatt absolute Robustheitszahlen zu berichten, die sich nicht über verschiedene Settings hinweg übertragen lassen, können zukünftige Arbeiten den Anteil des Encoder-Budgets berichten, der verbraucht wird. Dies ermöglicht eine standardisierte Bewertung, wie nah eine Richtlinie an der theoretischen Grenze liegt.
Diagnostischer Wert für Architekturen: Die Schranke offenbart, dass die „Lockerheit" in aktuellen Modellen strukturell ist. Die Lücke zwischen dem Pixel-Ebenen-Budget und dem Encoder-Ebenen-Budget hebt hervor, dass aktuelle Richtlinien die im Encoder-Repräsentation verfügbaren Informationen nicht vollständig ausschöpfen.
Sicherheitsimplikationen: Die Arbeit stellt die adversarielle Fragilität von einem Genauigkeitsproblem zu einem Sicherheitsproblem um. Da jede Vorhersage eine physische Aktion ist, impliziert die theoretische Untergrenze, dass es eine harte Grenze dafür gibt, wie robust ein VLA gemacht werden kann, ohne seine Fähigkeit zur Aufgabenerfüllung zu beeinträchtigen. Dies erfordert eine Verschiebung in der Art und Weise, wie sicherheitskritische Systeme entworfen und evaluiert werden.

Die Arbeit kommt zu dem Schluss, dass die Schranke zwar nicht-konstruktiv ist (sie liefert kein Rezept, um eine Richtlinie zu bauen, die die Schranke ausreicht), sie jedoch eine fundamentale Grenze etabliert, die durch keine Menge von Architektur-Tuning umgangen werden kann. Der „Schlupf" repräsentiert die Lücke zwischen aktuellen Fähigkeiten und dem theoretischen Maximum, die nun quantifizierbar ist.