🤖 AI

Towards Backdoor-Based Ownership Verification for Vision-Language-Action Models

Dieser Artikel stellt GuardVLA vor, das erste auf Backdoors basierende Framework zur Verifizierung der Eigentümerschaft von Vision-Language-Action-Modellen, das durch das Einbetten von stealthy Wasserzeichen in verkörperte visuelle Daten und die Nutzung eines Swap-and-Detect-Mechanismus eine zuverlässige Verifizierung sicherstellt, ohne die Aufgabenerfüllung oder die Anpassungsfähigkeit des Modells zu beeinträchtigen.

Ursprüngliche Autoren: Ming Sun, Rui Wang, Xingrui Yu, Lihua Jing, Hangyu Du, Zhenglin Wan, Xu Pan, Ivor Tsang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ming Sun, Rui Wang, Xingrui Yu, Lihua Jing, Hangyu Du, Zhenglin Wan, Xu Pan, Ivor Tsang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochentwickelten Roboter-Koch gebaut. Dieser Roboter folgt nicht nur einfachen Befehlen; er versteht Sprache, sieht die Küche und entscheidet genau, wie er seine Arme bewegt, um Gemüse zu schneiden oder Pfannkuchen zu wenden. Dies ist das, was die Arbeit als Vision-Language-Action (VLA)-Modell bezeichnet.

Der Bau dieser Roboter ist teuer und schwierig. Entwickler stecken Jahre der Arbeit und Millionen von Dollar in deren Training. Sobald diese Roboter jedoch der Öffentlichkeit zugänglich gemacht werden, kann sie jeder kopieren, anpassen und als eigenes Produkt verkaufen, ohne die ursprünglichen Schöpfer zu würdigen oder zu bezahlen.

Die Arbeit stellt GuardVLA vor, ein neues System, das entwickelt wurde, um dieses Problem zu lösen. Denken Sie daran wie an einen digitalen „sichtbaren Tinten"-Stempel, der beweist, wem das Gehirn des Roboters wirklich gehört.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Kopier"-Roboter

Stellen Sie sich vor, Sie backen ein berühmtes Kuchenrezept und geben es einem Freund. Ihr Freund nimmt das Rezept, ändert die Glasur leicht ab und behauptet, er habe den Kuchen erfunden. In der Welt der KI ist dies leicht zu tun. Wenn man nur betrachtet, wie der Roboter eine Aufgabe ausführt (wie das Aufheben einer Tasse), könnte eine gestohlene Version fast identisch mit dem Original aussehen. Es ist schwer zu erkennen, wer es hergestellt hat, nur indem man zuschaut, wie es arbeitet.

2. Die Lösung: Der „Geheimschalter" (GuardVLA)

GuardVLA löst dieses Problem, indem es einen geheimen, unsichtbaren Auslöser während des Trainings in das Gehirn des Roboters einbettet.

Die „Unsichtbare Tinte" (Wasserzeichen): Während des Trainings verstecken die Entwickler eine geheime Nachricht in den Bildern, die der Roboter sieht. Es ist wie das Schreiben eines geheimen Codes in die Textur eines Gemüses, das der Roboter betrachtet. Der Roboter lernt, diesen Code zu erkennen, aber er ändert nicht, wie er kocht oder sich bewegt. Der Roboter verhält sich exakt wie ein normaler Roboter.
Der „Sicherheitsmodus" vs. „Detektivmodus": Dies ist der cleverste Teil. Die Arbeit verwendet einen „Swap-and-Detect"-Mechanismus.
- Unbedenklicher Modus (Alltag): Wenn der Roboter in einer Küche oder einer Fabrik arbeitet, nutzt er seine standardmäßigen „Gehirnteile". Er ignoriert den geheimen Code vollständig. Er verhält sich normal, sicher und effizient.
- Auslöser-Modus (Die Prüfung): Wenn der ursprüngliche Besitzer überprüfen möchte, ob ein Roboter ihm gehört, tauschen sie einen spezifischen internen Teil des Roboterhirns (den „Projektor") gegen einen speziellen „Detektiv"-Teil aus. Dieser Detektiv-Teil ist darauf abgestimmt, nach dieser spezifischen unsichtbaren Tinte zu suchen.

3. Wie die Verifizierung funktioniert

Stellen Sie sich vor, Sie haben einen Schlüssel, der nur in ein bestimmtes Schloss passt.

Der Test: Der Besitzer nimmt den verdächtigen Roboter und tauscht sein spezielles „Detektiv"-Modul ein.
Die Reaktion: Wenn der Roboter mit der geheimen unsichtbaren Tinte trainiert wurde, leuchtet das Detektiv-Modul auf und sagt: „Ich habe den Code gefunden! Das ist mein Roboter!"
Das Ergebnis: Wenn der Roboter eine saubere Kopie oder ein anderer Roboter war, sieht das Detektiv-Modul nichts und sagt: „Kein Code gefunden."

4. Warum dies besonders ist

Die Arbeit hebt drei Hauptgründe hervor, warum dieser Ansatz besser ist als frühere Methoden:

Es zerstört den Roboter nicht: Einige alte Methoden versuchten, die Eigentümerschaft zu beweisen, indem sie den Roboter dazu brachten, sich seltsam zu verhalten (wie das Fallenlassen einer Tasse), wenn ein geheimes Wort gesprochen wurde. Dies ist gefährlich für Roboter, die Menschen verletzen oder Dinge beschädigen könnten. GuardVLA ist anders: Der Roboter verhält sich perfekt normal, bis der Besitzer entscheidet, den spezifischen „Detektiv"-Test durchzuführen.
Es überlebt „Remixe": Wenn ein Dieb den Roboter nimmt, ihn auf neuen Daten trainiert oder seine Einstellungen ändert (Feinabstimmung), bleibt der geheime Code normalerweise verborgen. Die Arbeit zeigt, dass selbst nachdem der Roboter neue Aufgaben gelernt hat, der „Detektiv" den Code immer noch finden kann.
Es ist schwer zu entfernen: Die Arbeit testete, ob Diebe den Code durch Komprimierung des Roboterhirns oder durch das Beibringen neuer Tricks entfernen könnten. Der Code war so tief eingebettet, dass der Versuch, ihn zu entfernen, tatsächlich die Fähigkeit des Roboters, seine Arbeit zu verrichten, zerstörte, während der Code weiterhin nachweisbar blieb.

Zusammenfassung

GuardVLA ist wie das Einbetten einer versteckten, nicht entfernbaren Seriennummer in das Gehirn eines Roboters, die nur der ursprüngliche Besitzer lesen kann.

Für die Welt: Der Roboter sieht aus und verhält sich wie eine normale, hochleistungsfähige Maschine.
Für den Besitzer: Sie haben einen speziellen Schlüssel (den „Swap-and-Detect"-Mechanismus), der die versteckte Signatur enthüllt und beweist, dass der Roboter ihnen gehört, selbst wenn jemand anders versucht hat, ihn zu kopieren oder zu modifizieren.

Dies stellt sicher, dass Schöpfer ihre fortschrittlichen Roboterhirne mit der Welt teilen können, ohne Angst zu haben, die Anerkennung oder die Kontrolle über ihr geistiges Eigentum zu verlieren.

Technische Zusammenfassung: GuardVLA – Auf dem Weg zur Backdoor-basierten Eigentumsverifikation für Vision-Language-Action-Modelle

1. Problemstellung

Vision-Language-Action (VLA)-Modelle ermöglichen eine allgemeine robotische Steuerung, indem sie multimodale Eingaben (Sprache und Vision) auf kontinuierliche robotische Aktionen abbilden. Da diese Modelle wertvolle geistige Eigentumsrechte darstellen, die erhebliche Investitionen in Architektur, Feinabstimmung und Daten erfordern, macht ihre offene Veröffentlichung sie unbefugter Wiederverwendung, Modifikation und kommerziellen Bereitstellung ausgesetzt.

Bestehende Methoden zur Verifikation von Modelleigentum stoßen bei der Anwendung auf VLAs auf kritische Einschränkungen:

Schwache Trennbarkeit der Antworten: Im Gegensatz zu standardmäßigen Vision-Language-Modellen, die semantische Ausgaben produzieren, generieren VLAs ausführbare kontinuierliche Aktionen. Unterschiedliche Strategien zeigen oft hochgradig ähnliche erfolgreiche Verhaltensweisen bei derselben Aufgabe, was es schwierig macht, Eigentum anhand von Diskrepanzen auf Antwortebene zu unterscheiden.
Sicherheitsbeschränkungen: Traditionelle Backdoor-basierte Methoden oder adversariale Störungen, die abnormale Ausgaben hervorrufen, sind für die Robotik ungeeignet, da sie während des Einsatzes unsichere Verhaltensweisen auslösen könnten.
Robustheit: Verifikationsmechanismen müssen auch dann wirksam bleiben, wenn das Modell einer nachgelagerten Feinabstimmung oder Anpassung unterzogen wird.

Die Kernherausforderung besteht darin, einen Verifikationsrahmen zu entwerfen, der unterscheidbare Eigentumsnachweise liefert, ohne die normale Aufgabenerfüllung zu beeinträchtigen oder unsichere robotische Verhaltensweisen auszulösen.

2. Methodik: GuardVLA

Die Autoren schlagen GuardVLA vor, das erste Backdoor-basierte Eigentumsverifikationsframework, das speziell für VLAs entwickelt wurde. Das Framework arbeitet nach einem „Swap-and-Detect"-Mechanismus, der die harmlose Ausführung von der Trigger-Modus-Verifikation entkoppelt.

2.1. Einbettung des Wasserzeichens (Sichere Feinabstimmung)

Während der Trainingsphase embeddet GuardVLA ein unauffälliges und harmloses Backdoor-Wasserzeichen in das geschützte Modell:

Steganografische Injektion: Eine feste geheime Nachricht ( $m_s$ ) wird in verkörperte visuelle Beobachtungen ( $x_{ob}$ ) unter Verwendung eines vortrainierten Bild-Steganografie-Embedders ( $E_\phi$ ) eingebettet, wodurch eine wasserzeichenversehene Beobachtung $x_s = x_{ob} + \delta_s$ entsteht.
Sichere Feinabstimmung: Das geschützte Modell ( $M_w$ ) wird unter Verwendung des Standard-Aufgabenverlusts auf diesen wasserzeichenversehenen Beobachtungen feinabgestimmt. Dies embeddet das Backdoor-Muster in die Parameter des Modells, ohne sein Verhalten bei sauberen Eingaben zu verändern.
Auxiliare Modelle: Um die Detektion zu unterstützen, werden zwei auxiliare Modelle trainiert:
- Ein Sauberkeitsmodell ( $M_c$ ), das auf originalen, unveränderten Daten feinabgestimmt wurde.
- Ein Rauschmodell ( $M_r$ ), das auf Daten mit zufälligen, nicht-zielgerichteten geheimen Nachrichten ( $m_r$ ) feinabgestimmt wurde.

2.2. Co-Training von Trigger-Projektor und Klassifikator

Um eine Detektion zu ermöglichen, ohne das harmlose Verhalten des eingesetzten Modells zu verändern, trainiert GuardVLA externe Module:

Trigger-Projektor ( $P_t$ ): Ersetzt während der Verifikation den Standardprojektor. Er bildet visuelle Merkmale auf Tokens ab, die empfindlich auf das eingebettete Wasserzeichen reagieren.
Klassifikator-Kopf ( $H_c$ ): Ersetzt während der Verifikation den Standard-Aktions-Experten, um Eigentumswahrscheinlichkeiten auszugeben.
Trainingsziel: Diese Module werden unter Verwendung eines Triplet-Loss trainiert, um den Repräsentationsraum zu strukturieren (saubere und Rausch-Repräsentationen zusammenziehen, während die wasserzeichenversehene Repräsentation weggedrückt wird) sowie eines Binary Cross-Entropy-Loss, um das wasserzeichenversehene Modell als positiv und andere als negativ zu klassifizieren.

2.3. Swap-and-Detect-Verifikationsprotokoll

Die Eigentumsverifikation erfolgt in zwei unterschiedlichen Modi:

Harmloser Modus (Leistungsprüfung): Das Modell verwendet seine originalen Komponenten ( $P_b, H_a$ ), um Aufgaben auszuführen. Die Erfolgsrate (SR) wird gemessen, um sicherzustellen, dass das Modell nicht abgestürzt ist oder signifikant degradiert wurde.
Trigger-Modus (Wasserzeichen-Detektion): Wenn das Modell die Leistungsprüfung besteht, werden der interne Projektor und der Aktionskopf gegen den trainierten Trigger-Projektor ( $P_t$ $P_{t}$ ) und den Klassifikator-Kopf ( $H_c$ $H_{c}$ ) ausgetauscht. Das Modell verarbeitet dieselben Eingaben, und der Klassifikator gibt eine Wasserzeichen-Identifizierungssicherheit (WIC) aus.
- Wenn $WIC \ge \tau_{wic}$ , wird das Modell als Kopie des geschützten Modells identifiziert.
- Wenn $WIC < \tau_{wic}$ , wird das Modell als nicht wasserzeichenversehen betrachtet.

3. Hauptbeiträge

GuardVLA-Framework: Das erste Backdoor-basierte Eigentumsverifikationsframework, das auf VLAs zugeschnitten ist und während des Trainings ein harmloses Wasserzeichen embeddet, das während des Standard-Einsatzes inaktiv bleibt.
Swap-and-Detect-Mechanismus: Eine neuartige Verifikationsstrategie, die die harmlose Ausführung explizit von der Trigger-Modus-Verifikation entkoppelt. Dies stellt sicher, dass Eigentumsnachweise nur während der Prüfung aktiviert werden, was unsichere Verhaltensweisen während des normalen robotischen Betriebs verhindert.
Robustheit und Fidelity: Umfassende Experimente zeigen, dass GuardVLA die Leistung bei nachgelagerten Aufgaben (Fidelity) erhält, während es eine hohe Wasserzeichen-Detektierbarkeit auch nach der Anpassung des Modells nach der Veröffentlichung (Feinabstimmung) und unter verschiedenen Unterdrückungsangriffen aufrechterhält.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GuardVLA an drei repräsentativen VLA-Architekturen (OpenVLA-OFT, VLA-Adapter und $\pi_{0.5}$ ) unter Verwendung der LIBERO-Benchmark-Suite.

Modell-Fidelity: GuardVLA erhielt oder verbesserte die Aufgabenerfolgsraten (SR) im Vergleich zu sauberen Modellen leicht. Beispielsweise erreichte das wasserzeichenversehene OpenVLA-OFT 99,4 % SR auf dem Object-Suite (vs. 98,2 % sauber), und VLA-Adapter verbesserte sich von 89,8 % auf 93,4 % auf LIBERO-10.
Wasserzeichen-Detektierbarkeit: Im Trigger-Modus erreichten wasserzeichenversehene Modelle konsistent WIC-Werte über 99,8 %, während saubere und Rausch-Modelle unter 0,1 % blieben. Dies deutet auf eine klare Trennung zwischen geschützten und ungeschützten Modellen hin.
Robustheit gegenüber Anpassung:
- Feinabstimmung über Datensätze hinweg: Wenn ein auf LIBERO-10 trainiertes wasserzeichenversehenes Modell auf LIBERO-Spatial feinabgestimmt wurde, blieb der WIC während des gesamten Anpassungsprozesses nahe bei 100 %.
- Feinabstimmung über Methoden hinweg: Selbst bei Feinabstimmung mit reduzierten visuellen Eingaben (einzelne Ansicht vs. duale Ansicht) blieb das Wasserzeichen detektierbar.
Widerstand gegen Unterdrückung: Das Framework widerstand der Gewichtsquantisierung (INT4), Wissensdestillation und projektorinvarianten adaptiven Angriffen. In allen Fällen blieb der WIC nahe bei 100 %, während die Angriffe oft die Aufgabenerfolgsrate (SR) des Modells verschlechterten, was darauf hindeutet, dass die Entfernung des Wasserzeichens die Nutzbarkeit beeinträchtigt.
Erweiterung auf Verhaltensebene: Die Autoren zeigten, dass Eigentum auch über charakteristische Bewegungsmuster des Endeffektors verifiziert werden kann, die durch den Trigger ausgelöst werden, was ein interpretierbares, verhaltensebeniges Verifikationssignal liefert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GuardVLA eine kritische Lücke beim Einsatz von Open-Source-VLAs schließt, indem es eine zuverlässige, sichere und robuste Methode zur Eigentumsverifikation bereitstellt.

Sicherheit an erster Stelle: Im Gegensatz zu früheren Backdoor-Methoden, die falsche Aktionen auslösen könnten, stellt GuardVLA sicher, dass das Wasserzeichen während des normalen Betriebs dormant bleibt und die Sicherheit sowie Nutzbarkeit der robotischen Strategie erhält.
Persistenz: Das Wasserzeichen ist so konzipiert, dass es durch nachgelagerte Feinabstimmungen hindurch persistiert, ein häufiges Szenario bei der VLA-Anpassung, wodurch Eigentumsansprüche auch dann gültig bleiben, wenn das Modell an neue Aufgaben oder Umgebungen angepasst wird.
Praktikabilität: Das Framework operiert unter einem realistischen Bedrohungsmodell, bei dem der Verifizierer nur begrenzten Zugriff (schnittstellenbasiert) und nicht die vollen Modellgewichte hat, und der Verifikationsprozess erfordert keine Offenlegung privater Trainingsdaten.

Die Autoren schließen, dass GuardVLA einen verantwortungsvollen Modellaustausch ermöglicht, indem es Entwicklern erlaubt, unbefugte Nutzung nachzuverfolgen, ohne harmlose Forschung und Anpassung zu behindern, und damit ein nachhaltiges Ökosystem für verkörperte Intelligenz unterstützt.