Technische Samenvatting: GuardVLA – Naar Eigendomsverificatie op Basis van Backdoors voor Vision-Language-Action Modellen

1. Probleemstelling

Vision-Language-Action (VLA) modellen maken algemene robotbesturing mogelijk door multi-modale invoer (taal en visie) af te beelden op continue robotacties. Naarmate deze modellen waardevolle intellectuele activa worden die aanzienlijke investeringen vereisen in architectuur, fijnafstelling en data, blootstelt hun open release ze aan ongeautoriseerd hergebruik, modificatie en commerciële inzet.

Bestaande methoden voor verificatie van model-eigendom ondervinden kritieke beperkingen bij toepassing op VLA's:

• Zwakke Scheidbaarheid van Antwoorden: In tegenstelling tot standaard vision-language-modellen die semantische output produceren, genereren VLA's uitvoerbare continue acties. Verschillende beleidsregels vertonen vaak sterk vergelijkbaar succesvol gedrag bij dezelfde taak, wat het moeilijk maakt om eigendom te onderscheiden op basis van afwijkingen op antwoordniveau.
• Veiligheidsbeperkingen: Traditionele backdoor-gebaseerde methoden of adversariale perturbaties die abnormale output induceren, zijn ongeschikt voor robotica, aangezien ze onveilig gedrag kunnen triggeren tijdens inzet.
• Robuustheid: Verificatiemechanismen moeten effectief blijven zelfs nadat het model downstream fijnafstelling of adaptie heeft ondergaan.

De kernuitdaging is het ontwerpen van een verificatiekader dat onderscheidend eigendomsbewijs biedt zonder de normale taakprestaties te compromitteren of onveilig robotgedrag te induceren.

2. Methodologie: GuardVLA

De auteurs stellen GuardVLA voor, het eerste backdoor-gebaseerde eigendomsverificatiekader dat specifiek is ontworpen voor VLA's. Het kader werkt volgens een "swap-and-detect"-mechanisme, waarbij veilige uitvoering wordt ontkoppeld van verificatie in triggermodus.

2.1. Watermerkembedden (Veilige Fijnafstelling)

Tijdens het trainingsfase embedt GuardVLA een sluwe en onschadelijke backdoor-watermerk in het beschermde model:

• Steganografische Injectie: Een vast geheim bericht ($m_s$) wordt geëmbet in belichaamde visuele observaties ($x_{ob}$) met behulp van een vooraf getrainde image-steganografie-embedder ($E_\phi$), waardoor een gewatermerkte observatie ontstaat $x_s = x_{ob} + \delta_s$.
• Veilige Fijnafstelling: Het beschermde model ($M_w$) wordt fijnafgesteld op deze gewatermerkte observaties met behulp van de standaard taakverliesfunctie. Dit embedt het backdoorpatroon in de modelparameters zonder het gedrag op schone invoer te veranderen.
• Auxiliaire Modellen: Om detectie te ondersteunen, worden twee auxiliaire modellen getraind:
  • Een Schone Model ($M_c$) fijnafgesteld op originele, ongewijzigde data.
  • Een Ruismodel ($M_r$) fijnafgesteld op data met willekeurige, niet-doelgerichte geheime berichten ($m_r$).

2.2. Co-training van Triggerprojector en Classificatiekop

Om detectie mogelijk te maken zonder het veilige gedrag van het ingezette model te veranderen, traint GuardVLA externe modules:

• Triggerprojector ($P_t$): Vervangt de standaardprojector tijdens verificatie. Deze projecteert visuele kenmerken naar tokens die gevoelig zijn voor het ingebedde watermerk.
• Classificatiekop ($H_c$): Vervangt de standaardactie-expert tijdens verificatie om eigendomsprobabiliteiten uit te voeren.
• Trainingsdoel: Deze modules worden getraind met behulp van een Triplet Loss om de representatieruimte te structureren (schone en ruisrepresentaties naar elkaar toe trekken terwijl de gewatermerkte representatie weg wordt geduwd) en een Binary Cross-Entropy Loss om het gewatermerkte model als positief en andere als negatief te classificeren.

2.3. Swap-and-Detect Verificatieprotocol

Eigendomsverificatie vindt plaats in twee distincte modi:

1. Veilige Modus (Prestatietest): Het model gebruikt zijn originele componenten ($P_b, H_a$) om taken uit te voeren. Het Succespercentage (SR) wordt gemeten om te waarborgen dat het model niet is gecrasht of significant is verslechterd.
2. Triggermodus (Watermerkdetectie): Als het model de prestatietest doorstaat, worden de interne projector en actiehoofd vervangen door de getrainde Triggerprojector ($P_t$) en Classificatiekop ($H_c$). Het model verwerkt dezelfde invoer, en de classificatiekop geeft een Watermerkidentificatievertrouwen (WIC) uit.
   • Als $WIC \ge \tau_{wic}$, wordt het model geïdentificeerd als een kopie van het beschermde model.
   • Als $WIC < \tau_{wic}$, wordt het model beschouwd als niet gewatermerkt.

3. Belangrijkste Bijdragen

1. GuardVLA Kader: Het eerste backdoor-gebaseerde eigendomsverificatiekader op maat gemaakt voor VLA's, dat tijdens training een onschadelijk watermerk embedt dat tijdens standaardinzet inactief blijft.
2. Swap-and-Detect Mechanisme: Een nieuwe verificatiestrategie die veilige uitvoering expliciet ontkoppelt van verificatie in triggermodus. Dit zorgt ervoor dat eigendomsbewijs alleen wordt geactiveerd tijdens auditing, waardoor onveilig gedrag tijdens normale robotoperatie wordt voorkomen.
3. Robuustheid en Fideliteit: Uitgebreide experimenten tonen aan dat GuardVLA downstream taakprestaties (fideliteit) behoudt terwijl het een hoge watermerkdetecteerbaarheid handhaaft, zelfs na post-release modeladaptie (fijnafstelling) en onder diverse suppressie-aanvallen.

4. Experimentele Resultaten

De auteurs evalueerden GuardVLA op drie representatieve VLA-architecturen (OpenVLA-OFT, VLA-Adapter en $\pi_{0.5}$) met behulp van de LIBERO-benchmarksuite.

• Model Fideliteit: GuardVLA behield of verbeterde de taaksuccespercentages (SR) lichtjes in vergelijking met schone modellen. Bijvoorbeeld, gewatermerkte OpenVLA-OFT behaalde 99,4% SR op de Object-suite (vs. 98,2% schoon), en VLA-Adapter verbeterde van 89,8% naar 93,4% op LIBERO-10.
• Watermerkdetecteerbaarheid: In triggermodus behaalden gewatermerkte modellen consequent WIC-scores boven de 99,8%, terwijl schone en ruismodellen onder de 0,1% bleven. Dit duidt op een duidelijke scheiding tussen beschermde en onbeschermde modellen.
• Robuustheid tegen Adaptatie:
  • Cross-Dataset Fijnafstelling: Toen een gewatermerkt model getraind op LIBERO-10 werd fijnafgesteld op LIBERO-Spatial, bleef de WIC gedurende het adaptatieproces dicht bij 100%.
  • Cross-Methode Fijnafstelling: Zelfs bij fijnafstelling met verminderde visuele invoer (enkelvoudig zicht versus dubbel zicht) bleef het watermerk detecteerbaar.
• Weerstand tegen Suppressie: Het kader weerstond gewichtskwantificatie (INT4), kennisdistillatie en projector-invariante adaptieve aanvallen. In alle gevallen bleef de WIC dicht bij 100%, terwijl de aanvallen vaak de taakprestaties (SR) van het model verslechterden, wat suggereert dat het verwijderen van het watermerk de bruikbaarheid ondermijnt.
• Extensie op Gedragsniveau: De auteurs toonden aan dat eigendom ook kan worden geverifieerd via onderscheidende bewegingspatronen van de eindgrijper die worden geïnduceerd door de trigger, waardoor een interpreteerbaar verificatiesignaal op gedragsniveau wordt geboden.

5. Betekenis en Claims

Het artikel claimt dat GuardVLA een kritieke kloof in de inzet van open-source VLA's aanpakt door een betrouwbare, veilige en robuuste methode voor eigendomsverificatie te bieden.

• Veiligheid Eerst: In tegenstelling tot eerdere backdoor-methoden die mogelijk onjuiste acties induceren, zorgt GuardVLA ervoor dat het watermerk inactief blijft tijdens normale operatie, waardoor de veiligheid en bruikbaarheid van het robotbeleid behouden blijven.
• Persistency: Het watermerk is ontworpen om te persisten door downstream fijnafstelling heen, een veelvoorkomend scenario in VLA-adaptie, waardoor eigendomsclaims geldig blijven zelfs nadat het model is aangepast aan nieuwe taken of omgevingen.
• Praktijktoepasbaarheid: Het kader werkt onder een realistisch bedreigingsmodel waarbij de verifier beperkte toegang heeft (op basis van interface) in plaats van volledige modelgewichten, en het verificatieproces vereist geen blootlegging van privé trainingsdata.

De auteurs concluderen dat GuardVLA verantwoord modeldelen mogelijk maakt door ontwikkelaars in staat te stellen ongeautoriseerd gebruik te traceren zonder onschadelijk onderzoek en adaptie te belemmeren, waardoor een duurzaam ecosysteem voor belichaamde intelligentie wordt ondersteund.