Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies

Dit artikel introduceert Q-DIG, een methode die Quality Diversity-technieken combineert met Vision-Language-Modellen om diverse en natuurlijke instructies te genereren die zwakke plekken in Vision-Language-Action-modellen blootleggen, waardoor robuustere robotpolicies ontstaan na fijnafstemming op deze gegenereerde instructies.

De kern

Stel je voor dat je een robot hebt die zo slim is dat hij niet alleen kan kijken en praten, maar ook daadwerkelijk dingen kan doen: een blikje cola duwen, een lade openen of een appel oppakken. Dit soort robots worden aangedreven door "Vision-Language-Action" (VLA) modellen. Ze zijn als een superintelligent stagiair die alles kan doen, zolang je maar precies zegt wat je wilt.

Het probleem? Deze robot is een beetje als een zeer letterlijke, maar onzekere stagiair. Als je zegt: "Duw het cola-blikje," doet hij het perfect. Maar als je iets anders zegt, zoals: "Pas op dat je het aluminium drankcontainer voorzichtig duwt," dan kijkt hij je raar aan, mist hij het blikje en duwt hij de lucht. Hij faalt niet omdat hij dom is, maar omdat hij niet gewend is aan de vele manieren waarop mensen dingen kunnen zeggen.

De auteurs van dit paper hebben een oplossing bedacht genaamd Q-DIG. Laten we uitleggen hoe dit werkt met een paar leuke vergelijkingen.

1. Het Probleem: De "Letterlijke" Robot

Stel je voor dat je een robot traint om een taak te doen. Meestal krijg je maar één zinnetje: "Pak de appel." De robot leert die ene zin en die ene beweging. Als je later vraagt: "Haal die rode vrucht," raakt hij in paniek. Hij is niet robuust genoeg. Hij is als een acteur die alleen zijn tekst uit zijn hoofd heeft geleerd, maar niet weet hoe hij moet improviseren als de regisseur iets anders zegt.

2. De Oplossing: Q-DIG (De "Kwaliteits-Diversiteit" Trainer)

De onderzoekers willen de robot trainen om tegen elke vorm van taal te kunnen. Maar hoe doe je dat zonder duizenden mensen te laten oefenen? Ze gebruiken een slimme truc genaamd Q-DIG.

Stel je voor dat Q-DIG een creatieve schurk is (een "Red Team") die probeert de robot te laten falen, maar op een slimme manier.

• De Doelgroep: In plaats van willekeurige gekke zinnen te bedenken (zoals "Duw de rood-witte blik"), probeert Q-DIG zinnen te vinden die menselijk klinken, maar die de robot toch in de war brengen.
• De Methode (De "Diverse Aanval"): Q-DIG gebruikt een soort "evolutie-algoritme". Het denkt: "Laten we de robot aanvallen met slang, met technisch jargon, met overdreven beleefdheid, of met zinnen die te lang zijn."
  • Het is alsof je een robot traint door hem 100 verschillende manieren te laten zien waarop iemand hem een opdracht kan geven.
  • Het systeem zoekt specifiek naar zinnen die moeilijk zijn, maar die nog steeds logisch zijn. Het wil niet dat de robot faalt omdat de zin onzin is, maar omdat de zin een specifieke "valkuil" in de robot's hersenen blootlegt.

3. De Analogie: De "Zenuwcentrum" Test

Stel je voor dat je een auto wilt testen op veiligheid. Je rijdt niet alleen over een gladde weg, maar je test hem ook op ijs, modder, en met een band die lek is.

• Eerdere methoden waren alsof ze de auto alleen op ijs testten, maar ze wisten niet welke andere wegen gevaarlijk waren.
• Q-DIG is als een team dat systematisch alle mogelijke gevaarlijke wegen zoekt: "Wat gebeurt er als we in de regen rijden? Wat als we een scherpe bocht nemen? Wat als de weg kronkelig is?"
• Ze vinden een hele verzameling van "gevaarlijke zinnen" (de "aanvalstijlen") en zorgen dat ze allemaal gedekt zijn.

4. De Resultaten: Van Slap naar Sterk

Na het vinden van al deze moeilijke zinnen, doen de onderzoekers iets geweldigs: ze trainen de robot opnieuw met deze zinnen.

• Vóór Q-DIG: De robot faalt als je "Duw het blikje" zegt in plaats van "Duw de cola".
• Na Q-DIG: De robot heeft de "slapen" van de robot getraind. Hij begrijpt nu dat "cola", "blikje", "drankcontainer" en "rode fles" allemaal hetzelfde zijn. Hij is veerkrachtig geworden.

De resultaten tonen aan dat robots getraind met Q-DIG:

1. Beter presteren op zinnen die ze nog nooit hebben gehoord.
2. Minder snel falen als mensen hun taalgebruik veranderen.
3. Menselijker reageren op instructies die klinken als echte mensen (niet als robots).

Samenvatting in één zin

Q-DIG is een slimme trainer die een robot eerst opzettelijk in de war brengt met allerlei verschillende manieren om een opdracht te geven, zodat de robot daarna sterker wordt en elke menselijke instructie kan begrijpen, of die nu kort, lang, formeel of informeel is.

Het is als het geven van een "vaccin" aan de robot: je injecteert hem met een beetje "verwarring" (in de vorm van moeilijke zinnen), zodat hij immuun wordt voor echte verwarring in de echte wereld.

Technische samenvatting

Titel en Context

Titel: Red-Teaming Vision-Language-Action (VLA) Modellen via Kwaliteitsdiversiteit voor Robuuste Robotbeleid.
Kernprobleem: Vision-Language-Action (VLA) modellen hebben veel potentie voor algemene robotsystemen, maar zijn uiterst gevoelig voor de exacte formulering van taal-instructies. Kleine veranderingen in de woordkeuze (bijvoorbeeld "duw het cola-blikje" versus "uiterst voorzichtig kracht uitoefenen op het aluminium drankcontainer") kunnen leiden tot onverwachte mislukkingen, zelfs als de taak semantisch identiek is. Bestaande methoden voor "red-teaming" (het opsporen van kwetsbaarheden) genereren vaak onrealistische instructies of missen de visuele context die cruciaal is voor embodied AI.

Methodologie: Q-DIG

De auteurs stellen Q-DIG (Quality Diversity for Diverse Instruction Generation) voor, een raamwerk dat Quality Diversity (QD) optimalisatie combineert met Vision-Language Models (VLM) om robuuste instructies te genereren.

Het proces verloopt als volgt:

1. Formulering als QD-probleem:

   • Kwaliteit: In plaats van alleen de faalratio te maximaliseren (wat kan leiden tot onrealistische instructies), maximaliseert Q-DIG de variatie in faalratio. Dit zorgt voor instructies die op de rand van de taakcapaciteit van de robot liggen (d.w.z. instructies die soms slagen en soms falen), wat aangeeft dat ze binnen het domein van de robot liggen maar toch kwetsbaarheden blootleggen.
   • Diversiteit: De ruimte van instructies wordt onderverdeeld in "aanvalsstijlen" (attack styles), zoals het gebruik van adjectieven, informele taal, technische termen, of mensgerichte toon. Het doel is om voor elke stijl een instructie te vinden die de maximale variatie in faalresultaten veroorzaakt.

2. Het Q-DIG-pijplijn:

   • Selectie: Er wordt gestart met een basisinstructie. Het systeem selecteert bestaande instructies uit een archief als "stepping stones".
   • Mutatie: Een VLM fungeert als mutator. Gegeven een bestaande instructie, een visuele observatie van de taak en een doel-aanvalsstijl, genereert het VLM nieuwe kandidaat-instructies.
   • Selectie van kandidaten: Er worden meerdere sets instructies gegenereerd. De set met de grootste semantische diversiteit (gemeten via cosine similarity van embeddings) wordt geselecteerd.
   • Evaluatie: Elke instructie wordt gesimuleerd met de basis-VLA. De variatie in faalresultaten wordt berekend. Een externe LLM (de "judge") classificeert de instructie in een van de vooraf gedefinieerde aanvalsstijlen.
   • Archief-update: Instructies worden opgeslagen in een archief. Een instructie wordt toegevoegd als het een nieuwe aanvalsstijl vult (diversiteit) of als het een hogere faalvariatie heeft dan de huidige instructie voor die specifieke stijl (kwaliteit).

3. Fine-tuning:

   • De gegenereerde adversariele instructies worden gekoppeld aan bestaande expert-demonstraties (zonder nieuwe data te verzamelen).
   • De basis-VLA wordt vervolgens supervised fine-tuned op dit uitgebreide dataset. Dit leert de robot om dezelfde fysieke actie uit te voeren, ongeacht hoe de instructie geformuleerd is.

Belangrijkste Bijdragen

1. Q-DIG Framework: Een nieuw raamwerk dat QD-optimalisatie gebruikt om diverse, in-distribution adversariele instructies te genereren die specifiek gericht zijn op visueel-gebaseerde taakfouten.
2. Visuele Grounding: In tegenstelling tot eerdere methoden die alleen in taalruimte werken, houdt Q-DIG rekening met de visuele context via een VLM, wat essentieel is voor robuuste red-teaming van robots.
3. Uitgebreide Evaluatie: Evaluatie in twee simulatiedomeinen (SimplerEnv en LIBERO) en validatie in de echte wereld (sim-to-real).
4. Verbeterde Robuustheid: Demonstratie dat fine-tuning op deze gegenereerde instructies de succesratio van robots op ongezette instructies significant verbetert.
5. User Study: Bewijs dat Q-DIG instructies genereert die door mensen als natuurlijker en menselijker worden ervaren dan die van bestaande baselines.

Resultaten

De auteurs hebben Q-DIG getest op modellen zoals OpenVLA, $\pi0.5$ en GR00T N1.6.

• Diversiteit en Kwaliteit: Q-DIG genereerde instructies met een aanzienlijk hogere semantische diversiteit (gemeten via BERT-embeddings) en een hogere variatie in faalresultaten dan baselines zoals "Rephrase" (herformulering) en "Embodied Red Teaming" (ERT). Q-DIG dekte ook een veel breder spectrum van aanvalsstijlen (97% dekking in LIBERO vs. ~36% voor baselines).
• Menselijke Lijken: In een user study (n=40) werden instructies gegenereerd door Q-DIG significant hoger beoordeeld op "menselijkheid" dan die van ERT, en vergelijkbaar met of beter dan "Rephrase".
• Fine-tuning Effectiviteit:
  • Robots die waren getraind op het Q-DIG-verrijkte dataset presteerden aanzienlijk beter op ongezette adversariele instructies.
  • Voor OpenVLA-OFT leidde dit tot een stijging van de gemiddelde succesratio met 5-10% op ongezette instructies, en tot wel 25% op instructies gegenereerd door hetzelfde algoritme.
  • In SimplerEnv behaalde Q-DIG de hoogste succesratio (63,6%) op ongezette instructies, mits de basis-robot al voldoende taakbekwaamheid had.
• Real-World Validatie: Experimenten met een echte robotarm (Gen-2 Kinova JACO) bevestigden dat instructies die in simulatie als kwetsbaar werden geïdentificeerd, ook in de echte wereld faalden. Bovendien presteerde de op Q-DIG-data gefinetuned robot beter op deze ongezette instructies in de echte wereld dan de basis-robot.

Betekenis en Conclusie

Dit paper biedt een cruciale stap voorwaarts in het veilig en betrouwbaar maken van Vision-Language-Action modellen voor de echte wereld.

• Probleemoplossing: Het lost het probleem op dat robots vaak falen bij kleine taalkundige variaties, wat een grote hindernis is voor algemene inzetbaarheid.
• Scalabiliteit: Door QD te combineren met VLM's, biedt het een schaalbare methode om kwetsbaarheden te vinden zonder handmatige input.
• Toekomstperspectief: De studie toont aan dat "red-teaming" niet alleen dient om fouten te vinden, maar dat het genereren van diverse, realistische foutscenario's direct kan worden gebruikt om de robot zelf robuuster te maken via fine-tuning.

Beperkingen: De methode is computatie-intensief omdat het vereist dat de VLA de instructies vele malen in de simulatie uitvoert om de variatie in faalresultaten te meten. Toekomstig werk richt zich op het verminderen van deze rekentijd via surrogate-modellen.