Technische Samenvatting: ReasonBreak

Probleemstelling

Vision-Language-Action (VLA)-modellen met geïntegreerd redeneren worden steeds vaker voorgesteld voor end-to-end autonoom rijden, onder de aanname van een strakke koppeling tussen intermediair redeneren en trajectgeneratie. Hoewel eerdere onderzoeken kwetsbaarheden van VLA's in robotische manipulatie en modellen zonder expliciete redeneercomponenten hebben onderzocht, blijft de robuustheid van redeneerondersteunde VLA-systemen onder realistische invoerperturbaties grotendeels onontgonnen terrein.

In real-world implementaties vertrouwen deze systemen op imperfecte taalinterfaces (bijvoorbeeld spraak-naar-tekst, dialogue in het voertuig) waarbij omgevingsruis, accenten en segmentatiefouten het oppervlakkige formaat van tekstuele invoer kunnen corrumperen. Eerdere studies geven aan dat autoregressieve taalmodellen gevoelig zijn voor dergelijke oppervlakte-perturbaties (spelling, hoofdlettergebruik, karakterniveau-ruis), wat het modelgedrag kan veranderen. Het is echter onduidelijk of deze perturbaties de koppeling tussen redeneren en actie kunnen verstoren in veiligheidskritieke systemen voor autonoom rijden, wat leidt tot onveilig gedrag zoals botsingen of het verlaten van de weg.

Methodologie

De auteurs introduceren ReasonBreak, een systematisch black-box evaluatiekader ontworpen om kwetsbaarheden in redeneerondersteunde VLA-modellen onder realistische tekstuele corrupties te onderzoeken.

Bedreigingsmodel

De studie veronderstelt een query-gebaseerde black-box setting waarbij de aanvaller geen toegang heeft tot modelparameters, architectuur of interne staten. De aanvaller kan alleen met het model interageren via invoerqueries en output observeren (redeneren en trajecten). De aanval is beperkt tot semantisch behoudende corrupties van de tekstuele invoeroppervlakte (bijvoorbeeld wijzigingen in hoofdlettergebruik, woordverwarring, karakterniveau-ruis) zonder willekeurige kwaadaardige instructies of nonsens-tokens in te voegen. Dit weerspiegelt realistische beperkingen waarbij invoerinterfaces ruis kunnen introduceren, maar geen directe injectie van kwaadaardige logica toestaan.

Evaluatiepijplijn

De evaluatie maakt gebruik van de Alpamayo-familie van modellen van NVIDIA (Alpamayo1 en Alpamayo1.5), die expliciete, gestructureerde redeneeroutput bieden die strak gekoppeld is aan trajectvoorspelling. De pijplijn omvat:

1. Invoerconstructie: Genereren van geperturbeerde tekstuele invoer ($t'$) uit schone instructies ($t$), waarbij visuele invoer ($v$) constant blijft.
2. Open-loop analyse: Gebruik van een Best-of-N-strategie om de perturbatieruimte te verkennen en de bovengrens van aanvalsucces te schatten. Dit meet de manipuleerbaarheid van het model onder adaptieve perturbaties.
3. Closed-loop analyse: Simulatie van realistische implementatie waarbij per tijdstap één geperturbeerde invoer wordt bemonsterd zonder query-gebaseerd zoeken. Dit vangt de cumulatieve impact van perturbaties op rijdynamiek over tijd.
4. Metingen:
   • Redeneren: Geëvalueerd op semantische verschuivingen (object, relatie, implicatie, planning) en structurele fouten (vertraging via token-inflatie, Denial-of-Service door ontbrekende tokens).
   • Traject: Gemeten via Average Displacement Error (ADE) in open-loop en ego-positie-afwijking in closed-loop.
   • Veiligheid: Gekwantificeerd aan de hand van botsingspercentages, percentages van bijna-incidenten, time-to-collision (TTC), gebeurtenissen buiten de weg en verkeerde rijbaan-gebeurtenissen.

Belangrijkste Bijdragen

1. Eerste Systematische Studie van Redeneerkwetsbaarheden: Het artikel presenteert de eerste veiligheidsgerichte evaluatie van redeneerondersteunde VLA-modellen in autonoom rijden, waarbij tekstuele perturbaties worden gekoppeld aan verschuivingen in redeneren, degradatie van trajecten en downstream veiligheidsimpact.
2. Redeneren als Onderscheidend Aanvalsoppervlak: De auteurs identificeren redeneren als een eerder onderbelicht aanvalsoppervlak. Zij tonen aan dat zowel semantische inhoud als structurele eigenschappen (bijvoorbeeld lengte) van redeneren gemanipuleerd kunnen worden onder realistische black-box beperkingen, wat leidt tot veiligheidskritieke fouten.
3. Benchmark en Dataset: Het werk publiceert de eerste benchmark en dataset voor het evalueren van interacties tussen redeneren en veiligheid in op VLA gebaseerd autonoom rijden, waarbij invoercondities worden gekoppeld aan intermediaire redeneeroutput en veiligheidsuitkomsten.
4. Verdedigingsmechanisme: De auteurs stellen een lichtgewicht, deterministische regelgebaseerde invoernormalisator voor (kleine letters, verwijderen van niet-alphanumerieke tekens, fuzzy-correctie op token-niveau) en evalueren deze; deze vermindert deze kwetsbaarheden aanzienlijk zonder significante latentie-introductie.

Experimentele Resultaten

De studie evalueert Alpamayo1 (supervised learning) en Alpamayo1.5 (RL post-training) met behulp van de NVIDIA Physical AI Autonomous Vehicles-dataset en de AlpaSim-simulator.

• Hoge Aanvalsuccespercentages (ASR):
  • Open-loop: Semantische redeneeraanvallen bereikten ASR's tot 89% (Alpamayo1) en 63% (Alpamayo1.5) voor doelen op het gebied van object, relatie, implicatie en planning. Trajectmanipulatie bereikte tot 34% ASR.
  • Closed-loop: Realistische tekstuele corrupties bereikten tot 72% ASR voor trajectmanipulatie en 62% voor semantische redeneermanipulatie op Alpamayo1.
• Veiligheidsimpact: Succesvolle aanvallen leidden tot significante veiligheidsdegradatie, waaronder verhoogde botsingspercentages, verminderde minimale TTC en hogere frequenties van gebeurtenissen buiten de weg en op de verkeerde rijbaan.
• Zwakke Correlatie Redeneren-Traject: Een belangrijke bevinding is dat verschuivingen in redeneren en afwijkingen in trajecten zwak gecorreleerd zijn. Gemanipuleerd redeneren leidt vaak niet tot overeenkomstige controleveranderingen, en grote trajectafwijkingen kunnen optreden met minimale verschuivingen in redeneren. Dit suggereert dat de beoogde strakke koppeling tussen redeneren en actie fragiel is onder perturbatie.
• Structurele Aanvallen: Hoewel minder frequent dan semantische aanvallen, werden structurele fouten zoals "vertraging" (excessieve token-generatie) en "DoS" (geen output) waargenomen. Vertraging-aanvallen introduceerden significante latentie-overhead, wat kritiek is voor real-time rijden.
• Modelverschillen: Alpamayo1.5 toonde verbeterde robuustheid tegen semantische aanvallen vergeleken met Alpamayo1, maar bleef kwetsbaar. Opmerkelijk is dat RL post-training de robuustheid tegen onschuldige invoer leek te verbeteren, maar veiligheidsrisico's kon versterken wanneer aanvallen slaagden, met name voor structurele perturbaties.

Betekenis en Claims

Het artikel beweert dat redeneerondersteunde VLA-systemen in autonoom rijden een onderscheidend en uitbuitbaar kwetsbaarheidsoppervlak bezitten in hun tekstuele invoerkanaal. De bevindingen benadrukken dat:

• Redeneren geen veiligheidsgarantie is: De aanwezigheid van intermediair redeneren beschermt niet inherent tegen invoerperturbaties; in feite kan het redeneercomponent zelf een vector zijn voor manipulatie.
• Veiligheid is niet-lineair: Kleine oppervlakte-perturbaties kunnen zich in closed-loop settings opstapelen tot ernstige veiligheidsviolaties, zelfs als de redeneeroutput coherent lijkt of de trajectafwijking aanvankelijk gering lijkt.
• Verdedigingen zijn haalbaar maar beperkt: Lichtgewicht invoernormalisatie kan het aanvalsucces substantieel verminderen, wat een praktische eerste verdedigingslinie biedt tegen corrupties op oppervlaktelaag. De auteurs merken echter op dat dit geen oplossing biedt voor adaptieve aanvallen, semantische perturbaties of aanvallen op het visuele domein.

De auteurs concluderen dat een rigoureuze, veiligheidsgerichte evaluatie van interacties tussen redeneren en trajecten essentieel is voordat redeneerondersteunde embodied systemen worden ingezet in autonoom rijden. Zij roepen op tot de ontwikkeling van sterkere real-time verdedigingen en verder onderzoek naar tegenstanders met gedeeltelijke of volledige modeltoegang.