💻 computer science

Same Weights, Different Robot: A Deployment Safety View of VLA Policies

Dit artikel betoogt dat de veiligheid van Vision-Language-Action (VLA) implementaties vereist dat metadata voor actienormalisatie als een integraal onderdeel van het uitvoerbare beleid wordt behandeld, waarbij wordt aangetoond dat identieke modelgewichten drastisch verschillende en onveilige fysieke gedragingen kunnen produceren wanneer ze worden gekoppeld aan mismatched onnormalisatieconventies.

Oorspronkelijke auteurs: Jianwei Tai

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jianwei Tai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde robotkok hebt. Je geeft deze chef een specifiek receptenboek (de modelgewichten) en een lijst met ingrediënten (de prompt). Je gaat ervan uit dat als het receptenboek en de ingrediënten hetzelfde zijn, de chef elke keer exact hetzelfde gerecht bereidt.

Dit artikel betoogt dat deze aanname gevaarlijk is voor robots.

Hier is de eenvoudige uitleg waarom, gebruikmakend van de eigen bevindingen van het artikel:

1. Het "Geheime Vertaler"-probleem

Het artikel stelt dat de hersenen van de robot (het AI-model) de armen van de robot niet direct vertellen wat ze moeten doen. In plaats daarvan spreekt de hersenen een "genormaliseerde" taal — een code waarbij getallen worden geschaald tussen 0 en 1 om ze makkelijk te leren.

Voordat de robot beweegt, zet een vertaler (een unnormalizer genoemd) die 0-tot-1 getallen terug naar echte wereldbewegingen (zoals "beweeg de arm 5 inch naar voren").

De vangst: Deze vertaler heeft een specifieke "woordenlijst" of "metadata-sleutel" nodig om te weten hoe de conversie moet gebeuren.

Sleutel A kan zeggen: "0,5 betekent beweeg 2 inch."
Sleutel B kan zeggen: "0,5 betekent beweeg 5 inch."

Als je hetzelfde receptenboek (het AI-model) downloadt maar per ongeluk Sleutel B gebruikt in plaats van Sleutel A, ontvangt de robot exact dezelfde instructies van de hersenen, maar beweegt de arm zich volledig anders.

2. De "Stille Wissel"

De auteurs noemen dit een "stille interface-fout" (silent interface failure).

Wat je ziet: Het AI-model is identiek. De code is identiek. De veiligheidscontrole zegt "Geslaagd."
Wat er gebeurt: De robot voert eigenlijk een andere "policy" uit (een andere set fysieke regels) omdat de vertaler een verkeerde woordenlijst gebruikte.

Het is alsof je een piloot hetzelfde vluchtplan geeft, maar de kaart vervangt door een kaart van een ander continent. De piloot volgt de instructies perfect op, maar komt toch op de verkeerde plek terecht.

3. Het "Drift"-certificaat

Het artikel introduceert een hulpmiddel genaamd ExecSpec. Zie dit als een pre-vlucht checklist die niet eens de robot hoeft te laten draaien.

Het kijkt naar de "woordenlijst" (de metadata) die bedoeld is voor de robot.
Het vergelijkt dit met de woordenlijst die daadwerkelijk wordt gebruikt.
Het berekent een "Drift Score" (driftscore). Deze score vertelt je precies hoe ver de fysieke bewegingen van de robot afwijken, zelfs voordat de robot wordt aangezet.

Als de score hoog is, betekent dit dat de robot iets totaal anders gaat doen dan de bedoeling was, ook al zijn de hersenen van de AI hetzelfde.

4. De "Robot Gym"-experimenten

Om te bewijzen dat dit niet slechts een theorie is, testten de auteurs dit op een robot-trainingssimulator genaamd LIBERO. Ze namen succesvolle robotbewegingen (waarbij de robot een object perfect oppakte) en speelden deze opnieuw af, maar met een twist:

Scenario: Ze hielden de "hersenen" van de robot en de "bewegingscode" exact hetzelfde.
De Verandering: Ze wisselden de "woordenlijst" (metadata) voor een vergelijkbare woordenlijst van een andere dataset (zoals het wisselen van een "Goal"-woordenlijst voor een "Spatial"-woordenlijst).

De resultaten waren dramatisch:

LIBERO-Goal: Een taak die 28 van de 28 keer werkte met de juiste woordenlijst, zakte naar 2 van de 28 met de verkeerde woordenlijst.
LIBERO-Spatial: Een taak die 26 van de 26 keer werkte, zakte naar 0 van de 26 met de verkeerde woordenlijst.
LIBERO-Object: Alle 28 succesvolle pogingen faalden volledig met de verkeerde woordenlijst.

De robot faalde niet omdat hij "dom" was of omdat de AI een fout maakte. De robot faalde omdat de vertaler de betekenis van de getallen veranderde.

5. De Belangrijkste Conclusie

Het artikel concludeert dat een robot policy niet alleen de AI-modelgewichten zijn.

Om echt te weten wat een robot zal doen, moet je drie dingen samen controleren:

Het AI-model (De Hersenen).
De Prompt (De Instructie).
De Metadata/Woordenlijst (De Vertaler).

Als een van deze drie verandert, heb je een andere robot policy, zelfs als de gewichten identiek lijken. Het artikel suggereert dat veiligheidscontroles deze "woordenlijst" moeten verifiëren voordat de robot überhaupt beweegt, anders controleer je misschien een veilige robot terwijl je in werkelijkheid een andere, potentieel gevaarlijke robot inzet.

Kortom: Je kunt niet alleen de "motor" (de AI-gewichten) controleren om te zien of een auto veilig is; je moet ook de "stuurkalibratie" (de metadata) controleren, anders rijdt de auto in cirkels, zelfs als de motor perfect is.

Technische Samenvatting: Dezelfde Gewichten, Andere Robot

Probleemstelling
Huidige deploymentmodellen voor Vision-Language-Action (VLA) policies behandelen het neurale netwerk-checkpoint (gewichten, tokenizer, prompt) als de enige eenheid van policy-identiteit en veiligheidsbeoordeling. Dit artikel betoogt dat deze aanname een kritieke "deployment-veiligheidskloof" creëert. In de praktijk genereert een VLA-model genormaliseerde actiecoördinaten, die via een stap van actie-denormalisatie moeten worden getransformeerd naar fysieke controller-commando's. Deze stap is afhankelijk van metadata (bijv. dataset-specifieke kwantielstatistieken) om genormaliseerde waarden terug te mappen naar fysieke eenheden.

Het kernproblein is dat identieke modelgewichten verschillende uitvoerbare robotpolicies kunnen instantiëren als de metadata die voor denormalisatie wordt gebruikt, incorrect is. Bijvoorbeeld: het vervangen van een plausibele "sibling" metadata-sleutel (bijv. statistieken van een andere taaksuite) resulteert in een andere fysieke actiewet, zelfs als de interne output van het model onveranderd blijft. Dit vormt een "stille interface-fout" waarbij veiligheidsaudits het checkpoint certificeren, maar de werkelijke uitvoerbare policy die de robotcontroller bereikt, missen.

Methodologie
De auteurs formaliseren de VLA-policy niet als een model, maar als een uitvoerbare tuple $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$ , waarbij:

$f_\theta$ : Het geleerde model.
$I$ : Beeld- en taalverwerkers.
$Z$ : Genormaliseerde actie-representatie.
$U_k$ : De actie-denormalisator geselecteerd door de metadata-sleutel $k$ .
$C$ : Controller-conventies (gripper-semantiek, aanvoelfrequentie, etc.).

Twee deployments worden gedefinieerd als uitvoerbaar-equivalent alleen als ze onder alle toegestane historieën dezelfde fysieke actiewet induceren. Het artikel demonstreert dat het veranderen van $k$ (terwijl $f_\theta, I, Z, C$ constant blijven) deze equivalentie verbreekt.

Om dit te detecteren, leiden de auteurs een closed-form metadata mismatch transformatie af voor kwantiel-gebaseerde normaliseerders. Als een deployment een beoogde sleutel $k_c$ gebruikt maar een gesubstitueerde sleutel $k_w$ , dan is de fysieke actie-verplaatsing $\Delta_i$ voor een genormaliseerde actie $z$ op dimensie $i$ :
$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$
Deze transformatie is deterministisch en onafhankelijk van de modelinferentie. Op basis hiervan stellen zij ExecSpec voor, een pre-rollout certificaat dat de semantische drift in de actieruimte (gemiddelde verplaatsing, staartverplaatsing, as-attributie) meet op een kalibratieset zonder dat modelinferentie of simulatie-rollout vereist is.

Belangrijkste Bijdragen

Criterium voor Uitvoerbare Policy-identiteit: Het artikel definieert een policy-identiteit die actieruimte-metadata omvat, en bewijst dat checkpoint-gelijkheid onvoldoende is voor fysieke policy-gelijkheid.
Closed-Form Certificaat: Het leidt een exact, model-onafhankelijk certificaat af voor kwantiel-stijl denormalisatie-mismatches, waardoor detectie van semantische drift mogelijk is vóór de uitrol.
Empirische Getuigen: De auteurs leveren uitgebreid replay-bewijs over vier LIBERO-suites (Goal, Spatial, Object, Long), waarmee wordt aangetoond dat plausibele substituties van metadata voldoende zijn om taak-succespercentages te doen omslaan.

Resultaten
De auteurs voerden experimenten uit met gereproduceerde genormaliseerde trajecten (waarbij de modeloutput en initiële staat werden vastgezet) om het effect van metadata-substitutie te isoleren.

LIBERO-Goal: Bij gebruik van de beoogde sleutel GOAL-B, resulteerde het vervangen door LONG-V2 in een gemiddelde drift van 0.199 over zes niet-gripper dimensies. Dit verminderde het taaksucces van 28/28 (beoogd) naar 2/28 (gesubstitueerd). Een dose-response curve toonde aan dat het succes monotoon daalde naarmate de metadata-sleutel interpoleerde van correct naar incorrect.
LIBERO-Spatial: Het vervangen van LONG-V2 voor SPATIAL-V2 verminderde het succes van 26/26 naar 0/26.
LIBERO-Object & Long: Alle plausibele "sibling" substituties verminderden het succes tot 0/28 (Object) of 0/23 (Long) bij volledige substitutie.
Controles: Het artikel sluit eenvoudigere verklaringen uit, zoals no-op filtering, raw vs. correct replay artefacten, gripper-conventie mismatches en synthetische corrupties. De fouten werden specifiek gedreven door niet-gripper actie-dimensies waar de metadata-statistieken verschilden.

Betekenis en Claims
Het artikel claimt een smallere deployment-veiligheidsvisie: actieruimte-metadata is een dragend onderdeel van de uitvoerbare policy en moet samen met de modelgewichten worden geversioneerd en gecontroleerd.

Geen algemene falingsclaim: De auteurs stellen expliciet dat zij niet beweren dat alle VLA-deployments falen onder metadata-mismatch, noch dat normalisatie de enige verborgen hazard is.
Geen hardware-veiligheidsgarantie: De resultaten zijn gebaseerd op simulatie-replay en certificeren geen closed-loop of hardware-veiligheid. Ze voorspellen geen hardware-falingen.
Kerninzicht: De betekenis ligt in het identificeren van een verborgen semantische laag in de actieruimte. Als een deployment de denormalisator verandert terwijl het model vast blijft staan, verandert het de uitvoerbare policy. Deze mismatch kan worden gedetecteerd via een statisch certificaat vóór de roll-out, wat de deployment van een policy voorkomt die semantisch anders is dan de geauditte versie.

Het artikel concludeert dat deployment-manifesten actie-denormalisatie-sleutels, statistiek-hashes en controller-conventies moeten bevatten om reproduceerbaarheid en veiligheid te garanderen, waarbij deze velden worden behandeld als integrale onderdelen van het policy-object in plaats van louter configuratiedetails.