Technische Samenvatting: SafeDojo

Probleemdefinitie

De implementatie van Vision-Language-Action (VLA) modellen in fysieke real-world omgevingen staat voor een kritieke veiligheidsuitdaging: botsingsvermijding tijdens contactrijke manipulatie. In tegenstelling tot laagdimensionale controlesystemen waar veiligheidsrestricties expliciet gedefinieerd of compact geleerd kunnen worden, moeten VLA-policies veiligheidsgrenzen afleiden uit hoogdimensionale visuele observaties over diverse en voorheen ongeziene obstakelconfiguraties heen.

Bestaande benaderingen voor veilige robotmanipulatie lijden aan significante beperkingen:

• Interventies tijdens de inferentie (bijv. Control Barrier Functions) vereisen nauwkeurige geometrische modellering en camerakalibratie, wat onpraktisch is voor open-world VLA-implementatie.
• Model-vrije constrained Reinforcement Learning (RL) dwingt veiligheid af via penalty-gebaseerde optimalisatie, maar vereist kostbare en potentieel onveilige exploratie in de echte wereld. Een enkele onveilige aanraking kan leiden tot taalfalen, onherstelbare hardwarebeschadiging of verstoring van de omgeving.
• Model-gebaseerde veilige RL opereert doorgaans in laagdimensionale toestandsruimtes met door de simulator verstrekte kostenfuncties, wat het moeilijk maakt om te transfereren naar hoogdimensionale VLA-modellen waar veiligheidssignalen uit visuele data geleerd moeten worden in plaats van analytisch gedefinieerd.

Het kernprobleem dat wordt geadresseerd is hoe men botsingsvrije VLA-policies kan leren in obstakelrijke omgevingen zonder te vertrouwen op handmatige veiligheidsfuncties of risicovolle exploratie in de echte wereld.

Methodologie: SafeDojo

SafeDojo wordt voorgesteld als het eerste model-gebaseerde veilige reinforcement learning framework dat specifiek is ontworpen voor VLA-policies. Het maakt online policy-optimalisatie mogelijk, volledig binnen een interactief video-wereldmodel, waardoor risico's in de echte wereld worden vermeden. Het framework bestaat uit drie kerncomponenten:

1. Chunk-wise Interactieve Wereldmodel Rollouts

In plaats van data te verzamelen in de fysieke wereld, voert SafeDojo "model-in-the-loop" rollouts uit binnen een interactief wereldmodel $p_\phi$.

• Architectuur: Het wereldmodel wordt geïnstantieerd als een actie-geconditioneerde video-voorspeller (gebaseerd op Wan 2.2) die toekomstige visuele observaties en latente dynamiek genereert.
• Proces: Gegeven een initiële observatie $o_0$ en taalinstructie $l$, samplet de huidige VLA-policy $\pi_\theta$ kandidaat-trajecten. Het wereldmodel voert deze trajecten recursief uit om gefantaseerde toekomstige frames $\hat{o}_{i,k+1}$ en latente toestanden $\hat{z}_{i,k+1}$ te genereren, geconditioneerd op action chunks.
• Robuustheid: Om de mismatch tussen training en test (train-test mismatch) en de exposure error bij langere rollouts te mitigeren, bevat de training statische video-augmentatie die af en toe de conditionerende frames bevriest, waardoor het model tolerant wordt voor imperfecte tussenliggende voorspellingen.

2. Ontkoppelde Taakbeloning en Veiligheidskosten-estimatie

SafeDojo evalueert gefantaseerde trajecten met behulp van een dual-branch evaluator die dichte, per stap signalen schat in plaats van deze samen te vatten in een enkele scalaire beloning.

• Taakbeloning ($f_{task}$): Een gefinetuned ResNet succes-classifier voorspelt de voortgang van de taak per stap vanuit de gefantaseerde toekomstige frames.
• Veiligheidskosten ($f_{safe}$): Een lichtgewicht veiligheidshoofd schat de veiligheidskosten per stap (kans op contact met obstakels) in vanuit de voorspelde latente contexten en de voorgestelde action chunk.
• Aggregatie: Deze dichte signalen worden geaggregeerd tot traject-niveau beloningen ($r_i$) en kosten ($c_i$). De veiligheidskosten aggregeren specifiek de top-$M$ hoog-risico stappen om kritieke intervallen te benadrukken.

3. Lagrangian-gebaseerde Safety-Constrained GRPO

Om de policy te optimaliseren onder expliciete veiligheidsrestricties, gebruikt SafeDojo een variant van Group Relative Policy Optimization (GRPO) met een Lagrangian-formulering.

• Advantage Berekening: Taakbeloningen en veiligheidskosten worden afzonderlijk genormaliseerd binnen een groep gesamplede trajecten om relatieve advantages $\hat{A}^r_i$ en $\hat{A}^c_i$ te berekenen.
• Geconstreind Doel: De uiteindelijke advantage wordt berekend als $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$, waarbij $\eta$ een niet-negatieve Lagrange-multiplier is.
• Dynamische Balans: De multiplier $\eta$ wordt bijgewerkt op basis van de batch-niveau constraint schending (gemiddelde veiligheidskosten versus toegestaan budget $d$). Als de gemiddelde kosten het budget overschrijden, neemt $\eta$ toe om onveilige trajecten sterker te straffen; anders neemt $\eta$ af om taakgerichte verbetering toe te staan.
• Update Regel: De policy wordt bijgewerkt met een clipped objective met de safety-constrained advantage, wat zorgt voor gecoördineerde verbetering van taaksucces en veiligheid zonder vaste penalty-gewichten.

Kernbijdragen

1. Wereldmodel-gebaseerde Belonings- en Kostenestimatie: Ontwikkeling van een interactief video-wereldmodel gekoppeld aan een dual-branch evaluator die taakvoortgang en veiligheidsrisico-estimatie ontkoppelt van de gefantaseerde dynamiek, waardoor handmatige veiligheidsfuncties overbodig worden.
2. Safety-Constrained RL: Introductie van een Lagrangian-gebaseerd safety-constrained GRPO doel dat expliciet veiligheidsbudgetten afdwingt terwijl het taaksucces en botsingsvermijding coördineert, wat de gevoeligheid voor vaste penalty-gewichten vermijdt.
3. Empirische Prestaties: Demonstratie van superieure prestaties op de SafeLIBERO benchmark en real-world Franka robot-implementaties, waarbij de beste geaggregeerde taaksucces, veilige succes en executie-efficiëntie worden behaald ten opzichte van de baselines voor inference-time veiligheid, model-vrije RL en model-gebaseerde RL.

Experimentele Resultaten

Het framework werd geëvalueerd op SafeLIBERO (een veiligheidskritische benchmark gebouwd op Robosuite) en real-world Franka Emika Panda robots.

Simulatie Resultaten (SafeLIBERO)

• Safe Success Rate (SSR): SafeDojo behaalde de hoogste gemiddelde SSR op zowel Level I (53,25%) als Level II (49,62%). Op Level I vertegenwoordigt dit een verbetering van 8,25 procentpunt ten opzichte van de sterkste baseline (SafeVLA op 45,00%).
• Executie-efficiëntie: SafeDojo behaalde de laagste gemiddelde Execution Time Steps (269,41 op Level I), waarmee het de beste model-gebaseerde baseline (WMPO met 274,02) verslaat, wat aangeeft dat veiligheidsbewuste optimalisatie niet leidt tot overdreven conservatieve of inefficiënte policies.
• Generalisatie: Getraind op enkel Level I demonstraties, behield SafeDojo de top prestaties op Level II (waarbij obstakels verder langs het bewegingspad zijn geplaatst), wat aantoont dat via gefantaseerde rollouts geleerde veiligheidssignalen generaliseren naar ongeziene obstakelconfiguraties.

Real-World Resultaten

• Geïmplementeerd op vijf real-world manipulatietaken, behaalde SafeDojo de beste gemiddelde Taak Succes Rate (76,00%) en Safe Success Rate (70,00%).
• Kwalitatieve analyse toonde aan dat SafeDojo directe, botsingsbewuste trajecten genereerde, terwijl baselines ofwel botsten met obstakels, ofwel overdreven conservatief werden, ofwel niet in staat waren om te herstellen van onveilige toestanden.

Ablatie Studies

• Belang van Componenten: Het verwijderen van het veiligheidshoofd liet de SSR dalen naar 38,0%; het verwijderen van de taakbeloningsbranch deed de prestaties instorten naar bijna nul. Het vervangen van constrained GRPO door onconstrained optimalisatie verminderde de veiligheid aanzienlijk.
• Inputbronnen: Het gebruik van de huidige wereldmodel-toestand plus de voorgestelde action chunk bood de meest stabiele belonings- en kosten-signalen vergeleken met het gebruik van enkel toekomstige voorspellingen.
• Lagrange Multiplier ($\eta$): Een initiële $\eta$ van 0,2 bood de beste balans; hogere waarden leidden tot over-geconstreerde, inefficiënte policies, terwijl lagere waarden faalden in het onderdrukken van risicovolle acties.

Betekenis en Claims

Het artikel positioneert SafeDojo als een schaalbare en generaliseerbare weg naar veilige embodied intelligence. Door gebruik te maken van wereldmodellen om "anticipatory rollouts" in de verbeelding uit te voeren, adresseert SafeDojo de fundamentele spanning tussen de noodzaak voor policy-exploratie en de onomkeerbaarheid van fysieke veiligheidschendingen.

De auteurs beweren dat SafeDojo het eerste framework is dat er succesvol in is geslaagd om model-gebaseerde veilige RL toe te passen op VLA-modellen, wat het volgende mogelijk maakt:

1. Risicovrije Leerprocessen: Policy-verbetering vindt volledig plaats binnen een gesimuleerd wereldmodel, wat de noodzaak voor kostbare en gevaarlijke exploratie in de echte wereld elimineert.
2. Data-gedreven Veiligheid: Veiligheidssignalen worden geleerd uit hoogdimensionale visuele observaties in plaats van te vertrouwen op vooraf gedefinieerde geometrische restricties of handmatig gecreëerde kostenfuncties.
3. Gebalanceerde Optimalisatie: De Lagrangian-gebaseerde aanpak maakt expliciete naleving van restricties mogelijk terwijl een hoge taakprestatie en efficiëntie behouden blijven.

De resultaten suggerieën dat wereldmodel-gebaseerde veilige reinforcement learning een levensvatbaar paradigma is voor de implementatie van VLA-policies in open-world fysieke omgevingen waar veiligheid een vereiste is.