Technische Samenvatting: SafeBranch

Probleemstelling

Op vision-language modellen (VLM) gebaseerde belichaamde agenten zijn in staat om meerstaps-taken uit te voeren in interactieve omgevingen, maar schenden ze frequent veiligheidsbeperkingen tijdens de uitvoering. Dit probleem, getiteld interactieve veiligheid, ontstaat omdat de eigen acties van de agent emergente gevaren kunnen creëren (bijv. een fornuis aan laten staan, een stopcontact aanraken met natte handen). In tegen tegenstelling tot statische veiligheidsbeperkingen, zijn interactieve veiligheidsgevaren geconcentreerd bij een schaarse set van veiligheidskritische stappen binnen een traject. Op deze specifieke beslismomenten bepaalt de keuze van de agent of het traject afbuigt naar een veilige of onveilige uitkomst.

Bestaande benaderingen kampen met twee primaire beperkingen:

1. Inference-time Guardrails: Methoden die externe veiligheidscontroleurs of zoekgebaseerde planners gebruiken om acties bij elke stap te blokkeren of te herzien, voegen operationele overhead toe en laten de onderliggende actor onveranderd.
2. Standaard Toezicht (Supervision):
   • Imitatie (SFT): Trainen op veilige trajecten leert wat men moet doen, maar legt niet uit waarom een alternatief onveilig was, wat leidt tot een contextloze toepassing van veilig gedrag.
   • Traject-niveau Voorkeur (DPO): Het contrasteren van volledige veilige en onveilige trajecten mengt het veiligheidssignaal met ongerelateerde verschillen over vele stappen, waardoor het niet slaagt in het isoleren van het specifieke beslispunt waar de veiligheid werd bepaald.

De kernuitdaging is het bieden van toezicht dat expliciet veilige en onveilige acties contrasteert bij hetzelfde veiligheidskritische stap (dezelfde context, verschillende acties) om de agent de stap-niveau veiligheidssignaal te leren.

Methodologie: SafeBranch

De auteurs stellen SafeBranch voor, een framework dat tak-paren (branch pairs) construeert uit de eigen onveilige rollouts van de actor en de actor uitlijnt middels Branch Preference Optimization (BranchPO).

1. Constructie van Tak-paren via Omgevings-rollback

Aangezien natuurlijke interactieve omgevingen geen twee trajecten bieden die divergeren bij een enkele stap, synthetiseert SafeBranch deze:

• Rollback: Wanneer een veiligheidschending optreedt in een agent-rollout, identificeert een veiligheidscritic (een externe LLM) de geschonden beperking en de specifieke stap ($h_k$) waar de beslissing werd genomen.
• Repair (Herstel): De omgeving wordt teruggezet (rolled back) naar $h_k$. De actor wordt vervolgens bevraagd voor een veilig alternatief ($y^+$) geconditioneerd op de oorspronkelijke context $h_k$ plus de feedback van de critic ($f_k$).
• Hindsight Relabeling: Om ervoor te zorgen dat de agent veiligheid leert van de context in plaats van de feedback-cue, wordt de feedback van de critic ($f_k$) verwijderd uit de trainingsprompt. Het resulterende tak-paar bestaat uit de oorspronkelijke onveilige actie ($y^-$) en de herstelde veilige actie ($y^+$), beide geconditioneerd op de identieke context $h_k$.
• Filtering: Een judge LLM filtert de paren om te garanderen dat de veilige actie gerechtvaardigd wordt door de context, uitvoerbaar is en de beperking oplost.

2. Branch Preference Optimization (BranchPO)

Het framework traint de actor met een voorkeer-optimalisatie-doelstelling aangepast voor stap-niveau alignment. Gegeven een dataset van tak-paren $D_{branch}$, maximaliseert het doel de log-waarschijnlijkheidsmarge tussen de veilige actie en de onveilige actie bij dezelfde ankerstap:
$$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$$
waarbij $r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$. Dit internaliseert de veiligheidsoordelen van de critic in de actor zelf.

3. Deployment (Inzet)

In tegenstelling tot inference-time methoden, is de getrainde actor critic-vrij. Hij handelt veiligheidskritische situaties autonoom af zonder externe modules, rollback-mechanismen of feedbackloops tijdens runtime.

Belangrijkste Bijdragen

1. Formulering van Interactieve Veiligheid als een Stap-niveau Probleem: Het paper identificeert dat veiligheid-alignment vereist dat de beslissing bij veiligheidskritische stappen wordt geïsoleerd, in plaats van te optimaliseren over volledige trajecten.
2. SafeBranch Framework: Een nieuwe methode om same-state branch pairs te construeren door onveilige rollouts terug te draaien en veilige alternatieven op te roepen, wat het probleem van dataschaarste voor stap-niveau veiligheidssupervisie oplost.
3. BranchPO Doelstelling: Een voorkeer-optimalisatie doelstelling specifiek ontworpen om actoren te trainen op deze tak-paren, waardoor veiligheidsbeperkingen worden geïnternaliseerd.
4. Critic-vrije Deployment: De methode verplaatst de kosten van de veiligheidscritic van runtime (inference) naar training, wat resulteert in een zelfstandige actor die veilig handelt zonder externe interventie.

Experimentele Resultaten

De methode werd geëvalueerd op IS-Bench, SafetyALFRED, en out-of-distribution (OOD) varianten bestaande uit ongeziene taken en objecten.

• Prestatiewinst:
  • Op IS-Bench verhoogde SafeBranch de Safe Success Rate (SSR) van 0.031 (ongetrainde baseline) naar 0.281.
  • Op de OOD-ObjectShift variant (ongeziene objecten), verbeterde SSR van 0.048 naar 0.355.
  • Op de OOD-TaskShift variant (ongeziene taken), verbeterde SSR van 0.048 naar 0.469.
  • Op SafetyALFRED, nam de hazard accuracy toe van 0.274 naar 0.438.
• Vergelijking met Baselines:
  • SafeBranch presteerde beter dan inference-time baselines (Self-Verification, Lookahead) die faalden in het generaliseren naar OOD-settings.
  • Het presteerde significant beter dan standaard preference learning varianten (Trajectory DPO, Slijm-only), die moeite hadden om het veiligheidssignaal te concentreren op de juiste beslismomenten.
• Efficiëntie: De branch-pair constructie pipeline genereert bruikbare paren ongeveer 5.2× sneller dan natuurlijke best-of-N sampling onder gelijke rekenbudgetten.
• Ablatie: Het verwijderen van de hindsight relabeling (het behouden van de critic-feedback in de training) zorgde ervoor dat het model faalde tijdens deployment wanneer de feedback afwezig was, wat de noodzaak van het internaliseren van het veiligheidssignaal bevestigt.

Betekenis en Claims

Het paper claimt dat SafeBranch een data-efficiënte route biedt naar het internaliseren van interactieve veiligheid. Door veiligheid te formuleren als een stap-niveau vertakkingsprobleem en specifieke tak-paren te construeren, stelt de methode belichaamde agenten in staat om te leren waar en hoe ze veilig moeten handelen zonder het succes van de taak op te offeren.

De auteurs benadrukken dat deze benadering veiligheid-alignment verplaatst van een extern, runtime-afhankelijk proces naar een interne capaciteit van de actor. De resultaten suggereren dat trainen op same-state branch pairs essentieel is voor het leren van het stap-niveau veiligheidssignaal, een capaciteit waar standaard traject-niveau supervisie geen voldoening aan kan geven. De methode bereikt state-of-the-art veiligheidsprestaties over in-distribution, out-of-distribution en cross-simulator settings, terwijl de noodzaak voor externe veiligheidsmodules tijdens deployment wordt geëlimineerd.