Technische Samenvatting: Probabilistische Verifieerbare Actiebereikbaarheid van Visuomotorische Policies via Set-gebaseerde Training

Probleemstelling

Visuomotorische policies die worden ingezet op manipulatierobots kampen met aanzienlijke veiligheidsrisico's door camera-pose drift veroorzaakt door kalibratieresten, montageverschuivingen en thermische vervorming. Zelfs kleine verschuivingen in de camera-pose veranderen het waargenomen beeld, wat een geleerde policy kan doen resulteren in drastisch verschillende actievolgordes voor dezelfde scène. De grootste resulterende actieafwijking is een kritiek veiligheidsprobleem, omdat dit de end-effector in onveilige regio's kan drijven of botsingen kan veroorzaken.

Hoewel robuustheidsbenchmarks bevestigen dat verstoringen in het camera-gezichtspunt visumotorische policies substantieel beïnvloeden, is het verifiëren van de omvang van deze effecten vóór implementatie uitdagend. Bestaande benaderingen kampen met een afruil:

1. End-to-end set-propagatie: Het propageren van onzekerheidssets door grote visuele encoders en downstream policies is computationeel duur en accumuleert relaxatiefouten over vele lagen, wat resulteert in overly conservatieve (losse) actiesets die niet nuttig zijn voor verificatie.
2. Punktuele adversariële training: Methoden zoals PGD-adversariële training optimaliseren tegen specifieke slechtste-geval-punten, maar beperken niet de gehele outputset, waardoor ze vaak geen strakke deterministische omsluitingen of probabilistische garanties op de bereikbare actieruimte bieden.

Het kernprobleem is hoe men het bereikbare actieradius van een visumotorische policy kan verifiëren en reduceren onder camera-pose onzekerheid zonder de computationele onhandelbaarheid van end-to-end set-propagatie te riskeren of de closed-loop taakprestaties op te offeren.

Methodologie

De auteurs stellen een framework voor dat de visuele encoder ontkoppelt van de downstream policy middels een gekalibreerde laagdimensionale interface, wat tractabele set-gebaseerde training en verificatie mogelijk maakt.

1. Architectuur en Interface Design

• Bevroren Visuele Encoder: Een vooraf getrainde visuele encoder (bijv. ResNet18) is bevroren om de accumulatie van relaxatiefouten geassocieerd met het propageren van sets door diepe visienetwerken te voorkomen.
• Gekalibreerde Bottleneck: Een geleerde, laagdimensionale (32-D) lineaire bottleneck wordt tussen de bevroren encoder en de downstream policy ingevoegd. Deze bottleneck comprimeert de visuele kenmerken.
• Interface Set: De onzekerheid van camera-pose verstoringen wordt naar deze bottleneck-ruimte gemapt als een begrensde set (specifiek, een isotrope zonotoop $B_\epsilon(z) = \langle z, \epsilon I_m \rangle$). De straal $\epsilon$ wordt gekalibreerd met behulp van uit de dataset gehouden camera-pose verstoringen om de 95% marginale kwantiel van de representatieverschuiving te representeren.

2. Set-gebaseerde Training

De downstream policy (een Vision-to-Action Flow Matching Policy, of VITA-variant) wordt getraind om de grootte van de gepropageerde outputset te minimaliseren terwijl de imitatieprestaties behouden blijven.

• Propagatie: De interface set wordt door de downstream policy gepropageerd met behulp van zonotoop abstracte transformatoren (affine kaarten en ReLU-relaxaties). Dit levert een output-zonotoop $Z_{out}$ op die alle acties omsluit die bereikbaar zijn vanuit de interface set.
• Doelstelling: De trainingsverlies combineert een standaard imitatieverlies met een breedteverlies op de terminale output-zonotoop. De breedte wordt gedefinieerd als de maximale geschaalde generator rij-som van de output-zonotoop, genormaliseerd door de nominale actiegrootte.
• Constraint Optimalisatie: De training minimaliseert het gemiddelde imitatieverlies onder de voorwaarde dat de gemiddelde minibatch-breedte een doelstraal $r_{target}$ niet overschrijdt. Dit wordt bereikt met een adaptieve hinge loss met een geprojecteerde multiplier (duale variabele) om de breedtebeperking af te dwingen.

3. Probabilistische Verificatie via Conformal Calibratie

Om een rigoureuze garantie te bieden op de bereikbare actieradius tijdens implementatie, maken de auteurs gebruik van split conformal calibratie:

• Sampling: Tijdens evaluatie worden camera-poses gesampled uit een voorgeschreven distributie (bijv. uniform over een begrensde 6D verstoringsbox).
• Score Berekening: Voor elke rollout-initialisatie is de score de maximale nominale-gecentreerde actieafwijking geïnduceerd door de gesamplede pose over alle toestanden in de rollout.
• Calibratie: Met behulp van een set kalibratiegroepen berekent de methode de $(1-\alpha)$-kwantiel van deze scores. Dit levert een probabilistische bereikbare actieradius $q_\theta$ op met finite-sample coverage garanties (d.w.z. de werkelijke afwijking zal met een waarschijnlijkheid van ten minste $1-\alpha$ kleiner zijn dan $q_\theta$).
• Theoretische Koppeling: De auteurs bewijzen dat de terminale breedte van de getrainde omsluiting de fysieke actieafwijking die wordt geïnduceerd door de gesamplede verstoringen begrenst, waarmee de trainingdoelstelling direct wordt gekoppeld aan de gekalibreerde radius.

Belangrijkste Bijdragen

1. Tractable Set-gebaseerde Verificatie: Het artikel introduceert een methode om de visuele encoder te ontkoppelen van de downstream policy via een gekalibreerde laagdimensionale interface. Dit maakt het mogelijk om set-gebaseerde training toe te passen op enkel de policy, waardoor set-gebaseerde verificatie tractabel wordt voor complexe visumotorische systemen waar end-to-end propagatie onhaalbaar is.
2. Theoretische Garantie: De auteurs bewijzen dat de getrainde omsluitingsbreedte de fysieke actieafwijking die wordt geïnduceerd door gesamplede camera-verstoringen begrenst. Dit vestigt een formele link tussen de trainingdoelstelling (minimaliseren van de zonotoop-breedte) en de implementatiemetriek (probabilistische bereikbare actieradius).
3. Empirische Superioriteit: Op de LIBERO-10 manipulatiebenchmark wordt aangetoond dat set-gebaseerde training de bereikbare actieradius significant reduceert vergeleken met behavior-only fine-tuning, observationele consistentie en puntuele adversariële (PGD) training, terwijl de closed-loop taakcapaciteit behouden blijft.

Experimentele Resultaten

Experimenten werden uitgevoerd op de LIBERO-10 benchmark onder begrensde zesdimensionale camera-extrinsieke verstoringen.

• Radius Reductie: Set-gebaseerde training bereikte een mediane reductie van de bereikbare actieradius van 2.09$\times$ vergeleken met behavior-only fine-tuning op het 99% coverage niveau.
• Vergelijking met Baselines:
  • Behavior-only: Dient als baseline; produceert de grootste radius.
  • Observational Consistency: Brengt voorspellingen in lijn tussen schone en verstoorde views, maar slaagt er niet in de radius onder het behavior-only niveau te reduceren.
  • PGD Adversarial Training: Reduceert de radius, maar faalt vaak in het behouden van de closed-loop taakcapaciteit (behavior-validity) op alle seeds. Bovendien, hoewel PGD de gesamplede radius vermindert, produceert het geen strakke deterministische omsluiting; de ratio van de zonotoop-breedte tot de sterkste aanval binnen de set was >500 voor PGD, terwijl deze ~16 was voor set-gebaseerde training.
• Taak Breedte: Over tien taken heen behield set-gebaseerde training de taakcapaciteit op drie taken (waar de baseline op twee van hen faalde) en bereikte een nauwere radius op de taken waar beide methoden geldig waren.
• Coverage: De methode bereikte een empirische coverage van 0.99 tot 1.00 op held-out test-initialisaties, wat de conformal calibratie valideert.

Betekenis en Claims

Het artikel claimt dat de geometrie van de actieset van een policy onder sensoronzekerheid effectief gevormd kan worden tijdens training door perceptie te ontkoppelen van downstream set-redenering. De primaire betekenis ligt in het mechanistische onderscheid tussen set-gebaseerde training en puntuele adversariële training:

• Set-gebaseerde training beperkt de gehele output-omsluiting, wat leidt tot zowel een kleinere probabilistische bereikbare actieradius als een nauwere, meer informatieve deterministische omsluiting.
• Punktuele aanvallen (zoals PGD) beperken alleen de specifieke punten die zij lokaliseren, wat vaak resulteert in een kleine gesamplede radius, maar een losse, oninformatieve deterministische omsluiting.

De auteurs concluderen dat hun benadering volledige set-training-signalen betaalbaar maakt voor visumotorische policies, wat een praktische weg biedt naar het verifiëren van veiligheidsmarges vóór implementatie. Zij merken op dat hoewel de huidige methode een probabilistische radius biedt, een deterministische kaart van de pose-set naar de interface-set vereist zou zijn om dit te upgraden naar een volledige end-to-end garantie.