Technische Samenvatting: Implicit Drifting Policy (IDP)

Probleemstelling

Generatieve actiebeleid gebaseerd op diffusie of flow matching blinkt uit in behavior cloning door de evolutie van tussenliggende trajecten te behouden, wat progressieve correctie van acties mogelijk maakt. Echter, hun iteratieve samplingsproces is computationeel te kostbaar voor hoogfrequente robotbesturing. Recente one-step formuleringen (bijv. Consistency Policy, One-Step Diffusion) verlichten de latentie, maar laten het mechanisme van tussenliggende correctie vallen.

Een kritieke uitdaging ontstaat bij het poging om dit correctiemechanisme te herstellen in one-step policies via Expliciete Drifting. Drifting-modellen trainen doorgaans een generator om een distributie naar data te bewegen met behulp van een continu vectorveld. In onvoorwaardelijke generatie is dit veld schatbaar vanuit rijke steekproefsets. Echter, in conditionele behavior cloning bieden demonstraties vaak slechts één deterministische expert-actie per observatie. Zoals aangetoond in Propositie 3.1, leidt het proberen te schatten van een drifting-veld in deze schaarse setting tot mathematische degeneratie: het empirische conditionele drifting-veld convergeert naar het eenvoudige verschil tussen de expert-actie en de voorspelling ($a^* - a$), waardoor het expliciete veld equivalent wordt aan een standaard isotrope Mean Squared Error (MSE) loss. Dit elimineert de lokale geometrische sturing die nodig is voor one-step generatoren om zich aan geldige actiemanifolds te houden.

Methodologie: Implicit Drifting Policy (IDP)

De auteurs stellen de Implicit Drifting Policy (IDP) voor, een one-step imitation learning framework dat de voordelen van training-time correctie van drifting naar policy learning brengt zonder expliciet een vectorveld te schatten. In plaats van een dynamisch veld te regresseren, extraheert IDP een statische conditionele expert-geometrie uit de lokale variatie van expert-acties onder vergelijkbare observaties en gebruikt deze om een geometrie-bewuste potentiaal-objective te definiëren.

1. Impliciet Correctie-objectief

IDP formuleert een correctievector $\Delta_i(a) = M_i(a^*_i - a)$, waarbij $M_i$ een positief semi-definite symmetrische matrix is die fungeert als geometrie-adaptieve gewichten. Deze vector komt overeen met de negatieve gradiënt van een geometrie-alleen potentiaalfunctie:
$$E^{geo}_i(a) = \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
Het totale trainingsdoel combineert de standaard isotrope fout met deze geometrie-adaptieve penalty:
$$E_i(a) = \frac{1}{2}\|a - a^*_i\|^2_2 + \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
Dit transformeert het probleem van het regresseren van een expliciet vectorveld naar het minimaliseren van een potentiaal die adaptief straffen verhoogt langs beperkende richtingen.

2. Extractie van Conditionele Expert-geometrie

Om de adaptieve matrix $M_i$ te construeren, analyseert IDP de lokale variatie van expert-acties onder vergelijkbare observaties:

• Selectie van Buren: Voor een gegeven observatie $o_i$ identificeert de methode vergelijkbare observaties in de dataset met behulp van genormaliseerde feature embeddings (met stop-gradient om stabiliteit te garandeerden).
• Lokale Covariantie: Het berekent een Conditional Expert Geometry matrix $G_i$ op basis van de gewogen covariantie van expert-acties $a^*_j$ van deze vergelijkbare observaties:
  $$G_i = \mathbb{E}_{j \sim \mathcal{D}\setminus\{i\}} [w_{ij}(a^*_j - a^*_i)(a^*_j - a^*_i)^\top]$$
  Een kleine variantie in $G_i$ duidt op strikte operationele beperkingen voor die specifieke conditie.

3. Lokale Geometrie-excess

Om conditie-specifieke beperkingen te isoleren van inherente globale actievariaties, vergelijkt IDP de lokale conditionele variantie met een globale referentie-variantie ($v^{ref}$). Het berekent een genormaliseerde precisieschaal voor beide en definieert de Geometry Excess ($m_{i,d}$) met behulp van een ReLU-operator:
$$m_{i,d} = \text{ReLU}\left( \frac{s^{cond}_{i,d}}{s^{ref}_d} - 1 \right)$$
Dit zorgt ervoor dat alleen dimensies waarbij de huidige observatie strengere beperkingen oplegt dan de globale prior, worden bestraft. De resulterende diagonale matrix $M_i = \text{Diag}(m_i)$ dient als het adaptieve gewicht.

4. Expert-proximale Evaluatie

Om te waarborgen dat het netwerk de lokale manifold-topologie gedefinieerd door de potentiaal vastlegt, introduceert IDP een expert-proximale evaluatie tijdens de training. In plaats van alleen de standaard voorspelling $y_i = f_\theta(o_i, a_0, 0)$ te evalueren, wordt het model ook geëvalueerd op een proberingspunt $z_i$ dat zich nabij de expert-actie bevindt ($z_i = f_\theta(o_i, a^*_i + \epsilon, t^*)$). De totale loss is een gewogen som van de potentiaal geëvalueerd op beide punten:
$$\mathcal{L} = \mathbb{E}_{i \sim \mathcal{D}} [E_i(y_i) + \lambda_{prox} E_i(z_i)]$$
Dit stelt de one-step generator bloot aan de lokale correctiestructuur nabij de expert-target, wat voorkomt dat het netwerk een topologie leert die alleen past bij de initiële ruisdistributie.

Belangrijkste Bijdragen

1. Implicit Drifting Policy (IDP): Een one-step imitation learning framework dat de training-time correctie internaliseert door een geometrie-bewuste potentiaal te minimaliseren, waardoor de instabiliteit van expliciete vectorveld-schatting in schaarse conditionele settings wordt vermeden.
2. Conditional Expert Geometry Extraction: Een methode om lokale actie-correctiestructuren af te leiden door de lokale geometrie van vergelijkbare observaties te vergelijken met een globale referentie, waarbij conditie-specifieke beperkingen adaptief worden geïsoleerd.
3. Expert-Proximal Training Evaluation: Een trainingsmechanisme dat de policy evalueert nabij expert-acties om te garanderen dat de generator de lokale manifold-topologie gedefinieerd door de geometrische potentiaal effectief vastlegt.

Experimentele Resultaten

De auteurs evalueerden IDP over 2D state/image benchmarks, 3D pointcloud manipulatie-taken en real-world robotexperimenten.

• 2D en 3D Gesimuleerde Taken: IDP behaalde competitieve succespercentages ten opzichte van sterke one-step baselines (bijv. Consistency Policy, MP1, OFP) en presteerde vaak beter dan expliciete drifting-varianten (Naive Drifting). In verschillende settings benaderde IDP (NFE=1) de prestaties van multi-step generatieve policies (bijv. 100-step Diffusion Policy).
• Real-World "Pick Peach" Taak: Op een enkele-arm ALOHA platform met een bimodale distributie, behaalde IDP een succespercentage van 50% in de visuele setting, terwijl Diffusion Policy, Naive Drifting en MIP faalden (0%). De baselines vertoonden afwijkingen van de geldige actiemanifold, terwijl IDP vasthield aan geldige grijpposities met real-time reactiviteit.
• Ablatie-studies: Het verwijderen van de expert-proximale evaluatie veroorzaakte een significante daling in prestaties (bijv. van 81% naar 40% op ToolHang-State), wat de noodzaak ervan bevestigt voor het internaliseren van lokale structuur. Ook het gebruik van uniforme of geschudde buren degradeerde de prestaties, wat het belang van observatie-geconditioneerde geometrie valideert.

Betekenis en Claims

Het artikel claimt dat IDP erin slaagt de "verlies van tussenliggende foutcorrectie" in one-step actiegeneratie aan te pakken. Door de verschuiving van het regresseren van dynamische vectorvelden naar het minimaliseren van een statische, geometrie-bewuste potentiaal afgeleid van demonstraties, biedt IDP een betrouwbaar actie-correctiesignaal tijdens de training.

De auteurs benadrukken dat IDP:

• Adherentie aan Geldige Manifolds Handhaaft: Het dwingt effectief beperkingen op de one-step generator af, wat divergentie van geldige actieruimtes voorkomt.
• Verbeterd Ten Opzichte van Expliciete Drifting: Het overwint de mathematisch slecht-gestelde schatting van drifting-velden in schaarse conditionele behavior cloning.
• Competitieve Prestaties Levert: Het evenaart of overtreft sterke one-step baselines terwijl het de lage-latentie voordelen van single-step inferentie behoudt.

Het artikel erkent bescheiden de beperkingen: one-step policies worstelen nog steeds met het dekken van multi-modale actiedistributies, en de methode vertrouwt op een redelijke dichtheid van expert-acties onder vergelijkbare observaties om de lokale geometrie te construeren. Toekomstig werk wordt gesuggereerd voor schaarse data en multi-modale regimes.