Technische Samenvatting: UniReflex

Probleemstelling

Generatieve imitatieleer-policies, zoals Diffusion Policies (DP), Vision-Language-Action (VLA) modellen en World Action Models (WAM), hebben state-of-the-art prestaties bereikt in visuele motorische trajectplanning. Echter, deze modellen missen doorgaans de capaciteit voor closed-loop krachtregulatie. Ze voorspellen kinematische bewegingsdoelen en volgen deze met vaste lage-niveau gains, wat ze onbetrouwbaar maakt in contactrijke scenario's (bijv. afnemen, insteken, schillen) waar kleine geometrische variaties of verstoringen het contact kunnen destabiliseren.

Bestaande oplossingen om krachtregeling te integreren vallen over het algemeen in drie categorieën: het behandelen van kracht als een extra observatie, het koppelen van policies aan hybride kracht-positiecontrole, of het inzetten van snelle-langzame hiërarchische architecturen. Een kritieke beperking van deze benaderingen is dat ze doorgaans end-to-end training, architecturale aanpassingen of gezamenlijke optimalisatie vereisen. In het tijdperk van foundation-modellen, waarbij krachtige policies zijn voorgetraind op massale, alleen visuele datasets, is het wegwerpen van deze gewichten of het onderwerpen ervan aan zware fine-tuning om krachtmodaliteiten te accommoderen computationeel inefficiënt en brengt het risico met zich mee dat goed gegeneraliseerde distributies worden vernietigd. Er is een gebrek aan een principiële oplossing die de oorspronkelijke voorgetrainde distributie van een foundation-model behoudt terwijl het systeem onafhankelijk wordt uitgerust met robuuste fysieke reflexen.

Methodologie: UniReflex

UniReflex is een universeel, plug-and-play framework ontworpen om bevroren generatieve policies uit te rusten met variable impedantiecontrole (VIC) voor contactregulatie zonder verdere fine-tuning van de trage backbone. Het systeem werkt op basis van een "Fast-Slow" reflex-architectuur.

1. Niet-invasieve Representatie-interceptie

UniReflex onderschept diepe latente representaties van de action head van een bevroren generatieve policy ($\pi_{gen}$) zonder de netwerkarchitectuur of gewichten te wijzigen.

• Mechanisme: Ongeacht of de policy diffusie gebruikt (het voorspellen van ruis) of flow matching (het voorspellen van snelheden), vormt het netwerk een tijdelijk gestructureerde verborgen representatie ($z$) voorafgaand aan de uiteindelijke actieprojectie. UniReflex koppelt zich aan deze pre-projectie staat.
• Interface: Dit biedt een backend-agnostische "slow intent" interface ($z \in \mathbb{R}^{B \times T_{slow} \times H}$) die de hoogwaardige traject-intentie van de policy inkapselt en de taaksemantiek behoudt.

2. Actieve Inspanningsherstel en Kracht-Stijfheid Ontkoppeling

Het framework leert genormaliseerde anisotrope stijfheidsrichtingen en referentiekrachten te voorspellen, waardoor actuele krachtuitoefening wordt ontkoppeld van externe interactierespons.

• Supervisie: Met behulp van teleoperatie-logs afleidt het systeem een proxy voor de interactiekracht-intentie ($F_{intent} \approx K_{virtual} \Delta x$).
• Labeling: Het genereert supervisiesignalen voor genormaliseerde anisotrope stijfheidsrichtingen ($K_{label}$) op basis van de mismatch-richting tijdens teleoperatie. Dit stelt het systeem in staat om de stijfheid langs assen met een hogere gecommandeerde inspanning te verhogen, wat de contactstabiliteit verbetert.
• Ontkoppeling: Het reflex-netwerk voorspelt drie gekoppelde outputs:
  1. $x_{reflex}$: Een single-step pose correctie om geometrische drift te beperken.
  2. $F_{ref}$: De gewenste contact wrench voor constante normale druktracking.
  3. $\Phi_K$: End-effector stijfheidsparameters om de ontkoppeling van richting en magnitude van de inspanning te ondersteunen.

3. Adaptieve Gating voor Hybride Controle

UniReflex integreert een lichtgewicht gating-mechanisme om de overgang tussen executiefases te beheren:

• Fase I (Pre-contact): De controller geeft prioriteit aan het volgen van de pose-targets van de bevroren generatieve policy, waardoor de alignment-kwaliteit van de oorspronkelijke planner behouden blijft.
  {% if context %}
• Fase II (Contact): Bij detectie van contact via proprioceptieve sensing schakelt het systeem over naar een kracht-dominant regime. Het reguleert $F_{ref}$ en impedantieparameters via de VIC-interface terwijl het single-step $x_{reflex}$ correcties streamt.
• Architectuur: Het snelle reflex-netwerk ($\phi_{reflex}$) is een causale temporele model (geïmplementeerd als een GRU) dat real-time feedback ($e_t$) en de uitgelijnde slow intent ($z'_t$) als input neemt om high-frequency updates te genereren.

Belangrijkste Bijdragen

1. Universeel Plug-and-Play Framework: UniReflex rust supervised fine-tuned generatieve policies uit met closed-loop krachtcontrole door niet-invasief diepe action-head latente representaties te onderscheppen. Het vereist geen extra training of fine-tuning van de trage backbone.
2. Kracht-Stijfheid Ontkoppeling: De methode superviseert gezamenlijk genormaliseerde anisotrope stijfheidsrichtingen en referentiekrachten. Dit maakt VIC-gebaseerde closed-loop regulatie mogelijk die een fysisch consistenter wrench-gedrag oplevert dan passieve of vaste stijfheid-benaderingen.
3. Adaptieve Gating: Een lichtgewicht gating-mechanisme maakt naadloze overgangen mogelijk tussen positie-dominante planning en kracht-dominante executie, waardoor de robot de alignment-kwaliteit van de bevroren planner behoudt terwijl hij robuuste regulatie krijgt tijdens contact.

Experimentele Resultaten

De auteurs evalueerden UniReflex op vijf contactrijke benchmarks (Wipe, Plug Charger, Peel Note, Flip Chip Box, Box Lift) met drie bevroren backbones: DP, $\pi_0$ en DreamZero.

• Prestatieverbetering: UniReflex verbeterde de succespercentages in de contactfase (Fase II) aanzienlijk met 20–60 procentpunten over alle backbones vergeleken met vanilla policies. Bijvoorbeeld, op de "Peel Note" taak behaalde UniReflex + $\pi_0$ 90% succes in Fase II, vergeleken met 30% voor de vanilla $\pi_0$.
• Behoud van Non-Contact Skills: De toevoeging van UniReflex veranderde de Fase I (non-contact) succespercentages met niet meer dan 10 procentpunten, wat aantoont dat het oorspronkelijke visuele motorische gedrag grotendeels behouden blijft.
• Vergelijking met Baselines: UniRefies-geaugmenteerde policies presteerden beter dan monolithische kracht-bewuste baselines (RDP, ForceVLA, TA-VLA) in zowel Fase I als Fase II. Opvallend genoeg verslechterden end-to-end kracht-bewuste modellen vaak de kwaliteit van de positiecontrole (Fase I), terwijl UniReflex deze handhaafde of verbeterde.
• Ablatie Studies:
  • Het verwijderen van geleerde stijfheidsmodulatie of het gebruik van vaste isotrope stijfheid zorgde ervoor dat de Fase II succesratio daalde van 70–90% naar 20–50%.
  • Het verwijderen van het adaptieve gating-mechanisme resulteerde in Fase I/II succesrates die daalden naar 0–30%, wat het belang benadrukt van het beschermen van de bevroren planner vóór contact.
• Verstoring Herstel: Onder dynamische verstoringen (bijv. veranderende oppervlakhelling) behaalde UniRefex een herstelpercentage van 80–100%, terwijl bevroren DP in de meeste gevallen faalde om contact te behouden.
• Efficiëntie: UniReflex behaalde een 25–66$\times$ lagere per-stap backward latency vergeleken met joint training strategieën. Het traint slechts 0,188–0,375% van de parameters ten opzichte van de backbone, wat de geheugen- en rekenoverhead aanzienlijk vermindert.

Betekenis en Claims

Het artikel claimt dat UniReflex een schaalbare alternatief biedt voor monolithische end-to-end training pipelines. Door krachtfeedback te behanden als een onafhankelijke module, stelt het de robotica-gemeenschap in staat om krachtige, voorgetrainde generatieve policies (die een gebrek aan krachtdata hebben) te benutten zonder de inefficiëntie van hertraining of het risico op catastrofale vergetelheid.

De auteurs positioneren UniReflex als een oplossing voor het "dilemma" van het integreren van gespecialiseerde, schaarse krachtobservaties in foundation-modellen. Ze demonstreren dat het mogelijk is om closed-loop contactregulatie toe te voegen als een lichtgewicht module die profiteert van de hoogwaardige intentie van bevroren policies, terwijl het onafhankelijk robuuste fysieke reflexen biedt. Het werk suggereert dat voor contactrijke manipulatie het ontkoppelen van de trage visuele redenering van de high-rate contactfeedback via een plug-and-play reflex een efficiëntere en effectievere strategie is dan het co-trainen van perceptie en actie voor grootschalige modellen.

Beperkingen opgemerkt door de auteurs:

• De winst is kleiner voor long-horizon world-action backbones (zoals DreamZero) vanwege de latentie van hun action chunks.
• Het systeem is beter geschikt voor aanhoudend contact dan voor korte, hoog-impulsgewijze rigide inserties (bijv. Plug Charger).
• De responsiviteit wordt begrensd door de kwaliteit van de krachtsensing, low-level controle en hardware-bandbreedte.