Technische Samenvatting: PRISM – Polynomial Representations for Interaction-Structured Motor Control

1. Probleemstelling

Standaard robotica-policies, die doorgaans worden geïmplementeerd als Multi-Layer Perceptrons (MLP's), mappen observaties (gewrichtsposities, snelheden, commando's, etc.) direct naar acties. Hoewel MLP's theoretisch complexe functies kunnen benaderen, behandelen ze inputs als eerste-orde variabelen. Echter, veel cruciale fysieke grootheden die het gedrag van robots sturen—zoals gewrichtsvermogen, inertie-effecten, slip, contactimpuls en compliantie—ontstaan uit multiplicatieve interacties (producten) tussen deze observeerbare variabelen.

In standaard MLP's blijven deze interactie-aanwijzingen latent. Het netwerk moet deze relaties impliciet ontdekken uit data, wat vaak een excessieve capaciteit vereist om te benaderen wat fysiek een tweede-orde of hogere-orde relatie is. Het simpelweg vergroten van het aantal parameters (modelcapaciteit) verandert de input-basis niet; het laat de policy zonder een expliciete "interactie-basis" die is afgestemd op de onderliggende fysica. Bovendien vereist het bereiken van compliant gedrag in contactrijke taken meestal expliciete krachtsensoren, wrench-inputs of gespecialiseerde admittance-controllers, die vaak niet beschikbaar zijn in scenario's met minimale sensoren tijdens de inzet.

2. Methodologie: PRISM

De auteurs introduceren PRISM (Polynomial Representations for Interaction-Structured Motor Control), een policy-representatie die de polynomiale interacties tussen observeerbare fysieke variabelen expliciet, leerbaar en compact maakt.

Kernarchitectuur

PRISM vervangt de standaard lineaire conditionering van proprioceptieve inputs door een gefactoriseerde polynomiale module. In plaats van expliciet alle monomiale termen op te sommen (wat computationeel inefficiënt is), gebruikt PRISM geleerde projecties om compacte latente factoren te vormen.

Gegeven een proprioceptieve inputvector $x_t$, berekent PRISM twee geleerde affine factoren:
$$u_t = W_1 x_t + b_1$$
$$v_t = W_2 x_t + b_2$$

De tweede-orde representatie wordt geconstrueerd als:
$$\psi_2(x_t) = u_t \odot (1 + \alpha_2 \odot v_t) = u_t + \alpha_2 \odot (u_t \odot v_t)$$
waarbij $\odot$ elementgewijze vermenigvuldiging betekent en $\alpha_2$ een leerbare parameter is die nabij nul is geïnitialiseerd. Dit ontwerp stelt de policy in staat om lineaire kenmerken te behouden waar dat voldoende is, terwijl het leert om kwadratische interacties te versterken waar dat nuttig is.

Het framework breidt zich recursief uit naar graad $K$:
$$\psi_k(x_t) = \psi_{k-1}(x_t) \odot [1 + \alpha_k \odot (W_k x_t + b_k)]$$
Dit behoudt alle lagere-orde paden terwijl het hogere-orde interactietermen toevoegt zonder expliciete expansie.

Integratie in Leervoorschriften

• Reinforcement Learning (RL): PRISM vergroot het actor-netwerk door de polynomiale module toe te passen op de tijdens de inzet beschikbare proprioceptieve toestanden voordat deze de standaard MLP-backbone ingaan. De actieruimte, beloningsfunctie en lage-niveau controllers blijven onveranderd.
• Imitation Learning (IL): In Diffusion Policies vervangt PRISM de standaard lineaire proprioceptieve conditioneringslaag door de polynomiale interactielaag. Deze laag wordt end-to-end getraind met de policy, waarbij deze wordt gecombineerd met visuele en talige kenmerken voor actievoorspelling.

Cruciaal is dat PRISM geen extra sensoren (kracht, tactiel, wrench) vereist en geen geprivilegieerde fysieke inputs (contactlabels, terreinwrijving) tijdens de inzet.

3. Belangrijkste Bijdragen

1. Identificatie van een Beperking: Het artikel identificeert dat standaard MLP-policies alleen eerste-orde fysieke variabelen ontvangen, waardoor ze niet expliciet de multiplicatieve interacties kunnen representeren die essentieel zijn voor controle (bijv. koppel $\times$ snelheid voor vermogen).
2. PRISM Architectuur: Een compacte, gefactoriseerde polynomiale policy-representatie die deze interacties expliciet en leerbaar maakt zonder alle monomialen te enumereren. Het ondersteunt geleidelijke activatie in RL en kan lineaire conditionering in Diffusion Policies vervangen.
3. Empirische Validatie: Het aantonen dat gestructureerde interactiemodellering prestatiewinst oplevert ten opzien van zowel standaard MLP's als grotere MLP's met gelijke capaciteit, wat bewijst dat interactiestructuur niet kan worden vervangen door het aantal parameters alleen.

4. Experimentele Resultaten

De auteurs hebben PRISM geëvalueerd op Humanoid-Gym (locomotie) en LIBERO (contactrijke manipulatie).

Humanoid Locomotie (Humanoid-Gym)

• Prestaties: PRISM presteerde significant beter dan zowel een standaard MLP als een "Grotere MLP" (met bijna het dubbele aantal parameters van de baseline) in termen van episode-lengte, lineaire/yaw-snelheid trackingfout en overlevingskans.
• Stabiliteit: PRISM vertoonde nauwere convergentiegrenzen over verschillende trainings-seeds en een verminderde snelheiddrift vergeleken met de baselines.
• Conclusie: De sprong in prestaties wordt gedreven door de expliciete modellering van multiplicatieve interacties, niet louter door een verhoogde modelcapaciteit.

Contactrijke Manipulatie (LIBERO)

• Compliantie zonder Sensoren: PRISM bereikte een succespercentage van 91,0%, wat significant beter is dan de standaard Diffusion Policy (63,8%) en een sensorloze compliance-controller (MCC-Sensorless, 47,8%).
• Gedrag: PRISM vertoonde emergent compliant gedrag: het behield een hoge snelheid bij de benadering in de vrije ruimte, maar onderdrukte de snelheid onmiddellijk bij contact, waardoor krachten werden gereguleerd zonder kracht-/tactiele inputs. Dit presteerde beter dan MCC-Sensorless, dat leed onder vertraagde reacties en hoge impactkrachten.
• Backbone Agnosticisme: Wanneer geïntegreerd in sterkere backbones (BFM-Zero voor locomotie, SmolVLA voor manipulatie), bleef PRISM sterker dan controles met grotere capaciteit, wat bevestigt dat het voordeel architecturaal is en niet enkel gebaseerd op capaciteit.

Analyse van Fysieke Grootheden

• Lineaire Probing: Lineaire probes getraind op bevroren PRISM-representaties voorspelden mechanica-geïnspireerde grootheden (slip-snelheid, gewrichtsvermogen, contactimpuls, contactarbeid) met een aanzienlijk lagere MSE en hogere Pearson Correlatie Coëfficiënten (PCC) dan de baselines.
• Emergente Interacties: Ablatie-studies toonden aan dat de meest impactvolle geleerde factoren overeenkwamen met fysiek betekenisvolle koppelingen, zoals "snelheidsgeheugen" (huidige snelheid $\times$ vorige snelheid) en "gewrichts-snelheid koppeling", wat bevestigt dat het model relevante fysieke structuren leert.

5. Betekenis en Claims

Het artikel stelt dat polynomiale representaties een standaard architecturale keuze moeten worden voor embodied motor control.

• Fysica-gealigneerde Inductieve Bias: Door de interactiestructuren expliciet te maken, stemt PRISM de inductieve bias van de policy af op de fysieke realiteit van robotica, waarbij controle vaak afhangt van producten van toestandsvariabelen.
• Sensorloze Compliantie: PRISM demonstreert dat compliant, contactbewust gedrag puur geleerd kan worden uit proprioceptie en visuele inputs, waardoor de noodzaak voor dure of fragiele kracht-/tactiele sensoren tijdens de inzet wordt geëlimineerd.
• Efficiëntie boven Capaciteit: De resultaten suggereren dat het verbeteren van de policy-prestaties niet louter een functie is van het schalen van de modelgrootte; in plaats daarvan levert het expliciet modelleren van de interactiestructuur van fysieke variabelen een superieure data-efficiëntie en robuustheid op.

De auteurs concluderen dat hoewel PRISM ervan uitgaat dat cruciale signalen worden gevangen door lage-graads polynomialen en mogelijk moeite heeft met lange-horizon geschiedenis of ongeobserveerde geometrie, het een robuuste, inzetbare oplossing biedt voor interactie-gestuurde controle over diverse robotmorphologieën en taken.