Technische Samenvatting: RynnValue – Schalen van Robotische Waarde Fundatiemodellen met Temporele Afstand

Probleemstelling

Algemene robotbeleid (policies) worden steeds vaker getraind via reinforcement learning (RL), maar het schalen van deze lus wordt gehinderd door beloningssupervisie (reward supervision). Handmatig ontworpen beloningen generaliseren slecht naar open eind taken, terwijl ijle succes-signalen (sparse success signals) onvoldoende sturing bieden voor langdurige gedragingen. Bestaande algemene beloningsmodellen vertrouwen op taak-interne ankers zoals menselijke voorkeuren, referentiedemonstraties of genormaliseerde progressie. Deze benaderingen koppelen supervisie aan specifieke trajecten of vergelijkingssets, wat ze moeilijk overdraagbaar maakt over heterogene databronnen, belichamingen (embodiments) en gezichtspunten. Bovendien is genormaliseerde progressie (bijv. [0, 1]-schalen) een intra-traject coördinaat in plaats van een doelgeconditioneerde 'cost-to-go', wat leidt tot inconsistenties bij variërende taakduur en structuren.

Methodologie: RynnValue

De auteurs introduceren RynnValue, een open-source waarde fundatiemodel dat het probleem van beloningsmodellering herformuleert. In plaats van traject-niveau ankers te scoren, voorspelt RynnValue de temporele afstand—de gerichte, doelgeconditioneerde 'cost-to-go' van een observatie naar een door taal gespecificeerd doel.

1. Data Receptuur en Labeling

RynnValue wordt getraind op een enorme, heterogene mix van meer dan 7.000 uur aan robotdata, bestaande uit ongeveer 3 miljoen instructie-geconditioneerde traject-clips. Deze dataset beslaat diverse belichamingen (single-arm, dual-arm, mobiel, dexterous hands), gezichtspunten en taakfamilies (real-world, gesimuleerd en egocentrisch).

• Label Afleiding: In tegen tegenstelling tot voorkeur-gebaseerde methoden, vereist RynnValue geen voorkeurs-paren of progressie-annotaties. Labels worden direct afgeleid van tijdstempels. Door een voltooiings-cutoff te identificeren (via subtaak-segmentatie en relabeling), leert het model de resterende tijd tot voltooiing voor elke observatie.
• Supervisie Signaal: Het model voorspelt de absolute temporele afstand tot taakvoltooiing en de gesigneerde relatieve temporele verplaatsing tussen opeenvolgende observaties.

2. Model Architectuur

Gebouwd op RynnBrain, is RynnValue een taal-geconditioneerd visueel model dat geïnterleavde multimodale sequenties van instructies, observaties en query-tokens verwerkt.

• Georganiseerde Temporele Queries: Om informatie-bottlenecks te overwinnen, wordt elke temporele voorspelling gerepresenteerd door een groep van $N=8$ herhaalde query-tokens. Deze tokens interageren via bidirectionele aandacht voordat ze worden samengevoegd om een robuuste representatie te vormen.
• Duale Distributionele Heads: Het model gebruikt twee gespecialiseerde heads:
  • Absolute Head: Voorspelt de resterende tijd tot voltooiing ($v_t$).
  • Relatieve Head: Voorspelt de gesigneerde temporele verplaatsing tussen aangrenzende observaties ($\Delta_t$).
  • Beide heads gebruiken symlog-gespaaste binning (256 bins) en two-hot targets om het brede dynamische bereik van temporele afstanden te hanteren, waarbij regressie wordt omgezet in een stabiele classificatie-opgave.
• Natuurlijke Taal Tak: Een hulp-tak genereert video-beschrijvingen, instructie-video matching oordelen en succes-voorspellingen, wat semantische gronding biedt zonder de temporele waarde-heads te verstoren.

3. Strategieën voor het Onderdrukken van Shortcuts

Om ervoor te zorgen dat het model voorspellingen baseert op visuele bewijslast in plaats van het exploiteren van dataregelmatigheden, introduceren de auteurs drie mechanismen:

• Random Temporele Sampling: Observaties worden gesampled op onregelmatige tijdstempels om aritmetische waarde-patronen die door uniforme sampling worden geïnduceerd, te doorbreken.
• Temporele Orde Shuffling: De chronologische volgorde van gesamplede observaties wordt tijdens de training gehusseld (met een "rewind" waarschijnlijkheid). Dit voorkomt dat het model progressie enkel afleidt op basis van de positie in de sequentie.
• Value-Isolatie Aandacht: Een maskeringstrategie waarbij waarde-query-groepen geassocieerd met verschillende observaties niet op elkaar kunnen letten (attention). Dit voorkomt dat het model waarden extrapoleert uit vorige queries, waardoor elke voorspelling gedwongen wordt om te vertrouwen op zijn specifieke visuele context.
• Instruction-Mismatch Augmentatie: 10% van de trainingssamples gebruikt mismatchende instructies om het model te leren inconsistenties te detecteren en te voorkomen dat het een vloeiende progressie naar een onjuist doel aanneemt.

4. Inferentie en Beloningsinterface

Tijdens inferentie geeft RynnValue een temporele afstandsschatting $v_t$ uit. Om als beloningssignaal te dienen, wordt dit via teken-omkering omgezet in een potentiaal-gebaseerde beloning: $\Phi_t = -v_t$. Dit creëert een dichte beloningsinterface waar staten die dichter bij voltooiing zijn een hogere potentiaal hebben (dichter bij nul), waarbij de temporele schaal behouden blijft zonder te normaliseren naar een taak-specifiek [0, 1] interval.

Belangrijkste Resultaten

Benchmark Prestaties (RBM-EVAL-OOD)

Geëvalueerd op de RBM-EVAL-OOD traject-ranking suite (976 trajecten over 6 OOD datasets):

• RynnValue-8B behaalde een gemiddelde Kendall's $\tau_a$ van 0.675, waarmee het de volledig op voorkeuren gebaseerde state-of-the-art (Robometer, 0.655) overtrof en meer dan het dubbele van de progressie-alleen tegenhanger (0.292).
• Zelfs de RynnValue-4B variant (0.670) presteerde beter dan de op voorkeuren gebaseerde baseline, wat suggereert dat de winst voortkomt uit de temporele-afstand formulering in plaats van louter model schaal.
• RynnValue varianten behaalden de beste resultaten op alle zes de datasets onder methoden die getraind zijn zonder expliciete traject-niveau voorkeurssupervisie.

Instructie-Traject Alignment

In confusion matrix analyses vertoonde RynnValue de duidelijkste diagonale structuur (genormaliseerde diagonale marge van 0.79), wat de baselines (0.67) aanzienlijk overtrof. Dit geeft aan dat het model effectief gematchte instructie-traject paren onderscheidt van mismatchende paren, waardoor beloningen worden gegrond in het door taal gespecificeerde doel in plaats van generieke visuele progressie.

Real-World Policy Learning

RynnValue werd ingezet als zero-shot belonings-annotator voor online en offline RL op vier uitdagende real-world taken (Bread Basket Placement, Steak Serving, Box-in-Drawer, Bimanual Box Transfer) zonder doel-domein fine-tuning.

• Online RL: RynnValue verbeterde de succesratio's van 52.5% (Robometer) naar 72.5%.
• Offline RL: RynnValue verbeterde de succesratio's van 63.8% (Robometer) naar 82.5%.
• Opvallend genoeg maakte RynnValue succesvolle RL mogelijk op taken (Box-in-Drawer, Bimanual Box Transfer) waar de SFT baseline een succespercentage van 0% behaalde.

Scaling Analyse

Experimenten die de hoeveelheid data ontkoppelden van de diversiteit toonden aan dat taakdiversiteit consequent een steilere foutreductie oplevert dan episode volume. Het simpelweg toevoegen van meer data van dezelfde taken leidt tot vroege verzadiging, terwijl het vergroten van de variëteit aan taken continue verbetering drijft in generalisatie.

Betekenis en Claims

Het paper claimt dat temporele afstand een schaalbare, voorkeursvrije supervisie-target is die heterogene robotdata onder één enkele interface verenigt. Door labels direct uit tijdstempels af te leiden, omzeilt RynnValue de noodzaak voor dure menselijke voorkeurs-annotaties of taak-specifieke progressie-normalisatie.

De auteurs stellen dat RynnValue een praktisch pad legt voor het trainen van algemene robotbeleid:

1. Schaalbaarheid: Het benut enorme, heterogene datasets zonder de bottleneck van menselijke voorkeurs-labeling.
2. Robuustheid: Door temporele orde shuffling en value-isolatie aandacht leert het waarden te leren die gegrond zijn in visueel bewijs, waardoor het gevoelig is voor fouten en regressies.
3. Bruikbaarheid: Het dient als een effectieve dichte beloningsinterface die zowel online als offline policy learning in real-world settings aanzienlijk verbetert, waarbij het sterke baselines overtreft die getraind zijn met voorkeurssupervisie.

Het werk concludeert dat temporele afstand een schaalbaarderere route biedt voor algemene robotische waarde-leren vergeleken met traditionele voorkeur-gebaseerde of progressie-genormaliseerde benaderingen.