🤖 machine learning

Rank-Then-Act: Reward-Free Control from Frame-Order Progress

Het artikel introduceert Rank-Then-Act (RTA), een reward-vrij controleframework dat een Vision-Language Model traint om temporele progressie te leren van door elkaar gehusselde videoframes en een op de Spearman-rangcorrelatie gebaseerd beloningssignaal gebruikt om stabiele beleerslering en cross-task transfer mogelijk te maken zonder expliciete omgevingsbeloningen.

Oorspronkelijke auteurs: Yuriy Maksyuta, George Bredis, Ruslan Rakhimov, Daniil Gavrilov

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuriy Maksyuta, George Bredis, Ruslan Rakhimov, Daniil Gavrilov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij een videogame moet spelen, maar je hebt geen regelboek, geen scoreteller en geen "Game Over"-scherm. Je hebt alleen een video van een menselijke expert die het spel perfect speelt. Hoe leer je de robot wat "goed doen" inhoudt zonder hem te vertellen wat de punten zijn?

Dit is het probleem dat het papier Rank-Then-Act (RTA) oplost. Dit is hoe het werkt, uitgelegd via eenvoudige analogieën.

Het Kernidee: "Volgorde, Geen Getallen"

De meeste AI-systemen proberen een specifiek getal te raden (zoals "Je bent voor 85% klaar") om te weten of ze het goed doen. De auteurs realiseerden zich dat dit moeilijk is, omdat "85%" in verschillende spellen iets anders kan betekenen.

In plaats daarvan stelt RTA een simpelere vraag: "Gebeurt dit moment vóór of ná dat moment?"

Denk aan een stapel foto's van een time-lapse van een bloem die tot bloei komt. Als je de foto's door elkaar husselt, kan een slimme waarnemer naar hen kijken en zeggen: "Deze kwam zeker eerder dan die," zelfs als diegene niet precies weet hoe laat het is. RTA gebruikt deze logica om te leren.

Het Tweestapsproces

De methode werkt in twee duidelijke fasen, zoals het trainen van een coach en daarna het trainen van de speler.

Fase 1: Het trainen van de "Tijdreis-Coach" (De Scorer)

Eerst nemen de onderzoekers een krachtig AI-model (een Vision-Language Model, of VLM) en leren ze dit om een Tijdreis-Coach te worden.

De Truc: Ze nemen een video van een expert die een spel speelt, snijden deze in stukjes en husselen de volgorde van de frames (zoals het mengen van een kaartspel).
De Taak: Ze vragen de Coach: "Kijk naar deze door elkaar gehusselde plaatjes. Welke gebeurde eerst? Welke gebeurde als laatste?"
De Les: De Coach wordt alleen beloond als hij de volgorde juist heeft. Het maakt niet uit of hij denkt dat frame A "10 punten" is en frame B "20 punten". Hij hoeft alleen maar te weten dat Frame A vóór Frame B komt.
Het Resultaat: De Coach leert het verhaal van het spel te begrijpen puur op basis van de beelden. De Coach leert dat "het zien van het springen van het personage" meestal gebeurt voordat "het zien van het landen van het personage" plaatsvindt. Zodra deze training voltooid is, wordt de Coach bevroren (hij stopt met leren) en wordt hij een vaststaand hulpmiddel.

Fase 2: De Speler Leert om "Het Verhaal Logisch te Houden" (De Act)

Nu begint de robot (de speler) het spel te spelen. Hij heeft geen score, geen punten en geen beloningen vanuit het spel zelf.

Het Signaal: Elke paar seconden maakt de robot een snapshot van zijn recente acties en laat deze zien aan de bevroren Tijdreis-Coach.
De Test: De Coach kijkt naar de recente acties van de robot en vraagt: "Ziet deze sequentie eruit als een voorwaartse beweging in de tijd, of is het gewoon een rommelig geheel?"
De Beloning: De robot krijgt een "beloning" gebaseerd op een wiskundig concept genaamd Spearman Rank Correlation.
- Als de acties van de robot eruitzien als een logisch, voorwaarts bewegend verhaal (net als de video van de expert), geeft de Coach een hoge score.
- Als de robot achteruit gaat, in lussen blijft hangen of willekeurige dingen doet, geeft de Coach een lage score.
De Magie: De robot leert om deze score te maximaliseren. Hij beseft: "Oh! Om een hoge score te krijgen, moet ik mijn acties laten lijken op een samenhangend verhaal dat vooruit beweegt." Door te proberen de "story" logisch te houden, leert hij per ongeluk het spel te spelen.

Waarom is dit bijzonder?

Niet "Het Systeem Bedriegen": Als je een AI alleen vertelt "Later is beter", kan de AI misschien gewoon rondjes draaien of wachten, denkend dat het verstrijken van de tijd gelijk staat aan vooruitgang. Door de frames tijdens de training te husselen, dwingt RTA de AI om te kijken naar wat er gebeurt (het visuele verhaal), niet alleen naar wanneer het gebeurt.
Eén Coach, Veel Games: De paper laat zien dat een Coach die getraind is op één spel (zoals Catrap) vaak ook een robot kan helpen bij het leren van een ander spel (zoals Kirby) of zelfs een robotarm in een simulatie. De Coach begrijpt het concept van vooruitgang, niet alleen de specifieke pixels van één spel.
Het is Robuust: Omdat het systeem alleen geïnteresseerd is in de volgorde van gebeurtenissen, maakt het niet uit of de acties van de robot iets anders zijn dan die van de expert, zolang de algemene flow van het "verhaal" maar correct is.

De Kernboodschap

Rank-Then-Act is een manier om robots te leren door een film te tonen en te vragen: "Ziet dit eruit als een verhaal dat logisch is?"

In plaats van de robot een complex scorebord te geven, beloont het systeem de robot simpelweg voor het logisch voorwaarts houden van de plot van zijn acties. Het verandert de chaotische taak van "leren spelen zonder regels" in de eenvoudigere taak van "het vertellen van een samenhangend verhaal."

Technische Samenvatting: Rank-Then-Act (RTA)

Probleemstelling

Het leren van controlebeleid (control policies) vanuit visuele observaties zonder extrinsieke omgevingsbeloningen is een fundamentele uitdaging voor generatieve agenten. Dit is met name cruciaal in domeinen zoals retro games, simulators met zwakke API's en real-world robotica, waar het ontwerpen van beloningen fragiel is, niet beschikbaar is of onderhevig is aan 'specification gaming'. Bestaande benaderingen kampen met drie primaire obstakels:

Triviale Afkortingen (Trivial Shortcuts): Chronologische inputs leiden er vaak toe dat modellen "later is beter"-afkortingen leren, wat resulteert in lege, monotoon toenemende progressiescores die de semantiek van de taak niet goed vatten.
Schaalambiguïteit: Absolute progressieschalen zijn ambigu en moeilijk te kalibreren over verschillende taken en episodes heen.
Constraints bij Online Leren: Reinforcement Learning (RL) vereist beloningssignalen die goedkoop te berekenen zijn, informatief voor exploratie en robuust tegen distributieverschuivingen.

Huidige methoden, zoals video-gebaseerde beloningsmodellen of Vision-Language Model (VLM) beloningskoppen, vereisen vaak handmatig ontworpen doelteksten, per-taak afstemming, of produceren ongekalibreerde scalaire waarden die moeilijk te hergebruiken zijn. Bov�aling vereisen veel imitation-from-observation methoden actielabels of omgevingsbeloningen, die niet beschikbaar zijn in de "alleen-video" setting die in dit werk wordt behandeld.

Methodologie: Rank-Then-Act (RTA)

RTA is een tweestaps-framework dat het begrip van een model over de volgorde van frames in expert-video's omzet in een begrensde, schaal-invariante leer-signaal voor beloningsvrije controle.

Fase 1: Offline Listwise Progress Scorer

De eerste fase omvat het trainen van een Vision-Language Model (VLM) als een "progress scorer" met behulp van Group Relative Policy Optimization (GRPO).

Datapreparatie: Expert video-demonstraties worden gesegmenteerd in frames. Om de "later is beter"-afkorting te voorkomen, wordt het eerste frame vastgezet als een vast startpunt ( $s_{anc}$ ), en de overige frames worden willekeurig gehusseld.
Doelstelling: De VLM krijgt de opdracht om een redeneerpad (reasoning trace) te genereren en een voorspelde progressie-rang ( $p_i$ ) toe te wijzen aan elk gehusseld frame (waarbij een hogere rang een latere tijd in de oorspronkelijke sequentie impliceert).
Beloningssignaal: De trainingsbeloning is de Spearman rangcorrelatie ( $\rho$ ) tussen de voorspelde rangen ( $p$ ) en de grondwaarheid temporele indices ( $q$ ).
$R = \text{spr}(p, q)$
Deze doelstelling dwingt het model om de temporele ordening te herstellen op basis van visuele semantiek in plaats van absolute tijdsindicatoren. De VLM wordt gefinetuned (bijv. met LoRA) en vervolgens bevroren voor de tweede fase.

Fase 2: Online Controle via Correlatie

In de tweede fase wordt de bevroren scorer gebruikt om beloningen te genereren voor een agent die interageert met de omgeving.

Sliding Window Mechanisme: Op specifieke query-stappen (bijv. elke $N$ stappen) wordt een venster van recente staten $W_t$ geconstrueerd. De oudste staat in het venster dient als het anker.
Beloningsberekening: De niet-anker frames in het venster worden $L$ keer gehusseld. De bevroren VLM voorspelt progressie-rangen voor deze permutaties. De beloning $r_t$ is de gemiddelde Spearman correlatie tussen de voorspelde rangen en de ware tijdstempels van het venster.
Policy Optimalisatie: De agent (met gebruik van PPO of DrQv2) wordt getraind om deze correlatie-signaal te maximaliseren. De beloning is begrensd in $[-1, 1]$ , schaal-invariant en hangt uitsluitend af van de overeenstemming van de ordeningsstructuur, niet van de gekalibreerde grootte van de beloning. Er worden geen extrinsieke omgevingsbeloningen gebruikt.

Belangrijkste Bijdragen

VLM Progress Scorer: Introductie van een eenvoudige, effectieve VLM scorer die offline is getraind op gehusselde clips met een GRPO-doelstelling om per-frame progressie-rangen te produceren, welke bevroren blijft tijdens het leren van het beleid.
Correlation-Only Beloningssignaal: Voorstel van een dicht, vormgegeven (shaped), beloningsvrij feedbackmechanisme gebaseerd op de Spearman correlatie tussen voorspelde progressie-rangen en tijdindices over sliding windows. Dit ontkoppelt het leren van de beloning van de absolute kalibratie.
Empirische Validatie: Demonstratie dat dit beloningssignaal effectieve controle mogelijk maakt over discrete (GameBoy: Catrap, Kirby) en continue (PointMaze, MetaWorld) benchmarks zonder omgevingsbeloningen, waarbij het sterke video-gebaseerde baselines verslaat.
Cross-Taak Transfer: Bewijs dat een enkele voorgetrainde progress scorer kan overdragen naar taken en omgevingen, wat duidt op een sterke algemeenheid van ordinale video-supervisie.

Resultaten

Discrete Controle (GameBoy): Op Catrap levels en Kirby presteerde RTA consistent gelijk aan of beter dan baselines zoals Rank2Reward, VLM-RM en ongetrainde GVL formuleringen. Opvallend genoeg was RTA de enige methode die een succespercentage groter dan nul bereikte op de Kirby taak zonder omgevingsbeloningen.
Continue Controle: In PointMaze-UMaze en MetaWorld omgevingen presteerde RTA beter dan Rank2Reward (R2R) in succespercentages. Terwijl R2R per-taak modeltraining vereist, maakte RTA gebruik van een enkele gedeelde scorer.
Cross-Domain Generalisatie: Een scorer getraind op diverse bronnen (bijv. YouTube datasets, MetaWorld, COIN AssembleSofa) kon succesvol worden overgedragen naar GameBoy taken, waarbij prestaties werden behaald die vergelijkbaar met of beter dan baselines getraind op taakspecifieke data waren.
Ablaties: Experimenten bevestigden dat de prestatiewinsten worden gedreven door het beloningsontwerp en niet door de specifieke policy backbone (MLP vs. VLM). Analyse van venstergroottes toonde aan dat intermediaire vensters het meest stabiele signaal bieden, waarbij een balans wordt gevonden tussen lokale consistentie en globale progressiedetectie.

Betekenis en Claims

Het artikel claimt dat correlatie-gestructureerde supervisie over uit video afgeleide ordinale signalen voldoende is voor policy learning, wat een schaalbare alternatief biedt voor expliciet beloningsontwerp. Door te vertrouwen op rangcorrelatie in plaats van scalaire regressie, vermijdt RTA de valkuilen van 'reward hacking' en 'specification gaming' die geassocieerd worden met fragiele beloningsfuncties.

De auteurs positioneren RTA als een stap richting robuuste, generatieve agenten die in staat zijn om te handelen in open, dynamische en ondergespecificeerde omgevingen. De methode vermindert de noodzaak voor handmatig ontworpen beloningen en demonstreert dat een enkele, voorgetrainde ordinale scorer kan ondersteunen bij domein-generale inferentie over diverse taken, van retro games tot robotmanipulatie. Het werk suggereert dat leren van expert video alleen, via progressie-tijd consistentie, een levensvatbaar pad is voor multimodale agency in beloningsvrije settings.