💬 NLP

Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation

Het artikel introduceert Crayotter, een 9B video-bewerkingsagent getraind via Group-Relative Preference Backpropagation (GRPB), die subjectieve langetermijn-feedback over bewerkingen omzet in ordinale vergelijkingen om effectief krediet te herverdelen over semantische segmenten, waardoor het propriëtaire systemen op benchmarks zoals AgenticVBench overtreft.

Oorspronkelijke auteurs: Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een filmregisseur te zijn. Je geeft het een stapel ruwe videoclips en een eenvoudige instructie: "Maak een coole sport-highlightreel." De robot moet veel werk verrichten: hij moet de juiste clips vinden, ze knippen, ze op een tijdlijn rangschikken, muziek toevoegen en het definitieve bestand exporteren. Dit is een langdurig proces met veel stappen. Het probleem is dat je de uiteindelijke film pas aan het einde te zien krijgt. Als de film saai is, kun je niet gemakkelijk aangeven welke specifieke stap fout ging. Heeft hij de verkeerde clips gekozen? Heeft hij ze te kort geknipt? Of heeft hij ze gewoon in een slechte volgorde gezet? In de wereld van kunstmatige intelligentie wordt dit het "long-horizon" probleem genoemd. Het is alsof je iemand probeert te leren een taart te bakken door alleen te zeggen "het smaakt vies" nadat hij de hele taart al heeft opgegeten. Je hebt een manier nodig om krediet (of schuld) te geven aan de specifieke stappen die tot het resultaat hebben geleid, zelfs als dat resultaat subjectief is — wat betekent dat verschillende mensen verschillende versies van dezelfde video leuk kunnen vinden.

Dit artikel introduceert een nieuwe manier om deze AI-editors te trainen, genaamd Crayotter. De onderzoekers realiseerden zich dat in plaats van de robot één enkele "score" voor de hele video te geven (wat moeilijk is omdat "goed" in het oog van de toeschouwer ligt), ze simpelweg zouden moeten vragen: "Tussen twee verschillende versies van dezelfde video, welke is beter?" Door video's te vergelijken die gemaakt zijn van exact dezelfde bronmaterialen, kan de AI een duidelijke rangschikking leren. Maar het lastige deel blijft nog steeds uitzoeken waar in het lange proces de AI goede of slechte keuzes heeft gemaakt. De auteurs stellen een methode voor genaamd Group-Relative Preference Backpropagation (GRPB). Denk aan het als een slimme scheidsrechter die niet alleen aan het einde van de wedstrijd "Goed gedaan!" of "Slecht gedaan!" roept. In plaats daarvan kijkt hij naar de prestaties van het hele team, bepaalt wie heeft bijgedragen aan de overwinning, en geeft krediet aan de specifieke spelers (of in dit geval, de specifieke bewerkingsstappen) die er het meest toe deden, terwijl hij ervoor zorgt dat geen enkele stap te veel krediet of te veel schuld krijgt.

Het Probleem: De "Black Box" van Videobewerking

Wanneer een AI een video probeert te bewerken, doorloopt het een lange keten van beslissingen. Het analyseert de beelden, kiest clips, bouwt een tijdlijn en rendert het eindproduct. Het probleem is dat de kwaliteit van de uiteindelijke video — hoe goed het verhaal vloeit, of het tempo goed aanvoelt, of de stijl past bij de opdracht — pas zichtbaar is nadat al die beslissingen zijn genomen.

Als je de AI slechts één getal aan het einde geeft (zoals "Deze video is een 7 van de 10"), is dat verwarrend. Is die 7 omdat de AI slechte clips koos? Of omdat de muziek te hard stond? Of omdat de taak zelf gewoon heel moeilijk was? Verschillende bewerkingstaken hebben verschillende regels voor wat een "goede" video maakt, dus het vergelijken van scores tussen verschillende taken is als het vergelijken van appels met peren.

Het artikel betoogt dat we niet moeten proberen een perfecte globale score te berekenen. In plaats daarvan moeten we ons concentreren op vergelijkingen. Als de AI drie verschillende versies van dezelfde sportreel maakt, kunnen we gemakkelijk zeggen: "Versie C is beter dan Versie A, en Versie A is beter dan Versie B." Dit verandert een vaag, subjectief gevoel in een duidelijke, logische volgorde.

De Oplossing: GRPB en het "Vertraagde" Kredietstelsel

De auteurs introduceren Group-Relative Preference Backpropagation (GRPB). Zo werkt het, met een speelse analogie:

Stel je een kookwedstrijd voor waarbij drie teams (Team A, Team B en Team C) exact dezelfde ingrediënten krijgen en de opdracht krijgen om een stoofpot te maken. Een jury proeft alle drie en rangschikt ze: Team C is de winnaar, Team A is tweede, en Team B is de verliezer.

Bij oude methoden zou de jury misschien de winnende ploeg een grote trofee geeft en de verliezende ploeg een deelnamecertificaat. Maar dat vertelt de chefs niet wat ze goed of fout hebben gedaan. Won Team C omdat ze de uien beter hadden gesnipperd? Of omdat ze de kruiden op het juiste moment toevoegden?

GRPB is als een super-slimme coach die de wedstrijd analyseert.

De Groep: Het vergelijkt alleen teams die exact dezelfde ingrediënten hebben gebruikt (dezelfde opdracht en bronclips).
Het Zero-Sum Spel: Het behandelt de rangschikking als een zero-sum spel. Als Team C wint, verdienen zij punten en verliezen de anderen punten. De totale punten in de kamer tellen altijd op tot nul.
De Vertraagde Allocator: Dit is het slimme deel. De coach kijkt niet alleen naar de uiteindelijke stoofpot en raadt maar wat. Het gebruikt een "vertraagd" systeem. Het kijkt naar de vorige batch kooklessen om te beslissen hoe er voor deze batch krediet moet worden gegeven. Dit voorkomt dat de coach in de war raakt door zijn eigen directe reacties. Het is als een leraar die een toets beoordeelt op basis van het rubric dat hij vorige week schreef, en niet op basis van het rubric dat hij net heeft opgeschreven terwijl hij de toets nakijkt.
Segment-Niveau Krediet: In plaats van het hele team een score te geven, breekt GRPB het kookproces op in segmenten: "Snijden", "Sudderen", "Kruiden". Het bepaalt welk specifiek segment het meest heeft bijgedragen aan de winst of het verlies. Als Team C de uien perfect heeft gesneden, krijgt dat specifieke segment het krediet. Als Team B de knoflook heeft laten aanbranden, krijgt dat specifieke segment de schuld.
Veiligheidsplafonds: Om te voorkomen dat de AI te enthousiast of te neerslachtig wordt, plaatst het systeem "caps" op hoeveel krediet of schuld een enkele stap kan ontvangen. Het gebruikt ook een "betrouwbaarheidspoort", wat betekent dat het pas begint met het verdelen van krediet zodra het zeker weet dat het beoordelingssysteem correct werkt.

Wat Ze Hebben Gevonden

De onderzoekers hebben een AI-model met 9 miljard parameters gebouwd, genaamd Crayotter, en dit getraind met deze nieuwe methode. Ze hebben het getest in een gesimuleerde omgeving met realistische bewerkingstaken, variërend van eenvoudige knipwerkjes tot complexe, meerstaps revisies.

De resultaten toonden aan dat GRPB beter werkte dan andere methoden:

Betere Bewerking: De video's geproduceerd door het met GRPB getrainde model werden vaker geprefereerd door menselijke juryleden dan die van modellen getraind met standaardmethoden. In een blinde test won het GRPB-model het van het "Base"-model (de originele AI) in 67,1% van de gevallen.
Slimmere Kredietverdeling: Wanneer de onderzoekers testten of de AI wist waarom het een goede video had gemaakt, was GRPB veel beter in het aanwijzen van de specifieke bewerkingsstappen die ertoe deden. Het identificeerde het "winnende" segment in 20,8% van de gevallen, vergeleken met slechts 11,9% voor andere methoden.
De Professionals Verslaan: Op een standaard benchmark genaamd AgenticVBench rangschikte het 9B Crayotter-model derde van alle geteste systemen, waarmee het verschillende dure, propriëtaire systemen van grote technologiebedrijven versloeg. Het behaalde een gemiddelde score van 15,7%, met een bijzonder sterke score van 23,0% op de "Repurpose"-taak (die zeer vergelijkbaar is met videobewerking).

Waarom Het Belangrijk Is

Dit artikel suggereert dat voor complexe, creatieve taken waarbij het "juiste antwoord" subjectief is, we geen perfecte score nodig hebben. We hebben alleen een manier nodig om verschillende pogingen te vergelijken en te achterhalen welke specifieke stappen tot een beter resultaat hebben geleid. Door een systeem te gebruiken dat vergelijkbare pogingen vergelijkt, zijn eigen oordeel uitstelt om bias te vermijden, en krediet zorgvuldig verdeelt over specifieke delen van het proces, kan AI leren om een veel betere editor te worden.

De auteurs merken er voorzichtig bij op dat dit een specifieke oplossing is voor taken zoals videobewerking, waarbij er duidelijke fasen en alternatieve uitkomsten zijn. Ze beweren niet dat dit alle AI-problemen oplost, maar ze laten zien dat voor dit soort "long-horizon" creatieve banen, het opdelen van het probleem in lokale, vergelijkbare voorkeuren een krachtige manier is om machines te leren hoe ze kunnen creëren. De code en de data van hun experimenten zijn publiekelijk beschikbaar, wat anderen uitnodigt om deze "lagged credit"-aanpak op hun eigen creatieve AI-projecten te proberen.

Technische Samenvatting: Crayotter en Group-Relative Preference Backpropagation (GRPB)

1. Probleemstelling

Video-editing agents met een lange horizon worden geconfronteerd met een fundamentele uitdaging bij het leren van feedback: de kwaliteit van het eindproduct is subjectief, laat meerdere geldige oplossingen toe en is pas observeerbaar na een reeks onderling afhankelijke beslissingen (bronanalyse, clipretrieval, tijdlijnconstructie, rendering en revisie).

Huidige benaderingen worstelen met twee primaire problemen:

Ambigue Globale Doelstellingen: Een globale scalaire beloning is ongeschikt voor editing omdat kwaliteitsdimensies (narratieve continuïteit, tempo, stilistische getrouwheid) variëren per taak en beoordelaar. Een absolute score verweeft productkwaliteit, taakcomplexiteit en variatie in de schaal van de beoordelaar, waardoor kruis-taak kalibratie betekenisloos wordt.
Vertraagde en Diffuse Kredietverdeling: Executietrajecten bieden verifieerbare feedback op de voltooiing van tools en de geldigheid van artefacten, maar falen in het vastleggen van semantische selectie of narratieve kwaliteit. Deze kwaliteiten zijn pas observeerbaar na rendering. Standaard reinforcement learning (RL) methoden hebben moeite om krediet toe te wijzen van een finale productbeoordeling terug naar specifieke, vroegtijdige editing-beslissingen zonder ruis of bias te introduceren.

Bestaande methoden vertrouwen ofwel op extern verifieerbare terminale condities (waar editing een gebrek aan heeft) of zenden een enkele traject-niveau advantage uit naar alle acties, waarbij ze er niet in slagen krediet te lokaliseren naar de specifieke semantische segmenten die de uitkomst hebben veroorzaakt.

2. Methodologie: Group-Relative Preference Backpropagation (GRPB)

De auteurs introduceren GRPB, een framework dat subjectieve, vertraagde uitkomsten omzet in gestructureerde, taak-lokale preference learning. De methode opereert binnen de Crayotter editing-omgeving, die gesegmenteerde traces, gerenderde uitkomsten en procesdiagnostiek biedt.

Kernmechanismen

GRPB deelt het leerprobleem op in drie afzonderlijke stadia:

A. Taak-Lokale Preference Constructie
In plaats van een globale kwaliteitsscore te regresseren, bemonstert GRPB een groep rollouts ( $G_q$ ) voor dezelfde aanvraag, materialen, doelduur en beperkingen. Een multimodale beoordelaar rangschikt deze finale video's ( $J_k$ ).

Zero-Sum Rank Advantage: De scores van de beoordelaar worden omgezet in een paargewijs win/verlies voordeel ( $A^{rank}_k$ ) binnen de groep. Deze statistiek is zero-sum ( $\sum A^{rank}_k = 0$ ) en ligt in $[-1, 1]$ , wat het invariant maakt voor score-offsets, schaalveranderingen en kruis-taak kalibratie.

B. Lagged Segment Allocatie
De kerninnovatie is het mappen van de traject-niveau preference naar specifieke editing-segmenten (aaneengesloten gebeurtenissen die een editing-fase label delen).

Sparse Bradley-Terry Allocator: Een sparse lineair model voorspelt de utiliteit van een rollout op basis van de gemiddelde segment-feature vectoren ( $\hat{z}_k = w^\top \bar{f}_k$ ). De gewichten $w$ worden getraind om de Bradley-Terry loss te minimaliseren op de binnen-groep rangschikkingen.
Lagged Update: Cruciaal is dat de allocator gewichten ( $w^-$ ) gebruikt die bevroren zijn voordat de huidige batch wordt waargenomen. Policy credit wordt berekend met $w^-$ , en pas daarna wordt $w$ bijgewerkt. Dit voorkomt dat het model de huidige labels memoriseert en deze direct als krediet teruggeeft aan dezelfde batch.
Reliability Gating: Vroege allocator-schattingen worden afgeschermd door een betrouwbaarheidscoëfficiënt gebaseerd op warm-up observaties en nauwkeurigheid. Krediet wordt uitgeschakeld totdat de allocator voldoende voorspellende nauwkeurigheid heeft aangetoond.

C. Bounded Credit Redistribution
De zero-sum rank advantage wordt herverdeeld naar segmenten met behulp van een "water-filling" algoritme met strikte beperkingen:

Signed Capped Allocation: Positieve budgetten bevoordelen hoog scorende segmenten; negatieve budgetten straffen lage scorende segmenten af. Een absolute cap per segment ( $C$ ) voorkomt dat een enkel segment het volledige budget absorbeert.
Exact Conservation: De som van de toegewezen credits voor een rollout is exact gelijk aan zijn rank advantage budget ( $\sum c_{k,m} = b_k$ ).
Semantische Plaatsing: Credits worden toegewezen aan de laatste trainbare positie van een semantisch segment, en niet verdeeld op basis van token-aantal, wat ervoor zorgt dat lange verbale spans niet disproportioneel veel preference mass ontvangen.

D. Policy Optimization
De toegewezen segment-credits worden toegevoegd aan de process rewards op de eindpunten van segmenten. De policy wordt geoptimaliseerd met PPO met GAE (Generalized Advantage Estimation), gebruikmakend van een geleerde waarde baseline. In tegenstelling tot GRPO (Group Relative Policy Optimization), waarbij een traject-niveau scalar wordt gedeeld over alle acties, gebruikt GRPB de groep alleen om het budget te construeren, terwijl de critic en GAE de stap-variërende advantages afhandelen die voortkomen uit gelokaliseerde segment-rewards.

3. Belangrijkste Bijdragen

Formulering: Het artikel formuleert long-horizon video editing als een taak-lokaal artifact preference credit assignment probleem, waarbij verifieerbare procesfeedback wordt gescheiden van subjectieve eindproduct-beoordeling.
Algoritme (GRPB): Een nieuwe methode die zero-sum binnen-taak rank advantages combineert met een lagged, reliability-gated en gecapte segment allocator. Het garandeert exacte return conservation en voorkomt dat huidige oordelen direct vorm geven aan dezelfde rollout groep.
Dataset en Evaluatie: De auteurs hebben handmatig een project-disjoint, horizon-gestratificeerde suite van 70 realistische editing-taken (12 normaal, 12 medium, 46 long-horizon) geconstrueerd met project-disjoint splits om data leakage te voorkomen.

4. Experimentele Resultaten

De auteurs evalueerden een 9B parameter model (Crayotter) getraind met GRPB tegen verschillende baselines en externe benchmarks.

Gematchte Baselines (AgenticVBench):
- GRPB behaalde de hoogste gemiddelde score (15,7%) op de AgenticVBench, waarmee het Process-PPO (13,7%) en Terminal Rank PPO (12,0%) overtrof.
- Specifiek excelleerde GRPB in de "Repurpose" pillar (23,0%), een metriek die sterk overeenkomt met editing-taken.
- Ablatie-studies toonden aan dat het verwijderen van het lag-mechanisme of de reliability safeguards leidde tot een daling in prestaties onder het niveau van Process-PPO, wat de noodzaak van beschermde, gedifferentieerde credit bevestigt.
Credit Localization:
- In gecontroleerde interventies waarbij een enkel segment werd verslechterd, behaalde GRPB 20,8% Top-1 lokalisatie (het identificeren van het verslechterde segment) en 85,7% paargewijze nauwkeurigheid in ordening, waarmee het uniform allocatie (11,9%) en terminal broadcast (1,8%) aanzienlijk overtrof.
Externe Benchmarking:
- Op de volledige AgenticVBench (100 disjoint taken) rangschikte Crayotter-9B derde onder de genoemde systemen, waarmee het verschillende propriëtaire alternatieven overtrof en Gemini 3.1 Pro evenaarde op de Repurpose taak.
Menselijke Evaluatie:
- In geblindeerde menselijke preferentie-tests behaalde GRPB een positieve net win rate tegen alle tegenstanders, inclusclusief een 34,2% net win rate over het basismodel en 8,0% over Process-PPO.

5. Betekenis en Claims

Het artikel claimt dat GRPB een praktische aanpak biedt voor het leren van subjectieve, vertraagde uitkomsten in multistage productie-taken. Door ambigue globale scores om te zetten in gecontroleerde, binnen-taak ordinale vergelijkingen en krediet te lokaliseren via een lagged allocator, stelt de methode agents in staat om zowel editing-gedrag als de gerenderde productkwaliteit te verbeteren zonder dat daarvoor kruis-taak score-kalibratie nodig is.

De auteurs positioneren dit werk als een fundament voor andere subjectieve, multi-oplossing, multistage productie-taken, waarbij zij aantonen dat taak-lokale vergelijking en conservatieve credit-allocatie effectief het gat kunnen overbruggen tussen de beoordeling van het finale artefact en de intermediaire policy optimalisatie. Het resulterende Crayotter-model demonstreert dat open-source agents kunnen concurreren met, en in sommige gevallen zelfs superieur kunnen zijn aan, propriëtaire systemen in complexe video-editing domeinen.