💻 computer science

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Dit artikel introduceert Goku, een grootschalige dataset van 2 miljoen instructie-uitgelijnde video-bewerkingsparen die complexe multi-task en structurele manipulaties beslaat, samen met het Goku-Edit model en de Goku-Bench benchmark, om de instructiegebaseerde videobewerkingsmogelijkheden verder te brengen dan eenvoudige uiterlijke veranderingen.

Oorspronkelijke auteurs: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische video-editor hebt die alles in een film kan veranderen door simpelweg een zin te typen zoals: "Laat de hond sneller rennen en maak de lucht paars." Een lange tijd waren deze magische tools als onhandige leerlingen: ze konden een shirtkleur aanpassen of een rondligend object verwijderen, maar als je een personage door een kamer wilde laten bewegen of de camerahoek wilde veranderen, raakten ze in de war, bevroren ze of maakten ze er een puinhoop van.

Het paper introduceert Goku, een enorm nieuw project dat is ontworpen om deze magische editors te trainen om echte meesters te worden. Hier is de uitsplitsing van wat ze hebben gedaan, eenvoudig uitgelegd:

1. Het Probleem: De "Eendelige Wonder"-datasets

Voorheen was de trainingsdata voor deze AI-video-editors als een bibliotheek vol boeken over slechts één onderwerp: het veranderen van de kleur van een auto. Als je wilde leren hoe je een auto bestuurt (een onderwerp beweegt) of het decor verandert ( camerabeweging), had de bibliotheek geen boeken over die onderwerpen. De AI-modellen zaten vast omdat ze alleen eenvoudige "kleurplaat-taken" konden uitvoeren.

2. De Oplossing: De "Goku"-bibliotheek

De onderzoekers hebben Goku gebouwd, een enorme dataset met 2 miljoen videopaartjes. Denk aan het bouwen van een gigantische, high-tech trainingsgym voor AI.

Wat zit erin? In tegen tegenstelling tot eerdere bibliotheken, bevat deze complexe uitdagingen. Het bevat video's waarin de camera ronddraait, waarin een persoon van de ene naar de andere kant van de kamer beweegt, en waarin meerdere veranderingen tegelijkertijd plaatsvinden (bijv. "Vervang het shirt EN voeg een hoed toe").
Hoe hebben ze het gemaakt? Ze hebben deze video's niet gewoon gefilmd; ze hebben een robotfabriek gebouwd om ze te creëren. Ze gebruikten geavanceerde AI om complexe verzoeken op te splitsen in kleine, beheersbare stappen. Om bijvoorbeeld een hond te laten rennen, leerden ze de AI eerst hoe ze een hond in een enkele afbeelding konden laten rennen, en vervolgens hoe ze die afbeelding vloeiend in een video konden laten bewegen.
De Kwaliteitscontrole: Om ervoor te zorgen dat de video's geen rommel waren, installeerden ze een "triple-check" beveiligingssysteem. Elke video werd drie keer gecontroleerd door een super slimme AI (Gemini) om te controleren of de instructies werden opgevolgd, of de beweging er echt uitzag en of de video niet glitchte. Ze gooiden ongeveer 88% van de pogingen weg om alleen de beste 2 miljoen over te houden.

3. De Nieuwe Tool: Goku-Edit

Met deze nieuwe bibliotheek bouwden ze een nieuwe video-editor genaamd Goku-Edit.

De Hersenen: In plaats van alleen tekst te lezen, gebruikt deze editor een "Multimodale Large Language Model" (MLLM). Denk aan het geven van een brein aan de editor waardoor deze het verhaal en de instructies daadwerkelijk kan begrijpen, in plaats van alleen trefwoorden te matchen.
De Tweehandige Aanpak: De grootste innovatie is dat de editor twee "handen" heeft die samenwerken:
- Hand A (De Architect): Deze hand tekent een ruwe kaart (een masker) van waar de veranderingen moeten plaatsvinden. Deze focust op structuur en beweging.
- Hand B (De Schilder): Deze hand focust op de details, kleuren en texturen.
- Waarom dit belangrijk is: Door het "waar" te scheiden van het "wat", raakt de editor niet in de war. Hij weet precies waar hij de hond moet bewegen zonder per ongeluk de vacht van de hond blauw te schilderen.
De "Spatial CFG": Dit is een chique term voor een vangnet. Het zorgt ervoor dat wanneer de editor een verandering maakt, deze niet per ongeluk over de rand gaat en de rest van de video verpest. Het houdt de veranderingen strak en precies.

4. De Test: Goku-Bench

Om te bewijzen dat hun nieuwe editor de beste is, creëerden ze een nieuwe test genaamd Goku-Bench.

In plaats van eenvoudige tests, gaven ze de AI 1.000 moeilijke uitdagingen, zoals "Beweeg de camera naar links terwijl de kat springt."
Ze gebruikten 7 nieuwe manieren om de resultaten te beoordelen, waarbij ze keken naar zaken als "Viel de fysica logisch?" en "Bewoog de camera vloeiend?".
Het Resultaat: Goku-Edit versloeg alle andere open-source modellen en verbeterde het vermogen om instructies op te volgen met wel 8%. Het was bijzonder goed in het verplaatsen van objecten en het afhandelen van complexe, meerstaps verzoeken waarbij andere modellen faalden.

Samenvatting

Kortom, het paper zegt: "We hebben een enorme, hoogwaardige trainingsbibliotheek gebouwd (Goku) die AI leert hoe het complexe video-bewerkingen kan doen, en niet alleen eenvoudige kleurveranderingen. We hebben een nieuwe editor gebouwd (Goku-Edit) die een tweeledig systeem gebruikt om structuur en details apart te begrijpen, en we hebben bewezen dat het beter werkt dan alles wat er nu is via een nieuwe, moeilijkere test (Goku-Bench)."

Ze hebben niet beweerd dat deze technologie klaar is voor ziekenhuizen of specifieke klinische toepassingen; ze richtten zich volledig op het slimmer, flexibeler en in staat maken van AI voor complexe creatieve verzoeken bij video-bewerking.

Technisch Overzicht: Goku: Een Universele Dataset en Benchmark op Miljoenschaal voor Instructie-gebaseerde Videobewerking

1. Probleemstelling

Bestaande datasets en modellen voor instructie-gebaseerde videobewerking (IVE) zijn grotendeels beperkt tot single-task uiterlijkheidsbewerking (bijv. objectverwijdering, attribuutwisseling of stijltransformatie). Ze voldoen niet aan de complexe, veelzijdige eisen van realistische scenario's, omdat ze specifiek een tekort vertonen op het gebied van:

Structurele manipulaties: Precieze controle over beweging van onderwerpen en camerabewegingen.
Multi-task bewerking: Het gelijktijdig uitvoeren van meerdere bewerkingsinstructies (bijv. een object toevoegen terwijl de stijl wordt gewijzigd).
Referentie-gestuurde bewerking: Bewerken op basis van door de gebruiker verstrekte referentiebeelden met variaties in pose of belichting.

Huidige datasets kampen vaak met nauwe taakdefinities, onvoldoende strikte filtering die leidt tot kwalitatief lage of statische monsters, en een gebrek aan benchmarks die in staat zijn deze complexe structurele en multi-task capaciteiten te evalueren.

2. Methodologie

Het artikel stelt een uitgebreide oplossing voor bestaande uit een grootschalige dataset (Goku), een robuuste datasynthese-pipeline, een nieuw bewerkingsmodel (Goku-Edit) en een rigoureuze benchmark (Goku-Bench).

A. De Goku Dataset (2 Miljoen Paren)

Goku is een hoogwaardige, instructie-gealigneerde dataset die 2 miljoen video-bewerkingsparen bevat. Het breidt de reikwijdte van IVE uit naar:

Basale Bewerkingen: Toevoegen, Verwijderen, Wisselen, Veranderen, Stijltransformatie.
Structurele Bewerkingen: Onderwerpsoverwegingen (actie/positie variatie) en Camerabeweging (pan, zoom, etc.).
Complexe Bewerkingen: Multi-task bewerking (2–5 taken simultaan) en Referentie-gebaseerde bewerking.

Datasynthese Pipeline:
Om deze schaal aan data te genereren met behoud van semantische precisie en temporele coherentie, hebben de auteurs een geautomatiseerde pipeline ontworpen:

Pre-processing: 1 miljoen hoogwaardige clips geselecteerd uit Koala-36M op basis van esthetische scoring, bewegingsanalyse en OCR-gebaseerde watermerkverwijdering.
Instructiegeneratie: Gebruik gemaakt van Gemini2.5-Pro (een MLLM) om diverse, gestructureerde bewerkingsinstructies te genereren en manipuleerbare objecten te identificeren.
Taakspecifieke Generatie:
- Uiterlijkheid: Gebruikt VACE voor het wisselen/veranderen en een dualiteitsbenadering (Verwijderen $\to$ Rollen wisselen $\to$ Toevoegen) voor insertie.
- Stijltransformatie: Gedecodeerd in het stylen van het eerste frame (Flux), het extraheren van dieptekaarten, en het propageren van stijl via VACE om temporele consistentie te waarborgen.
- Structureel: Complexe taken gedecodeerd. Voor Onderwerpsoverwegingen werd actievariatie gebruikt via Wan2.2, terwijl positievariatie Flux (frame-niveau verschuiving) en Wan2.2 (video generatie) combineerde. Camerabeweging maakte gebruik van RecamMaster.
- Multi-Task: Uitgevoerd als een sequentiële keten van single-task bewerkingen.
Progressief Filteringsysteem: Een drielaags kwaliteitscontrolesysteem aangedreven door Gemini2.5-Pro en geometrische controles:
- Laag 1: Bronvideo filtering (esthetiek, beweging, watermerken).
- Laag 2: Conditie verificatie (mask IoU, semantische consistentie van instructies versus doelwitten).
- Laag 3: Post-synthese validatie (inter-frame consistentie, frequentie-artefacten, fotorealisme). Deze laag filtert ongeveer 88% van de gesynthetiseerde monsters om hoge getrouwheid te garanderen.

B. Goku-Edit Model Architectuur

Goku-Edit is een dual-branch framework ontworpen om complexe instructies en structurele controle te verwerken:

Dual-Branch Design:
- Main Branch: Genereert de bewerkte video ( $V_e$ ) geconditioneerd op tekst, bronvideo en referentieafbeelding.
- Auxiliary Branch: Voorspelt de bewerkingsmasker ( $M$ ) om ruimtelijke gronding te bieden. Deze opereert op een ruimtelijk gedownsamplede versie van de bronvideo.
- Encoder: Beide branches maken gebruik van een bevroren Multimodale Large Language Model (MLLM) (Qwen3VL-8B) als tekstencoder om het semantisch begrip van complexe instructies te verbeteren.
RoPE-Aligned Spatial Cross-Attention:
- Om de ruimtelijke mismatch tussen de hoog-resolutie videotak en de laag-resolutie maskertak ( $1/n$ resolutie) op te lossen, stellen de auteurs voor de positie-indices van de maskertak te schalen met factor $n$ vóór de RoPE-berekening.
- Dit brengt maskertokens in kaart naar een verenigd fysiek coördinatenstelsel, waardoor macro-niveau offsets worden geëlimineerd en de localiteitbias behouden blijft.
- Bidirectionele Attention: Bevat zowel Mask-to-Video (M2V) als Video-to-Mask (V2M) attention. V2M stelt de maskertak in staat om zijn voorspellingen te verfijnen op basis van de evoluerende staat van de main branch, wat grenscoherentie voorkomt.
Spatial Enhanced CFG (SpatialCFG):
- Een training-vrije inferentiestrategie die cross-branch ruimtelijke beperkingen versterkt.
- Het contrasteert gekoppelde voorspellingen (met cross-attention) met ontkoppelde baselines (met null latents) om het ruimtelijke signaal dat door de maskertak wordt geïnjecteerd te isoleren en te versterken.
- Dit onderdrukt 'editing spillover' en verbetert de grenscoherentie zonder extra training.

C. Goku-Bench

Een uitgebreide benchmark met 1.000 door mensen geverifieerde testgevallen die diverse onderwerpen, scènes en taakmoeilijkheden dekken (inclusclusief weinig licht en snelle beweging).

Metrics: Bevat 7 bewerkingsspecifieke metrieken:
1. Physical Rule Fidelity (PR): Naleving van natuurkundige regels.
2. Spatial Relationship Accuracy (SR): Correcte ruimtelijke ordening.
3. Instruction Following (IF): Volledigheid van multi-task uitvoering.
4. Overall Editing Quality (EQ): Visuele natuurlijkheid en consistentie.
5. Subject Motion (SuM): Realisme van de trajectorie van het onderwerp.
6. Camera Motion (CM): Nauwkeurigheid van camerabewegingstypes.
7. Style Transfer (ST): Feature gelijkenis voor stijl nauwkeurigheid.

3. Belangrijkste Resultaten

Geëvalueerd op Goku-Bench, vertoont Goku-Edit significante verbeteringen ten opzichte van state-of-the-art open-source modellen (bijv. LucyEdit, InsViE, Omni-Video) en concurreert het gunstig met commerciële modellen (Runway Gen-4, Luma Ray3).

Instruction Following: Bereikte tot +8% verbetering ten opzichte van andere open-source modellen.
Structurele & Multi-Task Prestaties: Presteerde aanzienlijk beter dan baselines in PR (Physical Rule Fidelity), SR (Spatial Accuracy), SuM (Subject Motion) en CM (Camera Motion), wat de bekwaamheid van de dataset valideert om modellen te trainen op complexe structurele taken.
Ablatie-studies:
- Data Kwaliteit: Modellen getraind op gefilterde Goku-data presteerden aanzienlijk beter dan die getraind op ongefilterde data of bestaande datasets (InsV2V, InsViE), wat de waarde van het progressieve filteringsysteem bevestigt.
- Architectuur: Het verwijderen van de MLLM-encoder, het dual-branch design, RoPE-alignment of SpatialCFG resulteerde in meetbare dalingen in prestaties, met name in ruimtelijke nauwkeurigheid en instructie-opvolging.
- Downsampling Factor: Een optimale downsampling factor van $n=4$ werd gevonden om een balans te vinden tussen textuurdetail en structureel signaal.
User Study: Goku-Edit rangschikte als eerste onder alle methoden in een gebruikersstudie met betrekking tot instructie-opvolging, videokwaliteit en temporele coherentie.

4. Betekenis en Claims

Het artikel beweert dat Goku een paradigmaverschuiving vertegenwoordigt in instructie-gebaseerde videobewerking door verder te gaan dan eenvoudige attribuutwijzigingen naar multi-task en structurele manipulaties.

Dataset Bijdrage: Het is de eerste dataset die expliciet structurele deformaties (onderwerp/camerabeweging) en multi-task bewerkingen op een miljoenschaal behandelt, waarmee een kritiek gat in huidig IVE-onderzoek wordt gedicht.
Methodologische Bijdrage: De voorgestelde Goku-Edit architectuur toont aan dat het ontkoppelen van structurele controle (mask branch) van de uiterlijkheidsrendering (main branch), gecombineerd met MLLM-gebaseerd redeneren en ruimtelijke uitlijning, essentieel is voor hoogwaardige complexe bewerking.
Benchmark Bijdrage: Goku-Bench vestigt een nieuwe standaard voor evaluatie door metrieken te introduceren die specifiek gericht zijn op fysieke plausibiliteit en ruimtelijk redeneren, zaken die voorheen werden genegeerd.

De auteurs concluderen dat hun werk de noodzakelijke data, het model en het evaluatiekader biedt om de kloof te overbruggen tussen de huidige generatieve AI-mogelijkheden en de complexe, creatieve eisen van realistische videoproductie.