Summer-22B: A Systematic Approach to Dataset Engineering and Training at Scale for Video Foundation Model

Dit rapport beschrijft de ervaringen met het trainen van Summer-22B, een video-fundatiemodel, en benadrukt dat dataset-engineering de grootste inspanning vereiste, terwijl architecturale variaties minder impact hadden dan verwacht en $\mu$P-hyperparameteroverdracht effectief bleek.

De kern

Stel je voor dat je een filmregisseur bent die een nieuwe, slimme robot wilt bouwen. Deze robot moet niet alleen films kunnen kijken, maar ook zelf nieuwe, prachtige video's kunnen bedenken en maken. Dit is precies wat de onderzoekers van Summer-22B hebben gedaan. Ze hebben een "videobasis-model" gebouwd, een soort super-intelligente motor die video's begrijpt en creëert.

In dit verslag vertellen ze hoe ze dit hebben gedaan, en het verrassende nieuws is: het bouwen van de motor (de architectuur) was niet het moeilijkste deel. Het moeilijkste was het verzamelen en sorteren van de beelden die de robot gaat leren.

Hier is een simpele uitleg van hun avontuur, vertaald naar alledaagse taal:

1. De Grote Uitdaging: Van Ruwe Steen tot Kunstwerk

Stel je voor dat je een enorme berg ruwe video's hebt opgeslagen: films, YouTube-video's, huisvideo's, alles door elkaar. Voor een robot is dit een chaos. Als je deze ruwe berg direct aan de robot geeft, leert hij niets zinnigs; hij ziet alleen chaos.

De onderzoekers zeggen: "We hebben ongeveer 50 miljoen video-fragmenten nodig, maar we moeten ze eerst 'opkuisen'."
Dit proces noemen ze Dataset Engineering. Het is alsof je een enorme berg aardappelen moet wassen, schillen, in gelijke stukjes snijden en sorteren op grootte voordat je ze kunt koken. Dit kostte verreweg de meeste tijd en energie, veel meer dan het ontwerpen van de robot zelf.

2. De "Lavender Data" Machine: De Super-Keuken

Om deze enorme berg video's te verwerken, bouwden ze een digitaal systeem dat ze Lavender Data noemen.

• Het idee: Stel je een gigantische keuken voor waar duizenden koks tegelijkertijd werken. Sommigen snijden, anderen wassen, weer anderen bakken.
• Het probleem: Als de koks niet goed samenwerken, krijg je een rommel.
• De oplossing: Lavender Data is de "hoofd-kok" die alles regelt. Het zorgt ervoor dat de video's die de koks zien (de engineers) exact hetzelfde zijn als wat de robot (de machine) later eet. Ze gebruiken slimme trucs om de video's razendsnel te verwerken, zodat de computer niet vastloopt. Ze hebben zelfs een manier gevonden om video's direct van de harde schijf naar het geheugen te slepen zonder ze eerst te kopiëren (een "zero-copy" truc), alsof je een boek direct in je hoofd leest zonder het eerst op te schrijven.

3. De Filter: Alleen de Beste Beelden

Niet elke video is goed om van te leren. De robot moet alleen kijken naar video's die:

• Bewegen (geen stilstaande dia's).
• Duidelijk zijn (geen wazige of zwarte beelden).
• Een verhaal vertellen (geen willekeurige flitsen).

Ze gebruiken een meerdere-stappen filter:

1. Scheiding: Ze knippen lange films in korte, logische stukjes (zoals het knippen van een lange film in losse scènes).
2. Kwaliteitscheck: Een slimme AI kijkt of de video mooi is (kleuren, scherpte).
3. Beweging: Ze kijken of er echt beweging is (geen statische foto's).
4. Duplicaten: Als er 100 bijna identieke video's zijn, houden ze er maar één of twee over. Het is alsof je 100 keer hetzelfde liedje hoort; dat leert je niets nieuws.

4. De Robot: Simpel is Beter

Vaak denken mensen dat je een super-complexe robot nodig hebt om slimme video's te maken. Maar de onderzoekers ontdekten iets verrassends:

• De ontdekking: Of je nu een simpele robot bouwt of een complexe met speciale "vensters" en extra hersenen, ze leren bijna even snel en even goed.
• De les: Het maakt niet uit hoe complex de motor is; het maakt uit wat de motor eet. Een simpele robot met perfecte, schone data doet het beter dan een complexe robot met rommelige data. Ze kozen daarom voor een simpele, stabiele robot (een "vanilla transformer") en focusten zich op het voer.

5. De Leermeester: µP (Maximal Update Parameterization)

Hoe leer je een robot iets nieuws zonder hem te "overvoeren" of hem te laten vergeten wat hij al wist?
Ze gebruiken een slimme techniek genaamd µP.

• De analogie: Stel je voor dat je een kind leert fietsen. Je begint met een klein fietsje (een klein model). Als je weet hoe je dat kind moet aansturen (welke pedaalkracht, welke stuurhoek), kun je diezelfde regels gebruiken voor een groot volwassensfiets, zonder alles opnieuw te moeten uitvinden.
• µP zorgt ervoor dat wat ze leerden op een klein model, direct werkt op hun enorme model. Dit bespaarde hen maanden van proberen en fouten maken.

6. De "Hypersfeer": Een Strikte Regel voor de Robot

Normaal gesproken laten ze de gewichten van de robot (zijn "hersenen") vrij groeien of krimpen. Maar ze deden iets anders: ze dwongen de robot om zijn "hersenen" altijd op een perfecte afstand van het centrum te houden.

• De analogie: Stel je voor dat de robot een danser is die altijd op een perfecte cirkel moet blijven dansen. Hij mag niet naar binnen of buiten stappen.
• Het voordeel: Dit maakt de dans (het leren) veel stabieler. De robot struikelt minder vaak en leert sneller. Het is alsof je een auto op een spoor legt in plaats van over een hobbelig veld te laten rijden.

7. Het Resultaat: Een Slimme, Betaalbare Robot

Na al dit werk hebben ze Summer-22B.

• Kosten: Het kostte ongeveer $300.000 (waarvan de helft voor de rekenkracht). Dat klinkt veel, maar voor een AI die video's maakt, is dit een spotprijs vergeleken met de miljarden die grote bedrijven uitgeven.
• Prestatie: De robot maakt prachtige video's. Hij is goed in natuurkunde (hoe dingen bewegen) en realisme, maar hij is nog niet zo creatief als de allerbeste commerciële robots. Hij mist soms de "magie" van een heel origineel idee, maar dat komt omdat ze niet genoeg variëteit in hun trainingsdata hadden.

Conclusie: Wat hebben we geleerd?

De belangrijkste les van dit verhaal is: Data is koning.
Je kunt de meest geavanceerde robot bouwen, maar als je hem slecht voert, wordt hij dom. Als je hem echter de allerbeste, scherpst geselecteerde beelden geeft, wordt hij een genie, zelfs met een relatief simpele motor.

De onderzoekers zeggen: "We hebben bewezen dat je geen miljarden nodig hebt om een slimme video-AI te bouwen. Je hebt vooral geduld, een goede keuken (Lavender Data) en de juiste leermeester (µP) nodig."

Technische samenvatting

Probleemstelling

De ontwikkeling van videofoundatiemodellen (video foundation models) vormt een aanzienlijke uitdaging in het machine learning-domein. Het vereist de intersectie van drie complexe gebieden:

1. Grootschalige dataset-engineering: Het transformeren van ruwe videofeetage naar trainingsklaar materiaal met behoud van semantische coherentie en visuele kwaliteit.
2. Efficiënte trainingsmethodieken: Het vinden van optimale strategieën voor het trainen van grote modellen zonder onbeperkte rekenkracht.
3. Zorgvuldige optimalisatie: Het stabiliseren van het trainingsproces bij schaalvergroting.

Traditionele autoregressieve modellen vereisen vaak honderden miljoenen tot miljarden clips voor training. Diffusiemodellen beloven echter betere data-efficiëntie, maar de praktische uitdagingen bij het bouwen van een dergelijk model "vanaf nul" (van ruwe data tot een functioneel model) zijn onderbelicht in de literatuur. De auteurs stellen dat dataset-engineering en optimalisatie vaak meer moeite kosten dan de architecturale exploratie zelf.

Methodologie

De auteurs presenteren Summer-22B, een videodiffusiemodel getraind op ongeveer 50 miljoen videoclips (ongeveer 500 miljard tokens). De aanpak is gebaseerd op een systematische integratie van data-engineering, geometrische optimalisatie en geavanceerde parameterisatie.

1. Dataset Engineering en de "Lavender Data" Systeem

De kern van de aanpak ligt in de data-kwaliteit en -beheer:

• Metadata-gedreven verzameling: In plaats van willekeurige verzameling, wordt gebruikgemaakt van een query-gebaseerde strategie om diverse semantische categorieën te dekken, gevolgd door een balansering op basis van vocabulaire-distributies (geïnspireerd door MetaCLIP).
• Preprocessing-pijplijn:
  • Shot Boundary Detection: Een tweestapsproces met PySceneDetect (snel, heuristisch) en TransNetV2 (nauwkeurig) om ongewenste abrupte cuts te verwijderen en coherente clips (3-30 seconden) te isoleren.
  • Multi-stadium filtering: Visuele filters (kleurdiversiteit, statische content), bewegingsfilters (optische flow, voorgrond/achtergrond dynamiek) en kwaliteitsfilters (DOVER voor esthetische scoring).
  • Hiërarchische bijschriften: Generatie van bijschriften op drie niveaus (gedetailleerd, kort, ultra-kort van 3 woorden) met een fijngetuned Qwen 2.5 VL model. De ultra-korte bijschriften dienen als "semantische bakken" voor ontdubbeling.
  • GPU-versnelde ontdubbeling: Een aangepaste Mini-Batch K-means implementatie met Bradley-Fayyad initialisatie op GPU's om near-duplicates binnen semantische bakken te verwijderen.
• Lavender Data Systeem: Een uniek data-managementplatform dat visualisatie, filtering en streaming voor training verenigt. Het garandeert strikte pariteit tussen wat engineers zien en wat het model consumeert, en ondersteunt stream-merging voor efficiënte dataset-evolutie zonder herschrijving.

2. Architectuur en Training

• Architectuur: Het model gebruikt een "vanilla" Transformer-architectuur met minimale domeinspecifieke aanpassingen, behalve 3D Rotary Position Embeddings (RoPE) voor spatiotemporele posities.
  • Inference-aware design: Een parallelle MLP- en Attention-structuur waarbij beide berekeningen gelijktijdig plaatsvinden, wat de inferentielatentie met ongeveer 20% verlaagt.
  • Stabiliteit: Gebruik van Value Residual Connections en Adaptive Layer Normalization om instabiliteiten te voorkomen.
• Hypersphere-constrained Optimization:
  • De auteurs construeren de gewichtsmatrices zodanig dat de rijen een eenheidsnorm hebben (liggen op een hypersfeer).
  • Dit wordt geformuleerd als Riemanniaanse gradiëntafdaal op een sfeer-manifold. Gradiënten worden geprojecteerd op de raakruimte van de sfeer en vervolgens via een "retraction" teruggebracht naar de sfeer.
  • Voordeel: Dit elimineert de noodzaak voor expliciete weight decay en biedt een duidelijke geometrische interpretatie van de optimalisatie.
• Maximal Update Parameterization (µP):
  • µP wordt gebruikt om hyperparameters (zoals leerstappen) over te dragen van kleine schaal (30M parameters) naar grote schaal (1B parameters).
  • Een belangrijke innovatie is dat de auteurs aantonen dat µP werkt in combinatie met de hypersfeer-beperkingen. De geometrische beperking (unit norm) komt van nature overeen met de µP-initialisatie.
• Schalingswetten: Empirisch werd vastgesteld dat de optimale leersnelheid schaalt met $\sqrt{B}$ (batch size) en $1/\sqrt{T}$ (trainingsduur). Dit stelt hen in staat om hyperparameters van kleine experimenten succesvol over te dragen.

Belangrijkste Bijdragen

1. Comprehensieve Video Preprocessing: Een schaalbare pijplijn (via Ray) voor shot-detectie, multi-stadium filtering, hiërarchische bijschriften en GPU-versnelde ontdubbeling, verwerkt op 50 miljoen video's.
2. Lavender Data Systeem: Een geïntegreerd systeem voor datasetvisualisatie en streaming dat de kloof tussen data-engineering en modeltraining overbrugt.
3. Nieuwe Combinatie van µP en Riemanniaanse Optimalisatie: Het is de eerste demonstratie dat µP hyperparameter-overdracht effectief blijft onder hypersfeer-beperkingen, wat de zoekruimte voor hyperparameters drastisch verkleint.
4. Inference-aware Architectuur: Een ontwerp dat inferentielatentie met ~20% verlaagt zonder trainingsstabiliteit te compromitteren.
5. Kosteneffectiviteit: Het project toont aan dat een competitief video-foundation model kan worden ontwikkeld voor ongeveer $300.000 (waarvan $150.000 voor compute), wat de toegankelijkheid van dit veld vergroot.

Resultaten

• Prestaties: Summer-22B werd geëvalueerd op de VBench 1.0 en VBench 2.0 benchmarks.
  • Het model behaalde een totaalscore van 0.539 op VBench 2.0.
  • Dit is vergelijkbaar met de open-source Wan 2.2-5B (0.575), die getraind is op aanzienlijk meer data, en benadert de prestaties van grotere modellen.
  • Het model scoort goed op lagere kwaliteitsmetrieken (flickering, bewegingssmoothness) en fysica, maar toont nog gaten in creativiteit en controleerbaarheid, waarschijnlijk door beperkte prompt-diversiteit tijdens training.
• Efficiëntie: De combinatie van dataset-engineering en µP resulteerde in een aanzienlijke reductie van de kosten voor hyperparameter-optimalisatie.
• Stabiliteit: Het monitoren van de "µP band" (het verwachte bereik van parameter-normen) bleek cruciaal om trainingsinstabiliteiten vroegtijdig te detecteren, zelfs wanneer de verliescurve (loss curve) nog stabiel leek.

Betekenis en Conclusie

Dit paper benadrukt een verschuiving in focus binnen het veld van videofoundatiemodellen: dataset-engineering en optimalisatiestrategieën zijn vaak belangrijker dan architecturale innovatie.

De belangrijkste inzichten zijn:

• De meeste ontwikkelingstijd wordt besteed aan data-curatie, niet aan het ontwerpen van nieuwe modelarchitecturen.
• Simpele architecturen (vanilla Transformers met 3D RoPE) presteren binnen het geteste regime (tot 1B parameters) net zo goed als complexere varianten.
• De combinatie van µP en hypersfeer-constrained optimization is een krachtige, kosteneffectieve methode voor het trainen van grote modellen met minder hyperparameter-tuning.
• Het is haalbaar om state-of-the-art videomodellen te bouwen met een beperkt budget, mits er systematisch wordt omgegaan met data-kwaliteit en trainingsdynamiek.

De auteurs kondigen aan dat ze van plan zijn het Lavender Data systeem open-source te maken en de modelgewichten vrij te geven om reproducibiliteit en verdere research in het veld te stimuleren.