💻 computer science

CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

CogOmniControl is een redeneringsgestuurd raamwerk dat gecontroleerde videogeneratie verbetert door een gespecialiseerde CogVLM voor accurate creatieve intentieherkenning te integreren met een verenigde CogOmniDiT-generator en een gesloten-lus Best-of-N-selectiemechanisme, waardoor superieure prestaties op professionele benchmarks worden bereikt in vergelijking met bestaande modellen.

Oorspronkelijke auteurs: Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongji Yang, Songlian Li, Yucheng Zhou, Xiaotong Zhao, Alan Zhao, Chengzhong Xu, Jianbing Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent die probeert een complexe scène uit te leggen aan een team van animatoren. Je hebt een ruwe schets (een storyboard), een kleimodel van een personage, en een paar vage notities zoals "laat het regenachtig en triest aanvoelen".

In het verleden waren AI-videogeneratoren als animatoren die alleen strikte, pixel-perfecte instructies konden volgen. Als je hen een ruwe schets gaf, raakten ze in de war, produceerden ze een modderige puinhoop, of negeerden ze je emotionele notities volledig. Ze misten het "creatieve brein" om te begrijpen waarom je wilde dat de scène er op een bepaalde manier uitzag.

CogOmniControl is een nieuw systeem dat dit probleem moet oplossen. Het fungeert als een super-slimme creatieve directeur die tussen jou (de gebruiker) en het animatieteam (de AI-generator) zit. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het Probleem: De "Vertalingskloof"

Huidige AI-videotools zijn goed in dingen realistisch laten lijken, maar ze worstelen wanneer je hen abstracte of rommelige instructies geeft (zoals een handgetekende schets of een kleimodel).

De Oude Manier: Je geeft een schets; de AI probeert de lijnen exact na te bootsen, maar mist het gevoel of het verhaal.
Het Resultaat: De video ziet er verkeerd uit, het gezicht van het personage verandert (identiteitsdrift), of de beweging is haperend.

2. De Oplossing: Een Tweeledig Team

De auteurs bouwden een systeem met twee hoofdrolspelers die samenwerken:

Rol A: De "Creatieve Directeur" (CogVLM)

Stel je dit voor als een hoogopgeleide filmregisseur die duizenden professionele anime-productievideo's heeft gezien.

Wat het doet: Het kijkt niet alleen naar je schets; het begrijpt je intentie. Als je een schets toont van een personage in de regen, ziet deze "Directeur" niet alleen lijnen. Het redeneert: "Oké, het personage is verdrietig, de grond moet nat zijn, de regen moet rimpelen, en het licht moet somber zijn."
De Magie: Het zet je vage, abstracte ideeën om in een dicht, gedetailleerd plan. Het fungeert als vertaler en zet je "creatieve intentie" om in een duidelijke set instructies die de computer daadwerkelijk kan volgen.
Training: Ze leerden deze Directeur met echte data uit professionele animatiestudio's (storyboards en kleirenders), niet zomaar willekeurige internetvideo's. Dit maakt het een expert in "hoe dingen er zouden moeten uitzien" in plaats van alleen "hoe dingen er uitzien".

Rol B: De "Animator" (CogOmniDiT)

Dit is de daadwerkelijke videogenerator, degene die de pixels schildert.

Wat het doet: Het neemt het gedetailleerde plan van de Creatieve Directeur en de originele schets, en bouwt de video.
De Magie: Omdat het luistert naar het gedetailleerde plan van de Directeur, weet het precies hoe het personage moet bewegen, hoe de kleding moet wapperen en hoe het licht moet veranderen. Het raadt niet zomaar; het volgt een logische routekaart.

3. Het "Harnas"-Systeem: De Kwaliteitscontrolelus

Hier komt het slimste deel. Normaal gesproken genereer je een video en hoopt je dat het goed is. CogOmniControl voegt een Kwaliteitscontroleharnas toe.

Het Idee: Voordat de uiteindelijke video wordt getoond, fungeert de Creatieve Directeur (CogVLM) als een producent. Het zegt: "Oké, we moeten drie dingen controleren: Is het gezicht van het personage consistent? Beweegt de regen natuurlijk? Is het licht goed?"
Het Proces:
1. Het systeem genereert meerdere versies van de video (alsof je 4 verschillende takes probeert).
2. De Directeur kiest specifieke "Inspecteurs" (beoordelaars) op basis van wat de scène nodig heeft. Als de scène een specifiek personage heeft, kiest het een "Identiteitsinspecteur". Als het een storm is, kiest het een "Fysica-inspecteur".
3. Deze inspecteurs beoordelen de video's.
4. Het systeem kiest de beste (Best-of-N) en toont die aan jou.

4. De Nieuwe "Testritten" (Benchmarks)

Om te bewijzen dat hun systeem werkt, gebruikten de auteurs niet zomaar standaardtests. Ze bouwden twee nieuwe "testbanen" genaamd CogReasonBench en CogControlBench.

Deze banen zitten vol met echte professionele uitdagingen (zoals het omzetten van een ruw storyboard in een filmscène).
Ze ontdekten dat hun systeem, CogOmniControl, beter presteerde dan alle andere open-source modellen en zeer dicht in de buurt kwam van de beste dure, gesloten systemen.

Samenvattende Analogie

Stel je voor dat je een zeer specifieke, complexe cake wilt bakken.

Oude AI: Je geeft het een servet met een krabbel van een cake. Het probeert de krabbel exact na te bootsen, wat resulteert in een verbrande, misvormde puinhoop.
CogOmniControl: Je geeft het servet aan een Meesterkok (CogVLM). De Kok leest je krabbel, begrijpt dat je een "vochtige chocoladecake met een frambozenkern" wilt, en schrijft een precies recept. Vervolgens volgt de Bakker (CogOmniDiT) dat recept perfect. Tot slot proeft de Kok een paar batches, kiest de beste uit met een specifieke checklist, en serveert je de perfecte cake.

Het paper beweert dat deze aanpak de kloof overbrugt tussen "vage menselijke ideeën" en "precieze computertoevoering", waardoor het mogelijk wordt om hoogwaardige, professioneel ogende video's te genereren vanuit eenvoudige schetsen en abstracte ideeën.

Technische Samenvatting: CogOmniControl

1. Probleemstelling

Recente op diffusie gebaseerde video-generatiemodellen hebben aanzienlijke vooruitgang geboekt op het gebied van fotorealisme en vloeiende beweging. Ze blijven echter kwetsbaar wanneer ze worden geconfronteerd met abstracte, schaarse of complexe controlecondities die gebruikelijk zijn in professionele productieworkflows (bijvoorbeeld storyboardschetsen, kleurenders). Bestaande aanpakken vallen doorgaans in twee categorieën:

Adapter-gebaseerde methoden: Deze injecteren condities via extra modules, maar missen vaak de flexibiliteit om diverse, niet-pixel-uitgelijnde beperkingen te hanteren, wat leidt tot artefacten en identiteitsdrift.
Generieke VLM-gekoppelde methoden: Deze integreren algemene Vision-Language Models (VLM's) om condities te interpreteren. Echter, generieke VLM's worstelen met het begrijpen van onderliggende creatieve intenties in professionele contexten, en falen vaak bij het formuleren van generatieplannen die zijn verankerd in domeinspecifieke kennis. Bovendien kunnen hun redeneeruitvoer ruis introduceren, en bestaat er een misalignatiekloof tussen het abstracte redeneren van de VLM en de uiteindelijke pixel-niveau video-generatie.

De kernuitdaging is het overbruggen van de kloof tussen abstracte gebruikerscondities en trouwe, hoogwaardige controleerbare video-generatie die overeenkomt met de ware creatieve intentie.

2. Methodologie

De auteurs stellen CogOmniControl voor, een door redenering gedreven raamwerk dat controleerbare video-generatie ontbindt in twee distincte fasen: Creatieve Intentie Cognitie en Generatie. Het raamwerk bestaat uit twee hoofdbestanddelen: CogVLM en CogOmniDiT.

2.1 CogVLM: Creatieve Intentie Cognitie

CogVLM is een gespecialiseerd Vision-Language Model dat is getraind om te fungeren als een "professionele regisseur". Zijn rol is het opnemen van multimodale invoer (Controlevideo, Referentieafbeelding, Tekstuele Beschrijving) en het cogniseren van de creatieve intentie van de gebruiker, waarbij schaarse aanwijzingen worden omgezet in dichte, logische redeneeruitvoer.

Trainingsstrategie: CogVLM ondergaat een tweestaps trainingsproces:
1. Supervised Fine-Tuning (SFT): Getraind op authentieke anime-productiedata (storyboards, kleurenders) om professionele workflows te leren.
2. Reinforcement Fine-Tuning (RFT): Gebruikt een Holistic Reward en Fact Verification Reward-mechanisme (gebaseerd op LLM-as-a-Judge) om te optimaliseren voor Creatieve Intentie, Fysische Plausibiliteit, Informatie-integriteit en Bewegingsbeschrijving. Dit zorgt ervoor dat het redeneren feitelijk onderbouwd is en hallucinaties worden vermeden.
Output: CogVLM produceert een redeneeruitvoer die het generatieplan in detail beschrijft en, cruciaal, een set evaluatoren (tools) identificeert uit een vooraf gedefinieerde bibliotheek die geschikt is voor de specifieke invoercondities.

2.2 CogOmniDiT: Unificatie Video-generatie

CogOmniDiT is een Video Diffusion Transformer (DiT) die diverse controlesignalen binnen één enkele sequentie unificeert.

Invoersequentie: Het concateneert ruisige latents, latents van de referentieafbeelding, latents van de controlevideo en de hoog-niveau semantische embeddings van CogVLM.
Training: Het hanteert een drie-staps SFT-strategie (in-context generatie, connector-uitlijning, gezamenlijke training) gevolgd door RFT. De RFT aligneert de pixel-niveau output van de DiT met het hoog-niveau redeneren van CogVLM door beloningen voor het volgen van condities en video-kwaliteit.
Mechanisme: Door in-context learning te benutten, stelt CogOmniDiT condities en latents in staat zichzelf en elkaar te modelleren via self-attention, waardoor een precieze injectie van controlesignalen wordt gewaarborgd.

2.3 Gesloten-lus Verificatie (Evaluator Harness)

Een uniek kenmerk van CogOmniControl is zijn "harness-achtige" architectuur. In plaats van een vaste set evaluatoren voor alle generaties te gebruiken, selecteert CogVLM dynamisch specifieke evaluatoren (bijvoorbeeld Identiteitsconsistentie, Fysische Dynamiek, Volgen van Storyboardannotaties) op basis van de invoercondities.

Best-of-N Selectie: Het systeem genereert meerdere video-kandidaten ( $N$ ) en gebruikt de door CogVLM geselecteerde evaluatoren om ze te scoren. De kandidaat met de hoogste score wordt geselecteerd, waardoor een gesloten-lus Redeneren-Generatie-Verificatie-pijplijn ontstaat.

3. Benchmarks en Data

Om het gebrek aan benchmarks voor professionele creatieve intentie aan te pakken, introduceren de auteurs twee nieuwe datasets afgeleid van real-world professionele animatieproductiepijplijnen:

CogReasonBench: Ontworpen om het vermogen van de VLM te evalueren om creatieve intentie te cogniseren en redenering uit te voeren vanuit multimodale invoer.
CogControlBench: Ontworpen om de kwaliteit van controleerbare video-generatie en het volgen van condities onder abstracte en schaarse condities te evalueren.
In tegenstelling tot bestaande benchmarks die vaak gesimuleerde of synthetische data gebruiken, maken deze benchmarks gebruik van native data uit professionele workflows (storyboards, kleurenders) en hun corresponderende eindvideo's.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de voorgestelde benchmarks en vergeleken met state-of-the-art open-source modellen (bijvoorbeeld VACE, VINO, OmniWeaving) en propriëtaire systemen (bijvoorbeeld Kling, Seedance).

CogVLM Prestaties: Op CogReasonBench presteerde de met RFT getrainde CogVLM aanzienlijk beter dan generieke VLM's (bijvoorbeeld Qwen3-VL-Thinking) op Multimodale Intentie, Informatie-integriteit en Bewegingsbeschrijving, wat de noodzaak van domeinspecifieke training aantoont.
CogOmniControl Prestaties: Op CogControlBench behaalde CogOmniControl de hoogste gemiddelde score (0,727) onder open-source modellen, en overtrof VINO (0,686) en VACE-Wan2.1 (0,665). Het verkleinde de prestatiekloof met het sterkste propriëtaire systeem, Seedance2.0 (0,750).
Impact van Best-of-N: Het toepassen van de Best-of-N-selectie met adaptief gekozen evaluatoren verbeterde de prestaties verder (0,742), wat de effectiviteit van de gesloten-lus harness-architectuur valideert.
Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat CogOmniControl video's produceert met betere visuele consistentie, vloeiendere beweging en nauwkeurigere adherentie aan abstracte controles (zoals kleurenders) in vergelijking met adapter-gebaseerde methoden, die vaak lijden aan artefacten en semantische misalignatie.

5. Betekenis en Claims

Het artikel stelt dat CogOmniControl een verschuiving vertegenwoordigt van eenvoudige conditie-injectie naar door redenering gedreven generatie. De betekenis hiervan ligt in:

Overbruggen van de Cognitieve Kloof: Door een gespecialiseerde CogVLM te trainen op professionele data, interpreteert het raamwerk succesvol abstracte condities en aligneert ze met hoog-niveau creatieve intentie, een taak waarbij generieke VLM's falen.
Gesloten-lus Architectuur: De integratie van adaptieve evaluator-harnesses maakt een zelfcorrigerend generatieproces mogelijk, waardoor Best-of-N-selectie mogelijk is die is toegespitst op de specifieke creatieve intentie van elke invoer.
Professionele Relevantie: Door gebruik te maken van real-world productiedata en benchmarks, adresseert het raamwerk de specifieke behoeften van professionele workflows (storyboarding, kleurenders) in plaats van alleen algemene tekst-naar-video-taken.

De auteurs concluderen dat CogOmniControl consequent beter presteert dan bestaande open-source controleerbare video-generatoren en aantoont dat door redenering gedreven raamwerken de complexiteiten van professionele video-productie effectief kunnen hanteren.