Technische Samenvatting: CoT-Edit: Laat CoT de Instructie-videobewerking Leiden

1. Probleemstelling

Tekstgestuurde instructiegebaseerde videobewerking staat voor aanzienlijke uitdagingen in complexe realistische scenario's, met name bij het omgaan met meerdere gelijktijdige objecten, dicht verdeelde vergelijkbare entiteiten of dynamische interacties. Zuiver tekstuele prompts falen vaak in het vastleggen van precieze ruimtelijke relaties en fysieke beperkingen, wat leidt tot:

• Doelambiguïteit: Moeite met het selecteren van het beoogde object tussen vergelijkbare objecten (bijv. het veranderen van de "gele hond" wanneer er meerdere honden aanwezig zijn).
• Fysieke Onwaarschijnlijkheid: Het niet respecteren van bewegingstrajecten, schaal of contactrelaties (bijv. een object dat in een onmogelijk patroon vliegt of de zwaartekracht negeert).
• Lokalisatie-drift: Onnauwkeurige ruimtelijke gronding die resulteert in bewerkingen die de verkeerde regio's beïnvloeden of een gebrek aan temporele stabiliteit vertonen.

Bestaande methoden vertrouwen vaak op grootschalige datasets en modellen met een hoge capaciteit om deze beperkingen impliciet te leren, maar lijden vaak aan onvoldoende ruimtelijke gronding. Bovoltrek leidt het genereren van maskers uitsluitend op basis van ambigue tekst tot de verspreiding van semantische onzekerheid naar de ruimtelijke laag, wat de kwaliteit van de bewerking compromitteert.

2. Methodologie: Het Plan–Guide–Edit Framework

De auteurs stellen een modulair framework voor dat de hoogwaardige semantische intentie en de laagwaardige ruimtelijke uitvoering expliciet overbrugt via drie kernstadia: Plan, Guide en Edit.

3.1. Planner: Semantisch–Ruimtelijke Planning met CoT

De Planner fungeert als een semantisch-ruimtelijke vertaler door gebruik te maken van een Chain-of-Thought (CoT)-verbeterd Multimodale Large Language Model (MLLM). In plaats van een directe single-pass output, voert de MLLM een gestructureerd, meerstaps redeneerproces uit op input-keyframes en tekstinstructies:

1. Taakparsing & Cross-Frame Perceptie: Identificeert de bewerkingsintentie (bijv. toevoeging, verwisseling) en volgt objecten door frames heen, waarbij camerabeweging wordt onderscheiden van objectbeweging.
2. Modellering van Fysica & Temporele Consistentie: Redeneert expliciet over fysieke beperkingen (zwaartekracht, occlusie, contact) en temporele continuïteit (verplaatsing, schaalveranderingen) om kinematische plausibiliteit te waarborgen.
3. Output Generatie: Produceert twee gestructureerde outputs:
   • Temporele Bounding Box Sequentie: Een sequentie van genormaliseerde bounding boxes ($\{b_t\}$) afgestemd op keyframes, die expliciete ruimtelijke ankers bieden.
   • Verrijkte Instructie: Een uitgebreide tekstuele beschrijving die doelattributen, ruimtelijke relaties en scènebeperkingen bevat.

3.2. Guide: Box-Gestuurde Maskergeneratie

De Guide-tak transformeert het moeilijke globale probleem van maskergeneratie naar een lokaal verfijningsprobleem door de outputs van de Planner te gebruiken als harde beperkingen.

• Box-Geconditioneerde Generatie: De bounding box-sequentie dient als een harde beperking, terwijl de verrijkte instructie en videofeatures fungeren als zachte beperkingen.
• Spatiotemporele Zelf-Aandacht: De tak deelt een hiërarchische architectuur met de Editor en maakt gebruik van zelf-aandacht voor temporele consistentie en cross-aandacht om semantische en ruimtelijke priors te injecteren.
• Bidirectionele Correctie:
  • Reverse-Connector: Voedt hoogwaardig semantisch begrip van de Editor terug naar de Guide om details in dunne structuren of geoccludeerde regio's te herstellen.
  • Mask-Connector: Injecteert verfijnde maskerfeatures terug in de Editor om te zorgen dat de laagwaardige ruimtelijke sturing behouden blijft over de lagen heen.
• Output: Genereert een temporeel consistente binaire maskersequentie ($\{M_t\}$).

3.3. Editor: Diffusion-gebaseerde Bewerking

De Editor voert de werkelijke verschijning-modificatie en inhoudelijke generatie uit met behulp van een diffusie-backbone (Wan2.2 5B).

• Multi-Condition Fusie: De Editor integreert de verrijkte instructie (via Qwen-VL features), de precieze spatiotemporele maskers en de originele video-latent representatie.
• Cross-Attention Mechanisme: Gespecialiseerde cross-attention modules injecteren de georganiseerde semantische kennis van de MLLM en de maskerfeatures in het diffusieproces.
• Compositing: Een masker-gestuurde strategie past bewerkingen strikt toe binnen de maskerregio's terwijl de originele video buiten het masker behouden blijft, wat temporele coherentie en semantische getrouwheid garandeert.

Trainingsstrategie

Het framework maakt gebruik van een tweestaps trainingsaanpak om de datavereisten te verminderen en de stabiliteit te verbeteren:

1. Modulaire Training: De Mask (Guide) en Editor-takken worden afzonderlijk getraind op gemengde beeld/video segmentatie en bewerkingsdatasets.
2. Gezamenlijke Training: De takken worden gezamenlijk getraind op een hoogwaardige interne dataset van 100k video-bewerkingsparen met precieze maskerannotaties.

3. Belangrijkste Bijdragen

• Plan–Guide–Edit Paradigma: Een nieuw framework dat semantische intentie ontkoppelt van ruimtelijke uitvoering, waarbij doelwitten worden geparsed en in de ruimte en tijd worden gelokaliseerd voordat het diffusie-bewerkingsproces begint.
• CoT-Verbeterde MLLM Planner: Een redeneermodule die proactief tekstuele ambiguïteit oplost en fysiek consistente ruimtelijke priors (bounding boxes) en verrijkte instructies genereert.
• Box-Geconditioneerde Masker Voorspelling: Een mechanisme dat expliciete ruimtelijke priors omzet in hoogwaardige, temporeel consistente maskers, wat de last voor de diffusie-editor aanzienlijk verlicht.
• Bidirectionele Samenwerking: Een ontwerp voorzien van Reverse-Connectors en Mask-Connectors die de Editor en Guide in staat stellen elkaars outputs wederzijds te verfijnen, wat de stabiliteit van de grenzen en de fysieke plausibiliteit verbetert.

4. Experimentele Resultaten

De auteurs hebben CoT-Edit geëvalueerd tegen state-of-the-art baselines (bijv. InsV2V, StableV2V, Lucy-1.1, OmniVideo) met behulp van zowel automatische metrieken als gebruikersstudies.

• Kwantitatieve Prestaties: CoT-Edit bereikte state-of-the-art prestaties over meerdere metrieken, waaronder:
  • Visuele Kwaliteit: Verbeterde FVD (1015.67 vs. baselines >1400), Temporele Consistentie (TC), Bewegingsvloeiendheid (MS) en Esthetiek (AES).
  • Instructie-opvolging: Hogere CLIPScore en Gemini-beoordeelde scores voor fysieke plausibiliteit, ruimtelijke relaties en algehele bewerkingskwaliteit.
  • Ruimtelijk Redeneren: Opmerkelijke winst in het afhandelen van complexe instructies die betrekking hebben op meerdere vergelijkbare objecten en natuurwetten (bijv. parabolische beweging).
• Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden superieure doel-lokalisatie, betere preservatie van niet-bewerkte regio's en het vermogen om fysiek plausieke bewegingen te genereren (bijv. stuiterende ballen) die door tekst-alleen methoden niet werden behaald.
• Ablatie-studies:
  • CoT: Het verwijderen van de Chain-of-Thought redenering leidde tot falen in het genereren van fysiek plausieke bewegingstrajecten. De studie vergeleek varianten inclusief Qwen3-VL-32B en Gemini 2.5 Pro (beide met en zonder CoT) om de effectiviteit te verifiëren.
  • Mask Branch: De inclusie van de Mask-tak en bidirectionele connectors verbeterde de ruimtelijke lokalisatie en de scores voor instructie-opvolging aanzienlijk. De studie vergeleek configuraties die Qwen3-VL-8B gebruikten als instructie-verbeteringsmodule binnen de Editor-tak.

5. Betekenis en Claims

De paper claimt dat de primaire betekenis van CoT-Edit ligt in de vestiging van een betrouwbare semantisch–ruimtelijke link door middel van gestructureerde planning. Door expliciet te modelleren over ruimtelijke beperkingen en fysieke priors voordat de generatie plaatsvindt, zorgt het framework voor:

• Ontkoppeling van Lokalisatie en Generatie: Het ontlast de diffusie-modellen van de last van ruimtelijke gronding, wat de generatietaak vereenvoudigt en de noodzaak voor massale uitgelijnde datasets vermindert.
• Waarborging van Fysieke Consistentie: Het expliciete redeneren over schaal, kinematica en contactrelaties voorkomt veelvoorkomende fouten zoals objectdrift of onmogelijke fysica.
• Verbeterde Efficiëntie en Stabiliteit: De modulaire, gefaseerde trainingsaanpak verheldert de leerdoelen voor elk onderdeel, wat leidt tot een stabielere training en efficiëntere inferentie vergeleken met end-to-end text-to-video editing modellen.

De auteurs concluderen dat deze aanpak precieze, fysiek consistente en temporeel coherente videobewerking mogelijk maakt, waarmee de kritieke kloof tussen hoogwaardige natuurlijke taalinstructies en laagwaardige pixel-niveau uitvoering wordt overbrugd.