HECTOR: Hybrid Editable Compositional Object References for Video Generation

HECTOR is een nieuwe generatieve pijplijn die het mogelijk maakt om video's te creëren met fijnmazige, samenstellingsgerichte controle door het combineren van statische en dynamische referenties met expliciete trajectvoorschriften voor individuele objecten.

De kern

Stel je voor dat je een video wilt maken, maar in plaats van een magische doos te hebben die alles uit het niets creëert, wil je een regisseur zijn die precies weet wat er gebeurt.

Tot nu toe was het maken van AI-video's een beetje zoals het gooien van een pot verf op een canvas en hopen dat er een mooi schilderij uitkomt. Je zegt: "Maak een hond die rent," en de AI probeert het. Maar als je wilt dat die hond precies hierheen rent, precies zo groot is, en dat er ook nog een adelaar boven vliegt die zijn eigen pad volgt, dan faalden de oude methodes vaak. De hond werd dan soms een adelaar, of ze botsten tegen elkaar aan.

HECTOR is de nieuwe oplossing. Het is als het geven van een superkrachtige regie-instructie aan de AI.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Alles-in-één" Paniek

Vroeger zagen AI-modellen een video als één groot, onontwarbaar kluwen. Als je iets wilde veranderen, moest je de hele video opnieuw maken. Het was alsof je een film wilt herschrijven, maar je mag alleen de hele film opnieuw draaien in plaats van één scène aan te passen.

2. De Oplossing: HECTOR (De Meester-Regisseur)

HECTOR is een slim systeem dat video's niet als één blok ziet, maar als een set losse, bewerkbare onderdelen. Het werkt met twee slimme hulpmiddelen:

A. De "Video-ontleeder" (Video Decompositor)

Stel je voor dat je een ingewikkeld uurwerk hebt. De "Video-ontleeder" is de meesterklokmaker die het uurwerk voorzichtig uit elkaar haalt.

• Hoe het werkt: Als je een video uploadt, kijkt dit systeem niet alleen naar het beeld, maar het telt en volgt elk puntje op de objecten.
• De analogie: In plaats van te zeggen "De hond is hier", zegt HECTOR: "De neus van de hond beweegt van punt A naar punt B, en zijn staart wordt groter naarmate hij dichterbij komt." Het maakt een perfecte kaart van hoe elk object beweegt, groeit of krimpt. Dit zorgt ervoor dat de beweging soepel is en niet haperend (zoals bij ouderwetse methodes die vaak met onnauwkeurige rechthoeken werkten).

B. De "Tijds- en Ruimte-Regelaar" (STAM)

Dit is het brein van de operatie. Stel je voor dat je een toneelstuk speelt. Je hebt acteurs (de objecten) en een decor (de achtergrond).

• Hoe het werkt: HECTOR kan nu twee soorten instructies tegelijk gebruiken:
  1. Statische foto's: "Gebruik dit plaatje van een hond als model."
  2. Video's: "Gebruik deze video van een dansende adelaar om te zien hoe hij beweegt."
• De magische kleef: Het systeem plakt deze instructies precies op de juiste plek in de video, op het juiste tijdstip. Het zorgt ervoor dat de hond niet in de weg loopt van de adelaar, en dat de achtergrond stil blijft staan terwijl de voorgrond beweegt.

3. Wat kun je er nu mee doen? (De Magische Trucs)

Met HECTOR kun je dingen doen die voorheen onmogelijk of heel moeilijk waren:

• De "Vervang-En-Verander" Truc: Je hebt een video van een straat. Je wilt de auto vervangen door een paard, en het paard moet sneller rennen dan de auto deed. HECTOR doet dit zonder dat de rest van de video vervormt.
• De "Onzichtbare Hand" (Achtergrond-Vast): Je wilt een danser toevoegen aan een bestaande video, maar je wilt dat de achtergrond (de stad, de mensen op de achtergrond) absoluut stil blijft en niet meebeweegt. HECTOR houdt de achtergrond "vastgezet" terwijl de danser erin beweegt.
• Meerdere Acteurs: Je kunt een video maken met een hond, een kat en een vogel, waarbij elk dier zijn eigen pad volgt, zijn eigen grootte behoudt en niet in elkaar overloopt.

Waarom is dit belangrijk?

Vroeger was het maken van een video met AI een beetje zoals het gooien van dobbelstenen: je hoopte op een goed resultaat. Met HECTOR is het alsof je een bouwplan hebt. Je bepaalt precies wie er waar staat, hoe groot ze zijn, en hoe snel ze bewegen.

Het is alsof je van een kind dat met een potlood tekent (waar alles soms door elkaar loopt) bent gegroeid naar een architect die met een laserliniaal werkt. Je krijgt niet alleen een mooie video, maar een video die precies doet wat jij wilt, met de juiste details en zonder dat de magie verdwijnt.

Kortom: HECTOR maakt video's niet alleen mooier, maar vooral gehoorzamer. Het luistert naar jouw regie-instructies, in plaats van zelf te gaan verzinnen wat er moet gebeuren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HECTOR: Hybrid Editable Compositional Object References for Video Generation" in het Nederlands.

Probleemstelling

Bestaande video-generatiemodellen (zoals Text-to-Video en Image-to-Video) genereren scènes doorgaans holistisch. Dit betekent dat het model de volledige scène in één keer synthetiseert, wat leidt tot een gebrek aan precieze controle over individuele objecten. Hoewel recente methoden beweging kunnen sturen via trajecten, behandelen ze video vaak als een enkelvoudige entiteit. Dit resulteert in beperkingen bij:

• Compositie: Het moeilijk maken van complexe scènes met meerdere interacterende objecten.
• Referentiebeheer: Het gebrek aan ondersteuning voor hybride invoer (combinatie van statische afbeeldingen en dynamische video's).
• Onafhankelijke controle: Het onvermogen om de locatie, schaal en snelheid van specifieke objecten onafhankelijk van elkaar te manipuleren zonder de rest van de scène te verstoren.
• Identiteitsbehoud: Bestaande methoden verliezen vaak de identiteit van objecten of de consistentie van beweging bij complexe scènes met meerdere entiteiten.

Methodologie: HECTOR

HECTOR (Hybrid Editable Compositional Object References) is een generatieve pijplijn die video's genereert door een scène te ontleden in afzonderlijke visuele referenties en deze vervolgens samen te voegen met behulp van een nieuwe architectuur. Het systeem bestaat uit twee hoofdcampagnes:

1. Video Decompositor

Deze module fungeert als een verwerkingsmotor voor zowel trainingsdata als inferentie (bewerking). In plaats van starre bounding boxes te gebruiken, gebruikt deze module:

• Segmentatie en Ankerpunten: Het gebruikt SAM2 om objecten te segmenteren en plaatst dynamisch ankerpunten op basis van de grootte en vorm van het object.
• Punt-tracking: Met behulp van Cotracker3 worden deze ankerpunten over de tijd gevolgd om precieze bewegingspaden te verkrijgen.
• Traject-naar-Schaal: Een unieke methode ("Point-to-Scale") berekent de schaal van een object op basis van de variatie in de afstand tussen de getrackte ankerpunten, in plaats van een vaste bounding box. Dit levert soepelere en nauwkeurigere bewegingspriors op.
• Zichtbaarheid: Het bepaalt wanneer objecten het beeld binnenkomen, verlaten of worden verduisterd (occlusie) op basis van de betrouwbaarheidsscores van de tracker.

2. HECTOR Generative Model

Het generatieve model is gebaseerd op een Diffusion Transformer (DiT) en introduceert een nieuwe module: de Spatio-Temporal Alignment Module (STAM).

• Hybride Referenties: STAM kan zowel statische afbeeldingen (voor identiteit) als dynamische video's (voor gebaren/beweging) verwerken.
• Latente Ruimte Alignering: De module encodeert referenties in de VAE-latente ruimte en gebruikt trajectgeleide inverse warping om deze features op de juiste positie, schaal en tijdstip in de "lege" latente canvas te plaatsen.
• Gaussian Masks: Om te voorkomen dat features van verschillende objecten door elkaar lopen, worden zachte (Gaussian) zichtbaarheidsmaskers gebruikt. Dit helpt bij het mengen van statische en dynamische priors in de latente ruimte.
• Input Tensor: De uiteindelijke input voor het DiT-model is een geconcateneerde tensor bestaande uit het ruisende video-latent, een multi-kanaals structuurmasker (dat de bron van de prior aangeeft) en de uitgelijnde conditionele latent (z_cond).
• Foreground-Background Gating: Tijdens inferentie kan een mechanisme worden gebruikt om prioriteit te geven aan bepaalde modaliteiten (bijv. een statisch object als voorgrond) om "ghosting" of feature-bleeding te voorkomen bij overlappende objecten.

Belangrijkste Bijdragen

1. Eerste Volledig Compositie-gericht Framework: HECTOR is het eerste systeem dat volledige controle biedt over elk element in een gegenereerde video, inclusief achtergrond, met onafhankelijke trajecten voor locatie, schaal en snelheid.
2. Spatio-Temporal Alignment Module (STAM): Een innovatieve module die statische en dynamische referenties ruimtelijk en temporeel uitlijnt in de latente ruimte, waardoor hybride invoer mogelijk wordt.
3. Video Decompositor: Een mechanisme dat automatisch compositiestructuren uit video's haalt, wat zowel dient voor het creëren van hoogwaardige trainingsdata als voor flexibele video-bewerking tijdens inferentie.
4. Hybride Referentieondersteuning: Het systeem kan gelijktijdig werken met statische afbeeldingen (voor identiteit) en video's (voor specifieke bewegingen/gesten), wat een brug slaat tussen identiteitsbehoud en bewegingscontrole.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op een dataset van 2,4 miljoen clips en geëvalueerd tegen state-of-the-art baselines zoals MotionBooth, VACE en Tora2.

• Kwantitatieve Prestaties: HECTOR presteert superieur op alle belangrijke metrieken:
  • Identiteitsbehoud: Hoogere scores op R-DINO en DINO-I, wat aangeeft dat de visuele details van objecten beter behouden blijven dan bij concurrenten.
  • Bewegingscontrole: Significant betere prestaties op mIoU (Intersection over Union) en Centroid Distance (CD), wat betekent dat objecten veel nauwkeuriger volgen het opgegeven traject zonder te "drijven".
  • Temporele Consistentie: Behoudt een hoge vloeiendheid (T-Cons) zelfs bij complexe multi-object scènes.
• Kwalitatieve Resultaten:
  • HECTORE kan complexe bewerkingen uitvoeren zoals het vervangen van objecten, het toevoegen van nieuwe objecten aan een bestaande video, en het aanpassen van de achtergrond terwijl de beweging van het voorgrondobject behouden blijft ("Background-Locked Motion Editing").
  • Het systeem slaagt erin om meerdere objecten tegelijkertijd te genereren zonder dat de identiteit van de objecten vervormt of de beweging onnatuurlijk wordt, wat bij andere methoden vaak leidt tot artefacten.

Significantie

HECTOR markeert een verschuiving van holistische video-generatie naar compositional video generation. Door de ontbinding van een scène in beheersbare elementen en de nauwkeurige uitlijning in de latente ruimte, maakt het systeem professionele video-bewerking en creatie mogelijk met een niveau van controle dat eerder onbereikbaar was voor generatieve AI. Het lost het fundamentele probleem op van het behouden van zowel identiteit als precieze beweging in complexe, multi-object omgevingen. Dit opent nieuwe mogelijkheden voor toepassingen in animatie, content creatie en visuele effecten, waarbij gebruikers specifieke objecten kunnen manipuleren zonder de integriteit van de gehele scène te schaden.