TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

Probleemstelling

Video Foundation Models (VFMs) hebben indrukwekkende prestaties geleverd in het genereren van realistische video's. Ze kampen echter nog steeds met ernstige tekortkomingen in compositional scenarios (combinatorische situaties). Dit omvat het correct genereren van meerdere objecten, hun attributen, numerieke hoeveelheden (bijv. "vier panda's"), ruimtelijke relaties en complexe bewegingen.

Bestaande methoden die proberen de tekst-video uitlijning te verbeteren, maken vaak gebruik van directe interventie in latente ruimtes of attention-maps per individueel voorbeeld. Deze aanpak heeft drie belangrijke beperkingen:

1. Kwaliteitsverlies: Directe manipulatie van latente representaties kan de feature-verdeling verstoren, wat leidt tot artefacten, inconsistenties of instabiele video's.
2. Gebrek aan context: Bestaande methoden behandelen elke test-case als een geïsoleerd geval, waardoor waardevolle historische context van eerder gegenereerde video's wordt genegeerd.
3. Beperkte generalisatie: Interventies die op één voorbeeld worden toegepast, verbeteren niet de inherente capaciteit van het generatieve model voor andere voorbeelden.

In de praktijk worden modellen echter geconfronteerd met een continue stroom van gebruikersprompts. Het paper stelt dat eerdere succesvolle generaties als waardevolle referentie kunnen dienen voor toekomstige gevallen.

Methodologie: TTOM

De auteurs introduceren TTOM (Test-Time Optimization and Memorization), een model-agnostisch raamwerk dat de output van VFMs tijdens de inferentie afstemt op ruimtelijk-temporele lay-outs zonder dat er extra training op grote datasets nodig is. Het proces verloopt in drie hoofdfasen:

1. LLM-gedreven Ruimtelijk-Temporele Lay-out Planning

Voordat de video wordt gegenereerd, gebruikt het systeem een Large Language Model (LLM) om een gestructureerde lay-out te genereren op basis van de tekstprompt.

• De LLM genereert een reeks bounding boxes (Bbox) voor elk object, inclusief start- en eindtijdstippen in de video.
• Dit zorgt voor een expliciete ruimtelijk-temporele leidraad (STL) die de beweging, numeriek en relaties tussen objecten definieert.

2. Test-Time Optimization (TTO)

In plaats van de latente variabelen ($z_t$) direct te manipuleren (wat de video-kwaliteit kan schaden), introduceert TTOM nieuwe, lichtgewicht parameters ($\phi$) in het model (via LoRA - Low-Rank Adaptation).

• Doel: Het optimaliseren van de cross-attention maps van het model zodat deze overeenkomen met de gegenereerde lay-out.
• Verificatie: De auteurs tonen aan dat er een sterke correlatie bestaat tussen de attention maps in bepaalde lagen van Diffusion Transformers (DiTs) en de uiteindelijke video-layout.
• Optimalisatie: Er wordt een verliesfunctie berekend op basis van de Jensen-Shannon Divergentie (JSD) tussen de attention maps en de zachte maskers van de bounding boxes. De parameters $\phi$ worden geüpdatet om deze divergentie te minimaliseren.
• Voordeel: Dit voorkomt distributie-instorting en zorgt ervoor dat de geoptimaliseerde parameters de patroonkennis van de specifieke compositie "onthouden".

3. Parametrisch Geheugen (Memorization)

Om de efficiëntie en generalisatie te verhogen, wordt een parametrisch geheugenmechanisme ingevoerd dat historische optimalisatiecontexten bewaart.

• Structuur: Het geheugen bestaat uit sleutel-waarde paren: $M = \{g(C) : \phi^*_C\}$, waarbij $g(C)$ een abstractie van de prompt is (bijv. objectnamen en bewegingsrichting) en $\phi^*_C$ de geoptimaliseerde parameters zijn.
• Operaties:
  • Insert: Bij een nieuwe prompt worden parameters geoptimaliseerd en opgeslagen.
  • Read: Bij een vergelijkbare prompt worden de bestaande parameters opgehaald en direct geladen in het basismodel, wat de inferentie versnelt.
  • Update: Geoptimaliseerde parameters kunnen het bestaande geheugenitem updaten.
  • Delete: Bij volheid wordt het minst gebruikte item verwijderd.
• Dit mechanisme ondersteunt "lifelong learning" en personalisatie, waarbij het model zich aanpast aan de specifieke voorkeuren of patronen van een gebruiker of stroom van prompts.

Belangrijkste Bijdragen

1. Ongecontroleerd Test-Time Framework: Een nieuw raamwerk voor compositional T2V dat geen supervisie vereist en gebruikmaakt van ruimtelijk-temporele lay-outs als leidraad.
2. Parametrisch Geheugen: Een innovatief mechanisme dat historische optimalisatiecontexten bewaart, waardoor het model kan leren van eerdere inferenties en hergebruik kan maken van succesvolle parameter-instellingen.
3. Ontkoppeling van Kennis: Het paper toont aan dat TTOM compositional wereldkennis (zoals bewegingspatronen en numerieke relaties) ontkoppelt en opslaat, wat leidt tot sterke transferability en generalisatie.

Resultaten

TTOM is geëvalueerd op twee grote benchmarks: T2V-CompBench en VBench.

• T2V-CompBench (Compositional Vaardigheden):
  • TTOM verbeterde de prestaties van CogVideoX-5B met 34,45% en Wan2.1-14B met 15,83% in de algemene gemiddelde score.
  • De grootste verbeteringen werden gezien in de categorieën Beweging (tot +82,57% op Wan2.1) en Numeriek (tot +37,10% op CogVideoX), wat aantoont dat het model beter in staat is om complexe bewegingen en objecttellingen te hanteren.
• VBench (Semantische Consistentie):
  • De methode leverde consistente verbeteringen op in objectclassificatie, multi-object behandeling en ruimtelijke relaties, wat aangeeft dat de video's niet alleen visueel consistent zijn, maar ook semantisch correct.
• Efficiëntie: Door het gebruik van het geheugen kunnen voor vergelijkbare prompts de optimalisatiestappen worden overgeslagen, wat de inferentie-tijd aanzienlijk verlaagt zonder kwaliteitsverlies.

Betekenis en Impact

TTOM vertegenwoordigt een paradigmaverschuiving in text-to-video generatie. In plaats van te vertrouwen op zware training of directe manipulatie van de generatieve kern, gebruikt het een slimme combinatie van test-time optimalisatie en geheugenhergebruik.

• Praktische Toepasbaarheid: Het is een schaalbare oplossing die werkt met bestaande foundation models zonder dat deze opnieuw getraind hoeven te worden.
• Adaptiviteit: Het systeem kan zich aanpassen aan een continue stroom van gebruikersprompts en leert continu van eerdere successen, wat essentieel is voor real-world applicaties.
• Kwaliteit vs. Controle: Het lost het klassieke dilemma op tussen visuele kwaliteit en strikte controle over compositie, waarbij het de kwaliteit behoudt terwijl de nauwkeurigheid van complexe scènes drastisch wordt verbeterd.

Kortom, TTOM biedt een robuust, efficiënt en schaalbaar raamwerk om de kloof tussen tekstprompts en complexe, compositional video's te overbruggen, en stelt modellen in staat om "op de vlucht" (on-the-fly) te leren en te generaliseren.