Technische Samenvatting: TokenTrim

Probleemstelling

Autoregressieve videogeneratie is een dominante paradigma geworden voor het synthetiseren van lange video's door iteratief nieuwe batches frames te genereren op basis van eerder gegenereerde inhoud. Deze aanpak lijdt echter aan temporele drift, een fenomeen waarbij kleine fouten en inconsistenties die in vroege frames worden geïntroduceerd, accumuleren en versterken over lange tijdshorizonten. Deze accumulatie leidt tot identiteitsveranderingen, structurele degradatie, verlies van globale coherentie en semantische instorting.

Recente pogingen om drift te beperken, hebben zich gericht op het versterken van langetermijn-conditionering (bijv. temporele Key-Value caching, anker-tokens) of het wijzigen van trainingsprocedures (bijv. self-forcing met stochastische gradiënttruncatie). De auteurs hypothetiseren dat deze methoden fragiel blijven omdat ze het fundamentele probleem van foutpropagatie tijdens de inferentie niet aanpakken: het ongecontroleerde hergebruik van gecorrumpeerde latente conditioneringstokens. Zodra een regio in de latente staat gecorrumpeerd raakt, wordt deze herhaaldelijk gebruikt in opeenvolgende autoregressieve stappen, waardoor zij de aandacht domineert en fouten vooruit propageert. Het systeem mist momenteel een mechanisme om te beoordelen welke gecachte latente tokens betrouwbaar zijn.

Methodologie: TokenTrim

De auteurs stellen TokenTrim voor, een volledig methode voor tijdens de inferentie die ontworpen is om instabiele latente tokens te identificeren en te verwijderen voordat ze worden hergebruikt voor conditionering. TokenTrim opereert volledig in de latente ruimte, vereist geen architecturale wijzigingen, geen hertraining en introduceert verwaarloosbare computationele overhead.

De methode bestaat uit de volgende kerncomponenten:

1. Bewegingsgestabiliseerde Initialisatie

Om corruptie in de vroege stadia te verminderen, wordt de eerste batch frames gegenereerd met behulp van FlowMo, een regularisatietechniek tijdens de inferentie die bewegingsbewuste variantie-sturing introduceert. Dit produceert een stabiel latent anker. Vervolgbatches worden gegenereerd met behulp van het basisautoregressieve model.

2. Constructie van de Latente Samenvatting

Bij elke autoregressieve stap $t$ codeert de methode de voorheen gegenereerde batch ($X_{t-1}$) en de kandidaat huidige batch ($X_t$) naar latente tokens. Om directe vergelijking mogelijk te maken, wordt een latente samenvatting ($Z_{t-1}$ en $Z_t$) geconstrueerd door de ruimtelijke latente tokens te middelen over de temporele dimensie (frames) van elke batch.

3. Per-Token Drift-schatting

De methode berekent een drift-score ($d_i$) voor elke ruimtelijke tokenindex $i$ door de Euclidische afstand te meten tussen de latente representaties in de huidige en vorige samenvattingen:
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
Hoge drift-scores duiden op potentiële corruptie of semantische afwijking op specifieke tokenlocaties.

4. Adaptieve Trigger en Ernstbeoordeling

In plaats van onvoorwaardelijk te snoeien, beoordeelt TokenTrim of de huidige batch abnormale drift vertoont.

• Het identificeert de top $p \cdot N$ tokens met de hoogste drift-scores (waarbij $p$ een pruning-fractie is en $N$ het totaal aantal tokens).
• Het berekent een drift-ernstscore ($D_t$) als het gemiddelde van de drift van deze top-tokens.
• Het houdt lopende statistieken bij (gemiddelde $\mu_t$ en standaarddeviatie $\sigma_t$) van de drift-ernst van eerder geaccepteerde batches.
• Een interventie via pruning wordt alleen getriggerd als $D_t > \mu_t + \lambda\sigma_t$, waarbij $\lambda$ een gevoeligheidshyperparameter is. Een warm-up periode ($T_{warm}$) wordt aanvankelijk gebruikt om betrouwbare statistieken te verzamelen.

5. Harde Pruning en Regeneratie

Wanneer aan het drift-criterium wordt voldaan:

• Een ruimtelijke pruning-masker wordt toegepast op de temporele Key-Value (KV) cache, waarbij de keys en values die overeenkomen met de instabiele tokenposities worden verwijderd.
• De huidige batch wordt één keer geregenereerd, geconditioneerd op deze geprunede cache.
• Als de geregenereerde batch nog steeds de drift-criteria schendt, wordt deze ongezien geaccepteerd om oneindige lussen te voorkomen.
• Als de drift-criteria niet worden geschonden, wordt de batch zonder modificatie geaccepteerd.

TokenTrim is compatibel met autoregressieve frameworks die gebruikmaken van self-attention met KV-caching, specifiek gedemonstreerd op Self Forcing en Rolling Forcing.

Belangrijkste Bijdragen

1. Inference-Time Drift Detectie: Het artikel introduceert een mechanisme om instabiele latente tokens expliciet te detecteren tijdens de inferentie, waarbij de focus verschuift van modelcapaciteit naar controle over informatiepropagatie.
2. Harde Pruning van Latente Tokens: In tegenstelling tot methoden die volledige ruimtelijke regio's of modelparameters wijzigen, verwijdert TokenTrim selectief specifieke gecorrumpeerde tokens uit de autoregressieve context, waardoor onbetrouwbare informatie toekomstige stappen niet kan beïnvloeden.
3. Training-Free Integratie: De methode werkt zonder de modelgewichten of trainingsprocedures te wijzigen en zonder de latente ruimte te verlaten, wat het compatibel maakt met bestaande state-of-the-art videogeneratie-frameworks.
4. Bewegingsgestabiliseerde Initialisatie: De integratie van FlowMo voor de initiële batch biedt een stabiel anker, wat de pruning-mechanismen complementeert.

Experimentele Resultaten

De auteurs evalueerden TokenTrim op het Wan2.1-1.3B text-to-video model met behulp van Rolling Forcing en Self Forcing strategieën.

• Kwantitatieve Prestaties (VBench):
  • Op Rolling Forcing, verbeterde TokenTrim de Final Score van 75,12% naar 79,67% (+4,55%), met significante winst in Quality (+5,58%) en Semantic (+3,53%) scores.
  • Op Self Forcing, steeg de Final Score van 75,93% naar 81,84% (+5,91%).
  • TokenTrim presteerde consistent beter dan FlowMo (een methode voor bewegingssturing tijdens de inferentie) en baseline autoregressieve methoden over alle geaggregeerde metrieken.
• Menselijke Voorkeurstudie (VideoJAM-Bench):
  • In head-to-head vergelijkingen werd TokenTrim aanzienlijk geprefereerd boven baselines en FlowMo wat betreft reductie van temporele drift (41,7% vs. 15,2% voor de Rolling Forcing baseline; 49,7% vs. 10,2% vs. FlowMo).
  • Het vertoonde ook superieure prestaties in bewegingscoherentie en esthetische kwaliteit, terwijl de tekst-video alignement behouden bleef.
• Efficiëntie: TokenTrim verhoogde de wall-clock runtime slechts met 1,08x vergeleken met de baseline, terwijl FlowMo-aangepaste setups een vertraging van 2,18x veroorzaakten.
• Ablatie-studies:
  • Agressieve pruning (20%) verslechterde de prestaties ernstig, terwijl matige pruning (10%) optimale resultaten opleverde.
  • Het verwijderen van de FlowMo-initialisatie verminderde de prestaties, wat het complementaire voordeel van een stabiel begin bevestigt.

Betekenis en Claims

Het artikel claimt dat temporele drift niet uitsluitend een model- of dataprobleem is, maar een informatiepropagatieprobleem tijdens de inferentie. Door de KV-cache te behandelen als een actief, zelfcorrigerend geheugenmechanisme in plaats van een passief geschiedenislogboek, demonstreert TokenTrim dat het controleren van de conditioneringscontext tijdens de inferentie alleen al de temporele drift aanzienlijk kan verminderen.

De auteurs concluderen dat toekomstige vooruitgang in oneindige videogeneratie niet alleen kan afhangen van hoeveel context een model kan onthouden, maar van het vermogen om selectief de ruis weg te gooien die de werkelijkheid bedreigt te vervormen. Zij positioneren TokenTrim als een onderscheidend, onderbelicht mechanisme dat de langetermijn temporele consistentie verbetert zonder de computationele kosten van hertraining of architecturale modificatie.