PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs

Titel

PAS: Een Trainingsvrije Stabilisator voor Temporal Encoding in Video LLMs

1. Het Probleem: Temporele Inconsistentie in Video LLMs

Video Large Language Models (Video LLMs) lijden onder temporele inconsistentie. Kleine verschuivingen in het tijdstip van frames kunnen leiden tot een volledige omkering van de aandacht (attention) van het model, waardoor relevante frames worden onderdrukt.

• Oorzaak: De instabiliteit wordt toegeschreven aan de uitbreiding van Rotary Position Embeddings (RoPE) naar video via Multimodal RoPE (M-RoPE). M-RoPE codeert tijd, hoogte en breedte door een eindige set tijdsfrequenties toe te wijzen.
• Mechanisme: Wanneer deze frequenties worden omgezet naar het tijdsdomein via de inverse Fourier-transformatie (IFT), ontstaat er een tijdkern $m(t)$ die rippels vertoont op het schaalniveau van frames.
• Gevolg: Deze rimpels fungeren als een intervalafhankelijke versterkingsfactor voor de aandacht. Als een belangrijk frame (key frame) in een "laag-gain" dal van deze modulatiewave valt, wordt de aandacht voor dat frame onterecht onderdrukt ten opzichte van minder relevante frames. Dit maakt het model extreem gevoelig voor kleine variaties in frame-rate of bemonsteringsoffsets.

2. Methodologie: Phase Aggregated Smoothing (PAS)

De auteurs introduceren Phase Aggregated Smoothing (PAS), een plug-and-play, trainingsvrije methode die de temporele stabiliteit verbetert zonder de token-begroting of de modelarchitectuur te wijzigen.

• Kernidee: In plaats van de frequentiespectrum van de attention-heads te veranderen, worden er kleine, tegengestelde fase-offsets toegepast op de query-stream van verschillende attention-heads.
• Werking:
  1. Elke attention-head observeert dezelfde samengevoegde frame-tokens, maar sampleert de temporele modulatiewave op licht verschoven tijdstippen.
  2. Omdat een tijdsverschuiving in het tijdsdomein alleen de fase in het frequentiedomein verandert (en niet de amplitude), blijft de amplitude van het spectrum per head behouden.
  3. Door de output van deze head's te aggregeren (samenvoegen), werkt het als een gecontroleerde bewegende gemiddelde (moving average) in de tijd.
• Effect: Deze aggregatie dempt de hoge-frequentie rimpels van de IFT-kern, wat resulteert in een soepelere temporele modulatiewave. Dit vermindert de variatie in de vermenigvuldigingsfactor en stabiliseert de aandacht, zelfs bij kleine tijdsverschuivingen.

3. Theoretische Onderbouwing

Het paper biedt drie fundamentele stellingen die de methode onderbouwen:

1. Stabiliteit door Gladheid (Theorema 2): Als de IFT-kern (de modulatiewave) soepel is, varieert de RoPE-geroteerde logit maximaal lineair met kleine tijdsverstoringen (Lipschitz-stabiliteit). Een gladde kern zorgt ervoor dat de inhoud (content) de aandacht bepaalt, en niet de toevallige tijdsfase.
2. Multi-fase Gemiddelde (Theorema 3): Het aggregeren van meerdere kleine, tegengestelde faseverschuivingen van dezelfde kern vermindert de lokale temporele variatie. Dit dempt de hoge-frequentie rimpels terwijl de spectrum-amplitudes van individuele heads behouden blijven.
3. Invariantie van het Spectrum (Theorema 4): Onder de Nyquist-conditie (voldoende bemonstering) is het herstelde spectrum per head invariant ten opzichte van tijdsoffsets. PAS verandert dus hoe de modulatiewave wordt bemonsterd en geaggregeerd, maar niet wat er wordt gecodeerd.

4. Experimentele Resultaten

De auteurs hebben PAS geëvalueerd op negen benchmarks, waaronder actieherkenning (20BN-Jester, Something-Something V2, Kinetics-700) en algemene video-LLM-taken (MVBench, EgoSchema, etc.).

• Prestaties: PAS toont consistente verbeteringen ten opzichte van de basislijn (Qwen2.5-VL-7B) en andere trainingsvrije methoden (zoals SlowFast-LLaVA en TS-LLaVA).
  • Op actieherkenningsdatasets behaalde PAS de beste resultaten voor single-model setups.
  • Het kan succesvol worden "gestapeld" (gecombineerd) met andere methoden voor nog betere resultaten.
• Bemonsteringseffect: De voordelen van PAS zijn het grootst bij spaarzame bemonstering (lage frame-rates), waar de rimpels in de modulatiewave het meest problematisch zijn. Bij zeer dichte bemonstering nemen de voordelen af, wat overeenkomt met de theorie (de wave is van nature al soepeler).
• Parametergevoeligheid: De methode is robuust voor de keuze van de offset. Een offset van ongeveer 0,5 bins werkt goed als standaardinstelling en presteert consistent over verschillende datasets.
• Kosten: De methode heeft verwaarloosbare rekentijd-overhead. De doorvoersnelheid (throughput) blijft statistisch ononderscheidbaar van de originele backbone.

5. Belangrijkste Bijdragen

1. Diagnose: Het formaliseren van de beperking van tekst-georiënteerde RoPE op de tijdsas van video, waarbij wordt aangetoond dat de IFT-afgeleide modulatiewave intrinsiek onstabiel is door rimpels op frameschaal.
2. Oplossing (PAS): Een plug-and-play, trainingsvrije mechanisme dat fase-offsets toewijst aan attention-heads om de temporele modulatiewave te gladstrijken zonder de onderliggende positiesemantiek te veranderen.
3. Theorie en Praktijk: Een theoretisch kader dat de relatie legt tussen de gladheid van de IFT-kern en de stabiliteit van de aandacht, ondersteund door uitgebreide experimenten die aantonen dat PAS robuust is onder verschillende bemonsteringscondities.

6. Significatie

PAS biedt een praktische en efficiënte oplossing voor een fundamenteel probleem in Video LLMs: de fragiliteit van temporele encoding bij lage frame-rates of samengevoegde frames. Omdat de methode trainingsvrij is en geen extra tokens vereist, kan deze direct worden toegepast op bestaande modellen om de robuustheid te verhogen. Het bewijst dat kleine aanpassingen in de inferentie-fase (tijdens het uitvoeren van het model) grote verbeteringen kunnen brengen in de temporele consistentie, wat essentieel is voor betrouwbare video-analyse en redenering.