Harvest Video Foundation Models via Efficient Post-Pretraining

Die vorgestellte Arbeit stellt einen effizienten Rahmen vor, der durch einfaches Zufalls-Dropping von Videopatches und Maskieren von Text während des Post-Pretrainings hochwertige Video-Sprach-Grundmodelle aus Bildmodellen ableitet und dabei mit weniger als einem Tag Training auf nur 8 GPUs sowie dem WebVid-10M-Datensatz State-of-the-Art-Ergebnisse auf verschiedenen Downstream-Aufgaben erzielt.

Das Wesentliche

Stell dir vor, du hast einen extrem talentierten Koch, der darin Meister ist, einzelne Bilder zu beschreiben. Er kann ein Foto von einer Katze sehen und sofort sagen: „Das ist eine Katze, die auf einem Sofa sitzt." Dieser Koch ist bereits ein Weltklasse-Koch (ein sogenanntes „Image Foundation Model", ähnlich wie CLIP).

Jetzt willst du, dass dieser Koch auch Videos versteht. Ein Video ist aber nicht nur ein Bild, sondern eine ganze Serie von Bildern, die sich bewegen. Das Problem: Videos sind riesig, voller Wiederholungen (die Katze bewegt sich vielleicht nur ein bisschen zwischen den Bildern) und es gibt viel weniger hochwertige Texte dazu als bei Fotos. Einen neuen Koch von Grund auf für Videos auszubilden, wäre extrem teuer, langsam und ressourcenaufwendig.

Die Lösung der Forscher: „Ernte" den Videokenner aus dem Bildkoch.

Statt einen neuen Koch zu stellen, nehmen sie den bestehenden Bildkoch und geben ihm einen schnellen, cleveren „Nach-Schulungs-Kurs" (Post-Pretraining). Hier ist, wie sie das mit zwei einfachen Tricks machen, die wie ein Video-Training aussehen:

1. Der „Versteck-Spiel"-Trick für Bilder (Video Patch Dropping)

Stell dir vor, du schaut dir einen Film an, aber du hast eine Brille auf, die 90 % der Bilder ausblendet. Du siehst nur zufällige, kurze Schnipsel.

• Warum machen sie das? Videos sind voller redundanter Informationen (die Katze sieht in Bild 1, 2 und 3 fast gleich aus). Indem sie 90 % der Bildinformationen einfach wegwerfen (nicht einmal reparieren, sondern ignorieren), müssen die Computer viel weniger rechnen.
• Der Effekt: Der Koch muss sich auf das Wesentliche konzentrieren und lernt viel schneller. Es ist, als würde man jemandem einen Marathon nicht in einem vollen Stadion, sondern auf einer leeren Straße laufen lassen – er kommt viel schneller ans Ziel.

2. Der „Lückentext"-Trick für Sprache (Text Masking)

Jetzt nehmen sie die Beschreibung des Videos (den Text) und machen darin zufällig Wörter unlesbar, wie in einem Lückentext.

• Die Aufgabe: Der Koch muss raten, welche Wörter dort stehen, basierend auf den wenigen Bildschnipseln, die er noch sieht.
• Warum? Das zwingt den Koch, die Verbindung zwischen dem, was er sieht (die Bilder), und dem, was er liest (der Text), viel enger zu verknüpfen. Er lernt nicht nur, dass „Katze" und „Sofa" zusammengehören, sondern wie sie sich im Video verhalten.

Das Ergebnis: Ein Super-Koch in einem Tag

Das Tolle an dieser Methode ist die Geschwindigkeit und Effizienz:

• Zeit: Während andere Teams wochenlang brauchen, um Videomodelle zu trainieren (oft mit hunderten von Grafikkarten), schafft dieses Team das in weniger als einem Tag mit nur 8 Grafikkarten.
• Daten: Sie brauchen keine riesigen, teuren Datensätze, sondern kommen mit einer einzigen, gut sortierten Sammlung von 10 Millionen Videos aus (WebVid-10M).
• Leistung: Trotz der Einfachheit ist der resultierende Koch so gut, dass er bei vielen Aufgaben (wie Videos durchsuchen, Fragen zu Videos beantworten oder Videos ohne weitere Anpassung erkennen) mit den besten, teuersten Modellen der Welt mithalten kann.

Warum ist das so wichtig?

Stell dir vor, bisher mussten alle, die ein Videomodell bauen wollten, ein riesiges Kraftwerk bauen. Diese Methode zeigt: Man kann das bestehende Kraftwerk (das Bildmodell) einfach mit einem cleveren Adapter nachrüsten.

• Für kleine Forscher: Es macht die Technologie für kleine Labore zugänglich, die sich keine riesigen Rechenzentren leisten können.
• Für die Umwelt: Weniger Rechenzeit bedeutet weniger Stromverbrauch und einen kleineren CO2-Fußabdruck.
• Die Erkenntnis: Die Forscher merken dabei auch, dass unsere aktuellen Videodaten vielleicht gar nicht so „video-reich" sind, wie wir denken. Oft reicht es, die Bilder gut zu verstehen, weil die Texte zu den Videos manchmal zu kurz oder zu einfach sind.

Zusammenfassend: Die Autoren haben einen Weg gefunden, aus einem Bild-Experten einen Video-Experten zu machen, indem sie ihm sagen: „Ignoriere 90 % des Videos und fülle die Lücken im Text selbst." Das ist schnell, billig und funktioniert erstaunlich gut.

Technische Zusammenfassung

1. Problemstellung

Die Entwicklung von Video-Sprach-Foundation-Modellen ist derzeit mit erheblichen Kosten und Schwierigkeiten verbunden. Die Hauptgründe dafür sind:

• Redundanz: Videodaten enthalten im Vergleich zu Bildern eine hohe räumliche und zeitliche Redundanz (aufeinanderfolgende Frames sind oft sehr ähnlich), was zu einer ineffizienten Nutzung von Rechenressourcen führt.
• Datenmangel: Hochwertige Video-Sprach-Datensätze sind im Vergleich zu großen Bild-Sprach-Datensätzen (wie LAION-2B) relativ klein.
• Ressourcenbedarf: Das Training von Video-Modellen von Grund auf erfordert massive GPU-Ressourcen und lange Trainingszeiten, was den Zugang für kleinere Forschungseinrichtungen erschwert.

Ziel der Autoren ist es daher, eine effiziente Methode zu entwickeln, um leistungsstarke Video-Modelle aus bereits bestehenden, vortrainierten Bild-Modellen (Image Foundation Models) zu „ernten".

2. Methodik

Das Paper schlägt einen einfachen, aber effektiven Post-Pretraining-Rahmen vor, der auf dem Paradigma des „Align before Fuse" aufbaut. Die Methode nutzt ein vortrainiertes CLIP-Modell (ein Bild-Sprach-Modell) als Basis und passt es durch zwei Hauptmechanismen für Videodaten an:

• Video-Patch-Dropping (Effizienzsteigerung):

  • Anstatt alle Bildpatches eines Videos zu verarbeiten, werden zufällig 90 % der Eingabe-Patches verworfen (dropped), bevor sie in den visuellen Encoder eingespeist werden.
  • Im Gegensatz zu MAE (Masked Autoencoders) werden diese Patches nicht rekonstruiert; sie werden einfach ignoriert.
  • Zweck: Dies reduziert den Rechenaufwand drastisch und ermöglicht das Training mit größeren Batch-Größen, was für kontrastives Lernen essenziell ist.

• Text-Masking (Cross-Modal-Fusion):

  • Ein Teil der Eingabe-Text-Tokens wird zufällig durch ein spezielles [MASK]-Token ersetzt.
  • Ein zusätzlicher Text-Decoder (ein Transformer-Decoder) wird eingeführt, der die verdeckten Text-Token vorhersagen soll.
  • Der Decoder nutzt Video-Features als Keys/Values und Text-Features als Queries (Cross-Attention).
  • Zweck: Dies zwingt das Modell, feingranulare Informationen über die Verschmelzung der Modalitäten (Video und Text) zu lernen, über die reine Ausrichtung (Alignment) hinaus.

• Trainingsziele:
  Das Modell wird durch die Optimierung zweier Verlustfunktionen trainiert:

  1. InfoNCE Loss: Für die globale Video-Text-Ausrichtung (kontrastives Lernen).
  2. Masked Language Modeling (MLM) Loss: Für die Vorhersage der maskierten Text-Token durch den Decoder.

• Architektur-Details:

  • Der Text-Encoder des ursprünglichen CLIP-Modells bleibt eingefroren (frozen), da der CLIP-Textkorpus reichhaltiger ist als die verfügbaren Video-Daten.
  • Als visueller Encoder wird standardmäßig ein vereinfachtes UniformerV2 verwendet, kann aber auch ein einfaches ViT (Vision Transformer) sein.
  • Das Training erfolgt auf dem Datensatz WebVid-10M (10,7 Millionen Video-Text-Paare).

3. Schlüsselbeiträge

• Hohe Effizienz: Das gesamte Post-Pretraining kann in weniger als einem Tag auf nur 8 GPUs (A100) durchgeführt werden. Im Vergleich dazu benötigen State-of-the-Art-Video-Modelle oft tausende GPU-Stunden.
• Einfachheit: Die Methode erfordert keine komplexen Architekturen oder spezialisierte Designs, sondern baut direkt auf bewährten Bild-Modellen auf.
• Kein Unmasking nötig: Im Gegensatz zu ähnlichen Arbeiten (wie FLIP) muss das Modell bei der Inferenz für Downstream-Aufgaben nicht „entschleiert" werden, da die Patches einfach verworfen wurden.
• Datenökonomie: Es wird nur ein einziger, relativ kleiner Datensatz (WebVid-10M) benötigt, um Modelle zu erhalten, die mit solchen konkurrieren, die auf viel größeren Datensätzen trainiert wurden.

4. Ergebnisse

Die Methode wurde auf einer breiten Palette von Video-Sprach-Aufgaben evaluiert und erreichte State-of-the-Art (SOTA) oder vergleichbare Ergebnisse:

• Zero-Shot Tasks:

  • Action Recognition (Kinetics-400): Erzielte 56,7 % Top-1-Accuracy (mit ViT sogar 56,8 %), was nahe an spezialisierten Methoden liegt.
  • Multiple Choice (MSRVTT/LSMDC): Übertraf sogar einige überwachte Methoden, was auf die Stärke des eingefrorenen Text-Encoders zurückgeführt wird.
  • Video-Text-Retrieval: Zeigte hervorragende Ergebnisse auf fünf verschiedenen Datensätzen (MSRVTT, MSVD, LSMDC, DiDeMo, VATEX). Besonders auf MSRVTT erreichte das Modell R@1 von 47,4 %, was mit schwerwiegend trainierten Modellen wie CLIP-ViP vergleichbar ist.

• Video Question Answering (VQA):

  • Auf MSRVTT-QA, MSVD-QA und TGIF-QA erzielte das Modell Ergebnisse, die mit spezialisierten VQA-Modellen (wie Just Ask) und großen Foundation-Modellen (wie MERLOT) konkurrieren oder diese übertreffen.
  • Das Text-Masking verbesserte die Genauigkeit signifikant (bis zu +2,1 % auf TGIF-QA), was die Effektivität der Cross-Modal-Fusion beweist.

• Vergleich zur Effizienz:

  • Während Modelle wie „All-in-one" über 5.000 GPU-Stunden benötigen, benötigt diese Methode weniger als 192 GPU-Stunden, bei oft besseren oder gleichwertigen Ergebnissen.

5. Bedeutung und Schlussfolgerungen

• Paradigmenwechsel: Die Arbeit zeigt, dass die Entwicklung von Video-Modellen nicht zwingend von Grund auf neu erfolgen muss. Starke Bild-Modelle können durch kostengünstiges Post-Pretraining effektiv für Videos adaptiert werden.
• Rolle des Text-Encoders: Ein wichtiger Erkenntnisgewinn ist, dass der Text-Encoder eine entscheidende Rolle spielt. Da aktuelle Video-Datensätze oft nicht qualitativ hochwertig genug sind, um einen Text-Encoder neu zu trainieren, ist das Einfrieren des Encoders (aus dem reichhaltigen CLIP-Korpus) oft die bessere Strategie.
• Zeitliche Modellierung: Überraschenderweise zeigte sich, dass einfache Bild-Backbones (ViT) in vielen Szenarien (besonders Zero-Shot) genauso gut oder besser abschneiden als komplexe spatiotemporale Backbones (UniformerV2). Dies deutet darauf hin, dass aktuelle Benchmarks und Datensätze möglicherweise nicht genug „temporale" Information enthalten, um komplexe Zeitmodelle voll auszuschöpfen.
• Nachhaltigkeit: Durch die extreme Effizienz macht die Methode große vortrainierte Modelle für kleinere Forschungseinrichtungen zugänglicher und reduziert den CO2-Fußabdruck des Trainings erheblich.

Zusammenfassend bietet das Paper einen robusten, effizienten und skalierbaren Weg, um hochwertige Video-Sprach-Modelle zu erstellen, und hinterfragt gleichzeitig die Notwendigkeit extrem großer und komplexer Trainingspipelines für aktuelle Aufgaben.