Technische Zusammenfassung: Räumlich-zeitliche Ähnlichkeitsvolumen-Aggregation für die Open-Vocabulary-Aktionserkennung

1. Problemstellung

Neue Methoden zur Open-Vocabulary-Aktionserkennung (OVAR) verlassen sich typischerweise darauf, visuelle Merkmale vor der Berechnung der Ausrichtung mit Text-Einbettungen zu einer globalen Repräsentation zu aggregieren (z. B. mittels [CLS]-Tokens). Obwohl dies für die Zero-Shot-Verallgemeinerung effektiv ist, verwirft dieses Paradigma inhärent reichhaltige lokale Patch-Informationen innerhalb jedes Bildes. Folglich werden feingranulare räumlich-zeitliche Hinweise – wie Bewegungstrajektorien, lokalisierte Interaktionen und die Entwicklung visueller Muster über die Zeit – verschleiert. Bestehende Versuche, lokale Tokens zu nutzen (z. B. TC-CLIP, BDC-CLIP), kollabieren strukturierte räumlich-zeitliche Interaktionen oft dennoch vor der Textausrichtung zu einem einzigen globalen Vektor und versäumen es, die Korrespondenz zwischen sich zeitlich entwickelnden lokalen visuellen Mustern und textuellen Aktionssemantiken explizit zu modellieren.

2. Methodik: Ähnlichkeitsvolumen-Aggregation (SimVA)

Die Autoren schlagen SimVA vor, ein Framework, das das Paradigma von der Merkmalsaggregation zur Ähnlichkeitsaggregation verschiebt. Anstatt visuelle Merkmale zuerst zu vereinen, konstruiert SimVA ein dichtes 4D-räumlich-zeitliches Ähnlichkeitsvolumen zwischen Patch-level-visuellen Tokens und Text-Einbettungen und bewahrt so lokale Evidenz während der gesamten Verarbeitungspipeline.

2.1 Konstruktion des Ähnlichkeitsvolumens

Gegeben ein Eingabevideo $V$ und Aktions-Text-Prompts, verwendet das Framework ein vortrainiertes CLIP-Modell, um Folgendes zu extrahieren:

• Visuelle Einbettungen: Patch-level-Einbettungen $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ für $T$ Bilder.
• Text-Einbettungen: Klassen-Einbettungen $F_{text} \in \mathbb{R}^{N_C \times D}$ für $N_C$ Aktionskategorien.

Ein 4D-Ähnlichkeitsvolumen $S \in \mathbb{R}^{T \times H \times W \times N_C}$ wird durch die Berechnung der Kosinus-Ähnlichkeiten zwischen jedem räumlich-zeitlichen Patch $(t, i, j)$ und jeder Klasse $c$ konstruiert. Dieses Volumen repräsentiert lokalisierte visuell-textuelle Korrespondenzen über Raum und Zeit.

2.2 Abtastung von Aktionsklassen

Die direkte Aggregation des gesamten Volumens ist bei großem $N_C$ rechnerisch prohibitiv. SimVA führt eine Klassenabtaststrategie ein:

1. Berechnung einer globalen Video-Repräsentation $\bar{V}$ durch Mittelung der bildweisen [CLS]-Tokens.
2. Berechnung globaler Ähnlichkeitswerte $S_{global} = \bar{V}^\top F_{text}$.
3. Auswahl der Top-$M$ Klassen. Während des Trainings wird gleichmäßiges Rauschen hinzugefügt, um Exploration zu fördern, und die Ground-Truth-Klasse wird in die Teilmenge erzwungen.
   Dies reduziert die Klassendimension von $N_C$ auf eine handhabbare Größe $M$ und verkleinert das Volumen auf $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$.

2.2 Strukturierte räumlich-zeitliche Aggregation

Das Framework verarbeitet das abgetastete Ähnlichkeitsvolumen durch eine strukturierte Pipeline, die über $N_L$ Schichten wiederholt wird:

• Räumliche Aggregation: Mithilfe von Swin-Transformer-Blöcken verfeinert das Modell intra-frame-Ähnlichkeitsmuster. Dies erzwingt lokale Konsistenz unter Patches, die zum selben Objekt gehören, und unterdrückt Hintergrundrauschen, wodurch lokale Ähnlichkeiten im Kontext des Bildes gesetzt werden.
• Bewegungsbewusste Modulation: Um inter-frame-Varianzhinweise einzufügen, schätzt das Modell Bewegungsverschiebungen zwischen aufeinanderfolgenden Bildern unter Verwendung von CLIP-Bildmerkmalen. Diese Verschiebungen werden normalisiert, um globale Kamerabewegung zu entfernen, und in ein Modulationssignal $\gamma_t$ projiziert. Dieses Signal skaliert die räumlich verfeinerten Merkmale adaptiv und betont Regionen mit signifikanten dynamischen Veränderungen (z. B. sich bewegende Objekte) vor der zeitlichen Modellierung.
• Zeitliche Aggregation: Ein Mamba-Block (State-Space-Modell) verarbeitet die bewegungsbewussten Ähnlichkeitssequenzen. Im Gegensatz zu Transformern, die global attendieren, stimmt der Vorwärtsscan-Mechanismus von Mamba mit dem natürlichen zeitlichen Fortschritt von Videos überein. Er akkumuliert sequentiell transitionsbewusste Ähnlichkeitsmuster und modelliert die Evolution aktionsspezifischer Evidenz über die Zeit, wobei die räumlich-zeitliche Ausrichtung erhalten bleibt.

2.4 Trainingsziel

Die endgültigen Video-Level-Werte werden durch lineare Projektion und räumlich-zeitliche Durchschnittspooling erhalten. Das Trainingsziel kombiniert:

1. Aggregationsverlust ($L_{agg}$): Kreuzentropieverlust auf den abgetasteten Klassen-Logits.
2. Klassifikationsverlust ($L_{cls}$): Ein Hilfsverlust, berechnet aus der globalen Video-Text-Ausrichtung (unter Verwendung von [CLS]-Tokens), um katastrophales Vergessen zu verhindern und den vortrainierten Prior zu bewahren.

3. Hauptbeiträge

1. Paradigmenwechsel: Einführung eines Frameworks für CLIP-basierte OVAR, das direkt im Ähnlichkeitsraum operiert und von der Merkmalsaggregation zur Ähnlichkeitsaggregation wechselt, um dichte räumlich-zeitliche Korrespondenzen zu bewahren.
2. Skalierbare Architektur: Vorschlag einer speichereffizienten Klassenabtaststrategie, die es der Ähnlichkeitsaggregation ermöglicht, auf große Open-Vocabulary-Szenarien zu skalieren, ohne prohibitiv hohe Rechenkosten.
3. Strukturierte Aggregation: Entwicklung einer Pipeline, die räumliche Aggregation (für intra-frame-Konsistenz), bewegungsbewusste Modulation (für inter-frame-Dynamik) und Mamba-basierte zeitliche Aggregation (für sequentielle Evolutionsmodellierung) integriert.
4. Empirische Validierung: Demonstration der Wirksamkeit über Zero-Shot-, Few-Shot- und Base-to-Novel-Verallgemeinerungs-Benchmarks hinweg.

4. Experimentelle Ergebnisse

Die Methode wurde an fünf Standard-Benchmarks (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) unter Verwendung eines ViT-B/16 CLIP-Backbones evaluiert.

• Zero-Shot-Leistung: SimVA übertraf starke Baselines (z. B. ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) über alle Datensätze hinweg. Auf HMDB-51, UCF-101 und K600 erreichte es State-of-the-Art- oder hochgradig wettbewerbsfähige Ergebnisse (z. B. 76,5 % Top-1 auf K600, 86,2 % auf UCF-101).
• Few-Shot-Lernen: In Szenarien mit $K \in \{2, 4, 8, 16\}$ Beispielen pro Klasse übertraf SimVA konsistent bestehende Methoden und zeigt eine robuste Anpassung an Videotasks mit begrenzter Supervision.
• Base-to-Novel-Verallgemeinerung: Das Modell erreichte die beste Basis-Genauigkeit über alle Datensätze hinweg und das höchste harmonische Mittel (HM) auf UCF-101 und SSv2, was eine starke Verallgemeinerung auf ungesehene Kategorien bei gleichzeitiger Beibehaltung der Leistung auf Basisklassen zeigt.
• Effizienz: Trotz des dichten Volumenbaus behält SimVA ein Rechenbudget bei, das mit anderen CLIP-basierten Methoden vergleichbar ist (124,6M Parameter, 315 GFLOPs) und demonstriert einen günstigen Trade-off zwischen Effizienz und Leistung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SimVA die leistungsstarken Bild-Text-Ausrichtungsfähigkeiten von CLIP effektiv auf den räumlich-zeitlichen Bereich überträgt, indem es explizit modelliert, wie sich lokalisierte visuelle Muster im Zusammenspiel mit textuellen Semantiken entwickeln. Durch die Aufrechterhaltung dichter visuell-textueller Korrespondenzen und die Vermeidung einer frühen globalen Pooling ermöglicht das Framework eine präzise Diskriminierung feingranularer Aktionen, die von subtilen zeitlichen Variationen abhängen.

Die Autoren behaupten, dass die Aggregation im Ähnlichkeitsraum eine vielversprechende Richtung für die Anpassung von Vision-Language-Modellen an die Video-Aktionserkennung ist. Sie räumen eine Einschränkung bezüglich des festen Klassenabtast-Budgets ein und stellen fest, dass adaptive Strategien die Skalierbarkeit weiter verbessern könnten, bestehen jedoch darauf, dass der aktuelle Ansatz ein robustes Gleichgewicht zwischen Leistung und rechnerischer Machbarkeit bietet.