Technische Zusammenfassung: OmniSelect

Problemstellung

Omni-modale Large Language Models (OmniLLMs) haben sich entwickelt, um das Verständnis von Audio, Video und Text innerhalb einer einzigen autoregressiven Architektur zu vereinen. Die Verarbeitung hochauflösender Video- und Audioströme erzeugt jedoch eine übermäßige Anzahl von Tokens, was zu einer quadratischen Komplexität in den Aufmerksamkeitsmechanismen führt und während der Inferenz erhebliche Rechen- und Speicherengpässe verursacht.

Während Token-Komprimierung für einmodale Aufgaben (Bilder, Video, Audio) untersucht wurde, verlassen sich bestehende Lösungen für OmniLLMs auf starre, modalspezifische Leitlinien. Beispielsweise verwenden Methoden wie OmniZip Audio-Anker, um das Beschneiden von Videos zu steuern, während andere sich ausschließlich auf visuelle Hinweise verlassen. Die Autoren argumentieren, dass diese „Einheitslösungen" unzureichend sind, da die relative Bedeutung visueller und auditiver Informationen je nach Anfrage erheblich variiert. Wie in der Arbeit illustriert, hängen einige Fragen stark vom visuellen Input ab, andere vom Audio, und wieder andere erfordern eine ausgewogene Integration. Die Verwendung einer unangemessenen Modalität zur Steuerung der Komprimierung kann zum Verlust kritischer Informationen und zu fehlerhaften Modellantworten führen.

Methodik: OmniSelect

Um diese Einschränkungen zu adressieren, schlagen die Autoren OmniSelect vor, ein trainingsfreies, modalitätsadaptives Token-Beschneidungs-Framework. Die Methode wählt dynamisch die geeignete Komprimierungsstrategie für multimodale Eingaben basierend auf der spezifischen Anfrage aus und vermeidet starre Leitmechanismen. Das Framework arbeitet über eine zweistufige Strategie:

1. Modalitätsbewusste dynamische Zuweisung von Beschneidungsraten

Die erste Stufe bestimmt die globale Beschneidungsstrategie und weist Beschneidungsraten für jede zeitliche Gruppe zu.

• Relevanzschätzung: Das System verwendet ein leichtgewichtiges AudioCLIP-Modell, um die cross-modale Relevanz zu schätzen. Es berechnet Ähnlichkeitswerte zwischen der textuellen Anfrage sowie visuellen und auditiven Embeddings. Um die Rechenkosten zu senken, werden Videobilder zeitlich heruntergetastet und der Text gefiltert, um nur Substantive und Adjektive zu behalten.
• Strategieklassifizierung: Basierend auf den durchschnittlichen Ähnlichkeitswerten ($\bar{s}^{(v)}$ für Video, $\bar{s}^{(a)}$ für Audio) und einem Schwellenwert $\theta$ kategorisiert das System die Eingabe in eines von drei Beschneidungsregimen:
  • Uniforme Beschneidung: Wenn $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$, werden beide Modalitäten als gleich wichtig behandelt.
  • Video-zentrierte Beschneidung: Wenn $\bar{s}^{(v)} > \bar{s}^{(a)}$, priorisiert die Strategie Video-Tokens.
  • Audio-zentrierte Beschneidung: Wenn $\bar{s}^{(a)} > \bar{s}^{(v)}$, priorisiert die Strategie Audio-Tokens.
• Adaptive Zuweisung: Innerhalb des gewählten Regimes weist das System dynamisch Beschneidungsraten ($\rho$) für jede zeitliche Gruppe zu. Es verwendet eine Sigmoid-Zuordnung basierend auf der Abweichung der Ähnlichkeitswerte vom Mittelwert, wodurch Gruppen mit höherer Relevanz für die Anfrage mehr Tokens behalten, während ein globales Beschneidungsbudget eingehalten wird.

2. Pipeline für zeitgruppenspezifisches Token-Beschneiden (TGP2)

Sobald die Strategie und die Raten bestimmt sind, führt das System eine feinkörnige Token-Beschneidung innerhalb jeder zeitlichen Gruppe durch:

• Audio-Beschneidung: Saliente Audio-Tokens werden mittels Top-K-Auswahl basierend auf der Aufmerksamkeitsmatrix ausgewählt, die aus der letzten Schicht des Audio-Encoders abgeleitet wird.
• Video-Beschneidung: Saliente Video-Tokens werden mittels Bottom-K-Auswahl basierend auf der Kosinus-Ähnlichkeitsmatrix der Vision-Embeddings ausgewählt. Die Autoren wählen Bottom-K (Auswahl der Tokens mit der geringsten Ähnlichkeit zu anderen) gegenüber auf Aufmerksamkeit basierenden Methoden, um eine Verzerrung durch „Attention Sinks" zu vermeiden und den Rechenaufwand zu reduzieren. Sie argumentieren, dass dies effektiv redundante, hochkorrelierte Inhalte entfernt, während distinktive visuelle Hinweise erhalten bleiben.

Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

1. Analyse der Grenzen fester Leitlinien: Die Autoren zeigen, dass bestehende Methoden, die auf statischen modalspezifischen Leitlinien basieren, die variierende Bedeutung von Modalitäten bei verschiedenen Anfragen nicht berücksichtigen, was zu suboptimaler Komprimierung führt.
2. OmniSelect-Framework: Sie schlagen ein trainingsfreies, modalitätsadaptives Framework vor, das dynamisch zwischen uniformen, video-zentrierten und audio-zentrierten Beschneidungsstrategien wählt. Es führt zudem eine feinkörnige Token-Beschneidung innerhalb zeitlicher Gruppen durch und weist Raten adaptiv zu, um informative Tokens zu erhalten.
3. Empirische Validierung: Umfangreiche Experimente auf Audio-Visuellen Benchmarks zeigen, dass OmniSelect die Inferenz beschleunigt und den GPU-Speicherbedarf reduziert, während die hohe Leistung erhalten bleibt, und erzielt konkurrenzfähige Ergebnisse unter trainingsfreien Token-Komprimierungsmethoden.

Experimentelle Ergebnisse

Die Autoren bewerteten OmniSelect an Qwen2.5-Omni-Modellen (3B und 7B Parameter) über vier Benchmarks: WorldSense, DailyOmni, VideoMME und OmniVideoBench.

• Leistungserhaltung: OmniSelect behält 94 % bis 99 % der ursprünglichen Genauigkeit mit vollständigen Tokens bei. In mehreren Fällen (z. B. bestimmte Einstellungen auf OmniVideoBench und VideoMME) übertraf die Methode sogar die Leistung der Inferenz mit vollständigen Tokens, was darauf hindeutet, dass das Entfernen redundanter Tokens die Vorhersagequalität verbessern kann.
• Effizienzgewinne:
  • Inferenz-Beschleunigung: Erzielte eine Beschleunigung von 1,19× bis 1,33×.
  • Speicherreduktion: Reduzierte den GPU-Speicherbedarf um 2,58 GB bis 2,77 GB.
  • Vorfüllzeit: Reduzierte die Vorfüllzeit um 3,53× bis 3,62× bei 70 % Token-Komprimierung.
• Vergleich: OmniSelect schnitt bei verschiedenen Bildrahmen-Budgets und Komprimierungsraten konsistent besser ab als Baselines wie OmniZip (audio-gesteuert) und DyCoke (zeitliches Zusammenführen). Der Vorteil war insbesondere bei langen Videoszenarien und beim 3B-Modell ausgeprägt, das einen günstigeren Effizienz-Leistungs-Trade-off aufwies.
• Ablationsstudien: Experimente bestätigten, dass die dynamische Auswahl von Beschneidungsstrategien (Wechsel zwischen video-zentriert, audio-zentriert und uniform) überlegen ist gegenüber der Abhängigkeit von einer einzigen festen Strategie.

Bedeutung und Behauptungen

Die Arbeit positioniert OmniSelect als notwendige Evolution in der Optimierung von OmniLLMs. Die Autoren behaupten, dass die primäre Bedeutung ihrer Arbeit in der Verschiebung von statischen, modalspezifischen Leitlinien hin zu dynamischen, anfragenbewussten Strategiewahlen liegt. Durch die explizite Modellierung von Modalitätspräferenzen und die Ermöglichung, dass das Modell seine Komprimierungsstrategie an die spezifischen semantischen Bedürfnisse einer Anfrage anpasst, vermeidet OmniSelect effektiv die Fallstricke der uniformen Komprimierung.

Die Autoren betonen, dass ihre Methode trainingsfrei ist, was ihre unmittelbare Anwendbarkeit auf bestehende OmniLLMs ohne Notwendigkeit für Neustraining oder Feinabstimmung ermöglicht. Sie schließen, dass, obwohl ihr aktueller schwellenwertbasierter Auswahlmechanismus effektiv ist, die optimale Strategie oft innerhalb ihrer vorgeschlagenen Taxonomie existiert, und die Hauptbegrenzung in der Präzision der Strategiewahl liegt, nicht in der Darstellungskapazität des Beschneidens selbst. Als zukünftige Arbeit wird vorgeschlagen, robustere Modelle zur Schätzung der Modalitätsbedeutung zu erforschen.