OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

Technisches Resümee: OmniFocus

Problemstellung
Omni-modale Large Language Models (OmniLLMs) haben die Fähigkeit demonstriert, Audio und Video gemeinsam zu verarbeiten, was Aufgaben wie das audio-visuelle Verständnis, empathisches Schließen und Bildunterschriften (Captioning) ermöglicht. Audio-visuelle Eingaben erzeugen jedoch umfangreiche Token-Sequenzen, was zu erheblichen Inferenzkosten führt, die die Anwendbarkeit in Langzeit-Szenarien und ressourcenbeschränkten Umgebungen einschränken. Während die Token-Kompression eine Standardlösung zur Reduzierung der Inferenzkosten in unimodalen oder Vision-Language-Modellen ist, stellt die Anwendung auf OmniLLMs besondere Herausforderungen dar: Die Methode muss gleichzeitig Audio-Evidenz, visuelle Evidenz und die Modalitäts-Ausrichtung (Cross-Modal Alignment) bewahren.

Bestehende Methoden zur audio-visuellen Token-Kompression, wie etwa OmniZip, verlassen sich typischerweise auf unimodale Führung (z. B. die Nutzung der Audio-Aufmerksamkeit, um die Kompression beider Modalitäten zu steuern). Die Autoren identifizieren zwei kritische Einschränkungen dieses Ansatzes:

1. Vernachlässigung der zeitlichen Lokalität: Unimodal geführte Methoden versäumen es oft, die zeitliche Lokalität von abfrage-relevanter Evidenz zu berücksichtigen, indem sie annehmen, dass die Informationsdichte gleichmäßig verteilt oder über die Modalitäten hinweg ausgerichtet ist.
2. Modalitäts-Bias: Durch die Verwendung einer einzelnen Modalität als Leitfaden setzen diese Methoden implizit voraus, dass die Informationsdichteverteilung der führenden Modalität auch für die andere gilt. Dies führt zu einem Overfitting auf die führende Modalität, während potenziell kritische Evidenzen in der anderen Modalität übersehen werden, was die Leistung bei Aufgaben, die gemeinsames audio-visuelles Schließen oder die nicht-führende Modalität erfordern, verschlechtert.

Methodik: OmniFocus
Die Autoren schlagen OmniFocus vor, eine query-gesteuerte, trainingsfreie Token-Kompressionsmethode, die auf eine modalitätssymmetrische Kompression ausgelegt ist. Im Gegensatz zu bisherigen Ansätzen, die eine Modalität nutzen, um die andere zu führen, führt OmniFocus eine unabhängige Wichtigkeitsabschätzung für Video und Audio basierend auf der Text-Abfrage (Query) durch. Die Methode operiert in drei Stufen, bevor die Token vom LLM-Backbone konsumiert werden:

1. Query-bewusste Modalitäts-Bewertung (Query-Aware Modality Scoring):

   • Die Methode extrahiert Query-Token aus der Embedding-Schicht des LLM, um sicherzustellen, dass sie denselben Eingaberaum wie die Audio- und Video-Token teilen.
   • Für jeden zeitlichen Chunk berechnet sie unabhängig eine Relevanzbewertung für Video und Audio, indem sie die maximale Kosinus-Ähnlichkeit zwischen der Query-Repräsentation und den Token innerhalb dieses Chunks misst.
   • Dieser „Max-Similarity“-Ansatz erfasst effektiv spärliche, query-übereinstimmende Evidenz, da er anerkennt, dass relevante Informationen in spezifischen Token konzentriert sein können, statt gleichmäßig verteilt zu sein.

2. Chunk-weise Budget-Allokation (Chunk-wise Budget Allocation):

   • Relevanzbewertungen werden in Kompressionsbewertungen umgewandelt (wobei höhere Relevanz eine geringere Kompression bedeutet).
   • Diese Scores werden unter globalen modalitätsspezifischen Budgetbeschränkungen auf lokale Drop-Ratios für jeden Chunk abgebildet.
   • Ein Kalibrierungsschritt stellt sicher, dass die gesamte Anzahl der beibehaltenen Token der Ziel-Retention-Rate (z. B. 25 % oder 35 %) entspricht, während verschiedenen zeitlichen Chunks und Modalitäten adaptive lokale Budgets zugewiesen werden.

3. Dual-Score Token-Selektion (Dual-Score Token Selection):

   • Innerhalb jedes Chunks und jeder Modalität werden Token basierend auf zwei komplementären Kriterien ausgewählt, um sowohl die Cross-Modal-Ausrichtung als auch die modalitätsspezifische Salienz zu bewahren:
     • Inter-modale Assoziation: Token werden nach ihrer Ähnlichkeit zur Mittelwert-Repräsentation der anderen Modalität im selben Chunk bewertet. Dies bewahrt die audio-visuelle Korrespondenz.
     • Intra-modaler Peak: Token werden nach ihrer Distinktheit relativ zum Mittelwert ihrer eigenen Modalität bewertet. Dies bewahrt Evidenz, die einzigartig für eine spezifische Modalität ist und durch Cross-Modal-Ausrichtung allein möglicherweise übersehen würde.
   • Die endgültige Selektion teilt die beibehaltenen Token gleichmäßig zwischen jenen mit den höchsten Assoziations-Scores und jenen mit den höchsten Peak-Scores auf.

Wesentliche Beiträge

1. Identifizierung von Modalitäts-Bias: Die Arbeit validiert empirisch, dass die unimodal geführte Kompression in OmniLLMs zu einem Modalitäts-Bias führt, der die Leistung bei Aufgaben, die die nicht-führende Modalität oder gemeinsames Schließen erfordern, verschlechtert.
2. OmniFocus-Framework: Die Einführung einer trainingsfreien, query-gesteuerten Methode, die eine symmetrische Kompression durchführt. Sie schätzt die Query-Relevanz separat für Audio und Video, mildert Bias ab und bewahrt gleichzeitig inter-modale Assoziationen und intra-modale Peaks.
3. Empirische Validierung: Umfangreiche Experimente über vier audio-visuelle Benchmarks (DailyOmni, WorldSense, OmniVideoBench, VideoMME) zeigen, dass OmniFocus ein günstiges Genauigkeits-Effizienz-Verhältnis erreicht.

Ergebnisse
Die Experimente wurden mit den Modellfamilien Qwen2.5-Omni-3B und Qwen2.5-Omni-7B durchgeführt.

• Leistung: Bei einer Token-Retention-Rate von 25 % übertraf OmniFocus bestehende Baselines (OmniZip, DyCoke und Random) in mehreren wichtigen Benchmark-Scores.
  • Auf DailyOmni (Qwen2.5-Omni-7B) erreichte OmniFocus eine Genauigkeit von 59,40 %, verglichen mit 57,73 % für OmniZip und 54,37 % für DyCoke.
  • Auf WorldSense erzielte OmniFocus die besten komprimierten Ergebnisse über alle Modell-Budget-Einstellungen hinweg und übertraf OmniZip beim 3B-Modell um bis zu 1,04 Punkte.
  • Auf VideoMME erreichte es die besten durchschnittlichen komprimierten Scores in allen vier Einstellungen.
• Effizienz: OmniFocus lieferte signifikante Beschleunigungen. Auf DailyOmni mit dem 7B-Modell bei 25 % Retention bot es eine 1,38-fache Prefill-Beschleunigung und eine 1,32-fache End-to-End-Beschleunigung im Vergleich zur Full-Token-Baseline, während es eine höhere Genauigkeit als andere Kompressionsmethoden beibehielt.
• Ablationsstudien: Die Autoren bestätigten, dass:
  • Max-Similarity-Scoring die Average-Similarity-Bewertung übertrifft.
  • Score-basierte adaptive Allokation besser ist als zufällige oder uniforme Allokation.
  • Die hybride Strategie der inter-modalen und intra-modalen Token-Selektion entscheidend ist; die Beschränkung auf nur eine der beiden führt zu Leistungseinbußen.
  • Die modalitätsbalancierte Bewertung (Berücksichtigung von sowohl Audio als auch Video) robuster ist als die Einzel-Modalitäts-Bewertung.

Bedeutung und Behauptungen
Das Paper behauptet, dass eine query-gesteuerte, modalitätssymmetrische Kompression eine zuverlässigere Designentscheidung für das audio-visuelle Verständnis in Langzeit-Szenarien ist als eine einseitig modalitätsgesteuerte Token-Budgetierung. Die Bedeutung von OmniFocus liegt in seiner Fähigkeit, den in bisherigen asymmetrischen Kompressionsstrategien inhärenten Modalitäts-Bias zu mildern, ohne ein Modell-Retraining zu erfordern. Durch die Bewahrung sowohl der Cross-Modal-Korrespondenz als auch der modalitätsspezifischen, salienten Evidenz ermöglicht OmniFocus es OmniLLMs, effizient in ressourcenbeschränkten Umgebungen zu operieren und gleichzeitig eine hohe Fidelität in audio-visuellen Reasoning-Aufgaben aufrechtzuerhalten. Die Autoren merken an, dass die Methode zwar effektiv ist, ihre Abhängigkeit von eingefrorenen Input-Embeddings jedoch bedeuten kann, dass sie für feingranulare Ereignisse, bei denen die initialen Token-Embeddings die Query-Intention nicht vollständig erfassen, weniger präzise sein könnte, und dass ihre Generalisierbarkeit auf Architekturen jenseits der Qwen2.5-Omni-Familie einer weiteren Evaluierung bedarf.