💻 computer science

OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance

OmniDrop ist ein trainingsfreies, schichtweises Token-Pruning-Framework für omni-modale LLMs, das Textabfragen und einen temporalen Diversitäts-Score nutzt, um redundante audiovisuelle Token innerhalb der Decoder-Schichten schrittweise zu entfernen, wodurch signifikante Reduktionen der Latenz und des Speicherverbrauchs erreicht werden, während gleichzeitig bestehende Baselines in der Leistung übertroffen werden.

Ursprüngliche Autoren: Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superschlauen Roboterassistenten (ein „Omni-LLM"), der gleichzeitig Videos ansehen und Audio hören kann. Sie stellen ihm eine Frage, wie etwa „Wer singt im Hintergrund?" oder „Welche Farbe hat das Auto?"

Das Problem ist, dass hochwertige Videos und Audiodaten wie eine massive Flut von Informationen wirken. Für nur eine Minute Video muss der Roboter über 10.000 winzige Informationseinheiten (sogenannte „Tokens") verarbeiten. Zu versuchen, alle gleichzeitig zu betrachten, ist wie der Versuch, aus einem Feuerlöscher zu trinken – es ist langsam, verbraucht viel Energie und macht den Roboter träge.

Um dies zu beheben, versuchen Wissenschaftler normalerweise, die „langweiligen" Teile des Videos und des Audios bevor der Roboter überhaupt zu denken beginnt, wegzuwerfen. Sie gehen davon aus, dass, wenn ein Ton und ein Bild gleichzeitig auftreten, sie miteinander verknüpft sein müssen.

Die große Idee des Papiers: „OmniDrop"
Die Autoren dieses Papiers sagen: „Moment mal, diese Annahme ist falsch." Nur weil ein Ton und ein Bild gleichzeitig auftreten, bedeutet das nicht, dass sie für Ihre spezifische Frage wichtig sind.

Anstatt Dinge sofort wegzuwerfen, haben sie ein neues System namens OmniDrop entwickelt. So funktioniert es, unter Verwendung einiger einfacher Analogien:

1. Die „Langsamer-Start"-Strategie (Schichtweises Beschneiden)

Stellen Sie sich das Gehirn des Roboters als ein mehrstöckiges Gebäude vor.

Alte Methode: Sie stehen vor der Eingangstür (der Eingabe) und werfen sofort 50 % der Personen (Daten) hinaus, basierend darauf, wer wem ähnlich sieht. Das ist riskant, weil Sie möglicherweise die eine Person hinausbefördern, die tatsächlich die Antwort weiß.
OmniDrop-Methode: Sie lassen alle ins Gebäude. Auf den ersten paar Etagen (frühe Schichten) mischen sich alle und sprechen miteinander. Dies ermöglicht es Audio und Video, sich zu vermischen und die Szene gemeinsam zu verstehen.
Die Wendung: Während die Gruppe in die oberen Etagen (tiefere Schichten) aufsteigt, erkennt der Roboter: „Oh, ich muss nur mit diesen spezifischen Personen sprechen, um die Frage zu beantworten." Dann beginnt er, die unwichtigen Personen erst sanft, dann aggressiv, zum Gehen zu bitten. Dies stellt sicher, dass der Roboter das „große Ganze" nicht verliert, bevor er weiß, wonach er sucht.

2. Die „Frage als Taschenlampe" (Abfragegesteuerte Führung)

Wie weiß der Roboter, wen er behalten soll?

Alte Methode: Er betrachtet Audio und Video und versucht zu erraten, welche zusammenpassen.
OmniDrop-Methode: Er leuchtet mit einer Taschenlampe basierend auf Ihrer Textfrage.
- Wenn Sie fragen: „Welcher Ton ist das?", beleuchtet die Taschenlampe die Audio-Tokens und dimmt die Video-Tokens.
- Wenn Sie fragen: „Welche Farbe hat das Hemd?", beleuchtet die Taschenlampe die Video-Tokens.
- Der Roboter behält die Tokens, auf die die „Taschenlampe" scheint, und verwirft die im Dunkeln. Dies macht das Beschneiden intelligent und auf Ihre Aufgabe zugeschnitten.

3. Die „Nicht die Mitte überspringen"-Regel (Zeitliche Vielfalt)

Es besteht eine Gefahr: Wenn der Roboter nur die Tokens behält, auf die die Taschenlampe trifft, könnte er alles andere vergessen und eine „Lücke" in der Geschichte erzeugen.

Die Lösung: OmniDrop fügt eine Regel namens Temporale Vielfalt hinzu. Selbst wenn ein bestimmter Moment nicht der wichtigste ist, erhält er, wenn er zeitlich weit vom Hauptereignis entfernt ist, einen kleinen „Bonus-Punktwert", um zu bleiben.
Analogie: Stellen Sie sich vor, Sie lesen ein Buch. Wenn Sie nur die Sätze behalten, in denen der Held spricht, verpassen Sie die Szenerie. OmniDrop sagt: „Behalten Sie die Zeilen des Helden, aber behalten Sie auch ein paar Sätze aus den ruhigen Teilen dazwischen, damit sich die Geschichte nicht unterbrochen anfühlt."

Die Ergebnisse

Die Autoren testeten dies an Qwen2.5-Omni (ein beliebtes Modell) unter Verwendung verschiedener Video- und Audio-Tests.

Geschwindigkeit: Es ließ den Roboter 40 % schneller denken (weniger Wartezeit).
Speicher: Es verbrauchte 14,7 % weniger Speicher.
Intelligenz: Überraschenderweise wurde der Roboter, indem er schlauer darüber war, was er wegwerfen sollte, tatsächlich besser im Beantworten von Fragen (bis zu 3,58 Punkte höher bei Tests) im Vergleich zu anderen Methoden, die einfach zufällige Datenblöcke weggeworfen haben.

Zusammenfassung:
OmniDrop ist wie ein intelligenter Cutter für einen Film. Anstatt den Film zur Hälfte zu schneiden, bevor Sie ihn überhaupt ansehen, lässt es Sie den ganzen Film ansehen, ermittelt genau, welche Szenen für Ihre spezifische Frage relevant sind, und schneidet dann den Rest während Sie zuschauen heraus, sodass Sie die Antwort schnell erhalten, ohne die Handlung zu verlieren.

Technische Zusammenfassung: OmniDrop

Problemstellung

Omni-modale Large Language Models (Omni-LLMs) haben ein erhebliches Potenzial für das ganzheitliche multimodale Verständnis gezeigt, indem sie Text, Audio und Video integrieren. Ein kritischer Engpass für Echtzeitanwendungen und das Schlussfolgern über lange Zeiträume ist jedoch die „Token-Explosion", die durch hochauflösende zeitliche Daten verursacht wird. Audio- und Videosignale erzeugen deutlich mehr Token als Text (z. B. kann ein einminütiger Videoclip auf über 10.000 Token projiziert werden), was zu einem quadratischen Anstieg der Rechen- und Speicherkosten führt.

Bestehende Token-Komprimierungsmethoden für Omni-LLMs führen die Beschneidung typischerweise auf der Eingabe-Embedding-Ebene durch. Diese Ansätze basieren auf der Annahme, dass Audio-Video-Token über gemeinsame Repräsentationsräume oder zeitliches Ko-Auftreten semantisch abgeglichen sind. Die Autoren argumentieren, dass diese Annahmen aus zwei Hauptgründen unzuverlässig sind:

Schwache Pre-LLM-Ausrichtung: Audio- und Video-Embeddings besetzen vor der Verarbeitung unterschiedliche Teilräume innerhalb des LLM-Embedding-Raums, was zu einer niedrigen cross-modalen Kosinus-Ähnlichkeit führt, die keine bedeutungsvollen semantischen Beziehungen identifizieren kann.
Unzuverlässiges zeitliches Ko-Auftreten: Gleichzeitige Audio- und visuelle Ereignisse implizieren nicht notwendigerweise eine semantische Korrespondenz (z. B. können Hintergrundmusik oder Off-Screen-Erzählungen nicht mit dem sichtbaren Inhalt übereinstimmen).

Folglich führt eine auf Eingabe-Ebene basierende Beschneidung auf Basis von Embedding-Abständen oder Ko-Auftreten oft zur Verwerfung wichtiger modality-spezifischer Beweise, was zu einer suboptimalen Token-Auswahl führt.

Methodik: OmniDrop

Um diese Einschränkungen zu adressieren, schlagen die Autoren OmniDrop vor, ein trainingsfreies, schichtweises Token-Pruning-Framework. Im Gegensatz zu früheren Methoden pruned OmniDrop Token progressiv innerhalb der LLM-Decodierschichten und nicht auf der Eingabestufe, wobei es drei Kernmechanismen nutzt:

1. Progressives schichtweises Token-Pruning (PLP)

Motiviert durch die Beobachtung, dass die Fusion omni-modaler Informationen progressiv durch die Decodierschichten erfolgt, übernimmt OmniDrop einen dynamischen Beschneidungsplan.

Frühe Schichten: Das Pruning ist konservativ (niedriges Verhältnis), um eine ausreichende Fusion und Integration omni-modaler Informationen zwischen Audio- und Video-Streams zu ermöglichen.
Tiefe Schichten: Das Pruning wird aggressiv (hohes Verhältnis), sobald das Modell klare token-bezogene Präferenzen für die Abfrage gebildet hat.
Implementierung: Das Beschneidungsverhältnis $p_l$ für Schicht $l$ folgt einer Sigmoid-Funktion:
$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$
Dies stellt sicher, dass Token in flachen Schichten zur Integration erhalten bleiben und in tieferen Schichten entfernt werden, wo informative Token besser unterscheidbar sind.

2. Abfragegeführte Token-Wichtigkeit

Anstatt Audio- und Video-Token direkt zu vergleichen, verwendet OmniDrop die Textabfrage als semantischen Vermittler.

Mechanismus: Der Wichtigkeitswert $S$ für Audio- und Video-Token wird basierend auf den durchschnittlichen Aufmerksamkeitswerten von Text-Token zu den Audio-Video-Token berechnet:
$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$
Adaptivität: Dies ermöglicht dem Modell, Token-Budgets dynamisch basierend auf den Aufgabenanforderungen zuzuweisen. Für audio-zentrierte Aufgaben werden mehr Audio-Token beibehalten; für video-zentrierte Aufgaben werden mehr Video-Token behalten. Dies gewährleistet einen minimalen Informationsverlust für die spezifische Abfrage.

3. Zeitliche Diversitäts-Score (TDS)

Um eine übermäßige Beschneidung von Token zu verhindern, die zeitlich weit vom primären Aufmerksamkeitspeak entfernt sind (was zum Verlust des globalen Kontexts führen könnte), führt OmniDrop eine Diversitätsmetrik ein.

Prozess:
1. Identifizierung des „Schlüssel-Chunks" ( $c_{max}$ ), der den Token mit dem höchsten Wichtigkeitswert enthält.
2. Auswahl eines Kandidatenpuffers der am schwächsten bewerteten Token.
3. Berechnung einer normalisierten zeitlichen Distanz $D$ von $c_{max}$ .
4. Erweiterung des endgültigen Scores: $S_{TDS} = S + \lambda_{div} \cdot D$ .
Effekt: Token, die zeitlich weit vom primären Aufmerksamkeitspeak entfernt sind, erhalten einen Score-Boost, was ein ausgewogenes Überleben von Token über die gesamte Sequenz hinweg fördert und den globalen zeitlichen Kontext bewahrt.

4. Intra-Modales Pruning

Bevor Token in das LLM eingespeist werden, führt OmniDrop eine unabhängige intra-modale Beschneidung durch, um Redundanzen zu entfernen:

Audio: Behält Token mit den höchsten Aufmerksamkeitswerten aus der letzten Schicht des Audio-Encoders bei.
Video: Verwendet Temporal Token Merging (TTM), um aufeinanderfolgende redundante visuelle Token basierend auf der Kosinus-Ähnlichkeit zu filtern.
Ergebnis: Diese Vorverarbeitung reduziert die anfängliche Token-Anzahl auf ca. 45 %, bevor das schichtweise Pruning beginnt.

Hauptbeiträge

Analyse von Einschränkungen auf Eingabe-Ebene: Die Arbeit zeigt, dass die Audio-Video-Ähnlichkeit auf Eingabe-Ebene aufgrund unzureichender Ausrichtung in Pre-LLM-Embeddings und der Unzuverlässigkeit des zeitlichen Ko-Auftretens als Proxy für semantische Relevanz ein schwaches Signal für das Token-Pruning liefert.
OmniDrop-Framework: Ein neuartiges, trainingsfreies, schichtweises Pruning-Framework, das Textabfragen für eine modality-agnostische und aufgabenadaptive Token-Auswahl nutzt. Es verwendet einen progressiven Beschneidungsplan und einen zeitlichen Diversitäts-Score, um Effizienz und Kontexterhaltung in Einklang zu bringen.
Empirische Validierung: Umfassende Experimente auf diversen Benchmarks (VideoMME, WorldSense, AVUT) zeigen, dass OmniDrop bestehende SOTA-trainingsfreie Methoden (OmniZip, DASH) übertrifft und gleichzeitig die Latenz und Speichernutzung erheblich reduziert.

Experimentelle Ergebnisse

Evaluiert an Qwen2.5-Omni (7B- und 3B-Modelle) erzielte OmniDrop Folgendes:

Leistungssteigerungen: Übertraf alle Baselines um bis zu 3,58 Punkte (speziell auf dem AVUT-Benchmark mit dem 7B-Modell). Bemerkenswerterweise übertraf OmniDrop bei 30 % Token-Erhalt die 100 %-Full-Token-Baseline auf VideoMME.
Robustheit: Unter extremer Kompression (20 % Erhalt) zeigte OmniDrop eine minimale Leistungsverschlechterung (durchschnittlicher Abfall von 0,18–0,47 Punkten) im Vergleich zu Baselines, die um über 1,0 Punkt fielen.
Effizienz: Reduzierte die Prefill-Latenz um bis zu 40 % und die GPU-Speichernutzung um bis zu 14,7 % im Vergleich zur Full-Token-Inferenz, bei gleichzeitiger Beibehaltung wettbewerbsfähiger Leistung.
Aufgaben-Adaptivität: Die Analyse bestätigte, dass der abfragegesteuerte Mechanismus die Token-Erhaltungsquoten erfolgreich an spezifische Aufgabenbedürfnisse anpasst (z. B. mehr Audio für Audio-Erkennungsaufgaben und mehr Video für Szenenerkennung beibehalten).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass OmniDrop eine praktische Lösung für skalierbare und reaktionsfähige Omni-LLMs bietet, indem es das Token-Pruning grundlegend von der Eingabeebene auf die Decodierschichten verlagert. Durch die Nutzung von Textabfragen als Führungssignal und die Anerkennung der progressiven Natur der omni-modalen Fusion erreicht die Methode überlegene Effizienz-Leistungs-Verhältnisse, ohne dass ein Modell-Neu-Training oder architektonische Änderungen erforderlich sind.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die Methode derzeit auf Text-Prompts für die Token-Auswahl angewiesen ist, was ihre Verwendung in Szenarien mit nur Audio-/Video-Eingaben einschränkt. Zudem werden als trainingsfreies Framework die Hyperparameter (wie Beschneidungspläne) empirisch bestimmt und nicht gelernt. Zukünftige Arbeiten zielen darauf ab, Methoden zur Erfassung semantischer Beziehungen ohne textliche Führung zu erforschen und Pruning-Entscheidungen über Kalibrierungsdaten zu optimieren.