💬 NLP

Mechanistic Insights into Functional Sparsity in Multimodal LLMs via CoRe Heads

Diese Arbeit zeigt auf, dass multimodale große Sprachmodelle auf funktionaler Sparsität beruhen, wobei eine spezialisierte Teilmenge von Attention-Heads, die als CoRe-Heads bezeichnet werden, entscheidend für die Extraktion abfragespezifischer visueller Merkmale sind, wie durch deren signifikanten Einfluss auf die Leistung bei Ablation sowie ihr Potenzial zur Beschleunigung der Inferenz demonstriert wird.

Ursprüngliche Autoren: Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruoxi Sun, Quantong Qiu, Juntao Li, Zecheng Tang, Yihang Lou, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „Spezialagenten“ in einer Menge finden

Stellen Sie sich ein Multimodales Großes Sprachmodell (MLLM) wie eine riesige, geschäftige Redaktion vor. Diese Redaktion hat tausende von Reportern (genannt Attention Heads), die alle gleichzeitig arbeiten. Ihr Job ist es, eine komplexe Geschichte zu lesen (den Text-Prompt) und eine chaotische Szene zu betrachten (ein Bild oder ein Video), um eine spezifische Frage zu beantworten.

Normalerweise denken wir, dass all diese Reporter gemeinsam arbeiten und den ganzen Raum scannen, um die Antwort zu finden. Aber diese Arbeit hat etwas Überraschendes entdeckt: Die meisten der Reporter schauen eigentlich nur ziellos umher oder starren auf das Hintergrundrauschen.

Stattdessen gibt es eine winzige, Elite-Gruppe von etwa 5 % der Reporter, die als „Spezialagenten“ fungieren. Diese Agenten sind die Einzigen, die tatsächlich wissen, wo sie suchen müssen, um die spezifische Antwort zu finden. Die Autoren nennen diese die CoRe Heads (Context-aware Retrieval heads).

Die Detektivarbeit: Wie sie die Agenten fanden

Um dies zu beweisen, erfanden die Forscher ein neues Maß für die Aufmerksamkeit namens RAM (Retrieval Attention Mass).

Die Analogie: Stellen Sie sich vor, Sie suchen ein bestimmtes rotes Auto auf einem belebten Parkplatz.
- Die „schlechten“ Reporter (Bottom Heads): Sie schauen in den Himmel, auf den Asphalt, auf die vorbeilaufenden Menschen und auf die Bäume. Sie lassen sich von allem ablenken, außer dem Auto.
- Die „CoRe“-Reporter: Sie ignorieren den Himmel und die Menschen. Sie fixieren direkt das rote Auto.

Die Forscher maßen, wie viel Aufmerksamkeit jeder „Reporter“ dem korrekten Objekt (dem roten Auto) im Vergleich zum falschen Zeug schenkte. Sie fanden heraus, dass die CoRe Heads konsequent direkt auf die Antwort zeigten, während die anderen nur „Rauschen“ waren.

Das „Was wäre wenn“-Experiment: Die Agenten entfernen

Um zu sehen, ob diese Spezialagenten tatsächlich notwendig waren, wagten die Forscher ein gefährliches Experiment: Sie schalteten sie aus.

Das Ergebnis: Als sie nur die besten 5 % der Reporter (die CoRe Heads) verstummten ließen, brach die Redaktion zusammen. Die Fähigkeit des Modells, Fragen zu beantworten, sank drastisch. Es war, als würde man die einzige Person, die den Weg aus einem Labyrinth kennt, entfernen und den Rest der Menge bitten, einen zu führen.
Der Kontrast: Als sie die „abgelenkten“ Reporter (die unteren 95 %) ausschalteten, funktionierte das Modell fast perfekt weiter. Dies bewies, dass die „Rausch“-Reporter redundant waren, aber die „Spezialagenten“ essenziell waren.

Die Entdeckung des „Engpasses“

Die Arbeit bemerkte auch ein Muster, wenn die Modelle größer wurden (von klein bis massiv).

Kleine Modelle: Die Spezialagenten waren überall in der Redaktion verstreut, ein wenig chaotisch.
Große Modelle: Als das Modell wuchs, bewegten sich die Spezialagenten in ein spezifisches, enges Cluster in der Mitte bis zum hinteren Teil des Gebäudes. Sie bildeten einen Engpass (Bottleneck). Das Modell realisierte: „Hey, wir brauchen nicht alle, die schauen; wir brauchen nur dieses spezifische Team in diesem spezifischen Raum, um die schwere Arbeit zu erledigen.“

Die Superkraft: Beschleunigung

Da die Forscher bewiesen haben, dass 95 % der Reporter nur „Platz einnehmen“ und nicht die entscheidende Arbeit leisten, probierten sie eine neue Strategie aus, um das Modell schneller zu machen.

Die Strategie: Sie sagten den 95 % der abgelenkten Reporter: „Ihr müsst nicht mehr den ganzen Raum betrachten. Schaut einfach nur in den unmittelbaren Bereich direkt vor euch.“ Währenddessen ließen sie die 5 % der Spezialagenten weiterhin den ganzen Raum betrachten.
Das Ergebnis: Dies machte das Modell viel schneller (bis zu 2-mal schneller), ohne die Genauigkeit zu verlieren. Es ist, als würde man einer Menge sagen, sie solle aufhören, quer durch den Raum zu schreien, und stattdin nur mit den Nachbarn flüstern, während nur die wenigen Experten die wichtigen Nachrichten laut verkünden. Die Nachricht kommt trotzdem durch, aber das Chaos (und die Zeit, die es braucht) ist verschwunden.

Zusammenfassung

Diese Arbeit zeigt auf, dass Multimodale KI-Modelle nicht wirklich ihre volle Gehirnleistung nutzen, um Antworten zu finden. Sie verlassen sich auf ein winziges, spezialisiertes Team (CoRe Heads), das die eigentliche Arbeit der Suche nach visuellen Hinweisen übernimmt, während der Rest des Netzwerks nur dabei hilft, das Licht an der Decke brennen zu lassen. Indem man dieses kleine Team identifiziert und schützt, während man die Arbeit des Rests vereinfacht, kann man diese KI-Modelle signifikant schneller und effizienter machen.

Technisches Resümee: Mechanistische Einblicke in die funktionale Sparsity in multimodalen LLMs via CoRe Heads

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben eine bemerkenswerte Leistungsfähigkeit in komplexen Vision-Language-Aufgaben demonstriert, doch die internen Mechanismen, die steuern, wie sie abfragespezifische visuelle Merkmale aus verrauschten, überladenen Kontexten extrahieren, bleiben undurchsichtig. Während MLLMs hochdimensionale visuelle Signale in semantische Räume abbilden, enthalten reale Eingaben oft redundante Informationen. Robuste multimodale Argumentation hängt von der Fähigkeit des Modells ab, spärliche, aufgabenspezifische visuelle Hinweise selektiv zu isolieren. Bestehende Interpretierbarkeits-Frameworks verlassen sich jedoch auf grobe statistische Heuristiken (z. B. räumliche Entropie, Attentionsaggregation), die primär auf statischen Bildern evaluiert werden. Diese Ansätze versäumnen es, die feingliedrige, abfragebedingte Token-Level-Attention in dichten oder dynamischen spatiotemporalen Szenen zu erfassen, was eine signifikante Lücke im Verständnis der Fehlermodi und der internen Effizienz von MLLMs hinterlässt.

2. Methodik

Die Autoren schlagen ein systematisches Framework vor, um eine spezialisierte Teilmenge von Attention-Heads zu identifizieren und zu charakterisieren, die für die cross-modale Abfrage verantwortlich sind – bezeichnet als Context-aware Retrieval (CoRe) heads.

2.1 Retrieval Attention Mass (RAM)

Um diese Heads zu isolieren, führen die Autoren eine Token-Level-Metrik namens Retrieval Attention Mass (RAM) ein. Im Gegensatz zu generischen Attentions-Metriken quantifiziert RAM die von einem spezifischen Head $h$ zugewiesene Attention-Masse von instruktionalen Query-Tokens ( $q$ ) zu den Ground-Truth-visuellen Entitäten ( $V^*$ ).
Der RAM-Score für einen Head ist definiert als:
$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$
wobei $\Omega(V^*)$ den tokenisierten räumlichen oder zeitlichen Bereich der relevanten visuellen Entitäten darstellt und $A(h)_{x \to y}$ das Attention-Gewicht ist. Hohe RAM-Werte deuten auf gezielte Abfrage (Targeted Retrieval) hin, statt auf generische Akkumulation von Attention oder „Attention Sinks“.

2.2 Einheitliches Evaluationsprotokoll

Die Studie verwendet ein einheitliches Protokoll über vier diverse Datensätze hinweg, die unterschiedliche Modalitäten und Komplexitäten abdecken:

RefCOCOg: Statische Bild-Visual-Grounding (Bounding Boxes).
VidSTG: Video-Spatiotemporale-Grounding (Temporal Tubes).
MMLongGench: Langkontext-Multi-Evidence-Reasoning (Evidence Regions).
MMDocIR: Dokumentengestützte Abfrage (Page/Figure Regions).

Die Autoren bilden kontinuierliche Annotationen (Spatial Boxes, Temporal Tubes) unter Verwendung architekturspezifischer Strategien (z. B. Boundary Tagging für Adapter-basierte Modelle, Uniform Slicing für Fixed-Expansion-Modelle) auf diskrete Token-Indizes $\Omega(V^*)$ ab, um eine präzise Messung der Attention zu gewährleisten.

2.3 Kausale Interventionen und Beschleunigung

Um die funktionale Notwendigkeit der CoRe-Heads zu validieren, führen die Autoren kausale Interventionen mittels Attention-Masking während der Inferenz durch. Sie ablatierten die Top- $k$ CoRe-Heads (gerankt nach RAM) und vergleichen dies mit der Ablation von am niedrigsten gerankten oder zufälligen Heads.
Darüber hinaus schlagen sie einen CoRe-gesteuerten Hybrid-Attention-Mechanismus zur systemseitigen Beschleunigung vor. Diese Strategie behält die volle globale Attention für die Top- $k$ CoRe-Heads bei, während sie die verbleibenden, nicht essenziellen Heads während der Prefill-Phase auf lokale Sliding Windows (Stream Sparse Attention) beschränkt, mit dem Ziel, die quadratische Rechenkomplexität zu reduzieren.

3. Zentrale Beiträge und Ergebnisse

3.1 Entdeckung der funktionalen Sparsity

Die Analyse offenbart eine tiefgreifende strukturelle Eigenschaft: funktionale Sparsity. Eine kleine, spezialisierte Teilmenge von Attention-Heads fungiert als dedizierter Informations-Extraktor, während die große Mehrheit der Heads diffuse, globale Attention-Muster aufweist.

Lokalisierung: CoRe-Heads lokalisieren präzise kontextrelevante visuelle Entitäten (z. B. spezifische Objekte in einem Video oder Textregionen in einem Dokument) und filtern Hintergrundrauschen heraus.
Differenzierung: Niedrig gerankte Heads (Bottom Heads) streuen die Attention über irrelevante Regionen und scheitern daran, Instruktionen zu erden.

3.2 Strukturelle Evolution und Skalierung

Skalierungsmuster: Mit zunehmender Modellkapazität (z. B. von 4B auf 32B Parameter) gehen CoRe-Heads von einer gestreuten Verteilung zu einem hochkonzentrierten „Bottleneck“ in den tiefen Layern über (z. B. Layer 44–56 in 32B-Modellen).
Architektonische Divergenz: Unterschiedliche Modellfamilien zeigen distinkte Topologien. Qwen3-VL zeigt eine spärliche Lokalisierung, LLaVA-OneVision eine moderate Dispersion und InternVL3.5 zeigt dichte Aktivierungen, was darauf hindeutet, dass strukturelle Sparsity eine dynamische Allokationsstrategie ist, die auf die Dichte der visuellen Repräsentation reagiert, statt eine intrinsische Eigenschaft des Basis-LLMs zu sein.

3.3 Domänenübergreifende Stabilität

CoRe-Heads folgen einem „global konsistenten, lokal varianten“ Paradigma. Etwa 30 spezifische Heads bleiben über diverse Aufgaben hinweg (RefCOCOg, VidSTG, MMLongBench, MMDocIR) universell aktiviert, mit hohen Spearman-Rangkorrelationen (0.79–0.92) in den Aktivierungsmustern. Diese Heads sind stabil in den mittleren bis späten Layern konzentriert.

3.4 Kausale Notwendigkeit

Kausale Interventionen bestätigen die nicht-redundante Notwendigkeit der Co-Re-Heads:

Leistungseinbruch: Die Ablation nur der Top 5 % der Co-Re-Heads verursacht einen katastrophalen Abfall der multimodalen Reasoning-Leistung (z. B. sinkt die Genauigkeit bei Qwen3-VL-4B drastisch von ~45 % auf ~27 %).
Redundanz: Die Ablation von am niedrigsten gerankten Heads hat minimale Auswirkungen, was auf eine signifikante funktionale Redundanz in den nicht-spezialisierten Heads hindeutet.

3.5 Beschleunigung und Effizienz

Durch Nutzung dieser Sparsity erreicht der vorgeschlagene Hybrid-Attention-Mechanismus signifikante Beschleunigungen:

Beschleunigung: Bis zu 2,3× Prefill-Beschleunigung bei Langkontext-Aufgaben (z. B. MLVU, Video-MME), während eine robuste Performance beibehalten wird.
Leistungserhalt: In einigen Konfigurationen (z. B. Beibehaltung von 19,1 % der Heads in LLaVA-OneVision) übertrifft das Hybrid-Modell das voll-dense Baseline-Modell sogar leicht, was wahrscheinlich auf einen impliziten Regularisierungseffekt zurückzuführen ist, der cross-modales Rauschen filtert.
Skalierbarkeit: Größere Modelle (z. B. Qwen3-VL-32B) halten höhere Level der Sparsifizierung (bis zu 4,9 % der Heads) bei vernachlässigbarem Leistungsverlust durch, was auf eine erhöhte funktionale Redundanz bei größerer Skalierung hindeutet.

4. Bedeutung und Ansprüche

Das Paper behauptt, ein strukturelles Prinzip der funktionalen Sparsity innerhalb von MLLMs aufgedeckt zu haben, welches das aktuelle Verständnis der mechanistischen Interpretierbarkeit verfeinert. Die zentralen Implikationen sind:

Mechanistischer Einblick: Multimodale Argumentation wird durch eine spärliche, konsistente Teilmenge von Heads gesteuert, die als kritischer Engpass (Bottleneck) für die cross-modale Extraktion fungiert und sich von der globalen Feature-Aggregation anderer Heads unterscheidet.
Nicht-Redundanz: Diese spezialisierten Heads sind kausal unverzichtbar; ihre Entfernung kann durch den Rest des Netzwerks nicht kompensiert werden.
Optimierungspotenzial: Die Entdeckung liefert eine theoretische Grundlage für eine effiziente Modelloptimierung. Durch das Operieren auf einem kleinen Bruchteil kritischer Heads ist es möglich, die Inferenz (insbesondere in Langkontext-Szenarien) signifikant zu beschleunigen, ohne die semantische Selektion oder die Aufgabenleistung zu beeinträchtigen.

Die Autoren weisen auf Limitationen hin, wie die Abhängigkeit von expliziten Ground-Truth-Annotationen für die Berechnung von RAM sowie die derzeitige Verwendung statischer Head-Konfigurationen für die Beschleunigung, und schlagen vor, dass zukünftige Arbeiten dynamische, input-adaptive Routing-Strategien untersuchen könnten.