🤖 AI

Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

Die Studie widerlegt die Annahme, dass mehr Vision-Encoder in multimodalen Sprachmodellen automatisch zu besseren Ergebnissen führen, indem sie durch systematische Maskierung und neue Metriken eine weit verbreitete Redundanz aufdeckt, die es ermöglicht, spezifische Encoder zu entfernen und so die Leistung bei gleichzeitiger Reduzierung von Ressourcen und Latenz zu steigern.

Ursprüngliche Autoren: Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

Veröffentlicht 2026-02-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Warum mehr Augen nicht immer besser sehen – Eine Entdeckungsreise in die Welt der KI

Stell dir vor, du baust ein super-intelligentes Team von Detektiven, um ein komplexes Rätsel zu lösen. Jeder Detektiv hat eine spezielle Brille:

Der eine sieht die große Landschaft (wo ist das Haus?).
Der andere sieht winzige Details (wie viele Fenster hat das Haus?).
Der dritte kann Text lesen, der auf einem Schild steht.
Der vierte erkennt Gesichter in der Menge.

In der Welt der künstlichen Intelligenz (KI) nennen wir diese Detektive „Vision-Encoder". Die aktuelle Annahme in der Forschung war: „Je mehr Detektive wir haben, desto besser ist das Team!" Man dachte, wenn man viele verschiedene Brillen kombiniert, versteht die KI die Welt perfekt.

Aber dieses Papier von ICLR 2026 sagt: Stopp! Das ist ein Irrtum.

Hier ist die einfache Erklärung, was die Forscher herausgefunden haben:

1. Das Problem: Der überfüllte Besprechungsraum

Die Forscher haben sich angesehen, wie diese KI-Modelle mit mehreren „Augen" (Encodern) arbeiten. Sie stellten fest, dass oft viele dieser Detektive eigentlich nur dasselbe sagen.

Stell dir vor, du hast 5 Detektive in einem Raum.

Detektiv A sagt: „Ich sehe einen Hund."
Detektiv B sagt: „Ich sehe auch einen Hund."
Detektiv C sagt: „Ich sehe definitiv einen Hund."
Detektiv D sagt: „Ich sehe einen Hund, aber ich bin mir nicht sicher."
Detektiv E sagt: „Ich sehe einen Hund, aber ich glaube, es ist eigentlich eine Katze."

Wenn alle gleichzeitig schreien, wird es laut, verwirrend und niemand hört den wichtigsten Detektiv. Die KI wird durch die Redundanz (die Wiederholung) verwirrt und verschwendet Energie. Manchmal ist ein Detektiv sogar so laut und falsch, dass er die anderen stört.

2. Der Experiment: Das „Stilleben"-Spiel

Um das zu beweisen, haben die Forscher ein cleveres Spiel gespielt: Sie haben die Detektive nacheinander aus dem Raum geschickt (in der Technik nennt man das „Maskieren").

Das Ergebnis war überraschend:

Wenn sie 3 oder 4 Detektive rausgeschickt haben, wurde das Team nicht schlechter.
In manchen Fällen wurde das Team sogar besser, weil die Stille herrschte und die wichtigen Stimmen gehört wurden.
Oft reichte ein einziger, sehr guter Detektiv aus, um die Aufgabe fast perfekt zu lösen.

3. Die neuen Werkzeuge: Der „Nutzungs-Radar"

Die Forscher haben zwei neue Messinstrumente erfunden, um das Chaos zu ordnen:

CUR (Der Beitrag-Check): Dieser misst, wie wichtig ein Detektiv wirklich ist, wenn die anderen schon da sind.
- Beispiel: Bei Aufgaben wie „Text auf einem Bild lesen" (OCR) ist oft ein einziger Spezialist für 90% der Leistung verantwortlich. Die anderen vier sind fast nutzlos.
- Bei allgemeinen Fragen sind die Detektive oft austauschbar – einer ist so gut wie der andere.
IG (Die Ungleichheits-Lücke): Dieser zeigt, wie ungleich das Team verteilt ist. Eine große Lücke bedeutet: Ein Detektiv macht die ganze Arbeit, die anderen sind nur Zuschauer.

4. Die große Entdeckung: Weniger ist mehr!

Das Wichtigste, was dieses Papier sagt: Wir verschwenden Ressourcen.

Geschwindigkeit: Ein Modell mit nur 2 statt 5 Detektiven ist viel schneller. Es muss weniger Daten verarbeiten.
Kosten: Das Training solcher Modelle kostet riesige Mengen an Strom und teuren Computerchips (GPUs). Wenn man die unnötigen Detektive entfernt, spart man 34% der Trainingszeit und 20% der Rechenzeit, ohne an Intelligenz zu verlieren.
Leistung: In vielen Fällen erreicht ein Modell mit nur zwei „Augen" über 90% der Leistung des riesigen 5-Augen-Riesensystems.

5. Die Moral der Geschichte

Die alte Regel „Mehr ist besser" gilt hier nicht. Es ist wie beim Kochen: Wenn du 10 verschiedene Gewürze in einen Topf wirfst, wird es nicht leckerer, sondern nur salzig und ungenießbar. Du brauchst nur die richtigen zwei oder drei, die perfekt zusammenpassen.

Zusammengefasst für den Alltag:
Die KI-Forschung hat lange versucht, KI-Modelle immer größer und komplexer zu machen, indem sie immer mehr „Augen" hinzufügte. Dieses Papier zeigt uns, dass wir oft nur unnötigen Ballast mit uns herumtragen. Wenn wir die überflüssigen Teile abschneiden, werden die KI-Modelle schneller, günstiger und manchmal sogar schlauer, weil sie sich auf das Wesentliche konzentrieren können.

Es ist also nicht die Menge der Augen, die zählt, sondern die Qualität der Zusammenarbeit.

1. Problemstellung

Multimodale Large Language Models (MLLMs) integrieren zunehmend mehrere visuelle Encoder, um die Leistung auf verschiedenen Benchmarks zu verbessern. Die zugrundeliegende Annahme ist, dass unterschiedliche Vortrainingsziele und Architekturen komplementäre visuelle Signale liefern (z. B. globale Semantik vs. feinkörnige Pixel-Details).

Die Autoren stellen jedoch fest, dass diese Annahme in der Praxis oft nicht zutrifft. Stattdessen zeigen sie, dass Encoder-Redundanz weit verbreitet ist:

Zusätzliche Encoder führen oft nur zu marginalen Leistungssteigerungen oder verschlechtern die Leistung sogar.
Encoder liefern sich überlappende oder sogar konfliktbehaftete visuelle Hinweise, was zu einer ineffizienten Nutzung von Rechenressourcen und Trainingszeit führt.
Der Heuristik „mehr Encoder sind besser" wird damit widersprochen.

2. Methodik

Um dieses Phänomen systematisch zu untersuchen, schlagen die Autoren einen quantitativen Ansatz vor, der auf dem systematischen Maskieren (Ablation) von Encodern basiert.

A. Experimentelles Setup

Die Studie analysiert repräsentative Multi-Encoder-MLLMs (z. B. Eagle, Cambrian-1, DeepSeek-VL) mit bis zu fünf verschiedenen Encodern (wie CLIP, ConvNext, SAM, EVA-02, Pix2Struct, SigLIP).

Maskierung: Beim Maskieren wird die Ausgabe eines Encoders durch einen Null-Tensor ersetzt.
Benchmarks: Die Leistung wird über vier Kategorien hinweg evaluiert: Allgemein (General), Wissen (Knowledge), OCR & Diagramme (OCR & Chart) und visuell zentrierte Aufgaben (Vision-Centric).

B. Neue Metriken zur Quantifizierung

Um Redundanz und den Beitrag einzelner Encoder zu messen, führen die Autoren zwei neue Metriken ein:

Conditional Utilization Rate (CUR):
Misst den marginalen Beitrag eines Encoders $E_i$ in Anwesenheit aller anderen Encoder.
$u(E_i) = \frac{acc(f_{E_n}) - acc(f_{E_n \setminus \{E_i\}})}{acc(f_{E_n})}$
- Ein hoher positiver Wert bedeutet einen einzigartigen, notwendigen Beitrag.
- Werte nahe Null deuten auf Redundanz hin.
- Negative Werte zeigen an, dass der Encoder die Leistung verschlechtert (detrimental).
Information Gap (IG):
Misst die Diskrepanz zwischen dem besten und dem schlechtesten Encoder innerhalb eines Modells.
$\Delta_{gap}(E_n) = \max_i u(E_i) - \min_j u(E_j)$
- Ein großer IG-Wert signalisiert ein unausgewogenes System, in dem wenige Encoder dominieren und andere redundant sind.

3. Wichtige Ergebnisse

A. Pervasive Redundanz und Leistungsresilienz

Graceful Degradation: Das Entfernen von Encodern führt oft nicht zu einem katastrophalen Leistungsabfall. In vielen Fällen bleibt die Leistung stabil oder verbessert sich sogar.
- Beispiel: Bei Cambrian-1 8B erreicht ein Subset aus drei Encodern eine um 3,5 % höhere Gesamtleistung als das vollständige Modell.
- Beispiel: Bei Eagle-X5 7B bleibt die Leistung auch nach dem Maskieren von drei Encodern bei über 96 % des Basismodells.
Detrimentale Encoder: Einige Encoder haben negative CUR-Werte (z. B. SigLIP in Cambrian-1 8B bei visuell zentrierten Aufgaben mit -16 %), was bedeutet, dass ihre Entfernung die Leistung steigert.

B. Spezialisierung vs. Austauschbarkeit

Hohe Spezialisierung (OCR & Chart): Hier dominieren oft einzelne Encoder. Beispielsweise erzielt EVA-02 in Eagle-X4 8B einen CUR von 92,89 % bei OCR-Aufgaben. Ein einzelner Encoder liefert fast die gesamte notwendige Information.
Hohe Redundanz (Allgemein & Wissen): Bei allgemeinen VQA- und Wissensaufgaben sind Encoder weitgehend austauschbar (niedrige CUR, niedriger IG).

C. Effizienzgewinne durch Reduzierung

Die Studie zeigt, dass Dual-Encoder-Varianten die meisten Fähigkeiten des Vollmodells erhalten, aber deutlich effizienter sind:

Trainingskosten: Das Training eines Dual-Encoder-Variante von Eagle-X5 7B ist 1,53-mal schneller als das des Fünf-Encoder-Modells, bei einer Leistungserhaltung von über 94 %.
Inferenz-Latenz: Das Maskieren redundanter Encoder reduziert die End-to-End-Latenz um bis zu 19,5 % bei nur minimalen Leistungseinbußen (< 4 %).
Rechenkosten: Die visuellen FLOPs (Floating Point Operations) können durch die Reduktion auf die zwei nützlichsten Encoder um ca. 38 % gesenkt werden.

D. Einflussfaktoren

LLM-Größe: Größere Modelle (z. B. 13B vs. 3B) zeigen eine ausgeprägtere Redundanz und einen größeren Information Gap, was darauf hindeutet, dass Skalierung die Ineffizienz der Encoder-Architektur nicht löst.
Vortraining: Die Leistung eines Encoders hängt weniger von seiner Parametergröße ab als von seiner Vortrainings-Aufgabe und der Kompatibilität mit der Fusionsarchitektur.

4. Hauptbeiträge

Erste systematische quantitative Studie: Der Nachweis, dass Encoder-Redundanz in modernen Multi-Encoder-MLLMs ein inhärentes und vorhersagbares Problem ist.
Einführung von CUR und IG: Entwicklung von modellunabhängigen Metriken, um die Nützlichkeit und das Ungleichgewicht von Encodern präzise zu messen.
Praktischer Rahmenwerk für effizientes Design: Demonstration, dass Dual-Encoder-Architekturen >90 % der Leistung des Vollmodells bei signifikant reduzierten Kosten erreichen. Dies bietet eine Handlungsempfehlung für die Entwicklung ressourcenoptimierter MLLMs.

5. Bedeutung und Fazit

Die Arbeit stellt die gängige Praxis des „Stackings" vieler visueller Encoder in Frage. Sie zeigt, dass die Annahme „mehr ist besser" oft zu suboptimalen Architekturen führt, die Rechenressourcen verschwenden, ohne signifikante Vorteile zu bieten.

Die vorgestellten Metriken (CUR, IG) dienen als diagnostisches Werkzeug, um redundante Komponenten zu identifizieren und zu entfernen. Dies ermöglicht die Entwicklung von MLLMs, die nicht nur leistungsfähiger, sondern auch ökologisch nachhaltiger (geringerer Energieverbrauch) und kosteneffizienter sind. Die Ergebnisse legen nahe, dass zukünftige Architekturen sich auf eine sorgfältige Auswahl und Kombination weniger, hochspeialisierter Encoder konzentrieren sollten, anstatt einfach die Anzahl der Encoder zu erhöhen.