🤖 AI

Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models

Dieser Beitrag stellt Divide-and-Conquer-Inferenz (DCI) vor, eine neuartige Testzeit-Skalierungsstrategie, die durch rekursive Zerlegung komplexer Klassifizierungsaufgaben in lokalisierte Teilprobleme den Leistungsabfall bei der visuellen Erkennung im großen Maßstab abmildert und dadurch das Signal-Rausch-Verhältnis sowie die Recheneffizienz verbessert, um leichte Open-Source-Multimodal-Large-Language-Modelle in die Lage zu versetzen, ohne zusätzliches Training mit fortschrittlichen geschlossenen Großmodellen gleichzuziehen.

Ursprüngliche Autoren: Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Falle der „zu vielen Möglichkeiten"

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (das KI-Modell), der versucht, ein bestimmtes Tier auf einem Foto zu identifizieren.

Szenario A: Ihnen wird ein Foto eines Tigers gezeigt, und Sie sollen zwischen 10 Tieren wählen (Löwe, Tiger, Bär, Wolf usw.). Das ist einfach. Sie schauen sich das Foto an, vergleichen es mit der kurzen Liste und wählen den Tiger. Sie liegen fast jedes Mal richtig.
Szenario B: Jetzt stellen Sie sich vor, die Liste wächst auf 20.000 Tiere an (einschließlich jeder Art von Käfer, Vogel und Fisch auf der Erde). Sie müssen immer noch den Tiger auswählen.

Das Paper stellt fest, dass selbst die klügsten KI-Detektiven katastrophal versagen, wenn die Liste so riesig wird. Sie könnten „Keines der oben Genannten" raten oder eine zufällige Insektenart auswählen. Die Autoren nennen dies „Performance Collapse in Long Sequence Recognition" (Leistungsabfall bei der Erkennung langer Sequenzen).

Warum passiert das?
Das Paper verwendet das Konzept der Aufmerksamkeitsverdünnung (Attention Dilution).
Stellen Sie sich die Aufmerksamkeit der KI wie einen Taschenlampenstrahl vor.

In Szenario A (10 Optionen) ist der Taschenlampenstrahl hell und fokussiert. Er leuchtet klar auf die Option „Tiger" und lässt sie deutlich hervorstechen.
In Szenario B (20.000 Optionen) versucht die KI, denselben Taschenlampenstrahl auf alle 20.000 Optionen gleichzeitig zu richten. Das Licht wird so stark verteilt, dass es zu einem schwachen, dumpfen Schein wird. Das „Tiger"-Signal geht im Rauschen der anderen 19.999 Optionen unter. Die KI kann das Signal nicht mehr klar erkennen.

Die Lösung: Die „Teile-und-Herrsche"-Strategie

Anstatt die KI zu zwingen, die gesamte riesige Liste auf einmal zu betrachten, schlagen die Autoren eine neue Methode vor, die Divide-and-Conquer Inference (DCI) genannt wird.

Stellen Sie sich dies wie die Organisation einer riesigen Bibliothek vor, um ein bestimmtes Buch zu finden.

Der alte Weg (Flache Inferenz): Sie betreten die Bibliothek und versuchen, jedes einzelne Buch auf jedem einzelnen Regal im gesamten Gebäude gleichzeitig zu scannen. Sie werden überwältigt und geben auf.
Der DCI-Weg:
1. Teilen: Sie teilen die 20.000 Bücher in 200 kleinere Stapel zu je 100 Büchern auf.
2. Herrschen: Sie bitten die KI, nur einen Stapel mit 100 Büchern anzusehen. „Ist das Buch in diesem Stapel?" Die KI sagt: „Ja, es ist im Stapel 'Tiere'."
3. Beschneiden: Sie werfen die anderen 199 Stapel weg. Jetzt haben Sie nur noch 100 Bücher zu überprüfen.
4. Wiederholen: Sie teilen diese 100 Bücher in 10 Stapel zu je 10 Büchern auf. Die KI prüft sie, findet die richtige Gruppe, und Sie werfen den Rest weg.
5. Abschluss: Schließlich bleiben nur noch ein paar Bücher übrig, und die KI kann das richtige leicht ausmachen.

Warum dies ein Game-Changer ist

Das Paper behauptet drei große Vorteile dieses Ansatzes:

Es lässt kleine Modelle wie Riesen wirken:
Normalerweise benötigen Sie für schwierige Probleme eine KI von Supercomputer-Größe (wie GPT-4). Aber mit DCI kann eine kleinere, kostenlose, quelloffene KI (wie Qwen3-VL) die großen geschlossenen Modelle schlagen. Indem das Problem zerlegt wird, wird das kleine Modell nicht durch das Rauschen verwirrt. Es ist, als würde man einer kleinen Taschenlampe eine Lupe geben; plötzlich funktioniert sie genauso gut wie ein riesiger Scheinwerfer.
Es ist tatsächlich schneller (Gegenintuitiv):
Man könnte denken: „Warte, wenn die KI die Liste fünfmal hintereinander prüfen muss, sollte das doch länger dauern."
Das Paper argumentiert das Gegenteil. Da die KI winzige Listen betrachtet (z. B. 10 Elemente) statt einer riesigen Liste (20.000 Elemente), ist die Mathematik, die sie für jeden Schritt durchführen muss, viel einfacher.
- Analogie: Es ist schneller, durch eine kleine Stadt mit 100 Straßen zu fahren, als zu versuchen, eine riesige Stadt mit 20.000 Straßen auf einmal zu navigieren, selbst wenn man ein paar Abbiegungen machen muss. Der „Stau" der Rechenleistung wird vermieden.
Kein Training erforderlich:
Dies ist ein „Plug-and-Play"-Trick. Sie müssen die KI nicht neu unterrichten oder Millionen von Dollar für das Training mit neuen Daten ausgeben. Sie ändern nur die Art und Weise, wie Sie die Frage stellen. Es ist, als würde man die Regeln eines Spiels ändern, um es für den Spieler einfacher zu machen zu gewinnen, ohne die Fähigkeiten des Spielers zu verändern.

Die Ergebnisse

Die Autoren testeten dies an riesigen Datensätzen (wie ImageNet-21K, das über 20.000 Kategorien hat).

Ohne DCI: Die Genauigkeit der KI sank auf fast Null (z. B. 0,5 %).
Mit DCI: Die Genauigkeit sprang dramatisch an (z. B. auf 37 % oder höher für kleinere Modelle).
Geschwindigkeit: In vielen Fällen war die KI schneller fertig als mit der alten Methode, da sie nicht mit der riesigen Liste kämpfte.

Zusammenfassung

Das Paper löst ein Problem, bei dem die KI durch zu viele Möglichkeiten „abgelenkt" wird. Indem eine große, beängstigende Liste von Optionen in kleine, handhabbare Häufchen zerlegt wird, kann die KI ihren „Taschenlampenstrahl" besser fokussieren. Dies ermöglicht es kleineren, günstigeren KI-Modellen, riesige visuelle Rätsel genauso gut (oder besser) zu lösen wie die teuersten, leistungsstärksten Modelle, und das alles ohne zusätzliches Training.

Technische Zusammenfassung: Divide-and-Conquer-Inferenz für die großskalige visuelle Erkennung mit multimodalen großen Sprachmodellen

1. Problemstellung: Performanzkollaps bei der Erkennung langer Sequenzen (PC-LSR)

Die Arbeit identifiziert eine kritische Einschränkung bei der Anwendung multimodaler großer Sprachmodelle (MLLMs) auf großskalige Bildklassifizierungsaufgaben. Während MLLMs bei allgemeinen Vision-Language-Aufgaben hervorragend abschneiden, verschlechtert sich ihre Leistung drastisch, sobald der Labelraum erweitert wird. Die Autoren definieren dieses Phänomen als Performanzkollaps bei der Erkennung langer Sequenzen (PC-LSR).

Durch empirische Benchmarks auf ImageNet-1K zeigen die Autoren, dass die Genauigkeit signifikant abfällt, wenn die Anzahl der Kandidatenklassen steigt (z. B. sinkt LLaMA 3.2-11B-Vision von 88,60 % bei 20 Klassen auf 0,53 % bei 1.000 Klassen). Diese Verschlechterung tritt unabhängig von der Modellgröße oder Architektur auf.

Die Autoren führen die Hauptursache nicht auf einen Mangel an domänenspezifischen Trainingsdaten zurück, sondern auf den fundamentalen Konflikt zwischen steigender Informationsentropie und Verdünnung der Aufmerksamkeit innerhalb der Transformer-Architektur. Mit wachsender Kandidatenliste:

Skalierung der Unsicherheit: Die zur Auflösung des korrekten Labels erforderliche Informationsentropie wächst logarithmisch mit der Größe des Labelraums ( $K$ ).
Verdünnung der Aufmerksamkeit: Der Self-Attention-Mechanismus verteilt die Wahrscheinlichkeitsmasse über alle Kandidaten. Mit zunehmendem $K$ nimmt das der korrekten Kandidatin zugewiesene Aufmerksamkeitsgewicht als $O(1/K)$ ab, wodurch das Signal-zu-Rausch-Verhältnis (SNR) gegen Null geht.

Die Autoren formalisieren dies durch den Information Deficit Theorem (Theorem des Informationsdefizits) und beweisen, dass in einem flachen Inferenzparadigma (Verarbeitung aller $N$ Labels in einem einzigen Durchgang) die Wahrscheinlichkeit eines Klassifizierungsfehlers asymptotisch gegen 1 strebt, sobald sich der Labelraum erweitert, da die feste „Aufmerksamkeitsbandbreite" des Modells die erforderliche Informationsdichte nicht aufrechterhalten kann.

2. Methodik: Divide-and-Conquer-Inferenz (DCI)

Um PC-LSR zu mildern, ohne zusätzliche Trainingsdaten oder Architekturänderungen zu benötigen, schlagen die Autoren die Divide-and-Conquer-Inferenz (DCI) vor. Dies ist eine Skalierungsstrategie zur Laufzeit, die eine komplexe globale Klassifizierungsaufgabe in eine Reihe einfacherer, lokalisierter Teilprobleme transformiert.

Kernarbeitsablauf

Das DCI-Framework arbeitet durch drei rekursive Phasen:

Teilen (Divide): Der aktuelle Kandidaten-Label-Satz $C_t$ wird in $M$ disjunkte Teilsequenzen (Gruppen) der Größe $K$ (wobei $K$ ein Hyperparameter ist) partitioniert. Dies reduziert die lokale Kontextlänge und erhöht dadurch die lokale Aufmerksamkeitsdichte sowie das SNR.
Bekämpfen (Conquer): Das MLLM führt eine parallele Inferenz auf jeder Teilsequenz durch. Eine strukturierte Prompt-Vorlage wird verwendet, um strikte Ausgabebedingungen durchzusetzen: Das Modell muss die wahrscheinlichste Kategorie aus dem spezifischen Teilset auswählen oder „None" (Keine) ausgeben, falls das Bild zu keiner Kategorie in diesem Teilset gehört. Dieser „Anti-Lässigkeits"-Mechanismus verhindert, dass das Modell willkürlich auf „None" zurückgreift.
Kombinieren (Zweigbeschneidung): Die Ausgaben der parallelen Teilaufgaben werden aggregiert. Antworten von „None" werden herausgefiltert, und die verbleibenden Kandidatenklassen bilden den Eingabesatz $C_{t+1}$ für die nächste Iteration. Dies beschneidet effektiv den Suchraum.

Beendigung und Komplexität

Die Rekursion wird fortgesetzt, bis die Größe des Kandidatensatzes kleiner oder gleich $K$ ist, woraufhin eine finale direkte Inferenz durchgeführt wird.

Rechenkomplexität: Während die Standard-Flach-Inferenz aufgrund der globalen Self-Attention eine Komplexität von $O(N^2)$ aufweist, erzielt DCI ein günstigeres Skalierungsverhalten. Die theoretische Analyse legt nahe, dass die Komplexität im Worst-Case-Fall ungefähr als $O(\frac{N}{K} \cdot K^2) = O(NK)$ skaliert, aber durch effektive Beschneidung oft näher an $O(N \log_K N)$ in Bezug auf die Inferenzschritte liegt, was den Overhead für massive $N$ erheblich reduziert.
Parallelisierung: Die Phase „Conquer" ermöglicht die gleichzeitige Ausführung von Teilaufgaben, was die Inferenz auf großskaligen Datensätzen weiter beschleunigt.

3. Hauptbeiträge

Systematische Analyse von PC-LSR: Die Arbeit liefert eine informationstheoretische Erklärung dafür, warum MLLMs bei großskaliger Klassifizierung versagen, und formalisiert die Beziehung zwischen Labelraum-Entropie und Aufmerksamkeitsverdünnung durch das Information Deficit Theorem.
DCI-Framework: Die Einführung einer trainingsfreien, modellagnostischen, Plug-and-Play-Inferenzstrategie, die Klassifizierungsaufgaben rekursiv zerlegt, um ein hohes lokales SNR aufrechtzuerhalten.
Theoretische und empirische Validierung: Die Autoren beweisen, dass DCI die Rechenkomplexität im Vergleich zur Flach-Inferenz in Extrem-Skalenszenarien reduziert, und validieren dies über diverse Benchmarks hinweg (ImageNet-1K, ImageNet-21K, CIFAR-100, CUB-200, Food-101).

4. Experimentelle Ergebnisse

Die Autoren evaluierten DCI über mehrere MLLMs (einschließlich Qwen-Serie, LLaMA, Gemma, GLM) und Datensätze hinweg.

Genauigkeitsverbesserungen:
- Auf ImageNet-1K verbesserte DCI die mittlere Genauigkeit von Qwen2.5-VL-7B um +6,93 % (von 59,57 % auf 66,50 %).
- Auf ImageNet-21K (21.000 Klassen) waren die Gewinne dramatisch. Qwen2.5-VL-7B verbesserte sich von 0,21 % auf 37,87 % (+37,66 %). Selbst leichte Modelle wie Qwen3-VL-2B erzielten signifikante Gewinne (+18,81 %).
- Bemerkenswerterweise erreichte Qwen3-VL-8B mit DCI eine mittlere Genauigkeit von 71,32 % auf Standard-Benchmarks und übertraf damit das proprietäre GPT-4(v4.1) (70,43 %).
Effizienz und Latenz:
- Entgegen der Intuition, dass mehrstufiges Reasoning die Latenz erhöht, reduzierte DCI die Inferenzzeit auf ImageNet-21K für das Qwen3-VL-2B-Modell. Bei einer optimalen Gruppengröße ( $K=500$ ) sank die Latenz von 7,96 s (Basislinie) auf 5,99 s, während die Genauigkeit von 0,48 % auf 18,86 % stieg.
- Diese Beschleunigung wird auf die Reduzierung der Kontextlänge pro Vorwärtsdurchgang zurückgeführt, wodurch die quadratische Komplexität der Verarbeitung der gesamten 21K-Label-Liste in einem einzigen Aufmerksamkeitsfenster vermieden wird.
Robustheit: DCI milderte den Performanzkollaps konsistent über variierende Labelmengengrößen hinweg (von 10 bis 1.000 Klassen) und hielt eine stabile Genauigkeit aufrecht, wo Basislinienmodelle versagten.
Hyperparameter-Empfindlichkeit: Die Gruppengröße $K$ balanciert die Reasoning-Tiefe und die lokale diskriminierende Kraft. Eine optimale $K$ (z. B. 10 für ImageNet-1K) wurde gefunden, um die Genauigkeit zu maximieren, während die spezifische semantische Gruppierungsstrategie (zufällig vs. semantisches Clustering) nur einen vernachlässigbaren Einfluss auf die Leistung hatte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DCI ein praktisches Paradigma zur Skalierung von MLLM-Fähigkeiten bietet, ohne die prohibitiven Kosten für Neutrainieren oder Architekturänderungen. Ihre Bedeutung liegt in:

Enthüllung latenter Fähigkeiten: Sie zeigt, dass das Versagen leichter Open-Source-Modelle bei großskaligen Aufgaben oft eine strukturelle Inferenzlimitierung (Aufmerksamkeitsverdünnung) und nicht ein Mangel an visuellem Wissen ist. DCI schaltet diese latenten Fähigkeiten zur Laufzeit frei.
Konkurrenz zu Closed-Source-Giganten: Durch die Anwendung von DCI können leichte Open-Source-Modelle in der großskaligen Klassifizierung mit führenden Closed-Source-Giganten (z. B. GPT-4, Qwen3-VL-PLUS) mithalten oder diese übertreffen und so den Zugang zu hochleistungsfähigen Vision-Systemen demokratisieren.
Trade-off zwischen Effizienz und Genauigkeit: Sie durchbricht den konventionellen Trade-off in der großskaligen Erkennung und verbessert gleichzeitig die Genauigkeit und reduziert die Rechenlatenz für massive Labelräume.
Modellagnostische Generalisierung: Als Plug-and-Play-Strategie ist sie auf jeden Transformer-basierten MLLM anwendbar, was darauf hindeutet, dass Aufmerksamkeitsverdünnung eine fundamentale architektonische Herausforderung und kein modell-spezifischer Fehler ist.

Die Autoren schließen, dass DCI einen Wandel von der Skalierung zur Trainingszeit hin zur Skalierung zur Laufzeit darstellt und einen effizienten Ansatz bietet, um den „Performanzkollaps" zu bewältigen, der in der Erkennung langer Sequenzen für multimodale Modelle inhärent ist.