🤖 machine learning

Beyond Modality Fusion: Deep Ensembles for Multimodal Classification

Diese Arbeit zeigt, dass tiefe Ensembles aus unimodalen Netzwerken leistungsstärkere Ergebnisse als den aktuellen Stand der Technik bei Late-Fusion- und Intermediate-Fusion-Multimodal-Klassifikationsmethoden erzielen können, insbesondere unter Modalitätsimbalance, indem sie eine skalierbare Heuristik für die Modellallokation vorschlägt und diese Erkenntnisse über synthetische sowie reale Datensätze hinweg validiert.

Ursprüngliche Autoren: Ilya Burenko, Dmitry Vetrov

Veröffentlicht 2026-07-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ilya Burenko, Dmitry Vetrov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein schwieriges Rätsel zu lösen. Sie haben zwei verschiedene Expertenteams, die Ihnen helfen: Ein Team ist großartig darin, Bilder anzusehen (visuell), und das andere ist großartig darin, auf Klänge zu hören (Audio).

Lange Zeit war der Standardweg, dieses Rätsel zu lösen, der Bau eines einzigen „Super-Gehirns“, das versuchte, von beiden Teams gleichzeitig zu lernen. Dieses Super-Gehirn würde die Notizen vom Bild-Team und vom Sound-Team nehmen, sie zusammenkleben und versuchen, die Antwort zu finden.

Die Autoren dieser Arbeit entdeckten jedoch ein Problem mit diesem Super-Gehirn-Ansatz. Wenn das Bild-Team sehr erfahren ist und das Sound-Team noch am Lernen ist, neigt das Super-Gehirn dazu, das Sound-Team völlig zu ignorieren. Es lässt sich so sehr von den einfachen Antworten des Bild-Teams ablenken, dass es aufhört, dem Sound-Team zuzuhören, was zu einem schlechteren Gesamtergebnis führt, als wenn es nur dem Bild-Team zugehört hätte.

Die neue Idee: Ein „Rat der Experten“

Anstatt ein einziges riesiges Super-Gehirn zu bauen, schlagen die Autoren eine andere Strategie vor: Den „Rat der Experten“.

Stellen Sie sich vor, Sie bauen nicht ein einziges riesiges Gehirn. Stattdessen stellen Sie eine Gruppe kleinerer, spezialisierter Gehirne ein.

Sie stellen mehrere „Bild-Gehirne“ ein, die nur Bilder betrachten.
Sie stellen mehrere „Sound-Gehirne“ ein, die nur Audio hören.
Sie trainieren jedes von ihnen unabhängig. Sie sprechen während des Lernens nie miteinander; sie konzentrieren sich einfach auf ihre jeweilige spezifische Aufgabe.

Wenn es an der Zeit ist, das Rätsel zu lösen, fragen Sie jedes einzelne Gehirn im Rat nach seiner Meinung. Dann nehmen Sie den Durchschnitt aller ihrer Antworten, um die endgültige Entscheidung zu treffen.

Was haben sie herausgefunden?

Die Autoren ließen viele Experimente (wie eine riesige Wissenschaftsmesse) laufen, um zu sehen, welche Methode besser funktioniert: das „Super-Gehirn“ (Late Fusion) oder der „Rat der Experten“ (Deep Ensembles).

Der Rat gewinnt: In fast jedem Test schlug der Rat der Experten das Super-Gehirn. Selbst wenn das Sound-Team viel schwächer als das Bild-Team war, war der Rat immer noch besser.
Das „Zu viele Köche“-Problem: Das Super-Gehirn wird oft verwirrt, wenn ein Team viel stärker ist als das andere. Es versucht, es allen recht zu machen, aber am Ende wird es niemandem gerecht. Der Rat vermeidet dies, weil jeder Experte erlaubt ist, der Beste in seiner eigenen spezifischen Aufgabe zu sein, ohne während des Trainings Kompromisse eingehen zu müssen.
Skalierung:
- Kleiner Rat: Wenn Sie nur einen winzigen Rat haben (z. B. 2 Experten), ist es tatsächlich besser, zwei Experten aus dem stärkeren Team einzustellen (z. B. zwei Bild-Gehirne), als diese mit dem schwächeren Team zu mischen.
- Großer Rat: Wenn man mehr Experten einstellt (hochskaliert), wird es vorteilhaft, Experten aus dem schwächeren Team hinzuzufügen. Die „schwächeren“ Experten liefern gerade genug zusätzliche Informationen, um den Durchschnittswert höher zu treiben, aber nur, wenn der Rat groß genug ist, um sie zu bewältigen.
Eine einfache Faustregel: Die Autoren entwickelten eine einfache mathematische Formel (eine Heuristik), die Ihnen genau sagt, wie viele Experten Sie aus welchem Team einstellen sollen. Sie müssen nicht raten oder teure Tests durchführen; schauen Sie einfach darauf, wie gut jedes Team einzeln abschneidet, und die Formel verrät Ihnen die perfekte Mischung.

Der „Synthetische Spielplatz“

Um zu beweisen, dass dies kein Zufall war, bauten die Autoren einen „synthetischen Spielplatz“. Stellen Sie sich ein Videospiel vor, in dem sie künstlich kontrollieren können, wie gut das Bild-Team im Vergleich zum Sound-Team ist. Sie konnten das Sound-Team schrecklich machen oder sie gleich gut machen lassen.

Sie testeten ihre „Rat“-Strategie in diesem Spiel.
Sie testeten sie auf realen Daten (wie dem Erkennen von Emotionen in Videos oder dem Erkennen von Sarkasmus in Texten).
Ergebnis: Der Rat funktionierte sowohl in dem Spiel als auch in der realen Welt hervorragend.

Das Fazit

Die Autoren kommen zu dem Schluss, dass wir nicht immer verschiedene Arten von Daten (wie Text und Bilder) dazu zwingen müssen, in einem einzigen komplexen Modell zu verschmelzen. Manchmal ist der beste Ansatz, sie getrennt zu halten, viele unabhängige Modelle für jede Art von Daten zu trainieren und sie einfach über das Endergebnis abstimmen zu lassen.

Diese „Abstimmungsmethode“ ist nicht nur genauer, sondern auch einfacher zu verwalten, wenn eine Art von Daten viel schwieriger zu erlernen ist als die andere. Es stellt sich heraus, dass eine Gruppe spezialisierter, unabhängiger Denker Probleme oft besser löst als ein einziges, riesiges, überarbeitetes Generalisten-Gehirn.

Technisches Resümee: Jenseits der Modalitätsfusion: Heterogene Deep Ensembles für die multimodale Klassifikation

Problemstellung

In der multimodalen Klassifikation besteht der Standardansatz aus „Late-Fusion“-Netzwerken, welche Merkmale, die von unimodalen neuronalen Netzwerken extrahiert wurden, konkatenieren und an einen gemeinsamen Klassifikator weitergeben. Wenn jedoch ein signifikantes Modalitäts-Ungleichgewicht vorliegt (bei dem eine Modalität wesentlich prädiktiver ist oder schneller konvergiert als eine andere), schneiden naive Late-Fusion-Netzwerke oft schlechter ab als das beste unimodale Baseline-Modell. Dieses Phänomen tritt auf, weil der Optimierungsprozess dazu neigt, die langsamer konvergierende (schwächere) Modalität unzureichend zu explorieren, was zu einer suboptimalen Merkmalsextraktion führt. Obwohl verschiedene Regularisierungstechniken (z. B. Gradient Modulation, Loss-Regularisierung) vorgeschlagen wurden, um das Lernen auszubalancieren, bleibt die optimale Methode zur Kombination unimodaler Merkmale in Late-Fusion-Settings eine offene Frage.

Methodik

Die Autoren schlagen eine Alternative zur expliziten Modalitätsfusion vor: Heterogene Deep Ensembles (HeDEs). Anstatt ein einzelnes Netzwerk zu trainieren, das Merkmale fusioniert, bestehen HeDEs aus mehreren unimodalen Netzwerken, die unabhängig voneinander auf verschiedenen Modalitäten trainiert werden. Die endgültige Vorhersage wird durch Mittelung der Output-Logits dieser unabhängigen Modelle erhalten.

Zentrale methodische Komponenten sind:

Ensemble-Konstruktion: Für einen bimodalen Datensatz trainieren die Autoren $n_1$ Klassifikatoren auf Modalität 1 und $n_2$ auf Modalität 2. Die Ensemble-Vorhersage ist der Durchschnitt aller $N_{ens} = n_1 + n_2$ Logits. Wenn $n_2=0$ , reduziert sich dies zu einem homogenen Deep Ensemble (HoDE).
Heuristik zur Modellallokation: Um eine rechenintensive, exhaustive Suche nach der optimalen Anzahl von Modellen pro Modalität ( $n_1, n_2$ ) zu vermeiden, schlagen die Autoren eine Heuristik vor, die auf dem Validierungsverlust ( $l_i$ ) der unimodalen Klassifikatoren basiert. Die Anzahl der Modelle für Modalität $i$ ist proportional zu $1/l_i$ :
$n_i = \text{round}\left( N_{ens} \frac{1/l_i}{\sum_j 1/l_j} \right)$
Diese Heuristik prognostiziert, dass unter extremer Imbalance homogene Ensembles der stärkeren Modalität bei kleinen Skalen bevorzugt werden, während heterogene Ensembles mit zunehmender Ensemble-Größe optimal werden.
Synthetischer Datensatz-Framework: Um Modalitäts-Imbalance systematisch zu untersuchen, führen die Autoren eine synthetische Konstruktionsmethode ein. Ausgehend von einem unimodalen Datensatz spalten sie diesen in nicht-überlappende Teilmengen auf, um bimodale (oder trimodale) Paare zu erstellen. Durch Variation der Größe dieser Teilmengen kontrollieren sie die prädiktive Stärke und Konvergenzgeschwindigkeit jeder Modalität, was es ermöglicht, überparametrisierte Netzwerke zu trainieren, um Optimierungsprobleme zu beobachten, die in bisherigen synthetischen Benchmarks nicht vorhanden waren.
Skalierungsgesetze (Scaling Laws): Die Autoren passen Potenzgesetze (Power Laws) an den Testverlust der Ensembles als Funktion der Größe ( $N$ ) und des Anteils ( $\theta$ ) an und zeigen damit, dass die asymptotische Performance des Ensembles aus den Verlusten der einzelnen unimodalen Modelle vorhergesagt werden kann.

Zentrale Beiträge

Überlegenheit von Deep Ensembles: Die Arbeit zeigt, dass Deep Ensembles aus unimodalen Netzwerken State-of-the-Art Late-Fusion-Methoden (einschließlich solcher, die für Imbalance entwickelt wurden wie OGM-GE, MMPareto und InfoReg), Intermediate-Fusion-Techniken (MMTM, Cross-Attention) und hybride Ansätze (I2M2) konsistent übertreffen. Dies gilt selbst beim Vergleich mit Modellen gleicher Parameteranzahl.
Validierung der Allokations-Heuristik: Die vorgeschlagene Heuristik zur Auswahl der Anzahl der Modelle pro Modalität wird über synthetische und reale Datensätze hinweg empirisch validiert. Sie sagt korrekt den Übergang von homogenen zu heterogenen Ensembles beim Skalieren der Ensemble-Größe voraus, insbesondere unter Bedingungen extremer Modalitäts-Imbalance.
Synthetischer Multimodaler Framework: Die Autoren stellen eine synthetische Datensatzkonstruktion bereit, die eine unabhängige Kontrolle über die Anzahl der Modalitäten und deren prädiktive Stärke ermöglicht. Dieser Framework offenbart Optimierungsprobleme (wie die schnellere Konvergenz schwächerer Modalitäten in der Late-Fusion), die in der Praxis beobachtet werden, welche bisherige synthetische Benchmarks nicht reproduzieren konnten.
Skalierungsgesetze für Ensembles: Die Studie etabliert Skalierungsgesetze, die zeigen, dass der asymptotische Testverlust eines heterogenen Deep Ensembles zuverlässig aus den unimodalen Modellverlusten vorhersagbar ist, was darauf hindeutet, dass unimodale Validierungskennzahlen ausreichend sind, um die Ensemble-Performance ohne Training des vollständigen Ensembles zu schätzen.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz auf:

Synthetischen Daten: Bimodale und trimodale Splits von CIFAR-100 und ImageNet-1K.
Realen Daten: CREMA-D (Audio-Visuell), Sarcasm (Text-Visuell) und Kinetics-400 (Audio-Visuell).

Wichtigste Erkenntnisse:

Performance: HeDEs übertrafen alle Late-Fusion-Baselines, Intermediate-Fusion-Netzwerke und hybride Modelle über alle Datensätze und Imbalance-Level hinweg.
Imbalance-Dynamik: Unter extremer Imbalance und kleinen Ensemble-Größen übertrafen HoDEs (die nur die stärkere Modalität nutzen) die HeDEs. Mit zunehmender Ensemble-Größe übertrafen HeDEs jedoch konsistent sowohl die HoDEs als auch die Late-Fusion-Methoden.
Heuristik-Genauigkeit: Die vorgeschlagene Heuristik sagte die optimale Modalitätsallokation in fast allen getesteten Konfigurationen korrekt voraus und entsprach den Ergebnissen der Brute-Force-Suche mit minimalem Fehler.
Kalibrierung: Die Logit-Mittelung in HeDEs lieferte gut kalibrierte Vorhersagen ohne Post-hoc-Kalibrierung und übertraf oft die Wahrscheinlichkeits-Mittelung.
Kosten: Während das Training von HeDEs das Training mehrerer unabhängiger Modelle erfordert, sind die Inferenzkosten vergleichbar mit Late-Fusion-Netzwerken gleicher Parameteranzahl. Der Trainingsprozess ist vollständig parallelisierbar.

Bedeutung und Behauptungen

Das Paper behauptet, dass explizite Modalitätsfusion nicht zwingend notwendig ist, um eine effektive multimodale Klassifikation zu erreichen. Stattdessen können die Vorteile multimodaler Daten durch Ensembles aus unabhängig trainierten unimodalen Modellen eingefangen werden. Die Autoren argumentieren, dass ihr Ansatz eine robuste, parametereffiziente Alternative zu komplexen Fusionsarchitekturen bietet, insbesondere in Szenarien mit Modalitäts-Imbalance.

Die Arbeit legt nahe, dass die „gierige“ Natur der Late-Fusion-Optimierung, die oft zur Vernachlässigung schwächerer Modalitäten führt, durch die Strategie des unabhängigen Trainings und der Aggregation von Deep Ensembles umgangen werden kann. Zudem bietet die Fähigkeit, die Ensemble-Performance und die optimale Zusammensetzung allein anhand der unimodalen Validierungsverluste vorherzusagen, ein praktisches Werkzeug für ressourcenbeschränkte multimodale Lernprozesse.

Die Autoren bleiben bescheiden und räumen ein, dass ihre Ergebnisse zwar über verschiedene Datensätze hinweg konsistent sind, die theoretische Basis für die Allokations-Heuristik jedoch ungeklärt bleibt und weitere Evaluierungen über eine breitere Palette von Fusions-Techniken und großskaligen multimodalen Modellen erforderlich sind. Sie merken zudem an, dass ihre synthetische Konstruktion klassen-ausgerichtet (class-aligned) statt instanz-ausgerichtet (instance-aligned) ist, argumentieren jedoch, dass die untersuchten Phänomene (Generalisierung und Konvergenzraten) in diesem Setting erhalten bleiben.