📊 statistics

Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data

Dieser Artikel schlägt ein neuartiges multimodales Framework für die Erkennung langschwanzverteilter Klassen vor, das heterogene Datenquellen mithilfe von konfidenzgesteuerten Gewichten dynamisch fusioniert, um Klassenungleichgewichte zu überwinden und bestehende unimodale Methoden zu übertreffen.

Ursprüngliche Autoren: Heegeon Yoon, Heeyoung Kim

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Heegeon Yoon, Heeyoung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige Talentshow, bei der Sie die besten Darsteller aus Tausenden von Bewerbern auswählen müssen. Allerdings gibt es einen Haken: 99 % der Bewerber sind „durchschnittliche" Sänger, während nur eine winzige Handvoll „geniale" Opernsänger sind. Wenn Sie Ihre Juroren (Ihr KI-Modell) nur an diesem Publikum trainieren, werden sie zu Experten darin, durchschnittliche Sänger zu erkennen, verpassen aber die Genies vollständig, weil sie nie genug von ihnen gesehen haben. Dies ist das Problem der Long-Tail-Erkennung: KI wird auf das Häufige voreingenommen und ignoriert das seltene, wichtige.

Stellen Sie sich nun vor, diese Bewerber singen nicht nur; sie bringen auch einen Lebenslauf, ein Video und eine Sprachaufnahme mit. Dies sind multimodale Daten (verschiedene Arten von Informationen). Normalerweise hat KI Schwierigkeiten, diese verschiedenen Quellen zu kombinieren, insbesondere wenn die „genialen" Sänger so selten sind.

Diese Arbeit stellt ein neues System vor, das beide Probleme gleichzeitig löst. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Spezialisierte Jurypanel" (Multi-Expert-Framework)

Anstatt einen großen Richter zu haben, der versucht, alles zu lernen, haben die Autoren ein Panel aus drei spezialisierten Richtern eingerichtet, jeder mit einer anderen Persönlichkeit:

Richter A (Der Long-Tail-Experte): Trainiert, das Seltene zu lieben. Er ist hyperwachsam für die „genialen" Sänger.
Richter B (Der Ausgewogene Experte): Trainiert, jeden gleich zu behandeln, unabhängig davon, wie häufig er ist.
Richter C (Der Umgekehrte Experte): Trainiert, sich stark auf das Häufige zu konzentrieren, nur um zu sehen, wie er reagiert.

In früheren Systemen betrachteten diese Richter nur eine Sache (wie nur das Video). Dieses neue System lehrt alle drei Richter, alles (Video + Lebenslauf + Audio) gleichzeitig zu betrachten.

2. Der „Vertrauensmesser" (Modality-Aware Fusion)

Manchmal betrachtet ein Richter einen Lebenslauf und denkt: „Das sieht großartig aus", während er beim Betrachten des Videos denkt: „Das sieht verschwommen und nutzlos aus."

Die Arbeit fügt dem System einen speziellen „Vertrauensmesser" (genannt confidence-guided weight) hinzu.

Wenn das „Video" klar und hilfreich ist, sagt der Vertrauensmesser: „Höre auf das Video!"
Wenn der „Lebenslauf" unordentlich oder verwirrend ist, sagt der Vertrauensmesser: „Ignoriere den Lebenslauf für diese spezifische Person."

Dies geschieht dynamisch. Für einen Bewerber könnte das Video der wichtigste Hinweis sein. Für einen anderen könnte der Lebenslauf der Schlüssel sein. Das System entscheidet automatisch, welcher Informationsquelle für jeden Einzelfall mehr vertraut werden soll.

3. Der „Training vs. Testing"-Trick

Hier mussten die Autoren kreativ werden, wegen der Art der Daten, die sie verwendeten.

Für Bilddaten (Fotos): In der Vergangenheit würde das System, um die Richter während der finalen Show schlauer zu machen, ein Foto nehmen, eine leicht verschwommene Version und eine leicht hellere Version erstellen und die Richter bitten, sich auf die Antwort zu einigen. Dieser „selbstüberwachte" Trick half ihnen, ihre Gewichte auf die Fliege anzupassen.
Für Tabellendaten (Tabellenkalkulationen/Lebensläufe): Man kann wirklich keine „verschwommene" Version einer Tabelle oder eine „hellere" Version einer Altersliste erstellen, ohne die Daten zu beschädigen.

Die Lösung: Die Autoren änderten die Regeln für die Tabellendaten. Anstatt zu versuchen, die Gewichte der Richter während der finalen Show anzupassen (was mit Tabellenkalkulationen unmöglich ist), lehrten sie das System, die perfekten Gewichte während der Trainingsphase unter Verwendung der bekannten Antworten zu ermitteln. Sobald das Training abgeschlossen ist, sind die Gewichte festgelegt. Es ist, als würden die Richter proben, bis sie genau wissen, wie sehr sie dem Lebenslauf im Vergleich zum Video vertrauen müssen, damit sie während der Live-Show nicht raten müssen.

Die Ergebnisse

Die Autoren testeten dieses System an zwei Dingen:

Synthetische Daten: Mischung zweier berühmter Bilddatensätze (MNIST und SVHN), um ein gefälschtes Long-Tail-Problem zu erstellen.
Echte medizinische Daten: Ein realer Datensatz zur Erkennung von Melanomen (Hautkrebs) aus Bildern und Patientendaten (Alter, Geschlecht, Standort).

Das Ergebnis:

Das neue System war viel besser darin, die „seltenen" Fälle (die Minderheitenklassen) zu finden als frühere Methoden.
Es riet nicht nur; es lernte, die richtige Informationsquelle für die richtige Person zu vertrauen.
Im medizinischen Datensatz verbesserte es die Fähigkeit, die seltenen bösartigen (krebsartigen) Fälle im Vergleich zu anderen Methoden signifikant zu erkennen, ohne die Genauigkeit bei den häufigen gutartigen Fällen zu verlieren.

Zusammenfassung

Diese Arbeit baut ein intelligenteres KI-Team auf, das:

Spezialisierte Experten verwendet, um seltene und häufige Daten gleichermaßen gut zu handhaben.
Einen dynamischen Vertrauensmesser verwendet, um zu entscheiden, welche Art von Daten (Bild oder Text) für jeden spezifischen Fall am wichtigsten ist.
Seine Trainingsstrategie anpasst, damit es perfekt funktioniert, selbst wenn Sie unordentliche Tabellenkalkulationen haben, die nicht wie Fotos „augmentiert" werden können.

Das Ergebnis ist ein System, das viel besser darin ist, die „Nadel im Heuhaufen" zu finden, wenn diese Nadel mit einer Mischung aus verschiedenen Hinweisen kommt.

Technische Zusammenfassung: Gleichzeitige Erkennung bei langschwanzverteilten Daten und multimodale Fusion für hochgradig unausgeglichene multimodale Daten

Problemstellung

Tiefe neuronale Netze (DNN) leiden häufig unter Leistungseinbußen, wenn sie auf klassenunausgeglichenen Daten trainiert werden; sie zeigen eine Verzerrung zugunsten der Mehrheitsklassen und versagen beim Erlernen effektiver Repräsentationen für Minderheitsklassen. Während neuere Fortschritte die Erkennung bei langschwanzverteilten Daten adressiert haben, beschränken sie sich überwiegend auf einmodale Eingaben. Umgekehrt nutzen multimodale Lernansätze komplementäre Informationen aus heterogenen Quellen (z. B. Bilder und tabellarische Daten) effektiv, berücksichtigen jedoch selten Klassenungleichgewichte.

In realen Anwendungen, wie etwa der medizinischen Diagnostik, sind Datensätze häufig sowohl multimodal als auch langschwanzverteilt. Beispielsweise können medizinische Aufzeichnungen Bilddaten neben demografischen und klinischen Historien enthalten, doch sind Proben spezifischer Zustände (Minderheitsklassen) in viel größerem Maße durch gesunde Fälle überflügelt. Bestehende Rahmenwerke scheitern daran, diese Herausforderungen gleichzeitig zu bewältigen: Multi-Expert-Modelle wie die selbstüberwachte Aggregation diverser Experten (SADE) sind auf einmodale Eingaben beschränkt, während multimodale Fusionsmethoden wie Multi-modal Dynamics (MMD) gegenüber langschwanzverteilten Verteilungen agnostisch sind. Dieser Beitrag schlägt ein einheitliches Rahmenwerk vor, um diese Lücke zu schließen und eine robuste Erkennung in Szenarien zu ermöglichen, in denen Daten sowohl multimodal als auch hochgradig unausgeglichen sind.

Methodik

Das vorgeschlagene Rahmenwerk integriert distributionsspezialisiertes Multi-Expert-Lernen mit modalitybewusster Fusion. Die Architektur besteht aus drei Hauptkomponenten:

1. Modalitybewusstes Multi-Expert-Rückgrat

Aufbauend auf der SADE-Architektur setzt die Methode drei unabhängige Expertennetzwerke ( $E_1, E_2, E_3$ ) ein, die jeweils auf eine distincte Klassenverteilung spezialisiert sind:

$E_1$ (Vorwärts): Trainiert mit standardmäßiger Softmax-Kreuzentropieverlustfunktion ( $L_{ce}$ ), um langschwanzverteilte Verteilungen zu handhaben.
$E_2$ (Uniform): Trainiert mit balancierter Softmax-Verlustfunktion ( $L_{bal}$ ), um gleichverteilte Verteilungen zu handhaben.
$E_3$ (Rückwärts): Trainiert mit inverser Softmax-Verlustfunktion ( $L_{inv}$ ), um invers langschwanzverteilte Verteilungen zu handhaben.

Im Gegensatz zum ursprünglichen SADE, das einmodale Eingaben verarbeitet, ist jeder Experte in diesem Rahmenwerk so neu gestaltet, dass er multimodale Eingaben akzeptiert. Die Eingaben aus heterogenen Modalitäten (z. B. Bilder und tabellarische Daten) werden durch modalityspezifische Subnetzwerke verarbeitet und innerhalb jedes Experten zu einer einheitlichen latenten Repräsentation fusioniert.

2. Modalitybewertungs- und Gewichtungsmodule

Um heterogene Daten effektiv zu fusionieren, integriert das Rahmenwerk einen Klassifikatormodul, der von MMD inspiriert ist. Dieses Modul enthält modalityspezifische Netzwerke, die die wahre Klassenwahrscheinlichkeit (TCP) für jede Modalität schätzen.

Ein Konfidenznetzwerk ( $g_m$ ) approximiert die TCP für jede Modalität $m$ und gibt einen Konfidenzwert aus.
Diese Werte fungieren als dynamische Gewichte, die den Beitrag der Merkmalsrepräsentation jeder Modalität vor der Fusion modulieren.
Dieser Mechanismus stellt sicher, dass informativere Modalitäten stärker zur endgültigen Entscheidung beitragen, abhängig sowohl von der Eingabeprobe als auch von der Klassenverteilung.

3. Trainings- und Testverfahren

Die Trainings- und Teststrategien unterscheiden sich je nach Art der Modalitäten, um die Machbarkeit von Daten-Augmentierung zu adressieren:

Fall 1: Vollständig bildbasierte Modalitäten: Die Methode übernimmt eine Testzeit-Trainingsstrategie ähnlich wie SADE. Für jede Testprobe werden zwei stochastische Augmentierungen generiert. Die Aggregationsgewichte ( $w_1, w_2, w_3$ ) zur Kombination der drei Experten werden selbstüberwacht optimiert, indem die Vorhersagestabilität zwischen den beiden augmentierten Ansichten maximiert wird.
Fall 2: Gemischte Bild- und Tabellardaten-Modalitäten: Da das Generieren vergleichbarer stochastischer Augmentierungen für tabellarische Daten oft nicht machbar ist und die Leistung verschlechtern kann, wird die Testzeit-Trainingsstrategie ersetzt. Stattdessen werden die Aggregationsgewichte ausschließlich während der Trainingsphase unter Verwendung von Ground-Truth-Labels und einer standardmäßigen Softmax-Kreuzentropieverlustfunktion optimiert. Dies geht von der Annahme aus, dass Trainings- und Testdatensätze dieselbe Verteilung teilen, was eine vernünftige Annahme für Daten ist, die aus derselben Umgebung stammen.

Hauptbeiträge

Der Beitrag skizziert drei primäre Beiträge:

Einheitliches Rahmenwerk: Ein neuartiges Rahmenwerk zur Erkennung bei langschwanzverteilten Daten, das gleichzeitig multimodale Eingaben und Klassenungleichgewichte handhabt und Multi-Expert-Lernen mit modalitybewusster Aggregation integriert.
Spezialisierte Verfahren: Das Design maßgeschneiderter Trainings- und Teststrategien, die diverse Kombinationen von Eingabemodalitäten berücksichtigen und speziell die Grenzen der Anwendung von Testzeit-Augmentierung auf Nicht-Bilddaten adressieren.
Empirische Validierung: Umfassende Evaluierungen auf Benchmark-Datensätzen (MNIST, SVHN) und einem realen medizinischen Datensatz (SIIM-ISIC Melanoma Classification Challenge), die die Wirksamkeit des Ansatzes demonstrieren.

Experimentelle Ergebnisse

Die vorgeschlagene Methode wurde gegen mehrere Baselines evaluiert, darunter MMD, SADE, MMD-LA, SADE-LMF und M2LC-Net.

MNIST und SVHN (Zwei Bildmodalitäten): Die vorgeschlagene Methode übertraf die Baselines konsistent in Bezug auf den F1-Score, insbesondere unter invers langschwanzverteilten Testverteilungen mit hohen Ungleichgewichtsverhältnissen. Beispielsweise verbesserte die vorgeschlagene Methode bei einem Trainingsungleichgewichtsverhältnis von 50 und einer invers langschwanzverteilten Testverteilung den F1-Score um 0,43 gegenüber MMD-LA und um 0,51 gegenüber M2LC-Net. Sie zeigte zudem eine überlegene Generalisierung, indem sie eine wettbewerbsfähige Genauigkeit beibehielt und gleichzeitig die Leistung bei Minderheitsklassen signifikant steigerte.
SIIM-ISIC Melanoma-Datensatz (Bild- und Tabellardaten-Modalitäten): In diesem realen medizinischen Setting mit einem Ungleichgewichtsverhältnis von etwa 55,72 erreichte die vorgeschlagene Methode den höchsten F1-Score (0,6012) unter allen verglichenen Methoden und übertraf die nächstbeste Baseline (SADE-LMF, 0,5629) um 0,04. Während die Klassifizierungsgenauigkeit mit anderen leistungsstarken Modellen vergleichbar blieb, unterstreicht der signifikante Gewinn im F1-Score die Fähigkeit des Modells, die Minderheitsklasse (bösartige Läsionen) besser zu identifizieren.
Aggregationsgewichte: Die Analyse der gelernten Aggregationsgewichte bestätigte, dass die vorgeschlagene Methode Gewichte logisch konsistent mit der Testdataverteilung zuweist (z. B. höheres Gewicht für den Vorwärts-Experten bei langschwanzverteilten Tests), wohingegen Baseline-Methoden wie SADE-LMF manchmal kontraintuitive Gewichte zuwiesen.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass der vorgeschlagene Ansatz die dualen Herausforderungen von Klassenungleichgewicht und multimodaler Fusion effektiv adressiert, die weitgehend als separate Probleme behandelt wurden. Durch die Erweiterung des Multi-Expert-Rahmenwerks auf multimodale Settings und die Einführung eines konfidenzgesteuerten Gewichtsmechanismus erreicht die Methode Robustheit über variierende Testzeit-Verteilungen hinweg.

Die Autoren betonen, dass die vorgeschlagene Methode nicht die Klassifizierungsgenauigkeit zugunsten der Leistung bei Minderheitsklassen opfert; vielmehr verbessert sie die Generalisierung auf ungesehene, nicht-uniforme Datenverteilungen. Die Fähigkeit, gemischte Modalitäten (Bilder und tabellarische Daten) zu handhaben, ohne auf nicht machbare Testzeit-Augmentierungen zurückzugreifen, wird als kritischer Fortschritt für reale Anwendungen präsentiert, in denen Datenheterogenität und Ungleichgewicht koexistieren. Die Arbeit schließt mit dem Hinweis, dass zukünftige Bemühungen darauf abzielen werden, dieses Rahmenwerk auf semi-überwachte Settings zu erweitern, um Szenarien mit begrenzten gelabelten Daten weiter zu adressieren.