🤖 machine learning

Multimodal Data Curation Through Ranked Retrieval

Dieser Beitrag stellt ein Framework vor, das aus einer symmetrischen Nukleus-Subsampling-Methode und einer Expert-Embedding-Engine besteht, um Trainingspaare zu verfeinern und Embedding-Experten zu kombinieren, wodurch die Modality-Lücke effektiv überbrückt und die cross-modale Suche sowie die Leistung nachgelagerter Modelle auf heterogenen Datensätzen verbessert werden.

Ursprüngliche Autoren: Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Chefbibliothekar einer riesigen, chaotischen Bibliothek, die Bücher, Filme, Musikaufnahmen und handschriftliche Notizen enthält, die alle miteinander vermischt sind. Ihr Ziel ist es, ein System zu entwickeln, bei dem ein Nutzer eine Frage stellen kann wie: „Zeigen Sie mir etwas über einen Hund, der im Park spielt", und das System sofort das perfekte Video, das richtige Foto, den passenden Audio-Clip oder die zugehörige Textbeschreibung findet, unabhängig vom Format.

Die Arbeit argumentiert, dass aktuelle Systeme mit zwei Hauptproblemen kämpfen:

Die „Format"-Falle: Das System gruppiert Objekte oft danach, was sie sind (alle Videos zusammen, alle Texte zusammen), anstatt danach, was sie bedeuten. Es ist wie ein Bibliothekar, der alle Bücher ins obere Regal und alle Filme ins untere Regal stellt, selbst wenn ein Buch und ein Film exakt dieselbe Geschichte erzählen.
Das Problem der „verrauschten Labels": Die Beschreibungen (Labels), die mit diesen Objekten verknüpft sind, sind oft unordentlich. Ein Video eines Hundes könnte eine Bildunterschrift haben, die „ein Hund" sagt, aber das Video zeigt auch eine Katze, einen Baum und ein Auto. Oder die Bildunterschrift könnte einen „sonnigen Tag" erwähnen, obwohl das Video tatsächlich nachts aufgenommen wurde. Das System versucht, aus diesen nicht übereinstimmenden Paaren zu lernen, und gerät in Verwirrung.

Die Autoren schlagen eine zweigeteilte Lösung vor, um dies zu beheben, die sie Symmetric Nucleus Subsampling (SNS) und die Expert Embedding Engine (EEE) nennen.

Teil 1: Die „Schere und der Kleber" (Symmetric Nucleus Subsampling)

Stellen Sie sich die Trainingsdaten als ein Paar mismatchierter Socken vor: eine Socke ist ein rohes Video, die andere eine Textbeschreibung. Manchmal passen sie nicht gut zusammen.

Das Problem: Das Video könnte 10 Minuten lang sein, aber der Text beschreibt nur die ersten 30 Sekunden. Oder der Text erwähnt ein „blaues Auto", aber das Video ist schwarz-weiß.
Die Lösung (SNS): Die Autoren verwenden eine intelligente „Schere"-Technik.
- Vorwärtsschnitt: Sie betrachten den Text und fragen: „Welche Teile dieses Videos erklären tatsächlich diesen Text?" Sie schneiden die irrelevanten 9 Minuten des Videos heraus.
- Rückwärtsschnitt: Sie betrachten das Video und fragen: „Welche Teile dieses Textes beschreiben tatsächlich, was wir sehen?" Sie schneiden die Sätze über das „blaue Auto" heraus, wenn das Auto nicht da ist.
- Das Ergebnis: Ihnen bleibt ein „Kern" übrig – der hochwertige Kern des Videos und der Kern des Textes, die perfekt aufeinander abgestimmt sind. Sie schneiden das Rauschen weg, damit der Computer aus einem sauberen, kompakten Paar lernt.

Teil 2: Das „Team von Experten" (Expert Embedding Engine)

Selbst mit sauberen Paaren hat der Computer immer noch Schwierigkeiten zu verstehen, dass ein Video und ein Text dasselbe Thema behandeln. Es ist wie bei drei verschiedenen Übersetzern, die alle verschiedene Dialekte sprechen; sie könnten dieselbe Geschichte übersetzen, aber die Wörter, die sie verwenden, sind so unterschiedlich, dass die Geschichten nicht miteinander verwandt erscheinen.

Das Problem: Verschiedene Datentypen (Video, Audio, Text) klumpen in dem Speicher des Computers natürlicherweise getrennt voneinander, was eine „Modality Gap" (Moduslücke) erzeugt.
Die Lösung (EEE): Anstatt sich auf einen einzigen „Übersetzer" zu verlassen, stellen die Autoren ein Team aus drei Experten ein:
1. Der End-to-End-Experte: Gut darin, alles auf einmal zu sehen.
2. Der Fusions-Experte: Gut darin, verschiedene Datentypen zu kombinieren.
3. Der Text-Experte: Gut darin, alles zuerst in Wörter zu verwandeln.
Der Projektor: Sie fügen einen speziellen „Übersetzer" (ein Projektionsnetzwerk) hinzu, der allen drei Experten zuhört. Er nimmt ihre unterschiedlichen Meinungen auf und mischt sie zu einer einzigen, einheitlichen Sprache zusammen. Entscheidend ist, dass dieser Übersetzer so trainiert wird, dass er das Format der Daten ignoriert und sich nur auf die Bedeutung konzentriert. Er zwingt den Computer zu erkennen, dass ein Video eines Hundes und ein Satz über einen Hund in derselben Nachbarschaft gehören, nicht in getrennten Dörfern.

Die Ergebnisse: Eine bessere Bibliothek

Die Autoren testeten dieses System, indem sie eine neue „Trainingsmischung" (eine kuratierte Bibliothek) mit ihrer Methode erstellten und dann ein neues KI-Modell mit dieser Mischung trainierten.

Der Vergleich: Sie verglichen ihre Methode mit:
- Zufallsstichprobe: Bücher blind vom Regal zu nehmen.
- Geschichtete Stichprobe: Eine gleiche Anzahl von Büchern, Filmen und Songs auszuwählen.
- Traditionelle Kuratierung: Alte Regeln zu verwenden, um schlechte Daten herauszufiltern.
Das Ergebnis: Ihre Methode lieferte die besten Ergebnisse. Das KI-Modell, das auf ihren kuratierten Daten trainiert wurde, lernte schneller und machte weniger Fehler (niedrigere „Perplexität", was wie ein Maß für Verwirrung ist).
Die geometrische Korrektur: Am wichtigsten ist, dass sie zeigten, dass ihre Methode die „Modality Gap" um über 90 % reduzierte. In der Vorstellung des Computers wurde der Abstand zwischen einem Video und einem Text über dasselbe Thema fast null, wohingegen sie zuvor Meilen voneinander entfernt waren, nur weil sie verschiedene Formate waren.

Zusammenfassung

Einfach ausgedrückt sagt die Arbeit: „Um eine intelligente Suchmaschine für gemischte Medien zu bauen, werfen Sie nicht einfach alles auf den Computer. Verwenden Sie zuerst eine Schere, um die unordentlichen, nicht übereinstimmenden Teile Ihrer Daten herauszuschneiden. Zweitens verwenden Sie ein Team von Experten, um alles in eine einzige, einheitliche Sprache zu übersetzen, die das Format ignoriert und sich auf die Bedeutung konzentriert. Dies erzeugt einen saubereren, intelligenteren Trainingsdatensatz, der der KI hilft, die Welt viel besser zu verstehen."

Technische Zusammenfassung: Multimodale Datenkuratierung durch rangbasierte Retrieval-Verfahren

Problemstellung

Gemeinsame Einbettungsräume sind das Standard-Fundament für multimodale Suche und Datenkuratierung. Die Autoren identifizieren jedoch zwei sich verstärkende Probleme, die die Wirksamkeit dieser Systeme beeinträchtigen, insbesondere beim Mischen heterogener, menschlich gelabelter Datensätze:

Modality-Driven Clustering (Die Modality Gap): Einbettungen clustern häufig nach Eingabemodalität (z. B. alle Texte zusammen, alle Bilder zusammen) statt nach semantischer Bedeutung. Diese geometrische Trennung führt dazu, dass die Nachbarsuch-Retrieval-Verfahren die Modalitätsidentität vor der semantischen Ähnlichkeit priorisieren, was die multimodale Suche sowie nachgelagerte Aufgaben wie Clustering oder Deduplizierung untergräbt.
Verrauschte gepaarte Supervision: Trainingssignale in gepaarten Datensätzen (z. B. Bild-Beschriftung, Video-Transkript) leiden häufig unter Fehlausrichtungen. Annotationen können kritische Objekte auslassen, irrelevante Kontexte einschließen oder auf Inhalte verweisen, die nicht in den Rohdaten vorhanden sind (z. B. Audio außerhalb des Bildschirms). Wenn Modelle auf solchen verrauschten Paaren trainiert werden, lernen sie Abkürzungen, die mit dem Datensatz oder der Modalität korrelieren, statt mit dem zugrundeliegenden Ereignis, was die Modality Gap verstärkt.

Bestehende Lösungen adressieren typischerweise nur eine Seite dieses Problems: Methoden auf Repräsentationsebene versuchen, Einbettungen auszurichten, akzeptieren aber verrauschte Supervision als gegeben, während datenzentrierte Filterungen die Paarqualität verbessern, jedoch oft eine feste Encoder-Architektur voraussetzen, die keine systematischen geometrischen Verzerrungen korrigieren kann.

Methodik

Die Arbeit schlägt ein gekoppeltes Framework vor, das gleichzeitig in die Trainingsdatenpaare und die Architektur des Einbettungsmodells eingreift. Der Ansatz besteht aus drei Hauptkomponenten:

1. Symmetrische Nukleus-Subsampling (SNS)

SNS ist eine datenseitige Vorverarbeitungstechnik, die darauf abzielt, die Informationsdichte gepaarter Stichproben zu erhöhen, indem irrelevante Inhalte sowohl aus den Rohdaten als auch aus der Annotation entfernt werden. Sie arbeitet in zwei Phasen:

Vorwärts-Extraktion: Identifiziert die relevantesten Teile der Rohdaten (z. B. spezifische Bildregionen, Videomomente oder Textspannen), die den Inhalt der Annotation erklären. Dies wird mittels modalspezifischer Segmentierungsmodelle (z. B. Grounding-DINO für Bilder, Momentenerkennung für Videos) erreicht, die durch Einbettungsähnlichkeit geleitet werden.
Rückwärts-Extraktion: Identifiziert die am besten fundierten Teile der Annotation, die durch die Rohdaten gestützt werden. Dies umfasst die Generierung einer Beschreibung der Rohdaten (unter Verwendung von Modellen wie Nemotron-Nano oder Cosmos-Reason2) und das Filtern der ursprünglichen Annotation, um nur Sätze mit hoher Ähnlichkeit zu dieser Beschreibung zu behalten.
Symmetrisches Gate: Ein Paar wird nur beibehalten oder modifiziert, wenn das Verhältnis der gegenseitigen Information zwischen dem extrahierten „Nukleus" und dem ursprünglichen Paar einen Schwellenwert ( $\rho$ ) überschreitet. Dies stellt sicher, dass das Beschneiden die Ausrichtung verbessert, ohne gültige Daten zu verwerfen.

2. Expert Embedding Engine (EEE)

Um Modality-Bias zu adressieren, schlagen die Autoren eine Mixture-of-Experts (MoE)-Architektur vor, die drei unterschiedliche Einbettungsstrategien nutzt, jede mit unterschiedlichen Stärken und inhärenten Verzerrungen:

End-to-End-Expert: Nutzt ein einheitliches multimodales Modell (Omni-Embed-Nemotron-3B), um alle Modalitäten direkt zu verarbeiten.
Fusion-Expert: Nutzt eine ImageBind-ähnliche Architektur, die Einbettungen aus separaten Encodern fusioniert und Bilder als Anker verwendet.
Text-Expert: Konvertiert alle Modalitäten in Textbeschreibungen mittels Modalität-zu-Text-Modellen und verwendet anschließend ein dediziertes Text-Einbettungsmodell (Llama-Nemotron-Embed-1B).

3. Projektionsnetzwerk mit biasbewusstem Ziel

Da die drei Experten Einbettungen in unterschiedlichen Räumen erzeugen, wird ein leichtgewichtiges neuronales Netzwerk trainiert, um die verketteten Einbettungen aller Experten in einen einheitlichen Raum zu projizieren. Dieses Netzwerk wird mit einer zusammengesetzten Verlustfunktion trainiert:

Task-Verlust ( $L_{task}$ ): Ein InfoNCE-artiger kontrastiver Verlust zur Aufrechterhaltung der semantischen Ähnlichkeit zwischen gepaarten Daten und Annotationen.
Cluster-Bias-Verlust ( $L_{cluster}$ ): Bestraft den Abstand zwischen dem Schwerpunkt jeder Modalität und dem globalen Schwerpunkt und zwingt Modalitäten dazu, sich im gemeinsamen Raum zu überlappen.
Skalen-Bias-Verlust ( $L_{scale}$ ): Bestraft Unterschiede in der Streuung (Varianz) der Einbettungen über Modalitäten hinweg, um eine einheitliche Clustergeometrie sicherzustellen.

Entscheidend ist, dass das Projektionsnetzwerk die Textannotationen als „fundierte Anker" behandelt (ihre Einbettungen bleiben unverändert) und die Einbettungen der Rohdaten auf sie hin projiziert, wodurch die Geometrie durch die Textmodalität geleitet wird.

Hauptbeiträge

Analyse gemeinsamer Fehlermodi: Die Arbeit analysiert, wie Modality-Bias und Fehlausrichtungen zwischen Rohdaten und Annotationen gemeinsam die Qualität der Einbettungen in gemischten, menschlich gelabelten Korpora verschlechtern.
Symmetrische Nukleus-Subsampling (SNS): Eine neuartige, symmetrische Subsampling-Methode, die die Konsistenz von Paaren verbessert, indem irrelevante Inhalte auf beiden Seiten eines multimodalen Paares basierend auf der Dichte der gegenseitigen Information entfernt werden.
Expert Embedding Engine (EEE): Eine Mixture-of-Experts-Architektur in Kombination mit einer gelernten Projektionsschicht und einem biasbewussten Ziel, um modality-getriebene Trennung zu reduzieren und gleichzeitig die semantische Struktur zu bewahren.
Robuste Evaluation: Eine umfassende Studie unter Verwendung von menschlich ausgewählten Aufgabensets, um die Leistung nachgelagerter Modelle über verschiedene Datenkuratierungsstrategien hinweg zu vergleichen, einschließlich der vorgeschlagenen Methode und branchenüblicher Baselines.

Ergebnisse

Das Framework wurde an einer Mischung aus fünf menschlich annotierten Datensätzen (AudioCaps, TextCaps, ALFRED, CoNaLa, TriviaQA) evaluiert, die Audio, Bilder, Video und Text abdecken. Die kuratierten Datenmischungen wurden verwendet, um ein multimodales Sprachmodell (Qwen2.5-Omni-3B) feinabzustimmen, wobei die Validierungs-Perplexität als primäre Metrik diente.

Leistung nachgelagerter Aufgaben: Die vollständige Konfiguration (SNS Bidirectional + EEE + Projection) erreichte die niedrigste Validierungs-Perplexität (7,732) und übertraf stratifiziertes zufälliges Sampling, uniformes zufälliges Sampling und eine „traditionelle" Datenkuratierungspipeline (die auf heuristischer Filterung und Single-Encoder-Ranking basierte).
Reduktion der Modality Gap: Das Projektionsnetzwerk schloss die Modality Gap erfolgreich. Tabelle 2 zeigt, dass der $\ell_2$ -Abstand zwischen den Schwerpunkten pro Modalität im Durchschnitt um über 90 % im Vergleich zu den Basis-Experteneinbettungen reduziert wurde.
Ablations-Erkenntnisse:
- SNS-Varianten (Vorwärts, Rückwärts, Bidirektional) übertrafen konsistent die EEE-only-Baseline und bestätigten den Wert der datenseitigen Rauschunterdrückung.
- Die „traditionelle" Baseline schnitt deutlich schlechter ab, was die Grenzen heuristischer Filterung und Single-Encoder-Ansätze in multimodalen Settings unterstreicht.
- Das Projektionsnetzwerk war unverzichtbar; ohne es konnten die unterschiedlichen Einbettungsräume der Experten nicht effektiv rangiert oder kombiniert werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die standardmäßige retrieval-basierte Datenselektion Trainingsmischungen aktiv verschlechtern kann, wenn der Einbettungsraum eine unkorrigierte Modality-Bias aufweist. Das vorgeschlagene Framework zeigt, dass sowohl die Daten (via SNS) als auch die Modellgeometrie (via EEE und Projektion) adressiert werden müssen, um robuste, einheitliche Einbettungsräume zu schaffen.

Die Autoren behaupten, dass ihr Ansatz eine zuverlässige cross-modale Retrieval ermöglicht, indem sichergestellt wird, dass der Abstand im Einbettungsraum die semantische Ähnlichkeit widerspiegelt und nicht das Eingabeformat. Obwohl die Evaluation in ihrem Umfang begrenzt ist (5.000 Stichproben, spezifische Modellarchitekturen), deuten die Ergebnisse darauf hin, dass „kleine geometrische Eigenheiten und Labelrauschen" zu systematischen Fehlern im großskaligen Training anwachsen können und dass eine gekoppelte Interventionsstrategie eine praktikable Lösung darstellt. Die Arbeit schließt mit der Nennung von Einschränkungen, wie der Abhängigkeit von textbasierter Supervision für die traditionelle Baseline und dem Umfang der Evaluation, und schlägt vor, dass zukünftige Arbeiten sich auf unsicherheitsbewusstes Beschneiden und die Entkopplung von Vorschlag und Verifizierung konzentrieren könnten.