📊 statistics

Expressivity In Multimodal Contrastive Learning

Diese Arbeit analysiert die Repräsentationskapazität von multimodalem kontrastivem Lernen und zeigt auf, dass Standard-CLIP zwar ein universeller Approximator für zwei Modalitäten ist, seine gängige multimodale Erweiterung jedoch daran scheitert, beliebige gemeinsame Verteilungen zu erfassen, weshalb die Autoren Hadamard-CLIP als eine einfache Modifikation vorschlagen, die die universelle Approximation für jede Anzahl von Modalitäten wiederherstellt, ohne die Effizienz der Abfrage zu opfern.

Ursprüngliche Autoren: Andrew Stuart, Florian Wolf

Veröffentlicht 2026-08-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrew Stuart, Florian Wolf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der modernen Welt der künstlichen Intelligenz lernen Maschinen zunehmend, gleichzeitig zu sehen, zu hören und zu lesen. Anstatt nur ein Bild zu erkennen oder einen Satz isoliert zu übersetzen, werden diese Systeme darauf trainiert, zu verstehen, wie verschiedene Arten von Informationen miteinander verknüpft sind. Ein Computer könnte ein Bild eines Sonnenuntergangs betrachten und lernen, dieses mit den Worten „goldene Stunde“ zu verknüpfen oder ein bestimmtes Geräusch mit einer visuellen Szene zu assoziieren. Dieser Prozess, bekannt als kontrastives Lernen, ist zu einem Eckpfeiler dafür geworden, wie Computer ein gemeinsames Verständnis der Welt aufbauen. Es funktioniert, indem die Maschine lernt, verwandte Informationsteile in ihrem internen Speicher näher zusammenzuführen und unzusammenhängende Teile voneinander zu entfernen. Das Ergebnis ist die Fähigkeit, Bilder mittels Text abzurufen, Bilder aus Beschreibungen zu generen oder komplexe Datenlandschaften zu navigieren. Doch während diese Systeme in der Praxis bemerkenswerte Erfolge erzielt haben, haben sich Wissenschaftler schon lange gefragt, was die fundamentalen Grenzen ihres Verständnisses sind. Speziell wollten sie wissen, ob die mathematischen Strukturen, die zum Bau dieser Systeme verwendet werden, tatsächlich in der Lage sind, jede mögliche Beziehung zwischen verschiedenen Arten von Daten zu erfassen, oder ob es verborgene blinde Flecken in ihrem Design gibt.

Ein Team von Forschern am California Institute of Technology machte sich daran, diese Frage zu beantworten, indem sie die Architektur dieser Lernsysteme nicht als eine Sammlung von Code betrachtete, sondern als eine Methode zur Schätzung von Wahrscheinlichkeiten. Sie stellten sich ein Szenario vor, in dem die Maschine eine unendliche Menge an Daten gesehen hat, was es ihnen ermöglichte, das Rauschen begrenzter Stichproben zu eliminieren und sich rein auf die theoretische Kapazität des Systems zu konzentrieren. Ihre Untersuchung ergab eine scharfe Trennung darin, wie diese Maschinen Informationen verarbeiten, abhängig von der Anzahl der beteiligten Datentypen. Wenn das System mit nur zwei Datentypen arbeitet, wie etwa Bildern und Text, ist die heute übliche Standardarchitektur theoretisch perfekt. Sie ist leistungsstark genug, um jede mögliche Beziehung zwischen den beiden zu erlernen und erreicht damit die Kapazität der komplexesten, universell einsetzbaren Netzwerke. Dieser Befund liefert eine solide mathematische Grundlage für den Erfolg aktueller Zwei-Teil-Systeme.

Die Geschichte ändert sich jedoch, wenn die Forscher Systeme untersuchen, die darauf ausgelegt sind, drei oder mehr Datentypen gleichzeitig zu verarbeiten, wie etwa die Kombination von Video, Audio und Text. Der in der Praxis am häufigsten verwendete Ansatz für diese komplexen Aufgaben beinhaltet eine Methode, die einfach die Ähnlichkeiten zwischen jedem möglichen Paar von Datentypen aufsummiert. Die Forscher bewiesen, dass diese Methode zwar exzellent darin ist, zu lernen, wie zwei spezifische Datentypen miteinander zusammenhängen, aber fundamental unfähig ist, das vollständige Bild zu erfassen, wenn alle drei oder mehr gleichzeitig präsent sind. Sie schafft einen blinden Fleck, bei dem das System zwar die Beziehung zwischen A und B sowie zwischen B und C verstehen kann, aber die einzigartige, dreifache Verbindung nicht begreift, die nur existiert, wenn A, B und C gleichzeitig betrachtet werden. Die Standardmethode ist mathematisch bewiesen unfähig, diese höheren Interaktionen zu erfassen, ungeachtet dessen, wie viele Daten sie erhält oder wie lange sie trainiert wird.

Um dieses Problem zu lösen, schlugen die Forscher eine einfache, aber leistungsstarke Modifikation des bestehenden Designs vor. Sie führten eine neue Architektur ein, die ein einzelnes, gelerntes Set von Gewichten über das Standardmodell legt. Diese kleine Ergänzung fungt als Brücke, die es der Maschine ermöglicht, die Informationen aus allen Datentypen auf eine Weise zu kombinieren, die ihre vollständige, komplexe Beziehung erfasst. Das neue Design, das sie Hadamard-CLIP nannten, stellt die Fähigkeit des Systems wieder her, jede mögliche gemeinsame Verteilung von Daten zu erlernen, unabhängig davon, wie viele Typen involviert sind. Entscheidend ist, dass diese Korrektur nicht die Geschwindigkeit opfert, die diese Systeme in der realen Welt so nützlich macht. Im Gegensatz zu anderen komplexen Lösungen, die vom Computer verlangen würden, bei jeder Vorhersage die Rohdaten zu verarbeiten, ermöglicht diese neue Methode dem System, vereinfachte Repräsentationen der Daten vorab zu berechnen und zu speichern. Das bedeutet, dass das System selbst mit der zusätzlichen Komplexität des Verständnisses mehrerer Modalitäten Informationen so schnell abrufen kann wie die ursprünglichen, einfacheren Modelle. Die Arbeit zeigt, dass es durch eine minimale strukturelle Änderung möglich ist, die volle Ausdruckskraft des multimodalen Lernens freizusetzen und sicherzustellen, dass Maschinen das komplexe Geflecht der Verbindungen zwischen den vielen verschiedenen Arten, wie wir die Welt beschreiben, wahrhaftig verstehen können.

Technisches Resümee: Expressivität in multimodalem kontrastivem Lernen

Problemstellung

Kontrastives Lernen, insbesondere die CLIP-Architektur, hat sich zu einer grundlegenden Technik für das Erlernen gemeinsamer Repräsentationen über verschiedene Modalitäten hinweg (z. B. Text und Bild) entwickelt. Trotz des empirischen Erfolgs bleibt die theoretische Grenze seiner Expressivität – also die Fähigkeit, beliebige gemeinsame Wahrscheinlichkeitsverteilungen mehrerer Modalitäten zu approximieren – weitgehend unverstanden.

Die bestehende Literatur konzentriert sich oft auf informations-theoretische Schranken (z. B. Maximierung der gegenseitigen Information) oder die Leistung in Downstream-Aufgaben. Diese Analysen setzen jedoch häufig voraus, dass die gewählte Parametrisierung in der Lage ist, die Zielbeziehung darzustellen. Diese Arbeit adressiert eine fundamentale Lücke: Ist die kontrastive Parametrisierung selbst expressiv genug, um die zugrunde liegende gemeinsame Verteilung universell zu approximieren, oder ist sie darauf beschränkt, nur bestimmte bedingte Verteilungen zu approximieren?

Die Autoren verfolgen einen Populations-basierten Dichteschätzungs-Ansatz. Anstatt die Schätzung mit endlichen Stichproben oder die Optimierungsdynamik zu analysieren, betrachten sie die Daten als ein bekanntes gemeinsames Wahrscheinlichkeitsmaß $\mu$ und fragen, ob eine gegebene kontrastive Architektur $\mu$ beliebig gut approximieren kann, indem sie eine „Tilting-Funktion“ $\Phi$ lernt, die das Produkt der Randverteilungen $\mu_P$ anpasst, um der gemeinsamen Verteilung $\mu$ zu entsprechen. Das Maß der Expressivität ist das Infimum der Kullback-Leibler-Divergenz $D_{KL}(\mu \parallel \mu_a)$ über den Parameterraum.

Methodik

Das Papier rahmt das kontrastive Lernen als das Lernen einer Tilting-Funktion $\Phi$ ein, wobei die approximierte Verteilung wie folgt definiert ist:
$\frac{d\mu_a}{d\mu_P}(x) = \frac{1}{Z} \exp(\Phi_a(x))$
wobei $\Phi$ das Log-Dichteverhältnis (die Tilting-Funktion) der wahren gemeinsamen Verteilung im Verhältnis zum Produkt der Randverteilungen ist.

Die Autoren etablieren eine Hierarchie theoretischer Ergebnisse:

Verlust-Hierarchie (Loss Hierarchy): Sie beweisen, dass die Minimierung der gemeinsamen KL-Divergenz $D_{KL}(\mu \parallel \mu_a)$ die bedingten Verluste (sowohl vollen bedingten als auch paarweisen bedingten Verlusten), die in der praktischen kontrastiven Lernung verwendet werden, strikt nach oben begrenzt. Wenn eine Architektur also nicht in der Lage ist, die gemeinsame Verteilung zu approximieren, kann sie auch die gemeinsame KL-Divergenz nicht gegen Null minimieren, selbst wenn sie die bedingten Verluste minimiert.
Funktions-zu-Maß-Approximation: Sie zeigen, dass, falls eine parametrische Funktionsfamilie kontinuierliche Tilting-Funktionen gleichmäßig approximieren kann (Universelle Approximation in $C_0$ ), die induzierte Funktionsfamilie die wahre gemeinsame Verteilung in der KL-Divergenz approximieren kann.
Architekturanalyse: Sie wenden diese allgemeinen Theoreme auf spezifische Architekturen an:
- Bimodales CLIP ( $m=2$ ): Die Standard-Two-Tower-Architektur mit Skalarprodukt-Scoring.
- Sum-of-Pairs CLIP ( $m \ge 3$ ): Die gängige Erweiterung für drei oder mehr Modalitäten, bei der die Summe aller paarweisen Skalarprodukte als Score dient.
- Hadamard-CLIP (H-CLIP): Eine vorgeschlagene Modifikation, die einen lernbaren Gewichtungsvektor zum elementweisen (Hadamard-) Produkt der Encoder-Outputs hinzufügt.

Zentrale Beiträge und Ergebnisse

1. Bimodales CLIP ist ein universeller Approximator

Für zwei Modalitäten ( $m=2$ ) beweist das Paper, dass die Standard-Two-Tower-CLIP-Architektur genauso expressiv ist wie jedes allgemeine Joint-Netzwerk.

Ergebnis: Die Funktionsfamilie definiert durch $\Phi_{2\text{-clip}}(x_1, x_2) = \langle \bar{g}_1(x_1), \bar{g}_2(x_2) \rangle / \tau$ ist dicht im Raum der kontinuierlichen Funktionen.
Implikation: Vorausgesetzt, es gibt ausreichende Kapazität und eine lernbare Temperatur $\tau$ , kann das bimodale CLIP jede gemeinsame Verteilung beliebig gut approximieren. Dies liefert eine theoretische Rechtfertigung für den empirischen Erfolg von CLIP bei Text-Bild-Aufgaben.
Einschränkung: Die Autoren merken an, dass dies keine Dimensionsreduktion garantiert; in einigen Fällen kann die für eine perfekte Approximation erforderliche latente Dimension der Dimension des ursprünglichen gemeinsamen Bereichs entsprechen oder diese sogar übersteigen.

2. Sum-of-Pairs CLIP versagt für $m \ge 3$

Das Paper zeigt auf, dass die weit verbreitete Generalisierung von CLIP für drei oder mehr Modalitäten, welche die paarweisen Ähnlichkeiten summiert ( $\Phi_{m\text{-clip}} = \sum_{i<j} \langle \bar{g}_i, \bar{g}_j \rangle$ ), keine beliebigen gemeinsamen Verteilungen universell approximieren kann.

Ergebnis: Während diese Architektur alle paarweisen bedingten Verteilungen ( $x_i | x_j$ ) beliebig gut approximieren kann, scheitert sie strukturell an der Erfassung höherer Interaktionen (z. B. Drei-Wege-Interaktionen wie $x_1 x_2 x_3$ ). Folglich kann sie weder die volle gemeinsame Verteilung noch die volle bedingte Verteilung ( $x_i | x_{-i}$ ) approximieren.
Bedeutung: Dies offenbart eine theoretische Einschränkung in der aktuellen multimodalen Praxis: Der Sum-of-Pairs-Verlust reicht nicht aus, um komplexe Abhängigkeiten zwischen drei oder mehr Modalitäten zu modellieren, trotz seines empirischen Nutzens.

3. Hadamard-CLIP (H-CLIP) stellt die universelle Approximation wieder her

Um das Versagen des Sum-of-Pairs-Ansatzes zu beheben, schlagen die Autoren Hadamard-CLIP vor.

Architektur: Diese Methode fügt einen einzelnen lernbaren Gewichtungsvektor $\omega \in \mathbb{R}^{d_{Lat}}$ zum elementweisen Produkt aller Encoder-Outputs hinzu:
$\Phi_{Had}(x_1, \dots, x_m) = \omega^\top (\bar{g}_1(x_1) \odot \dots \ \bar{g}_m(x_m))$
Ergebnis: Die Autoren beweisen, dass H-CLIP die universelle Approximation für jede Anzahl von Modalitäten $m$ wiederherstellt. Es kann die volle gemeinsame Verteilung beliebig gut approximieren.
Effizienz: Entscheidend ist, dass H-CLIP die Effizienz zur Inferenzzeit von Standard-CLIP bewahrt. Im Gegensatz zu einem allgemeinen Joint-Netzwerk (welches alle Rohmodalitäten gleichzeitig verarbeiten muss), erlaubt H-CLIP vorberechenbare Embeddings. Man kann das Hadamard-Produkt aller Modalitäten außer der Abfragemodalität vorab berechnen, was eine schnelle Suche mittels eines einzigen Skalarprodukts ermöglicht, ähnlich wie bei Standard-CLIP.

Bedeutung und Behauptungen

Das Paper beansprucht, ein fundamentales theoretisches Verständnis der Repräsentationskapazität von kontrastiven Lernarchitekturen zu liefern, indem es Expressivität von Problemen der Schätzung mit endlichen Stichproben und der Optimierung isoliert.

Theoretische Lücke: Es identifiziert ein spezifisches strukturelles Versagen in der Standard-Multimodal-Erweiterung von CLIP (Sum-of-Pairs), das verhindert, dass beliebige gemeinsame Verteilungen modelliert werden – eine Lücke, die zuvor in der Literatur nicht charakterisiert wurde.
Minimale Modifikation: Es schlägt H-CLIP als eine minimale, theoretisch fundierte Modifikation vor, die die universelle Approximation wiederherstellt, ohne die rechnerische Effizienz (vorberechenbare Embeddings) zu opfern, die kontrastives Lernen skalierbar macht.
Geltungsbereich: Die Autoren geben explizit an, dass sich ihre Ergebnisse auf das Populationslimit (unendliche Daten) beschränken. Sie behaupten nicht, Probleme der Generalisierung mit endlichen Stichproben, der Konvergenz der Optimierung oder der spezifischen Leistung in Downstream-Aufgaben gelöst zu haben, weisen jedoch darauf hin, dass dies natürliche Wege für zukünftige Arbeiten sind.

Zusammenfassend argumentiert das Paper, dass während bimodales CLIP theoretisch ausreichend für eine universelle Approximation ist, aktuelle multimodale Erweiterungen dies nicht sind und eine einfache, von der Tensorzerlegung inspirierte Fusion (H-CLIP) erforderlich ist, um volle Expressivität bei gleichzeitiger Beibehaltung der praktischen Effizienz zu erreichen.