Technische Samenvatting: Expressiviteit in Multimodale Contrastieve Leersystemen

Probleemstelling

Contrastief leren, met name de CLIP-architectuur, is een fundamentele techniek geworden voor het leren van gezamenlijke representaties over verschillende modaliteiten heen (bijv. tekst en afbeeldingen). Hoewel empirisch succesvol, blijft de theoretische grens van de expressiviteit ervan — specifiek de capaciteit om willekeurige gezamenlijke waarschijnlijkheidsverdelingen van meerdere modaliteiten te benaderen — onvoldoende begrepen.

Bestaande literatuur richt zich vaak op informatie-theoretische grenzen (bijv. maximalisatie van wederzijdse informatie) of prestaties bij downstream-taken. Deze analyses gaan echter vaak uit van de veronderstelling dat de gekozen parametrisatie in staat is om de doelrelatie te representeren. Dit artikel adresseert een fundamentele kloof: is de contrastieve parametrisatie zelf expressief genoeg om de onderliggende gezamenlijke verdeling universeel te benaderen, of is deze beperkt tot het benaderen van slechts bepaalde conditionele verdelingen?

De auteurs hanteren een populatieniveau, dichtheidsschatting-perspectief. In plaats van te analyseren op basis van eindige steekproeven of optimalisatiedynamiek, behandelen zij de data als een bekende gezamenlijke waarschijnlijkheidsmaat $\mu$ en vragen zij zich af of een gegeven contrastieve architectuur $\mu$ willekeurig goed kan benaderen door een "tilting functie" $\Phi$ te leren die het product van de marginalen $\mu_P$ aanpast om de gezamenlijke maat $\mu$ te matchen. De maatstaf voor expressiviteit is het infimum van de Kullback-Leibler (KL) divergentie $D_{KL}(\mu \parallel \mu_a)$ over de parameterruimte.

Methodologie

Het artikel frameert contrastief leren als het leren van een tilting functie $\Phi$ zodanig dat de benaderde maat wordt gedefinieerd als:
$$\frac{d\mu_a}{d\mu_P}(x) = \frac{1}{Z} \exp(\Phi_a(x))$$
waarbij $\Phi$ de log-dichtheidsratio (tilting functie) is van de ware gezamenlijke verdeling ten opzichte van het product van de marginalen.

De auteurs stellen een hiërarchie van theoretische resultaten vast:

1. Loss Hiërarchie: Zij bewijzen dat het minimaliseren van de gezamenlijke KL-divergentie $D_{KL}(\mu \parallel \mu_a)$ strikte bovengrenzen vormt voor de conditionele losses (zowel volledige conditionele als paarwijze conditionele) die in de praktijk worden gebruikt bij contrastief leren. Daarom, als een architectuur de gezamenlijke niet kan benaderen, kan zij de gezamenlijke KL-divergentie niet tot nul minimaliseren, zelfs als zij de conditionele losses minimaliseert.
2. Function-to-Measure Benadering: Zij demonstreren dat als een parametrische functiefamilie continue tilting functies uniform kan benaderen (Universal Approximation in $C_0$), de geïnduceerde functiefamilie van maten de ware gezamenlijke verdeling in KL-divergentie kan benaderen.
3. Architectuur Analyse: Zij passen deze algemene stellingen toe op specifieke architecturen:
   • Bimodale CLIP ($m=2$): De standaard twee-toren architectuur met inner-product scoring.
   • Sum-of-Pairs CLIP ($m \ge 3$): De gebruikelijke uitbreiding waarbij de score de som is van alle paarwijze inner products.
   • Hadamard-CLIP (H-CLIP): Een voorgestelde modificatie die een leerbare gewichtsvector toevoegt aan het elementgewijze (Hadamard) product van encoder-outputs.

Belangrijkste Bijdragen en Resultaten

1. Bimodale CLIP is een Universele Approximator

Voor twee modaliteiten ($m=2$) bewijst het artikel dat de standaard twee-toren CLIP-architectuur even expressief is als een algemeen gezamenlijk netwerk.

• Resultaat: De functiefamilie gedefinieerd door $\Phi_{2\text{-clip}}(x_1, x_2) = \langle \bar{g}_1(x_1), \bar{g}_2(x_2) \rangle / \tau$ is dicht in de ruimte van continue functies.
• Implicatie: Bij voldoende capaciteit en een leerbare temperatuur $\tau$, kan de bimodale CLIP elke gezamenlijke verdeling willekeurig goed benaderen. Dit biedt een theoretische rechtvaardiging voor het empirische succes van CLIP in tekst-beeld taken.
• Kanttekening: De auteurs merken op dat dit geen dimensionaliteitsreductie garandeert; in sommige gevallen kan de latente dimensie die vereist is voor perfecte benadering gelijk zijn aan of de dimensie van de oorspronkelijke gezamenlijke domein overstijgen.

2. Sum-of-Pairs CLIP faalt voor $m \ge 3$

Het artikel demonstreert dat de veelgebruikte generalisatie van CLIP voor drie of meer modaliteiten, die de paarwijze gelijkenissen optelt ($\Phi_{m\text{-clip}} = \sum_{i<j} \langle \bar{g}_i, \bar{g}_j \rangle$), niet in staat is om willekeurige gezamenlijke verdelingen universeel te benaderen.

• Resultaat: Hoewel deze architectuur alle paarwijze conditionalen ($x_i | x_j$) willekeurig goed kan benaderen, faalt zij structureel in het vastleggen van hogere-orde interacties (bijv. drie-weg interacties zoals $x_1 x_2 x_3$). Bijgevolg kan zij de volledige gezamenlijke verdeling of de volledige conditional ($x_i | x_{-i}$) niet benaderen.
• Betekenis: Dit onthult een theoretische beperking in de huidige multimodale praktijken: de sum-of-pairs loss is onvoldoende voor het modelleren van complexe afhankelijkheden tussen drie of meer modaliteiten, ondanks de empirische bruikbaarheid.

3. Hadamard-CLIP (H-CLIP) herstelt Universele Approximatie

Om het falen van de sum-of-pairs aanpak aan te pakken, stellen de auteurs Hadamard-CLIP voor.

• Architectuur: Deze methode voegt een enkele leerbare gewichtsvector $\omega \in \mathbb{R}^{d_{Lat}}$ toe aan het elementgewijze product van alle encoder-outputs:
  $$\Phi_{Had}(x_1, \dots, x_m) = \omega^\top (\bar{g}_1(x_1) \odot \dots \odot \bar{g}_m(x_m))$$
• Resultaat: De auteurs bewijzen dat H-CLIP de universele approximatie herstelt voor een aantal van $m$ modaliteiten. Het kan de volledige gezamenlijke verdeling willekeurig goed benaderen.
• Efficiëntie: Cruciaal is dat H-CLIP de efficiëntie tijdens de inferentie behoudt van de standaard CLIP. In tegenstelling tot een algemeen gezamenlijk netwerk (dat alle ruwe modaliteiten gelijktijdig moet verwerken), maakt H-CLIP het mogelijk om vooraf te berekenen embeddings (pre-computable embeddings). Men kan het Hadamard-product van alle modaliteiten behalve de query-modaliteit vooraf berekenen, wat snelle retrieval mogelijk maakt via een enkele dot product, vergelijkbaar met standaard CLIP.

Betekenis en Claims

Het artikel claimt te voorzien in een fundamenteel theoretisch begrip van de representatieve capaciteit van contrastieve leersystemen, waarbij expressiviteit wordt geïsoleerd van eindige steekproefschatting en optimalisatieproblemen.

• Theoretische Kloof: Het identificeert een specifieke structurele fout in de standaard multimodale uitbreiding van CLIP (sum-of-pairs) die voorkomt dat deze willekeurige gezamenlijke verdelingen modelleert, een kloof die voorheen onbeschreven bleef in de literatuur.
• Minimale Modificatie: Het stelt H-CLIP voor als een minimale, theoretisch solide modificatie die universele approximatie herstelt zonder de computationele efficiëntie (pre-computable embeddings) op te offeren die contrastief leren schaalbaar maakt.
• Omvang: De auteurs geven expliciet aan dat hun resultaten beperkt zijn tot de populatielimiet (oneindige data). Zij beweren niet problemen op te lossen met betrekking tot eindige steekproefgeneralisatie, optimalisatieconvergentie of specifieke prestatiegaranties bij downstream-taken, hoewel zij suggereren dat dit natuurlijke paden zijn voor toekomstig onderzoek.

Samenvattend betogen de auteurs dat hoewel bimodale CLIP theoretisch voldoende is voor universele approximatie, de huidige multimodale uitbreidingen dat niet zijn, en dat een eenvoudige, door tensor-decompositie geïnspireerde fusie (H-CLIP) vereist is om volledige expressiviteit te bereiken terwijl de praktische efficiëntie behouden blijft.