MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data

Dit paper introduceert MM-TS, een methode voor multi-modale contrastieve learning die dynamische temperatuur- en margeschema's gebruikt om de prestaties op langstaartdata te verbeteren en InfoNCE-loss met max-margin-objectieven te verenigen, wat leidt tot nieuwe state-of-the-art resultaten op diverse beeld- en video-taalkundige datasets.

De kern

Stel je voor dat je een enorme bibliotheek bouwt, maar dan niet met boeken, maar met foto's en video's die gekoppeld zijn aan zinnen. De uitdaging is dat deze bibliotheek heel onevenwichtig is: er zijn duizenden foto's van "honden" en "katten" (de populaire onderwerpen), maar slechts een handjevol foto's van "wilde wasberen" of "zeldzame orchideeën" (de lange staart).

De kunstmatige intelligentie (AI) die we trainen om deze bibliotheek te begrijpen, heeft een groot probleem: ze wordt zo goed in het herkennen van honden en katten, dat ze de zeldzame dingen helemaal vergeet. Ze denkt: "Oh, een hond? Dat ken ik. Maar wat is dat rare dier? Ik denk dat het ook wel een hond is."

De auteurs van dit paper, MM-TS, hebben een slimme oplossing bedacht om dit probleem op te lossen. Ze noemen het een "Temperatuur- en Marge-schijf". Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. De "Temperatuur" van de Leraar

Stel je voor dat de AI een leraar is die probeert leerlingen (de foto's) in groepjes te verdelen op een schoolplein.

• Koude temperatuur (Koud): De leraar is streng en eist dat elke leerling precies op zijn eigen plekje staat. Niemand mag dicht bij elkaar staan, zelfs niet als ze hetzelfde schooluniform dragen. Dit is goed om te leren dat jij anders bent dan die andere hond. Dit heet "instance discrimination".
• Warme temperatuur (Warm): De leraar is relaxt. Hij zegt: "Oké, als je een hond bent, mag je bij de andere honden staan." Hierdoor vormen zich groepjes: een honden-hoekje, een katten-hoekje. Dit heet "group-wise discrimination".

Het probleem: In het verleden gebruikten AI's de hele dag door dezelfde temperatuur. Ofwel te koud (dan raken ze de zeldzame dieren kwijt omdat ze denken dat ze honden zijn), ofwel te warm (dan worden alle honden en katten door elkaar gehusseld).

De oplossing van MM-TS:
De AI verandert de temperatuur dynamisch, net als een thermostaat die de hele dag door schakelt.

• Soms is het koud: dan leert de AI om de zeldzame, unieke dingen precies te onderscheiden.
• Soms is het warm: dan leert de AI om grote groepen (zoals "alle mensen in kantoren") samen te brengen.

2. De "Marge" (De Afstand)

Naast de temperatuur kijken ze ook naar de marge. Stel je voor dat je twee mensen uit elkaar moet houden.

• Bij een kleine marge is het heel moeilijk om ze uit elkaar te houden; ze moeten heel ver weg staan om niet meer als "dezelfde" te worden gezien.
• Bij een grote marge is het makkelijker; ze hoeven maar een beetje uit elkaar te staan.

De MM-TS methode past ook deze afstand aan. Voor populaire dingen (honden) maakt de AI de marge groter, zodat ze in een groot, veilig groepje kunnen staan. Voor zeldzame dingen (wasberen) maakt de marge kleiner, zodat ze niet per ongeluk bij de honden worden gezet.

3. De Slimme "Vertaler" (De Lange Staart Oplossen)

Hier komt het meest creatieve deel. Hoe weet de AI welke dingen populair zijn en welke zeldzaam?
In de wereld van video's en tekst (zoals een kookvideo met een beschrijving) is de tekst vaak duidelijker dan het beeld.

• De auteurs laten de AI eerst naar de tekst kijken (bijvoorbeeld: "Ik maak een ei").
• Ze tellen hoe vaak woorden als "ei" of "pan" voorkomen.
• Als de tekst zegt "Ik maak een ei" (wat vaak voorkomt), weet de AI: "Ah, dit is een populair onderwerp. Ik zet de temperatuur hoog en laat ze in een groepje staan."
• Als de tekst zegt "Ik maak een zeldzame jungle-kruidensoep" (wat zelden voorkomt), zegt de AI: "Oké, dit is uniek. Ik zet de temperatuur laag en zorg dat dit ei niet per ongeluk bij de gewone soep terechtkomt."

Door de tekst te gebruiken als een "radar" voor populariteit, kunnen ze de visuele wereld (de foto's) veel beter organiseren, zelfs als er maar weinig voorbeelden van zijn.

Waarom is dit zo cool?

Vroeger moesten AI's kiezen: of ze werden heel goed in het herkennen van populaire dingen, of ze probeerden alles gelijk te behandelen en faalden bij de zeldzame dingen.

Met MM-TS heeft de AI een "dynamisch brein":

1. Het schakelt tussen streng en relaxt (temperatuur).
2. Het past de regels aan voor elk specifiek voorwerp (marge).
3. Het luistert naar de tekst om te weten wat populair is en wat niet.

Het resultaat: De AI wordt niet alleen slimmer in het herkennen van honden en katten, maar wordt ook veel beter in het vinden van die ene zeldzame wasbeer of het begrijpen van een specifieke kookstap die maar heel weinig mensen hebben gefilmd. Dit werkt beter dan alle vorige methoden, of het nu gaat om foto's of video's.

Kortom: Ze hebben de AI een slimme thermostaat gegeven die weet wanneer hij streng moet zijn en wanneer hij moet samenkomen, zodat niemand (zelfs de zeldzaamste leerlingen) de klas wordt uitgestuurd.

Technische samenvatting

Probleemstelling

Contrastief leren (Contrastive Learning - CL) is een fundamentele aanpak voor het trainen van modellen op zowel unimodale als multimodale data (bijv. afbeeldingen en tekst). Het doel is om positieve paren (bijv. een afbeelding en zijn bijbehorende bijschrift) dichter bij elkaar te brengen in een inbeddingsruimte, terwijl negatieve paren uit elkaar worden geduwd.

De belangrijkste uitdagingen die dit paper adresseert zijn:

1. Langstaartverdelingen (Long-Tail Distributions): Veel real-world multimodale datasets (zoals EPIC-KITCHENS-100 of YouCook2) vertonen een onbalans waarbij sommige concepten (hoofdklassen) zeer frequent voorkomen en andere (staartklassen) zeldzaam zijn. Standaard contrastief leren presteert vaak slecht op deze zeldzame klassen omdat het model oververtegenwoordigde patronen leert.
2. Vaste Temperatuur en Marge: In de meeste bestaande methoden (zoals CLIP) wordt de temperatuurparameter ($\tau$) in de InfoNCE-verliesfunctie of de marge ($m$) in de Max-Margin-verliesfunctie als een constante hyperparameter behandeld. Dit beperkt het vermogen van het model om dynamisch te schakelen tussen het leren van specifieke instanties (voor zeldzame klassen) en het vormen van semantische clusters (voor frequente klassen).
3. Scheiding van Benaderingen: Er zijn twee dominante benaderingen in multimodaal contrastief leren: InfoNCE (gebaseerd op waarschijnlijkheid/temperatuur) en Max-Margin. Deze worden vaak als gescheiden werelden behandeld, terwijl ze vergelijkbare doelen nastreven.

Methodologie: MM-TS

De auteurs stellen MM-TS (Multi-Modal Temperature and Margin Schedules) voor, een raamwerk dat de temperatuur (of marge) dynamisch aanpast tijdens het trainingsproces, gebaseerd op zowel een globaal schema als de lokale verdeling van de data.

De methode bestaat uit drie kerncomponenten:

1. Dynamische Temperatuurplanning (Cosine Schedule):
   In plaats van een vaste temperatuur te gebruiken, volgt de basis-temperatuur ($\tau_{base}$) een cosinus-schedulering over de tijd.

   • Nederige temperatuur: Versterkt de "afstotende" kracht op negatieve paren. Dit bevordert instantie-discriminatie (elk voorbeeld wordt uniek herkend), wat cruciaal is voor zeldzame (staart) klassen.
   • Hoge temperatuur: Verzwakt de afstotende kracht, waardoor het model meer gericht is op groepsgewijze discriminatie. Dit helpt bij het vormen van semantische clusters voor frequente (hoofd) klassen.

2. Individuele Temperatuurregeling op Basis van Distributie:
   Om de lokale verdeling van multimodale data te schatten, benutten de auteurs de uitgelijnde tekst- en visuele modaliteiten.

   • Verdelingsschatting: Ze gebruiken een vooringestelde taalmodel (bijv. BERT of SentenceBERT) om de tekstbijschriften te embedden en deze te clusteren (bijv. met K-Means). De grootte van deze tekstclusters dient als een proxy voor de frequentie van de bijbehorende visuele concepten.
   • Verschuiving (Shift): Voor elke cluster $c$ wordt een verschuiving ($sh(c)$) berekend. Grote clusters (frequente concepten) krijgen een hogere temperatuur (voor clustering), terwijl kleine clusters (zeldzame concepten) een lagere temperatuur krijgen (voor strikte discriminatie).
   • Formule: De uiteindelijke temperatuur voor een steekproef $i$ is: $\tau_i = \tau_{base}(t) + sh(c_i)$.

3. Unificatie van InfoNCE en Max-Margin:
   De auteurs tonen aan dat het concept van temperatuurplanning ook effectief kan worden toegepast op de Max-Margin verliesfunctie. In plaats van de temperatuur te variëren, wordt de marge ($m$) dynamisch aangepast op dezelfde manier als de temperatuur. Dit verenigt de twee dominante benaderingen en toont aan dat het controleren van de "hardheid" van negatieve steekproeven (via temperatuur of marge) de semantische structuur van de inbeddingsruimte beïnvloedt.

Belangrijkste Bijdragen

• Nieuw Raamwerk: Introductie van MM-TS, een methode die temperatuur- en marge-planning combineert met individuele aanpassingen gebaseerd op geschatte data-distributies voor multimodale langstaartdata.
• Generalisatie: Uitbreiding van temperatuurplanning (voorheen voornamelijk gebruikt in InfoNCE) naar de Max-Margin loss, wat bijzonder relevant is voor gebieden zoals egocentrisch videobewerking waar Max-Margin populair is.
• Simpel en Effectief: In tegenstelling tot methoden die complexe netwerken vereisen om temperatuur te voorspellen, gebruikt MM-TS een eenvoudige, niet-lerende aanpak (clustering + schedulering) die naadloos integreert in bestaande CLIP-achtige pipelines.

Resultaten

De methode is geëvalueerd op vier veelgebruikte datasets: Flickr30K, MSCOCO (beeld-tekst), EPIC-KITCHENS-100 en YouCook2 (video-tekst).

• Prestaties: MM-TS leverde consistent verbeteringen op ten opzichte van state-of-the-art baselines (zoals CLIP, AVION, en VAST).
  • Op Flickr30K en MSCOCO (zero-shot evaluatie) verbeterde de tekst-naar-beeld zoekopdracht met respectievelijk 3,4% en 1,5%.
  • Op EPIC-KITCHENS-100 (een langstaart-dataset) werden nieuwe state-of-the-art resultaten bereikt op de Multi-Instance Retrieval (MIR) taak, met een verbetering van meer dan 3% in mAP (Mean Average Precision).
  • Op YouCook2 overtrof de methode de originele VAST resultaten met 2,2% tot 4% in tekst-naar-video retrieval.
• Ablatie-studies: De studies bevestigden dat zowel de dynamische planning (TS) als de individuele cluster-verschuivingen (ICS) bijdragen aan de prestaties, maar dat de combinatie van beide het beste resultaat oplevert. Het bleek ook dat het gebruik van tekst-embeddings voor het schatten van de verdeling effectiever was dan het gebruik van visuele embeddings.

Significantie

Dit paper is significant omdat het een fundamenteel probleem in contrastief leren voor langstaartdata aanpakt zonder de architectuur van het model ingrijpend te veranderen. Door de temperatuur (of marge) dynamisch te laten variëren, kan het model adaptief leren:

• Het leert specifieke kenmerken voor zeldzame klassen (door lage temperatuur/strengere marge).
• Het leert semantische groepering voor frequente klassen (door hoge temperatuur/soepelere marge).

De unificatie van InfoNCE en Max-Margin onder één dynamisch schema biedt een nieuwe richting voor toekomstig onderzoek in zelftoezichtend leren (self-supervised learning) en toont aan dat de "hardheid" van negatieve voorbeelden een krachtige knop is om de semantische structuur van inbeddingsruimtes te controleren. De openbaarmaking van de code en de toepasbaarheid op diverse modaliteiten (beeld en video) maken het een waardevolle bijdrage aan het veld.