Multimodal Representation Learning Conditioned on Semantic Relations

Technische Samenvatting: Multimodaal Representatieleren Gecconditioneerd op Semantische Relaties

Probleemstelling
Huidig multimodaal representatieleren, gedomineerd door contrastieve modellen zoals CLIP, genereert doorgaans een enkele, relatie-agnostische embedding voor elke steekproef. Hoewel dit effectief is voor algemene taken, gaat deze aanpak uit van het idee dat de relevantie van een steekproef statisch is over alle contexten heen. In real-world toepassingen (bijvoorbeeld e-commerce aanbevelingen of informatieretrieval) is de relevantie tussen twee steekproeven echter inherent relatie-afhankelijk. Verschillende semantische relaties benadrukken verschillende aspecten van multimodale data; bijvoorbeeld, een verzorgingskussen en een flessterilisator kunnen weinig visuele of tekstuele gelijkenis vertonen, maar zijn sterk gerelateerd onder de semantische relatie van "voedingsbelangen voor zuigelingen". Bestaande methoden behandelen relaties ofwel als impliciete promptaanpassingen (wat leidt tot ongecontroleerde variaties) of vertrouwen op taakspecifieke koppen die geen herbruikbaarheid bieden. Er ontbreekt een kader dat semantische relaties behandelt als expliciete condities van het representatieleringsproces zelf.

Methodologie: Relatie-Gecconditioneerd Multimodaal Leren (Rcml)
De auteurs stellen Rcml voor, een kader dat semantische relaties direct integreert in het representatieleringsproces. De methodologie bestaat uit drie kerncomponenten:

1. Relatie-Gecconditioneerd Contrastief Leren:
   In tegenstelling tot standaard contrastief leren, dat alleen overeenkomende afbeelding-tekstparen uitlijnt (diagonale positives), maakt Rcml veel-teen-veel uitlijning mogelijk over steekproeven heen op basis van semantische relaties. Het kader definieert een uniforme contrastieve verliesfunctie die gezamenlijk optimaliseert:

   • Cross-modale uitlijning: Het uitlijnen van tekst- en afbeeldingrepresentaties onder dezelfde relatie.
   • Intra-modale coherentie: Het waarborgen van consistentie tussen steekproeven die binnen een enkele modus (tekst-tekst of afbeelding-afbeelding) door dezelfde relatie met elkaar verbonden zijn.
     De verliesfunctie wordt gedefinieerd als:
     $$\mathcal{L} = \frac{1}{2}(\mathcal{L}_{txt-img} + \mathcal{L}_{img-txt}) + \lambda(\mathcal{L}_{txt-txt} + \mathcal{L}_{img-img})$$
     waarbij positieve paren worden gedefinieerd door de specifieke semantische relatie $e_{ij}$ in plaats van een globale identiteit.

2. Relatie-Gecconditioneerde Paarconstructie:
   Het kader construeert trainingsparen op basis van twee soorten relaties:

   • Intra-steekproef relaties: Het uitlijnen van de tekst en afbeelding van dezelfde steekproef.
   • Inter-steekproef relaties: Geconstrueerd uit gebruikersgedrag (bijvoorbeeld gezamenlijke aankopen of gezamenlijke leesgeschiedenissen). Gebruikers worden geklaustereerd op basis van interactiepatronen, en steekproeven die frequent gezamenlijk worden geconsumeerd door een cluster, worden gekoppeld. Deze koppelingen krijgen natuurlijke-taalbeschrijvingen (bijvoorbeeld "Gezamenlijk aangeschaft door gebruikers met [clusterspecifieke] voorkeuren") die dienen als conditioneel signaal.

3. Relatie-Gecconditioneerd Representatiemodule:
   Met behulp van een CLIP-ruggengraat introduceert Rcml een module die embeddings aanpast aan specifieke semantische contexten. In plaats van een statische globale pooling, hanteert het model een relatie-gestuurde attentiemechanisme.

   • De semantische relatiebeschrijving $e_{ij}$ wordt gecodeerd tot een globale embedding $h^E_{ij}$.
   • Deze embedding stuurt een attentiemechanisme dat token-niveau representaties ($H^i_x$) aggregeert tot een relatie-geconditioneerde representatie $z^i_x(e_{ij})$.
   • De attentieweegfactor is een balans tussen relatie-bewuste contextuele attentie (gedreven door $h^E_{ij}$) en ongerichte uitlijning (waarbij globale consistentie behouden blijft via speciale tokens zoals [CLS] of [EOT]). Een coëfficiënt $\beta$ regelt deze afweging.

Belangrijkste Bijdragen

1. Rcml-kader: De introductie van een multimodaal leerframework waarin semantische relaties fungeren als expliciete condities, wat een overstap betekent van enkele relatie-agnostische embeddings naar een familie van context-afhankelijke embeddings.
2. Veel-teen-veel Contrastief Leren: Het uitbreiden van contrastief leren voorbij geïsoleerde afbeelding-tekstparen om complexe inter-steekproef afhankelijkheden onder semantische relaties te modelleren.
3. Empirische Validatie: Het aantonen van consistente verbeteringen ten opzichte van sterke baselines (CLIP, DeCLIP, UniCL, SigLIP, ImageBind) voor retrievings- en classificatietaken over meerdere datasets en instellingen (zero-shot, fine-tuned en out-of-domain).

Experimentele Resultaten
De auteurs hebben Rcml geëvalueerd op de Amazon Product-dataset (over 7 domeinen: Elektronica, Auto's, Kantoor, Baby, Huisdieren, Muziek, Sport) en de Goodreads-dataset.

• Relatie-Gecconditioneerde Retrieval: Rcml presteerde significant beter dan alle baselines en behaalde de beste Hit@5-resultaten op 36 van de 40 metrieken. Het verbeterde de algehele Hit@5 met ongeveer 30,79% ten opzichte van standaard CLIP. Opmerkelijk is dat het zich goed generaliseerde naar de out-of-domain Goodreads-dataset.
• Relatietypevoorspelling: Het model behaalde een hoge Top-3-accuraatheid bij het voorspellen van de semantische relatie die een productpaar verbindt, met aanzienlijke marges boven de willekeurige baselines (30% op Amazon, 37,5% op Goodreads).
• Relatievaliditeitsvoorspelling: In een supervised binaire classificatietaken toonde Rcml robuustheid en superieure prestaties bij het valideren van specifieke relatievoorbeelden in vergelijking met modellen die geen expliciete relatie-bewuste mechanismen bezitten.
• Efficiëntie: Ondanks het berekenen van relatie-geconditioneerde embeddings bleef Rcml efficiënt (14,32 ms/steekproef) met een parameteraantal (152,33M) vergelijkbaar met CLIP, en presteerde het aanzienlijk beter dan de veel grotere ImageBind (1200M+ parameters), die op de meeste taken onderpresteerde.
• Ablatiestudies: Het verwijderen van inter-steekproef relaties leidde tot de grootste prestatiedaling (38,68%), wat de noodzaak van veel-teen-veel leren bevestigt. Het verwijderen van de semantische tekst van relaties leidde ook tot een aanzienlijke daling (11,60%), wat de waarde van contextuele begeleiding onderstreept.

Betekenis en Beweringen
Het artikel beweert dat Rcml een algemeen en uitbreidbaar kader biedt voor relatie-bewust multimodaal representatieleren. Door semantische relaties te behandelen als expliciete condities in plaats van auxiliaire signalen, leert het kader embeddingruimtes die gestructureerder en flexibeler zijn, waarbij steekproeven worden georganiseerd volgens de specifieke relationele context waarin ze worden vergeleken. De auteurs stellen dat deze aanpak functionele en intentie-gedreven associaties vastlegt die oppervlakkige gelijkenismodellen missen, en een effectievere oplossing biedt voor downstream taken waar relevantie context-afhankelijk is. Het werk suggereert dat toekomstige multimodale systemen moeten overstappen van statische, enkele-embedding paradigma's naar dynamische, relatie-geconditioneerde representaties.