Is the Modality Gap a Bug or a Feature? A Robustness Perspective

Titel: Is het Modality Gap een Bug of een Feature? Een Robuustheidsperspectief

Auteurs: Rhea Chowers, Udi Barzelay, Oshri Naparstek, Yair Weiss (Hebreeuwse Universiteit van Jeruzalem & IBM Research).

---

1. Het Probleem

Moderne multi-modale modellen, zoals CLIP, SigLIP en MetaCLIP, worden getraind om een gedeelde inbeddingsruimte (embedding space) te leren waarin afbeeldingen en teksten van dezelfde betekenis perfect op elkaar zijn uitgelijnd (alignment). Echter, ondanks dit trainingsdoel, vertonen bijna alle bestaande modellen een sterk fenomeen dat de "Modality Gap" wordt genoemd: de verdeling van afbeeldingen en teksten in de gedeelde ruimte is lineair gescheiden. Ze liggen in verschillende, niet-overlappende gebieden op de eenheids-hypersfeer.

De kernvragen die dit artikel adresseert zijn:

1. Waarom ontstaat deze kloof (gap) ondanks het trainingsdoel van perfectie?
2. Is het sluiten van deze kloof in de nabewerking (post-processing) gunstig of schadelijk voor downstream-taken?
3. Wat is de relatie tussen de grootte van deze kloof en de robuustheid (robustness) van het model tegen ruis in de inbeddingsruimte?

Het artikel weerlegt de hypothese dat de gap een noodzakelijk "feature" is voor prestaties en stelt in plaats daarvan dat het een "bug" is die de robuustheid ondermijnt.

2. Methodologie en Theoretische Analyse

De auteurs combineren theoretische bewijzen met empirische experimenten om de oorsprong en het effect van de modality gap te verklaren.

Theoretische Inzichten:

• Oorsprong van de Gap: De auteurs bewijzen dat de modality gap een onbedoeld neveneffect is van de interactie tussen contrastief verlies (contrastive loss) en de initiële toestand van het model. Het is geen inherent kenmerk dat de prestaties verbetert, maar een artefact van het trainingsproces.
• Orthogonaliteit: Ze tonen aan dat de globale gap-vector (het verschil tussen de gemiddelden van de twee modaliteiten) orthogonaal is op de affiene deelruimten van de inbeddings. Dit betekent dat de modaliteiten perfect zijn uitgelijnd in alle richtingen behalve in de richting van de gap zelf.
• Rol van de Gradient: De analyse van de gradient van het contrastief verlies toont aan dat tijdens het trainen de variantie van de clusters in de richting van de initiële gap wordt verminderd, terwijl de gap zelf behouden blijft omdat de gradient in die richting nul wordt zodra de clusters "vastzitten" in een orthogonale configuratie.
• Relatie met Robuustheid: De centrale theoretische bijdrage is het bewijs dat de grootte van de gap direct correleert met de kwetsbaarheid van het model. Een grotere gap maakt de beslissingsgrenzen tussen klassen gevoeliger voor kleine verstoringen (ruis) in de inbeddingsruimte. Het verkleinen van de gap (door een modaliteit naar de andere te verschuiven) verhoogt de robuustheid aanzienlijk zonder de "clean accuracy" (prestatie op schone data) te beïnvloeden, mits de verschuiving orthogonaal is.

Algoritme voor Nabewerking:
Gebaseerd op de theorie stellen de auteurs een eenvoudige, rekenkundig goedkope post-processing stap voor:

1. Bereken de globale gap-vector $\vec{g} = \mu_y - \mu_x$.
2. Projecteer deze vector op het orthogonale complement van de affiene deelruimte van de modaliteit die wordt opgezocht (bijv. teksten bij classificatie) om te garanderen dat de verschuiving de nearest-neighbor-relaties niet verstoort.
3. Verschuif de inbeddings van de ene modaliteit naar de andere met deze geprojecteerde vector om de gap te sluiten.

3. Belangrijkste Bijdragen

1. Theoretisch Bewijs van Orthogonaliteit: Het leveren van een wiskundig onderbouwd mechanisme dat uitlegt waarom multi-modale modellen convergeren naar een oplossing met een orthogonale gap, zelfs zonder "dimensional collapse".
2. Gap als Bug voor Robuustheid: Het vaststellen dat de modality gap een bug is voor robuustheid. Een grotere gap leidt tot een lagere consistentie bij het uitvoeren van taken onder invloed van ruis (zoals pixelverschuivingen of herschrijvingen van teksten). Het paper weerlegt expliciet de gedachte dat de gap een nuttig kenmerk is.
3. Efficiënte Oplossing: Het ontwikkelen van een algoritme dat de gap sluit zonder hertraining (fine-tuning) van het model. Dit kan direct worden toegepast op bestaande inbeddings.
4. Empirische Validatie: Het aantonen dat het sluiten van de gap de robuustheid aanzienlijk verbetert voor verschillende ruismodellen (Gaussische ruis, kwantisatie, tekst-herschrijving) terwijl de schone nauwkeurigheid behouden blijft.

4. Resultaten

De auteurs testen hun theorie en algoritme op diverse state-of-the-art modellen (CLIP, SigLIP, MetaCLIP) en datasets (ImageNet, MS-COCO, A-OKVQA, CIFAR).

• Gestuurde Ruis (Gaussisch): Wanneer Gaussische ruis wordt toegevoegd aan de inbeddings, neemt de robuustheid monotoon toe naarmate de gap wordt verkleind. De clean accuracy blijft onveranderd.
• Kwantisatie: Bij het kwantiseren van inbeddings (relevant voor efficiënte opslag en retrieval-augmented generation) verbetert het sluiten van de gap de prestaties aanzienlijk, zelfs als de ruis niet perfect gemiddeld nul is.
• Tekst-Herschrijving (Rephrasing): In real-world scenario's, zoals het vervangen van captions (bijv. "een foto van een hond" vs. "een afbeelding van een hond"), blijkt dat het sluiten van de gap de nauwkeurigheid van Visual Question Answering (VQA) verbetert. Dit is opmerkelijk omdat de theoretische aannames hier niet perfect gelden (de ruis is gecorreleerd), maar het algoritme werkt toch effectief.
• Trade-off: De experimenten tonen aan dat er geen significant verlies aan clean accuracy optreedt bij het sluiten van de gap, terwijl de robuustheid met tot 10% kan toenemen.

5. Betekenis en Conclusie

Dit artikel verschuift het perspectief op de modality gap van een mysterieus neveneffect naar een fundamenteel probleem voor de robuustheid van multi-modale modellen.

• Conclusie: De modality gap is een bug, veroorzaakt door de interactie tussen het contrastief verlies en de initiatie van het model, en geen noodzakelijk kenmerk (feature) voor prestaties. Het behoud van de gap is niet gewenst.
• Impact: De voorgestelde post-processing methode biedt een praktische, kostenefficiënte manier om bestaande foundation modellen (zoals CLIP) robuuster te maken voor real-world toepassingen waar ruis onvermijdelijk is, zonder de noodzaak van dure hertraining.
• Toekomst: Het werk suggereert dat toekomstige trainingsprocedures of loss-functies moeten worden ontworpen om deze gap te voorkomen of dat post-processing een standaard stap moet worden in multi-modale pipelines om de robuustheid te maximaliseren.

Kortom, het paper levert een overtuigend bewijs dat het elimineren van de scheiding tussen tekst- en beeld-inbeddings de betrouwbaarheid van AI-systemen in onzekere omgevingen aanzienlijk verbetert.