Conjuring Semantic Similarity

Deze paper introduceert een nieuwe methode voor het meten van semantische gelijkenis tussen tekstuele uitdrukkingen door de afstand te berekenen tussen de beeldverdelingen die ze oproepen via generatieve modellen, in plaats van te vertrouwen op tekstuele herschrijvingen.

De kern

Stel je voor dat je twee mensen vraagt: "Wat is het verschil tussen een 'Sneeuwpanter' en een 'Bengaalse Tijger'?"

Een mens zou zeggen: "Nou, de een heeft vlekken en de ander strepen." Maar wat als je dat aan een computer vraagt? Vaak kijken computers naar de woorden zelf. Ze zien dat beide woorden 'dier' en 'kat' bevatten, en denken: "Ah, ze lijken op elkaar." Maar ze begrijpen misschien niet waarom ze visueel verschillend zijn.

Deze paper, getiteld "Conjuring Semantic Similarity" (wat je kunt vertalen als "Semantische Gelijkenis toveren"), introduceert een slimme nieuwe manier om computers te laten begrijpen wat woorden betekenen, niet door naar de woorden te kijken, maar door te kijken naar de beelden die ze in de computer's hoofd oproepen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Woorden vs. Beelden

Tot nu toe hebben computers woorden vergeleken door te kijken naar andere woorden die eromheen staan (zoals een woordenboek dat definities vergelijkt). Maar de auteurs zeggen: "Wacht eens, betekenis is vaak visueel!"

Stel je voor dat je een woord hoort, zoals "Sneeuwpanter". In je hoofd zie je direct een wit dier met vlekken. Een computer die alleen naar tekst kijkt, mist die 'geestelijke afbeelding'.

2. De Oplossing: De "Tover-Computer"

De auteurs gebruiken een speciaal type computerprogramma genaamd een Diffusiemodel (bekend van tools zoals Stable Diffusion of DALL-E). Deze modellen zijn getraind om van ruis (een statisch beeld) een scherp plaatje te maken als je ze een opdracht geeft.

Hun idee is als volgt:

• Geef de computer het woord "Sneeuwpanter".
• Geef de computer het woord "Bengaalse Tijger".
• Laat de computer voor beide woorden een beeld "toveren" (genereren) vanuit een willekeurig ruispatroon.

In plaats van te kijken naar de woorden, kijken ze nu naar de beelden die uit de machine komen. Als de beelden heel verschillend zijn (vlekken vs. strepen), dan zijn de woorden semantisch (qua betekenis) ver uit elkaar. Als de beelden op elkaar lijken, dan zijn de woorden ook qua betekenis dicht bij elkaar.

3. Hoe werkt het precies? (De "Reis" door de tijd)

Dit is het slimme deel. De computer maakt het beeld niet in één keer. Het is een proces waarbij het beeld langzaam uit ruis ontstaat, stap voor stap.

Stel je voor dat je twee reizigers hebt die een berg beklimmen:

• Reisiger A vertrekt met de opdracht: "Ga naar de Sneeuwpanter."
• Reisiger B vertrekt met de opdracht: "Ga naar de Bengaalse Tijger."

Beide reizigers beginnen op hetzelfde punt (de top van de berg, vol met mist/ruis). Ze lopen langzaam naar beneden (het beeld wordt duidelijker).

• Bij Sneeuwpanter begint de computer te denken: "Oh, ik zie witte vacht..."
• Bij Bengaalse Tijger denkt de computer: "Oh, ik zie oranje strepen..."

De auteurs meten niet alleen het eindresultaat, maar kijken naar elke stap op de berg. Ze meten hoe groot het verschil is in wat de computer op dat moment "denkt" of "voelt" voor beide opdrachten. Als de computer op stap 5 al heel anders denkt over de vacht van de twee dieren, dan is het verschil groot.

Ze noemen dit "Conjuring" (toveren), omdat ze de betekenis van woorden "toveren" naar het visuele domein om ze te kunnen meten.

4. Waarom is dit cool?

• Het is visueel bewijs: Als je vraagt "Waarom zijn deze twee woorden verschillend?", kan de computer niet alleen een cijfer geven, maar ook laten zien hoe het beeld verandert. Je ziet letterlijk hoe de computer de vlekken van de panter vervangt door strepen van de tijger. Het is alsof je de gedachten van de computer kunt zien.
• Het werkt goed: De paper toont aan dat deze methode heel goed overeenkomt met wat mensen vinden. Als mensen zeggen dat twee zinnen op elkaar lijken, dan "zien" de beelden die de computer tovert ook veel op elkaar.
• Het is een nieuwe meetlat: Het helpt onderzoekers om te zien of een AI echt begrijpt wat woorden betekenen, of dat het alleen maar woorden raden.

5. De Grenzen (Niet alles is perfect)

De auteurs zijn eerlijk: deze methode werkt niet voor alles.

• Kun je een beeld "toveren" van het woord "Imaginaire getallen" (wiskunde) of "Geweten" (filosofie)? Waarschijnlijk niet, of het wordt heel raar. Voor abstracte concepten die geen visueel beeld hebben, faalt deze methode.
• Het is ook nogal rekenkracht-intensief. Het kost tijd om die beelden te genereren en te vergelijken, net als het kost tijd om een film te draaien in plaats van een foto te maken.

Samenvattend

Stel je voor dat je twee mensen wilt vergelijken. Je kunt kijken naar hun CV (hun tekst), maar dat zegt niet alles. Deze paper zegt: "Laten we ze in een kamer zetten en ze een opdracht geven om een schilderij te maken. Als hun schilderijen totaal verschillend zijn, dan zijn ze ook totaal verschillend als persoon."

Ze gebruiken de kracht van AI-kunst om de betekenis van taal te vertalen naar visuele verschillen, waardoor we eindelijk kunnen zien wat een AI echt "denkt" als het een woord hoort.

Technische samenvatting

Probleemstelling

Semantische gelijkenis meet doorgaans de afstand tussen de onderliggende 'betekenis' van data. Voor tekst wordt dit vaak berekend in de ruimte van taal (bijv. via woordfrequenties of embedding-modellen zoals BERT of CLIP). Het definiëren van semantische gelijkenis voor getrainde modellen is echter complex. Bestaande methoden voor beeldgeneratiemodellen (zoals FID of CLIP-scores) evalueren voornamelijk de kwaliteit en diversiteit van gegenereerde beelden, maar niet hoe goed de semantische ruimte die deze modellen hebben geleerd, overeenkomt met die van mensen.

De kernvraag is: Hoe kunnen we de semantische gelijkenis tussen twee tekstuele uitdrukkingen meten op basis van hoe een beeldgeneratiemodel deze interpreteert, zonder terug te grijpen op andere tekstuele omschrijvingen? Voor mensen is het moeilijk om mentale beelden te vergelijken, maar voor generatieve modellen is dit een direct meetbaar proces.

Methodologie

De auteurs stellen een nieuwe aanpak voor waarbij semantische gelijkenis wordt gedefinieerd als de afstand tussen de beelddistributies die door twee verschillende tekstprompts worden opgeroepen ("geconjureerd") in een text-geconditioneerd diffusion model.

1. Theoretische Basis (Diffusion SDEs):
   Het paper baseert zich op text-geconditioneerde diffusion modellen, gemodelleerd als Stochastische Differentiaalvergelijkingen (SDEs). Voor een tekstprompt $y$ wordt het denoising-proces beschreven door een reverse-time SDE:
   $$dx = [f(x, t) - g(t)^2 s_\theta(x, t|y)]dt + g(t)d\bar{w}_t$$
   Waarbij $s_\theta$ de geschatte scorefunctie (denoising richting) is, geconditioneerd op de tekst $y$.

2. De Afstandsmaatstaf (Jeffreys Divergentie):
   Om de gelijkenis tussen twee prompts $y_1$ en $y_2$ te meten, vergelijken de auteurs de twee gegenereerde SDEs. Ze gebruiken de Jeffreys-divergentie, de gesymmetriseerde Kullback-Leibler (KL) divergentie, tussen de padmaatregelen van deze twee SDEs.
   Volgens het Girsanov-theorema kan deze divergentie worden vereenvoudigd tot een verwachting over het verschil in de scorefuncties (denoising-predicties) van het model:
   $$d(y_1, y_2) \propto \mathbb{E}_{t, x} \left[ g(t)^2 \| s_\theta(x, t|y_1) - s_\theta(x, t|y_2) \|^2_2 \right]$$
   Dit betekent dat de semantische afstand wordt berekend als de gemiddelde Euclidische afstand tussen de voorspellingen van het model voor twee verschillende prompts, over verschillende tijdstappen en ruisniveaus.

3. Berekening via Monte-Carlo (Algorithm 1):
   De afstand wordt numeriek benaderd door:

   • Een initiële ruisvector $x_T$ te samplen uit een Gaussische prior.
   • Deze ruis te "denoisen" met zowel prompt $y_1$ als $y_2$ om twee sequenties van beelden (of latenten) te genereren.
   • Op elk tijdstip $t$ het kwadratische verschil tussen de twee modelvoorspellingen ($s_\theta$) te berekenen.
   • Het gemiddelde van deze verschillen over meerdere Monte-Carlo iteraties en tijdstappen te nemen.

Belangrijkste Bijdragen

• Visueel Gegrondde Semantiek: Een nieuw concept van betekenis dat puur gebaseerd is op de distributie van opgeroepen beelden in plaats van tekstuele herformuleringen.
• Eerste Kwantificering van Semantische Uitlijning: De eerste methode om de semantische uitlijning van text-geconditioneerde diffusion modellen direct te kwantificeren en te vergelijken met menselijke annotaties.
• Interpreteerbaarheid: In tegenstelling tot zwarte-kist embedding-methoden, biedt deze methode visuele "verklaringen" (zoals getoond in Figuur 1, waar een sneeuwluipaard wordt getransformeerd in een Bengaalse tijger en vice versa) die de semantische verschillen visualiseren.
• Efficiëntie: Het bewijs dat de methode convergeert met slechts een klein aantal Monte-Carlo iteraties (k=3 tot 5), wat de berekening haalbaar maakt.

Resultaten

De auteurs hebben hun methode gevalideerd op de Semantic Textual Similarity (STS) en SICK-R datasets, waarbij menselijke gelijkheidsscores (0-5) werden vergeleken met de scores van hun model.

• Correlatie met Mensen: De methode toont een significante Spearman-correlatie met menselijke annotaties. Hoewel het iets achterblijft bij gespecialiseerde embedding-modellen (zoals CLIP of SimCSE die specifiek voor deze taak zijn getraind), presteert het beter dan veel encoder-based taalmodellen (zoals BERT) en rivaliseert het met autoregressieve Large Language Models (LLMs) tot 33B parameters.
• Ablatiestudies:
  • Tijdstap Prior: Een uniforme verdeling over alle tijdstappen levert de beste resultaten op.
  • Aantal Iteraties: De methode is robuust en vereist slechts een paar iteraties voor convergentie.
  • Modelkeuze: Resultaten zijn consistent over verschillende versies van Stable Diffusion (v1.4, XL, SD3).
• Foutanalyse: Er is een opmerkelijk verschil gevonden in de behoud van semantiek per woordsoort. De semantische relaties tussen naamwoorden (nouns) worden goed behouden in het diffusion model, maar de relaties voor werkwoorden (verbs) en bijvoeglijke naamwoorden (adjectives) deterioreren aanzienlijk tijdens het leerproces van de beeldgeneratie. Dit suggereert dat diffusion modellen beter zijn in het vastleggen van objecten dan van acties of eigenschappen.

Betekenis en Toekomst

Dit werk opent nieuwe wegen voor de evaluatie van text-geconditioneerde generatieve modellen. Het biedt niet alleen een numerieke score, maar ook een visuele interpretatie van wat het model "begrijpt" onder een bepaalde tekst.

• Diagnostiek: Het stelt onderzoekers in staat om de "failure modes" van diffusion modellen te identificeren (bijv. waarom werkwoorden slecht worden vertaald naar beelden).
• Onafhankelijkheid: Het is een onafhankelijke evaluatiemethode die niet afhankelijk is van andere tekstuele modellen, maar direct de outputruimte van het generatieve model analyseert.
• Beperkingen: De methode is beperkt door de capaciteit van de onderliggende tekst-encoder (vaak CLIP) en is minder geschikt voor abstracte concepten die geen visuele vertaling hebben (zoals wiskundige abstracties of metafysische concepten). Ook blijft de rekentijd een uitdaging, hoewel de ablatiestudies aantonen dat deze beperkter is dan eerst gedacht.

Kortom, "Conjuring Semantic Similarity" introduceert een fundamenteel nieuwe manier om te kijken naar de betekenisruimte van AI-modellen: niet door te kijken naar wat ze zeggen, maar door te kijken naar wat ze zien.