Relational Visual Similarity

Titel: Relational Visual Similarity (Relationale Visuele Similariteit)

1. Het Probleem

Huidige state-of-the-art modellen voor visuele similariteit (zoals LPIPS, CLIP, DINO) zijn uitsluitend gericht op attribuut-gebaseerde similariteit. Ze meten overeenkomsten op basis van oppervlakkige visuele kenmerken zoals kleur, vorm, textuur en semantische klasse.

• De beperking: Deze modellen falen in het herkennen van relationele similariteit. Dit is het vermogen om abstracte relaties of logica tussen visuele elementen te begrijpen, zelfs als de objecten er totaal anders uitzien.
• Voorbeeld: Een mens ziet een overeenkomst tussen een brandende lucifer en een rijpende banaan omdat beide een "transformatie door de tijd" ondergaan. Bestaande modellen zien dit niet omdat de oppervlakkige attributen (kleur, vorm) verschillend zijn.
• Gevolg: Er is een kritieke kloof in het visuele computing-veld: modellen kunnen geen menselijke redenering nabootsen die gebaseerd is op analogieën en onderliggende structuren in plaats van alleen waarneming.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die de brug slaat tussen visuele waarneming en conceptuele abstractie, geïnspireerd op inzichten uit de cognitieve wetenschap.

A. Dataverzameling en -constructie
Omdat er geen bestaande dataset is die relationele similariteit captureert, hebben de auteurs een nieuwe pipeline ontwikkeld:

1. Filtering: Uit de enorme LAION-2B dataset zijn 114.000 "interessante" afbeeldingen geselecteerd. Een gefinetuned Qwen2.5-VL-7B model filtert afbeeldingen die waarschijnlijk complexe relationele patronen bevatten (bijv. creatieve composities, transformaties) en verwijdert saaie, oppervlakkige afbeeldingen.
2. Anonieme Bijschriften (Anonymous Captioning): In plaats van afbeeldingen te beschrijven met specifieke objectnamen (bijv. "een banaan"), worden anonieme bijschriften gegenereerd.
   • Techniek: Afbeeldingen worden gegroepeerd op basis van gedeelde relationele logica. Een Vision-Language Model (VLM) genereert voor elke groep één bijschrift waarbij specifieke objecten worden vervangen door placeholders (bijv. "{object}" in plaats van "banaan").
   • Voorbeeld: In plaats van "een rijpende banaan", wordt het caption: "transformatie van {subject} door de tijd".
   • Dit resulteert in een dataset van 114k {afbeelding, anoniem caption}-paren die de onderliggende logica coderen.

B. Het Model: relsim
Het doel is een visuele feature-extractor $f_V$ te trainen die afbeeldingen dicht bij elkaar brengt in de vectorruimte als ze dezelfde relationele logica delen.

• Architectuur: Het model gebruikt een Vision-Language Model (VLM), specifiek Qwen2.5-VL-7B-Instruct, als visuele encoder. Dit is cruciaal omdat VLMs wereldkennis en taalredenering integreren, wat nodig is voor relationeel inzicht.
• Training:
  • De visuele encoder ($f_V$) wordt gefinetuned met LoRA.
  • De tekst-encoder ($f_T$) is ingevroren (gebruikt all-MiniLM-L6-v2).
  • Doel: De visuele embedding van een afbeelding wordt getraind om overeen te komen met de tekst-embedding van het bijbehorende anonieme bijschrift.
  • Loss Functie: Er wordt een InfoNCE contrastive loss gebruikt om de afstand tussen een afbeelding en zijn relationele abstractie te minimaliseren, terwijl ongerelateerde paren worden verwijderd.

3. Belangrijkste Bijdragen

1. Nieuw Concept: Definitie en formalisering van "relationele visuele similariteit" als een meetbaar en waardevol complement aan traditionele attribuut-similariteit.
2. Nieuwe Dataset: Een dataset van 114.000 afbeeldingen met geanonimiseerde bijschriften die relationele logica in plaats van oppervlakkige inhoud beschrijven.
3. Nieuwe Metric (relsim): Een getrainde metric die relationele similariteit effectief kan meten, in tegenstelling tot bestaande SOTA-modellen.
4. Analyse: Uitgebreid bewijs dat huidige modellen (CLIP, DINO, LPIPS) relationele similariteit missen, zelfs na finetuning, en dat wereldkennis (via VLMs) essentieel is.
5. Toepassingen: Demonstratie van praktische toepassingen in relationele image retrieval en analogische image generation.

4. Resultaten

De evaluatie toont aan dat relsim aanzienlijk beter presteert dan bestaande methoden:

• Automatische Evaluatie (GPT-4o): Bij het beoordelen van retrieved afbeeldingen op relationele similariteit scoort relsim een 6.77 (op een schaal van 0-10). Ter vergelijking:
  • LPIPS: 4.56
  • DINO: 5.14
  • CLIP-I: 5.91
  • Zelfs getuned versies van CLIP en DINO (zonder VLM-kennis) presteerden slechter dan het volledige relsim-model.
• Gebruikersstudie: Menselijke beoordelaars gaven in een A/B-test consistent de voorkeur aan de resultaten van relsim boven baselines (DINO, DreamSim, CLIP). De voorkeur varieerde tussen 42,5% en 60,7%, wat bevestigt dat het model beter aansluit bij menselijke perceptie van relationele logica.
• Ablatie-studies: Het bewijst dat het gebruik van anonieme bijschriften uit groepen (in plaats van één afbeelding) essentieel is voor het vermijden van semantische "lekkage" en het correct identificeren van patronen.

5. Toepassingen en Impact

Het paper demonstreert twee belangrijke downstream taken:

1. Relationele Image Retrieval: Zoeken naar afbeeldingen op basis van logica of abstractie in plaats van visuele gelijkenis. Bijvoorbeeld: "zoek afbeeldingen met dezelfde creatieve logica als deze, maar dan met andere objecten."
2. Analogische Image Generation: Het genereren van nieuwe afbeeldingen die dezelfde onderliggende conceptuele logica behouden, maar met andere visuele elementen. Tests tonen aan dat gespecialiseerde modellen (zoals GPT-4o-Image) dit beter doen dan open-source modellen, maar dat relsim een goede metric biedt om deze relationele kwaliteit te meten.

6. Conclusie en Betekenis

Dit paper markeert een paradigmaverschuiving in visuele computing. Het toont aan dat visuele similariteit niet eindigt bij het herkennen van objecten of kleuren, maar verder gaat naar het begrijpen van relaties en transformaties.

• Significantie: Het vult een fundamentele kloof in AI op door menselijke cognitieve vaardigheden (analogisch redeneren) te modelleren.
• Beperkingen: De huidige dataset is handmatig gecurateerd (schaalbaarheid) en het anonieme captioning-model kan hallucinaties vertonen.
• Toekomst: Het opent nieuwe wegen voor onderzoek in relationeel begrip, creatieve AI en systemen die kunnen redeneren over de onderliggende structuur van visuele data in plaats van alleen de oppervlakte.