Relational Visual Similarity

1. Il Problema: Il Limite della Similitudine Percettiva

Attualmente, i modelli di stato dell'arte per la similarità visiva (come LPIPS, CLIP, DINO) si basano quasi esclusivamente sulla similarità degli attributi percettivi. Questi modelli confrontano immagini basandosi su caratteristiche superficiali come colore, forma, texture e classe semantica (es. "una mela è simile a una pesca perché entrambe sono rosse e rotonde").

Tuttavia, gli esseri umani possiedono una capacità cognitiva superiore: la similarità relazionale. Questa permette di riconoscere somiglianze basate su strutture logiche, relazioni funzionali o trasformazioni astratte, anche quando gli attributi visivi sono completamente diversi.

• Esempio chiave: Un'immagine di una banana che matura è relazionalmente simile a un fiammifero che brucia, poiché entrambi rappresentano una "trasformazione del soggetto nel tempo", nonostante non condividano attributi visivi diretti.
• Il Gap: I modelli esistenti falliscono nel catturare questa logica sottostante, limitando le applicazioni di ricerca, generazione e ragionamento visivo a livello superficiale.

2. Metodologia

Gli autori propongono un nuovo framework chiamato RelSim per modellare e misurare la similarità relazionale. L'approccio si articola in tre fasi principali:

A. Costruzione del Dataset (114k immagini)

Poiché non esistevano dataset esistenti per la similarità relazionale, gli autori ne hanno creato uno nuovo:

1. Filtraggio delle Immagini: Partendo dal vasto dataset LAION-2B, è stato utilizzato un modello (Qwen2.5-VL-7B-Instruct) per filtrare e selezionare 114.000 immagini "interessanti", ovvero quelle che contengono strutture relazionali trasferibili (es. composizioni creative, sequenze temporali, analogie visive) piuttosto che semplici oggetti statici.
2. Generazione di Didascalie Anonime (Anonymous Captions): Questo è il cuore dell'innovazione. Invece di descrivere gli oggetti specifici (es. "un gatto"), il modello genera didascalie che catturano la logica relazionale astratta sostituendo gli oggetti con segnaposto (es. "Una trasformazione di {soggetto} nel tempo").
   • Per garantire la qualità, le didascalie sono state generate su gruppi di immagini (532 gruppi curati manualmente) che condividono la stessa logica. Questo aiuta il modello a isolare il pattern relazionale comune ignorando i dettagli specifici degli oggetti.
   • Il dataset finale consiste in coppie {Immagine, Didascalia Anonima}.

B. Addestramento del Modello (RelSim)

Il modello RelSim è un estrattore di caratteristiche visive basato su un Vision-Language Model (VLM) (specificamente Qwen2.5-VL-7B-Instruct).

• Obiettivo: Allineare l'embedding visivo di un'immagine con l'embedding testuale della sua didascalia anonima corrispondente.
• Loss Function: Viene utilizzata una perdita contrastiva (InfoNCE) per massimizzare la similarità tra un'immagine e la sua didascalia relazionale, minimizzando la similarità con le didascalie di altre immagini nel batch.
• Architettura: A differenza dei modelli puramente visivi, RelSim sfrutta la conoscenza del mondo incorporata nel LLM per comprendere le relazioni astratte, non solo i pixel.

3. Contributi Chiave

1. Nuovo Concetto: Definizione formale della "Similarità Visiva Relazionale" come dimensione distinta e complementare alla similarità degli attributi.
2. Dataset Innovativo: Creazione di un dataset di 114k immagini con didascalie anonime progettate per catturare logica e astrazione, superando i limiti dei dataset basati su classi semantiche.
3. Nuovo Metrico (RelSim): Sviluppo di un modello di similarità che supera i limiti dei modelli attuali, capace di raggruppare immagini con la stessa logica sottostante ma aspetto diverso.
4. Analisi e Applicazioni: Dimostrazione che la similarità relazionale è cruciale per compiti come la ricerca di immagini per ispirazione creativa e la generazione di immagini analogiche.

4. Risultati Sperimentali

Gli esperimenti confrontano RelSim con metriche di riferimento (LPIPS, DINO, DreamSim, CLIP) e baselines basate su didascalie.

• Valutazione Automatica (GPT-4o): RelSim ottiene il punteggio più alto (6.77 su una scala di 0-10) nella valutazione della similarità relazionale, superando significativamente CLIP-I (5.91) e DINO (5.14). Anche l'addestramento di modelli puramente visivi (CLIP/DINO) su questo dataset migliora le prestazioni, ma non raggiunge i livelli di un VLM completo, confermando che la conoscenza linguistica è essenziale.
• Studio Utenti (Human Preference): In un test A/B con circa 900 risposte per baseline, gli utenti umani hanno preferito i risultati di RelSim rispetto ai modelli esistenti in una percentuale che varia dal 42,5% al 60,7%, dimostrando che il modello allinea meglio la percezione umana della logica visiva.
• Visualizzazione: Le visualizzazioni dei vicini più prossimi mostrano che mentre i modelli basati su attributi trovano immagini simili per colore/oggetto, RelSim trova immagini che condividono la stessa "storia" o trasformazione logica.

5. Significato e Applicazioni

Il lavoro apre nuove frontiere nel calcolo visivo:

• Ricerca di Immagini Relazionale: Permette di cercare immagini non per "cosa sono" ma per "cosa fanno" o "come si comportano" (es. trovare immagini che mostrano una trasformazione creativa simile, indipendentemente dall'oggetto).
• Generazione di Immagini Analogiche: Consente di trasferire strutture concettuali profonde tra immagini. Ad esempio, prendere un'idea visiva (un "pun" visivo o una metafora) e generarne una nuova con oggetti diversi ma mantenendo la stessa logica relazionale.
• Comprensione Cognitiva: Il paper sottolinea che per raggiungere un'intelligenza artificiale visiva più umana, è necessario passare dal riconoscimento di attributi al ragionamento sulle relazioni strutturali.

Limitazioni e Futuro

Gli autori riconoscono che la generazione delle didascalie anonime si basa su gruppi curati manualmente (potenzialmente non scalabili) e che i modelli VLM possono soffrire di allucinazioni. Inoltre, una singola immagine può contenere molteplici strutture relazionali, rendendo complessa la specificazione dell'intento dell'utente tramite prompt. Tuttavia, il lavoro stabilisce una base fondamentale per future ricerche sull'astrazione visiva.