🤖 AI

Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

Questo studio dimostra che i modelli linguistici di frontiera come GPT-4.1 e Claude Sonnet 4.6 raggiungono prestazioni di recupero paragonabili a Gemini Embedding 2 nativo multimodale di Google su Flickr30k, sebbene quest'ultimo rimanga superiore per le applicazioni a bassa latenza grazie agli embedding precomputabili.

Autori originali: Archan Dutta, Vyanktesh Kanungo

Pubblicato 2026-08-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Archan Dutta, Vyanktesh Kanungo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare un ago specifico in un enorme e caotico pagliaio. Ma ecco il colpo di scena: l'ago non è solo un pezzo di metallo; è un'immagine, e tu la stai descrivendo usando le parole. Questo è il mondo del recupero multimodale, un ramo dell'informatica in cui le macchine imparano a connettere ciò che vedono (immagini) con ciò che leggono (testo). Per anni, il modo standard per farlo è stato costruire due "cervelli" separati: uno che legge il testo e lo trasforma in un codice segreto, e un altro che guarda le immagini e le trasforma in un diverso codice segreto. Il computer poi cerca di far corrispondere questi due codici, come cercare di far incastrare un elemento quadrato in un buco rotondo stringendo gli occhi con forza.

Recentemente, due nuovi super-strumenti sono entrati nell'arena. Primo, i Frontier Large Language Models (LLM). Pensateli come bibliotecari incredibilmente intelligenti e onniscienti che possono guardare un mucchio di 25 foto e una singola frase, poi leggere istantaneamente ogni foto, confrontarle tra loro e scegliere la migliore corrispondenza. Secondo, i Natively Multimodal Embeddings (Embedding Multimodali Nativi). Questi sono come un traduttore universale che parla fluentemente sia la lingua "Immagine" che quella "Testo" fin dall'inizio, trasformando tutto in un unico, unificato codice segreto senza bisogno che due cervelli separati parlino tra loro. La grande domanda che tutti si pongono è: abbiamo bisogno del bibliotecario super-intelligente che legga ogni singola foto e le confronti, o il traduttore universale è abbastanza veloce e accurato da fare il lavoro da solo? Questo è importante perché se il bibliotecario è troppo lento, non potrai usarlo per app in tempo reale, come cercare nella tua galleria fotografica mentre cammini per strada.

Questo articolo mette in scena una gara ad alta tensione tra questi due approcci utilizzando un dataset chiamato Flickr30k, che contiene 31.000 immagini con descrizioni scritte da esseri umani. Per rendere la gara davvero equa e difficile, i ricercatori non hanno semplicemente lanciato foto casuali ai modelli. Hanno creato dei "negativi difficili" (hard negatives): foto che sembrano molto simili alla risposta corretta ma non sono del tutto giuste, progettate per ingannare anche i sistemi più intelligenti. Hanno testato quattro pesi massimi: Gemini Embedding 2 e Amazon Nova 2 (i traduttori universali) contro GPT-4.1 e Claude Sonnet 4.6 (i bibliotecari super-intelligenti).

I risultati sono stati uno shock per gli velocisti ma un sollievo per gli amanti dell'accuratezza. Quando si è trattato di trovare la risposta giusta, i traduttori universali e i bibliotecari super-intelligenti sono stati testa a testa. Lo studio ha scoperto che Gemini Embedding 2, GPT-4.1 e Claude Sonnet 4.6 hanno ottenuto prestazioni statisticamente identiche. Erano così vicini che non era possibile distinguerli basandosi solo sull'accuratezza; tutti e tre sono riusciti a scegliere l'immagine corretta circa l'80% delle volte in questi scenari complicati. Il documento esclude esplicitamente l'idea che i bibliotecari siano vastamente superiori in termini di accuratezza, dimostrando che i nuovi modelli di embedding sono altrettanto acuti nel trovare l'ago giusto nel pagliaio. Tuttavia, un modello, Amazon Nova 2, è rimasto indietro, trovando la risposta corretta circa il 13% in meno delle volte, probabilmente perché era configurato per compiti generali piuttosto che per questo tipo specifico di ricerca di immagini.

Ma la vera storia non riguarda solo chi vince la corsa all'accuratezza; riguarda chi finisce la maratona. È qui che i due approcci divergono drasticamente. I bibliotecari super-intelligenti (LLM) devono guardare ogni singola foto del gruppo per ogni singola domanda. Il documento ha misurato questo e ha scoperto che classificare 1.000 query ha richiesto ai bibliotecari oltre 6.100 secondi (per GPT-4.1) e 9.415 secondi (per Claude Sonnet 4.6). Ore di attesa. Al contrario, i traduttori universali (modelli di embedding) lavorano diversamente. Possono pre-calcolare i codici segreti per tutte le foto una volta per tutte, come se ogni libro in una biblioteca venisse timbrato con un codice a barre prima ancora che tu entri. Una volta completata questa "pre-computazione", trovare la foto giusta per 1.000 query ha richiesto ai modelli di embedding meno di 2 secondi.

Gli autori concludono che, sebbene i bibliotecari super-intelligenti siano brillanti nel ragionamento e nel confronto fianco a fianco delle immagini, i traduttori universali sono i vincitori indiscussi per tutto ciò che deve accadere istantaneamente. Se state costruendo un'app in cui un utente deve cercare in una grande collezione di immagini in un battito di ciglia, i modelli di embedding sono la scelta migliore. I bibliotecari sono ancora utili se la vostra collezione di foto cambia ogni secondo o è molto piccola, rendendo inutile il passaggio di pre-computazione, ma per velocità e scala, i nuovi modelli di embedding hanno dimostrato di poter eguagliare l'accuratezza dei giganti pur correndo mille volte più velocemente.

Riepilogo Tecnico: LLM di Frontiera vs. Embedding Multimodali Nativi per il Recupero Testo-Immagine con Hard-Negative

Definizione del Problema

Il recupero testo-immagine, ovvero il compito di classificare le immagini in base alla rilevanza rispetto a una query in linguaggio naturale, si è tradizionalmente basato su modelli dual-encoder (es. CLIP) che allineano rappresentazioni visive e testuali tramite apprendimento contrastivo. Due sviluppi recenti sfidano questo paradigma:

Large Language Models (LLM) di frontiera: Modelli come GPT-4.1 e Claude Sonnet 4.6 possiedono forti capacità visive, abilitando un nuovo paradigma di recupero in cui tutti i candidati (immagini e query) vengono presentati in un singolo prompt per un ranking diretto zero-shot.
Embedding Multimodali Nativi: Modelli come Google Gemini Embedding 2 (GE2) e Amazon Nova 2 proiettano testo, immagini, video e audio in un unico spazio di embedding condiviso, andando oltre l'architettura dual-encoder.

Sebbene entrambi gli approcci siano promettenti, le loro prestazioni relative in termini di accuratezza del recupero e latenza di ranking — specificamente in condizioni critiche — rimangono non caratterizzate in letteratura. Questo studio affronta la lacuna confrontando gli embedding multimodali nativi con gli LLM di frontiera come ranker visivi diretti zero-shot.

Metodologia

Dataset e Costruzione dei Candidati

Lo studio utilizza Flickr30k (Young et al., 2014), un dataset di 31.000 immagini con cinque didascalie indipendenti ciascuna. Per creare un compito di valutazione non banale, gli autori hanno costruito set di candidati hard-negative:

Pool: Sono stati campionati 5.000 immagini, ognuna con cinque didascalie.
Selezione delle Query: Sono state selezionate casualmente 1.000 didascalie come query.
Hard Negatives: Per ogni query, è stato formato un set di candidati di 25 immagini: l'immagine di ground-truth più 24 "hard negatives".
Logica di Selezione: Gli hard negatives sono stati selezionati in base alla similarità nello spazio delle didascalie piuttosto che alla similarità nello spazio delle immagini. Utilizzando sentence-transformers/all-mpplay-base-v2, sono state identificate le 24 didascalie semanticamente più simili alla query (escludendo la query stessa). Le immagini corrispondenti a queste didascalie hanno formato il set negativo. Questo approccio aumenta l'ambiguità, poiché le immagini risultano difficili da distinguere data la didascalia della query.

Sistemi Valutati

Quattro sistemi sono stati valutati sugli stessi 1.000 query e identici set di candidati:

Gemini Embedding 2 (GE2): Un modello di embedding multimodale nativo. Query e immagini sono state embeddate separatamente utilizzando specifici task type (RETRIEVAL_QUERY e RETRIEVAL_DOCUMENT), e i candidati sono stati classificati tramite similarità del coseno.
Amazon Nova 2: Un modello di embedding multimodale. Simile a GE2, ma ha utilizzato GENERIC_INDEX per scopi di embedding.
GPT-4.1: Un LLM di frontiera. La didascalia della query e tutte le 25 immagini candidate sono state presentate in un singolo prompt zero-shot. Al modello è stato ordinato di restituire una lista classificata di ID immagine.
Claude Sonnet 4.6: Un LLM di frontiera. Valutato con lo stesso prompt e procedura di GPT-4.1.

Per mitigare il bias di posizione negli LLM, l'ordine delle immagini nel prompt è stato randomizzato per ogni query.

Metriche di Valutazione

Le prestazioni sono state misurate tramite:

Recall@1 (R@1): Frazione di query in cui l'immagine di ground-truth è classificata al primo posto.
Recall@3 (R@3): Frazione di query in cui l'immagine di ground-truth è nei primi tre posti.
Mean Reciprocal Rank (MRR): Media del reciproco del rango dell'immagine di ground-truth.
Latenza: Tempo di esecuzione per il ranking di 1.000 query, distinguendo tra elaborazione end-to-end e scenari con embedding precomputati.

La significatività statistica è stata valutata tramite il test di McNemar per R@1 e il test di Wilcoxon signed-rank per MRR, con correzione di Bonferroni.

Risultati Chiave

Accuratezza del Recupero

Top Performer: Gemini Embedding 2, GPT-4.1 e Claude Sonnet 4.6 hanno ottenuto prestazioni statisticamente indistinguibili in tutte e tre le metriche (R@1, R@3, MRR).
- Punteggi R@1: GE2 (0.804), Claude Sonnet 4.6 (0.796), GPT-4.1 (0.789).
- Significatività: I test a coppie non hanno mostrato differenze significative tra questi tre sistemi (tutti $p > 0.09$ ).
Sottoperformance: Amazon Nova 2 è rimasto indietro significativamente, ottenendo un R@1 di 0.673. I test statistici hanno confermato che le sue prestazioni erano significativamente diverse da tutti gli altri sistemi ( $p < 0.0001$ ). Gli autori attribuiscono questo divario all'uso di GENERIC_INDEX per scopi di embedding, che è ottimizzato per la creazione di database vettoriali generici piuttosto che per il matching specifico testo-immagine.

Latenza ed Efficienza

Vantaggio della Precomputazione: I modelli di embedding (GE2 e Nova 2) permettono la precomputazione degli embedding delle immagini. Una volta precomputati, il ranking di 1.000 query con 25 candidati ciascuna ha richiesto meno di 2 secondi (0.66s per GE2, 1.16s per Nova 2).
Latenza LLM: Gli LLM elaborano le query end-to-end senza precomputazione. Il ranking dello stesso carico di lavoro ha richiesto 6.100 secondi per GPT-4.1 e 9.415 secondi per Claude Sonnet 4.6.
Conclusione: I modelli di embedding offrono un'accelerazione di circa quattro ordini di grandezza per applicazioni a bassa latenza che coinvolgono gallerie di immagini fisse.

Contributi e Significato

Il paper rivendica i seguenti contributi:

Primo Confronto Diretto: Fornisce il primo confronto diretto tra embedding multimodali nativi e LLM di frontiera come ranker visivi diretti zero-shot su un dataset di hard-negative (Flickr30k), senza fine-tuning specifico per il task o generazione intermedia di didascalie.
Parità di Accuratezza: Lo studio dimostra empiricamente che i modelli di embedding multimodali dedicati (specificamente GE2) e gli LLM di frontiera (GPT-4.1, Claude Sonnet 4.6) ottengono prestazioni di recupero statisticamente indistinguibili sui candidati hard-negative. Ciò suggerisce che gli LLM possono fungere efficacementamente da ranker zero-shot, eguagliando le prestazioni di spazi di embedding specializzati.
Trade-off di Latenza: Il paper evidenzia una distinzione pratica critica: sebbene l'accuratezza sia comparabile, i modelli di embedding sono vastamente superiori per applicazioni a bassa latenza grazie alle capacità di precomputazione. Al contrario, gli LLM possono essere preferibili per gallerie frequentemente aggiornate o piccoli set dove la precomputazione è impraticabile.

Limitazioni

Gli autori riconoscono diverse limitazioni:

Ground Truth Ambiguo: Nei set di hard-negative, una didascalia di un'immagine può descrivere plausibilmente un'altra, creando ambiguità. Tuttavia, questo influenza tutti i sistemi allo stesso modo.
Hardness nello Spazio delle Didascalie: Gli hard-negative sono stati definiti nello spazio delle didascalie, il che può favorire intrinsecamente i metodi basati su embedding ottimizzati per rappresentazioni vettoriali dense.
Condizioni di Inferenza: Gli LLM beneficiano del ragionamento cross-candidate (vedendo tutti i 25 elementi contemporaneamente), mentre i modelli di embedding punteggiano le immagini indipendentemente.
Accesso Proprietario: Tutti i sistemi sono accessibili tramite API a pagamento, e i pesi dei modelli potrebbero cambiare tra gli esperimenti e i tentativi di replicazione.
Ambito: L'valutazione utilizza set di candidati di 25 immagini, misurando le prestazioni di ranking piuttosto che il recupero su scala di galleria completa, il che potrebbe non generalizzarsi a contesti di scala massiva.

Conclusione

Lo studio conclude che gli LLM di frontiera possono eguagliare l'accuratezza di recupero dei modelli di embedding multimodali nativi nei compiti di recupero testo-immagine con hard-negative. Tuttavia, la scelta del sistema dipende dai vincoli applicativi: i modelli di embedding sono la scelta superiore per il recupero a bassa latenza e su larga scala con gallerie fisse, mentre gli LLM offrono un'alternativa zero-shot valida per scenari dinamici o su piccola scala dove la precomputazione non è fattibile.