💻 computer science

ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding

LoelLoop-UME introduce un'innovativa architettura di embedding multimodale universale che migliora le prestazioni e l'efficienza del recupero eseguendo gli strati iniziali una sola volta, riutilizzando ricorsivamente un blocco con parametri condivisi e registri di recupero apprendibili per accumulare evidenze attraverso la profondità, e applicando gli strati di mappatura finale solo dopo l'ultimo ciclo, ottenendo così velocità e accuratezza superiori rispetto ai metodi esistenti.

Autori originali: Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

Pubblicato 2026-08-03

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare un ago specifico in un enorme e caotico pagliaio. Ma questo non è un pagliaio qualsiasi; è un pagliaio "multimodale", il che significa che la paglia è fatta di testo, gli aghi sono immagini e, a volte, l'intero insieme è un video. Nel mondo dell'intelligenza artificiale, questo si chiama Universal Multimodal Embedding (UME). Immaginalo come un bibliotecario super intelligente capace di prendere una domanda scritta in parole, una foto di un gatto o un filmato di un film e di tradurre istantaneamente tutto in un unico, segreto "linguaggio della somiglianza". Una volta che tutto è stato tradotto in questo codice segreto, il bibliotecario può dirti istantaneamente quali elementi sono correlati, anche se appaiono completamente diversi in superficie.

Per molto tempo, questi bibliotecari IA hanno lavorato come velocisti: guardavano l'input una sola volta, facevano un singolo giro nel loro cervello e sputavano fuori la risposta. Questo era veloce, ma a volte la risposta non era molto precisa, specialmente per domande difficili. Recentemente, alcuni ricercatori hanno provato a far "pensare più intensamente" i bibliotecari, costringendoli a scrivere una lunga nota di ragionamento passo dopo passo prima di dare la risposta. Sebbene questo abbia aiutato, era come chiedere al bibliotecario di scrivere un intero romanzo solo per trovare un libro; richiedeva troppo tempo e rallentava tutto il processo. La grande domanda era: esiste un modo per far pensare più profondamente il bibliotecario senza fargli scrivere un romanzo?

Entra in gioco ReLoop-UME, un nuovo approccio che suggerisce che la risposta non risieda nello scrivere di più, ma nel rileggere le parti giuste. I ricercatori hanno scoperto che il cervello di un'IA non lavora in linea retta, dove ogni livello fa la stessa cosa. Inveve, hanno scoperto che i primi livelli sono come un "impostatore di contesto" (che coglie l'atmosfera), i livelli intermedi sono il "lavoro investigativo" (che trova gli indizi) e i livelli finali servono solo per il "confezionamento" (scrivere l'etichetta finale).

Il documento propone un trucco astuto: invece di far scrivere all'IA una lunga nota di ragionamento (che è lento e disordinato), permettono all'IA di effettuare un ciclo (loop) attraverso la sezione del "lavoro investigativo" del suo cervello più volte. Per assicurarsi che l'IA non dimentichi ciò che ha trovato nel primo ciclo, hanno aggiunto uno strumento speciale chiamato Learnable Retrieval Registers. Immaginali come dei post-it che l'IA può attaccare sulla propria fronte. Mentre l'IA cicla attraverso la sezione investigativa, aggiorna questi post-it con nuovi indizi, accumulando prove senza mai dover generare nuove parole o rallentare il processo.

I risultati sono impressionanti. In un test massiccio chiamato MMEB-V2, che include migliaia di compiti riguardanti immagini, video e documenti, questo nuovo metodo ha costantemente trovato abbinamenti migliori rispetto ai modelli precedenti. È stato 44,9 volte più veloce dei precedenti modelli di "ragionamento" che cercavano di scrivere i propri pensieri, ed è 1,5 volte più veloce di un altro modello veloce, pur essendo più accurato. I ricercatori suggeriscono che concentrando la potenza di calcolo extra esattamente dove avviene il "lavoro investigativo" e usando quei post-it per conservare gli indizi, hanno creato un sistema che è sia più intelligente che significativamente più rapido. È come dare a un detective una lente d'ingrandimento e un taccuino, invece di costringerlo a scrivere una pagina di diario prima di indicare il sospettato.

Riepilogo Tecnico: ReLoop-UME

Definizione del Problema

L'Universal Multimodal Embedding (UME) mira a mappare input etogenei (testo, immagini, video, documenti visivi) in uno spazio di embedding condiviso per il recupero delle informazioni (retrieval). Gli approcci esistenti si dividono generalmente in due categorie:

Codifica Single Forward: Modelli come VLM2Vec e GME producono embedding in un unico passaggio. Sebbene efficienti, la loro computazione fissa può risultare insufficiente per intenti di query complessi e per il matching cross-modale fine-grained.
Ragionamento con Espansione dei Token: Metodi recenti (es. UME-R1, TRACE, PLUME) introducono computazione aggiuntiva tramite token di ragionamento espliciti (Chain-of-Thought) o stati autoregressivi latenti. Sebbene migliorino l'accuratezza del retrieval, presentano svantaggi significativi:
- Latenza: La generazione seriale aumenta il tempo di inferenza.
- Dipendenza: L'embedding finale dipende dagli stati intermedi generati, il che può introdurre errori o allucinazioni.
- Crescita delle Risorse: Questi metodi espandono la lunghezza della sequenza di token, aumentando l'overhead di memoria e computazione.

La domanda centrale posta dagli autori è: È possibile espandere la computazione utile lungo la profondità del modello mantenendo fisso lo spazio di lavoro dei token?

Metodologia: ReLoop-UME

Gli autori propongono ReLoop-UME, un framework che alloca computazione aggiuntiva a specifici strati della profondità del modello anziché estendere la sequenza di token. Il metodo si basa su tre componenti principali:

1. Analisi per Strati della Formazione del Retrieval

Attraverso un'analisi di modelli UME single-forward addestrati indipendentemente, gli autori osservano una progressione non uniforme della discriminabilità del retrieval attraverso gli strati:

Fase di Comprensione del Prefisso (Strati Iniziali): Contestualizza gli input multimodali; le similitudini positive e negative rimangono intrecciate.
Fase di Formazione del Retrieval (Strati Medi-Tardivi): Un intervallo continuo in cui la separazione tra le similitudini query-candidate positive e negative aumenta più significativamente. È qui che vengono formate le caratteristiche discriminanti per il retrieval.
Fase di Mappatura dell'Embedding (Strati Finali): Mappa le caratteristiche formate nello spazio dell'embedding di output finale.

Questa analisi identifica la Fase di Formazione del Retrieval come il target ottimale per l'aggiunta di profondità.

2. Raffinamento Ricorrente Localizzato

Invece di generare nuovi token, ReLoop-UME esegue il modello in tre fasi:

Prefix (Prefisso): L'input passa attraverso gli strati iniziali di "Comprensione" una sola volta.
Recurrent Block (Blocco Ricorrente): L'input viene poi elaborato da un blocco con parametri condivisi corrispondente agli strati di "Formazione del Retrieval". Questo blocco viene applicato $T$ volte (profondità ricorrente).
Suffix (Suffisso): Dopo l'ultimo ciclo, gli stati nascosti raffinati passano attraverso gli strati di "Mappatura" per produrre l'embedding finale.

Questo approccio concentra la computazione extra specificamente sugli strati responsabili dell'instaurazione della discriminazione query-candidate, senza duplicare i parametri del backbone o estendere la sequenza di token.

3. Registri di Retrieval Apprendibili

Per gestire lo stato attraverso i cicli ricorrenti senza espandere la sequenza di token, gli autori introducono i Registri di Retrieval Apprendibili (Learnable Retrieval Registers).

Un piccolo set di stati addestrabili ( $M$ registri) viene apposto alla sequenza di token multimodali.
Questi registri persistono attraverso ogni ciclo, prestano attenzione all'input completo e scambiano evidenze tra di loro.
Servono come uno spazio di lavoro a dimensione fissa per accumulare e consolidare le evidenze di retrieval attraverso i cicli.
Il registro finale funge da readout stabile per l'embedding.
A differenza dei token di ragionamento, questi registri non sono generati passo dopo passo; hanno una dimensione fissa e non crescono con la profondità ricorrente.

Contributi Chiave

Accountage per Fasi della Formazione del Retrieval: Il paper fornisce un'analisi per strati che rivela come la geometria del retrieval si formi in modo non uniforme, identificando un intervallo specifico di "Formazione del Retrieval" come target per l'espansione della profondità.
Raffinamento Ricorrente Localizzato: ReLoop-UME accoppia la ricorrenza localizzata con stati di retrieval persistenti. Applica ripetutamente un blocco di formazione del retrieval a parametri condivisi utilizzando i Registri di Retrieval Apprendibili per mantenere uno spazio di lavoro a dimensione fissa per l'accumulo di evidenze cross-loop.
Tradeoff Efficienza-Accuratezza: Il metodo raggiunge una performance di retrieval più forte con una latenza significativamente inferiore rispetto ai metodi di ragionamento con espansione dei token, evitando il collo di bottiglia della generazione seriale.

Risultati Sperimentali

Gli autori hanno valutato ReLoop-UME sul benchmark MMEB-V2 (78 task su immagine, video e documenti visivi) e hanno eseguito il transfer zero-shot su MRMR.

Performance:
- Su MMEB-V2, il modello da 2B ha ottenuto un All score di 63.2, superando basi forti come PLUME (61.6) e UME-R1 (60.1).
- Il modello da 7B ha raggiunto 65.9, superando UME-R1 (64.5).
- I guadagni sono stati più pronunciati nei task di Immagine e Documenti Visivi; le performance sui Video hanno mostrato risultati misti, probabilmente a causa della strategia di campionamento dei frame fissa.
- Il transfer zero-shot su MRMR ha mostrato risultati competitivi, in particolare nel recupero della Conoscenza (71.6 vs 67.4 per Ops-MM-Embedding).
Efficienza:
- ReLoop-UME è 44.9× più veloce di UME-R1 e 1.5× più veloce di PLUME.
- Rispetto al baseline single-forward VLM2Vec-V2, ReLoop-UME introduce solo un overhead di latenza di 1.3× pur migliorando l'All score di 5.2 punti.
Studi di Ablazione:
- Localizzazione dello Stadio: La ricorrenza applicata solo all'intervallo di formazione identificato (strati 17–26 per Qwen2-VL-2B) ha prodotto i risultati migliori. La ricorrenza full-stack o la ricorrenza solo nell'ultimo strato hanno performato peggio.
- Registri: Rimuovere i registri ha ridotto le performance, confermando il loro ruolo nella preservazione delle evidenze. Aumentare il numero di registri oltre 5 ha portato a rendimenti decrescenti.
- Profondità: Le performance sono saturate a una profondità ricorrente moderata ( $T=4$ ); aumentare a $T=8$ ha leggermente degradato le prestazioni.

Significato e Rivendicazioni

Il paper sostiene che ReLoop-MUE offre una via più efficiente verso gli embedding multimodali universali, spostando il paradigma dall'espansione dei token all'espansione della profondità.

Meccanismo: Localizzando la ricorrenza negli strati specifici dove viene formata la discriminazione del retrieval, il modello rafforza la separazione query-candidate senza i costi di latenza e memoria della generazione di token autoregressivi.
Gestione dello Stato: I Registri di Retrieval Apprendibili forniscono un meccanismo per accumulare evidenze attraverso i cicli senza aumentare la lunghezza della sequenza o richiedere traiettorie di ragionamento esplicite.
Generalizzazione: L'approccio si dimostra efficace attraverso diversi backbone di modelli (Qwen2-VL, Qwen3-VL, Qwen3.5) e scale, suggerendo che il principio di "localizzazione e looping" è robusto alle variazioni architettoniche.

Gli autori concludono che, sebbene il metodo migliori significativamente la frontiera accuratezza-efficienza, rimangono delle limitazioni in scenari che richiedono evidenze temporali dense (es. azioni video specifiche non catturate dai frame campionati) o dettagli locali fini nei documenti visivi, dove il raffinamento ricorrente globale può diluire specifici modificatori.