Sintesi Tecnica: RADIO1D: Rappresentazioni Elastiche per la Modellazione della Visione Condensata

1. Definizione del Problema

Gli attuali Modelli Vision-Language (VLM) si affidano prevalentemente a encoder visivi che emettono rappresentazioni di patch a griglia 2D a lunghezza fissa (ad es., CLIP, SigLIP, SigLIP2). Gli autori mettono in discussione l'assunto che queste rigide strutture 2D siano ottimali per i VLM. La loro analisi rivela due problemi critici:

1. Perdita di Coerenza Spaziale: Durante il fine-tuning dei VLM, le rappresentazioni visive diventano sempre più astratte e perdono la loro inerente organizzazione spaziale.
2. Inefficienza delle Griglie Fisse: Le immagini naturali presentano forti correlazioni spaziali, il che significa che le rappresentazioni basate su patch contengono una significativa ridondanza. Le griglie 2D fisse non riescono a comprimere questa struttura in modo efficiente, portando a trade-off rate-distorsione subottimali sotto vincoli di lunghezza della sequenza e di calcolo.
3. Disallineamento degli Obiettivi: Sebbene i modelli contrastivi (come SigLIP2) si allineino bene con il testo, spesso mancano di una densa coerenza spaziale. Al contrario, i modelli densi (come DINOv3) possiedono coerenza spaziale ma sono raramente adottati come backbone per i VLM, suggerendo che l'allineamento testuale puro non sia l'unico determinante del successo dei VLM; piuttosto, la capacità di riepilogo (summarization) potrebbe essere più critica.

2. Metodologia: RADIO1D

Gli autori propongono RADIO1D, un metodo che comprime le immagini in una sequenza di token 1D compatta e a lunghezza variabile. L'approccio si basa sul principio dell'Information Bottleneck, mirando a massimizzare l'informazione mutua tra la rappresentazione e il task target minimizzando al contempo l'entropia rappresentativa.

Architettura Core

• Sequenza Elastica 1D: A differenza dei classici ViT che emettono una griglia $N \times N$ fissa, RADIO1D genera una sequenza di $\ell$ token dove $\ell$ è variabile.
• Riassunto Gerarchico: Attraverso un nested dropout durante l'addestramento, il modello è costretto a codificare semantiche globali di alto livello nei token iniziali (ad es., il primo token) e dettagli più fini nei token successivi. Ciò consente al modello di funzionare efficacemente con anche un solo token.
• Design dell'Autoencoder per l'Addestramento:
  • Encoder: Un encoder 1D puro elabora le patch d'immagine appiattite. Integra blocchi di Patch Merging (pixel unshuffling) direttamente nel backbone per ridurre la lunghezza della sequenza e aumentare la dimensione dell'embedding, migliorando l'efficienza dell'inferenza.
  • Decoder: Un lightweight Vision Transformer utilizzato solo durante l'addestramento. Prende i token 1D a lunghezza variabile e un insieme di token di query apprendibili duplicati per ricostruire una griglia di patch 2D. Ciò consente al modello di allinearsi con modelli teacher 2D senza imporre una struttura 2D alla rappresentazione 1D centrale.
• Distillazione Multi-Teacher: Il modello studente è addestrato tramite distillazione agglomerativa da molteplici modelli foundation (SigLIP2, DINOv3, SAM3). Gli adapter proiettano le feature dello studente negli spazi di embedding dei teacher, e vengono calcolate perdite di similarità (MSE o coseno). Questo aggrega diverse conoscenze visive (allineamento globale, feature spaziali dense, concetti di segmentazione) in uno studente unificato.

Strategia di Addestramento

• Slicing Stocastico: Durante l'addestramento, un valore $\ell$ viene campionato da una distribuzione (ad es. triangolare) per determinare quanti token mantenere. Questo impone l'ordinamento gerarchico dell'informazione.
• Integrazione del Downscaling: Il modello impara a scalare internamente le feature tramite Patch Merging apprendibile, anziché fare affidamento su operazioni post-hoc che assumono la località 2D.

3. Contributi Chiave

1. Analisi delle Feature Visive: Il paper dimostra che il fine-tuning dei VLM degrada la coerenza spaziale degli encoder standard. Identifica che i modelli allineati immagine-testo (come SigLip2) sviluppano naturalmente un piccolo set di token specializzati "globali" che riassumono il contenuto dell'immagine, una proprietà che RADIO1D sfrutta esplicitamente.
2. Architettura RADIO1D: Un nuovo metodo per comprimere le immagini in sequenze 1D flessibili utilizzando la distillazione multi-teacher e un ciclo di addestramento simile a un autoencoder.
3. Forte Capacità di Riassunto: Il modello raggiunge un'accurata comprensione della scena con pochissimi token (spesso un singolo token), dimostrando una compressione efficace del contenuto visivo essenziale.
4. Metrica di Retrieval Consapevole della Composizione: Gli autori introducono una nuova metrica di valutazione che valuta non solo la presenza di oggetti ma anche la disposizione spaziale (dimensione e posizione) nel retrieval di immagini, mostrando come RADIO1D superi gli encoder standard in questo ambito.
5. Integrazione VLM Flessibile: RADIO1D consente trade-off accurata-efficienza regolabili variando il numero di token, offrendo prestazioni competitive su diversi benchmark multimodali con un carico computazionale ridotto.

4. Risultati Sperimentali

• Capacità di Riassunto: Su ImageNet-1k, il primo token di RADIO1D raggiunge un'accuratezza k-NN Top-1 dell'85.0%, superando significativamente l'ultimo token. Su la segmentazione semantica ADE20K, l'uso del solo primo token produce un mIoU di 40.23, rispetto all'8.05 dell'ultimo token.
• Performance Rate-Distortion: RADIO1D mostra costantemente una distorsione inferiore rispetto ai baseline a griglia fissa (SigLIP2, DINOv3, C-RADIOv4) in tutti i budget di token, particolarmente nel regime a basso rate (pochi token).
• Performance VLM: Accoppiato con un LLM Nemotron 9B, le varianti di RADIO1D superano i baseline (SigLip2, C-RADIOv4) anche con meno token.
  • 1 Token: Raggiunge un'accuratezza media del 51.5% su 10 benchmark VLM.
  • 128 Token: Raggiunge un'accuratezza media del 71.64%, superando C-RADIOv4+ToMe (70.31%) e C-RADIOv4+CDPruner (69.05%) allo stesso budget di token.
  • 256 Token: Raggiunge il 73.29% di accuratezza media, competitivo con i baseline a risoluzione completa.
• Sensibilità al Task: Il modello è robusto alla compressione pesante per task olistici (ad es., MMMU, LongVideoBench), perdendo meno del 10% in performance anche con 1 token. Tuttavia, la performance su task densi e orientati alla lettura (OCR, DocVQA) degrada drasticamente sotto i 128 token, indicando la necessità di una maggiore capacità per la risoluzione del testo fine.
• Confronto con il Pruning: RADIO1D supera i metodi di pruning dei token all'inferenza (Token Merging, CDPruner) a parità di budget di token, in particolare nel preservare il grounding spaziale per i compiti di lettura.
• Retrieval di Composizione: RADIO1D ottiene i punteggi più alti di retrieval basato sulla composizione (Comp@1) su MS-COCO (0.5158) e nuImages (0.4294), superando DINOv3, SigLIP2 e C-RADIOv4.

5. Significato e Rivendicazioni

Il paper sostiene che le rappresentazioni elastiche focalizzate sul riepilogo siano l'allineamento primario desiderato dai VLM, piuttosto che le dettagliate rappresentazioni locali 2D. Abbandonando la griglia 2D fissa a favore di una sequenza 1D a lunghezza variabile, RADIO1D:

• Fornisce un trade-off flessibile tra accuratezza e latenza, permettendo il deployment su hardware con vincoli variabili semplicemente regolando il numero di token.
• Riduce il carico computazionale mantenendo o migliorando le performance sui compiti multimodali.
• Offre un nuovo paradigma per i backbone VLM che colma il divario tra specialisti visivi densi ed encoder allineati al linguaggio.

Gli autori sottolineano che il loro lavoro sfida la dipendenza dalle feature di patch fisse e suggerisce che i futuri VLM possano beneficiare di rappresentazioni che diano priorità al riepilogo gerarchico e alla compressione delle informazioni rispetto alle rigide griglie spaziali. I modelli sono rilasciati sotto una licenza permissiva.