Communication-Inspired Tokenization for Structured Image Representations

Il paper presenta COMiT, un nuovo framework di tokenizzazione visiva ispirato alla comunicazione umana che, attraverso un processo iterativo e ricorrente di aggiornamento dei token, genera rappresentazioni discrete strutturate e semanticamente coerenti, migliorando significativamente il ragionamento relazionale e la generalizzazione composizionale rispetto ai metodi esistenti.

L'essenziale

Immagina di dover descrivere un quadro complesso a un amico che non può vederlo, ma deve ricrearlo esattamente basandosi solo sulle tue parole.

Se fossi un sistema di intelligenza artificiale tradizionale, probabilmente diresti: "Ecco, prendi questo pacchetto di 1000 parole che descrivono ogni singolo pixel del quadro". Il tuo amico proverebbe a dipingerlo, ma il risultato sarebbe un pasticcio confuso: avrebbe i colori giusti, ma non capirebbe che c'è un "cavallo" o un "albero", vedendo solo macchie di colore.

COMiT (che sta per Communication-inspired Tokenization, o "Tokenizzazione ispirata alla comunicazione") è un nuovo modo per insegnare alle macchine a "parlare" delle immagini, rendendole molto più intelligenti e organizzate.

Ecco come funziona, spiegato con un'analogia semplice:

1. Il vecchio modo: La lista della spesa confusa

I sistemi attuali guardano un'immagine e la trasformano in una lunga lista di "gettoni" (parole o simboli). Spesso, questi gettoni sono come una lista della spesa disordinata: "rosso, quadrato, ruvido, blu, veloce...". Il computer sa ricostruire l'immagine (come un puzzle), ma non capisce cosa sta guardando. Non sa che quel "rosso" e quel "veloce" insieme formano un "cavallo".

2. Il nuovo modo (COMiT): Il detective che osserva pezzo per pezzo

COMiT è ispirato a come gli umani descrivono le cose quando hanno poco tempo o spazio per parlare. Immagina di dover descrivere una scena a qualcuno al telefono con una linea che si interrompe spesso. Non puoi dire tutto insieme.

Ecco la strategia di COMiT:

• L'osservazione attenta: Invece di guardare tutto il quadro in una volta, COMiT guarda un piccolo pezzo alla volta (come un detective che esamina la scena con una lente d'ingrandimento).
• Il messaggio in evoluzione: Immagina di avere un foglio di note (il "messaggio latente").
  1. Guardi la testa del cavallo: scrivi "cavallo" sul foglio.
  2. Sposti la lente sulla coda: aggiungi "coda lunga" al foglio, ma rivedi anche la nota precedente per assicurarti che tutto combaci.
  3. Sposti la lente sullo sfondo: aggiungi "albero".
• La ricomposizione: Alla fine, il foglio non è una lista confusa, ma una storia coerente: "C'è un cavallo con una coda lunga vicino a un albero". Quando il sistema deve ridisegnare l'immagine, usa questa storia ordinata per ricreare il quadro perfetto.

Perché è così speciale?

1. Non è solo compressione, è comprensione
I vecchi sistemi erano ottimizzati per "spremere" l'immagine (come un file ZIP) per farla stare in poco spazio. COMiT è ottimizzato per organizzare l'informazione. È come la differenza tra avere una scatola piena di mattoni sparsi (vecchio sistema) e avere una scatola dove i mattoni sono già assemblati in muri e finestre (COMiT).

2. Parla e ascolta con la stessa voce
In molti sistemi, chi "scrive" il messaggio (l'encoder) e chi "legge" il messaggio (il decoder) sono due persone diverse con due cervelli diversi. In COMiT, è la stessa persona che fa entrambe le cose. È come se tu stessi descrivendo un quadro a te stesso per memorizzarlo e poi ridisegnarlo. Questo crea un equilibrio perfetto: il sistema impara a organizzare le informazioni in modo che siano facili da ricordare e da ridisegnare.

3. L'effetto "Zoom"
Il sistema può decidere quanto dettagliare. Se gli dai poco tempo, ti dirà solo "C'è un cavallo". Se gli dai più tempo, aggiungerà "con una sella rossa". Questo permette al sistema di essere molto flessibile: può vedere il quadro d'insieme o concentrarsi sui dettagli, proprio come un umano.

In sintesi

COMiT insegna alle macchine a non vedere le immagini come un muro di pixel, ma come una storia di oggetti. Invece di memorizzare "rosso, blu, verde", impara a dire "c'è un uccello rosso su un ramo verde".

Questo è fondamentale per il futuro dell'Intelligenza Artificiale: se vogliamo che le macchine ragionino, facciano domande e capiscano il mondo come noi, devono prima imparare a "parlare" delle immagini in modo strutturato, proprio come facciamo noi quando raccontiamo una storia.

Sommario tecnico

1. Il Problema

I moderni sistemi di visione artificiale e multimodali si basano sempre più su architetture transformer, che richiedono che le immagini vengano convertite in sequenze discrete di token. Tuttavia, gli approcci esistenti per la tokenizzazione delle immagini (come VQ-VAE, VQ-GAN o i recenti metodi 1D come TiTok) presentano due limitazioni fondamentali:

1. Ottimizzazione per la ricostruzione: Sono prevalentemente ottimizzati per il compromesso tra compressione e fedeltà di ricostruzione. Di conseguenza, i token appresi tendono a catturare texture locali e statistiche di patch piuttosto che strutture semantiche a livello di oggetto.
2. Mancanza di struttura interpretabile: I token spesso non sono organizzati in modo da rappresentare entità discrete o relazioni tra oggetti, rendendo difficile l'uso per compiti di ragionamento composizionale o comprensione semantica profonda.

L'obiettivo del lavoro è spostare il focus dal semplice compromesso compressione-ricostruzione alla organizzazione semantica delle sequenze di token visivi, creando rappresentazioni strutturate e interpretabili.

2. Metodologia: COMiT

Gli autori propongono COMiT (Communication inspired Tokenization), un nuovo framework che modella la codifica delle immagini ispirandosi al modo in cui gli esseri umani comunicano e descrivono le scene visive.

Principi Chiave

1. Tokenizzazione Attenta e Sequenziale: Invece di elaborare l'immagine in un'unica passata, il modello osserva l'immagine come una sequenza di "crop" (ritagli) localizzati. Ad ogni passo, il modello integra nuove informazioni visive aggiornando ricorsivamente un messaggio latente discreto. Questo processo simula l'attenzione selettiva di un parlante che descrive una scena pezzo per pezzo.
2. Comunicazione Omogenea: A differenza degli autoencoder tradizionali che usano reti separate per codificatore e decodificatore, COMiT utilizza la stessa rete per entrambe le fasi. Questo riflette la simmetria nella comunicazione umana, dove lo stesso agente agisce sia come "parlante" (codifica) che come "ascoltatore" (decodifica).

Architettura e Addestramento

• Codifica Iterativa: Il modello riceve una sequenza di crop casuali $\{c_k\}$ e le loro posizioni relative. Ad ogni passo $k$, aggiorna un messaggio latente $m_k$ basato sul crop corrente e sul messaggio precedente $m_{k-1}$.
• Quantizzazione: Il messaggio latente viene quantizzato utilizzando FSQ (Finite Scalar Quantization) per proiettarlo su un vocabolario discreto fisso, creando una sequenza di token.
• Decodifica Generativa: Il messaggio finale $m_K$ condiziona un decoder basato su Flow Matching (un approccio generativo stabile ed efficiente) per ricostruire l'immagine completa.
• Obiettivo di Addestramento Unificato: L'intero sistema è addestrato end-to-end come un modello generativo. La funzione di perdita combina:
  • Flow Matching Loss: Per garantire la fedeltà della ricostruzione.
  • SREPA (Semantic Representation Alignment): Un obiettivo di distillazione che allinea le rappresentazioni intermedie del modello con le features semantiche di un modello vision auto-supervisionato congelato (DINOv2). Questo forza i token ad avere un significato semantico.
• Strategia di "Greedy Token Usage": Durante l'addestramento, il numero di crop processati è randomizzato. Questo impedisce al modello di allocare preventivamente parti fisse del messaggio per crop futuri, costringendolo invece a utilizzare i token disponibili in modo "greedy" (immediato) per ogni osservazione, favorendo una struttura gerarchica e composizionale.

3. Contributi Chiave

1. Nuovo Paradigma di Tokenizzazione: Introduzione di un approccio che tratta la tokenizzazione come un processo iterativo di comunicazione e ricostruzione, piuttosto che come una semplice compressione statica.
2. Struttura Semantica Interpretabile: Dimostrazione che l'approccio sequenziale attentivo induce token che si allineano naturalmente con oggetti e parti di oggetti, migliorando l'interpretabilità rispetto ai metodi precedenti.
3. Architettura Unificata: L'uso di un singolo modello transformer per codifica e decodifica, eliminando la separazione encoder-decoder e riducendo la ridondanza dei parametri.
4. Benchmark di Valutazione: Creazione di una suite di benchmark specifici per testare non solo la ricostruzione, ma anche la generalizzazione composizionale (capacità di gestire nuove combinazioni di oggetti) e il ragionamento relazionale (capacità di comprendere le relazioni tra oggetti).

4. Risultati Sperimentali

Il modello è stato valutato su ImageNet1k, ImageNet100, MSCOCO e Visual Genome, confrontandosi con lo stato dell'arte (es. TiTok, FlexTok, SelfTok).

• Riconoscimento Visivo (ImageNet100): COMiT supera significativamente i metodi precedenti. Ad esempio, COMiT-B raggiunge un'accuratezza top-1 del 82.91%, contro il 19.43% di TiTok-B e l'80.25% di FlexTok.
• Generalizzazione Composizionale (MSCOCO): Il modello mostra una capacità superiore di generalizzare a combinazioni di oggetti mai viste durante l'addestramento, indicando che le informazioni sugli oggetti sono disaccoppiate e distribuite nei token in modo strutturato.
• Ragionamento Relazionale (Visual Genome): COMiT ottiene prestazioni superiori nel predire le relazioni tra oggetti (soggetto-predicato-oggetto), dimostrando che le relazioni sono esplicitamente codificate nella sequenza di token.
• Analisi delle Mappe di Attenzione: Le visualizzazioni mostrano che i token di COMiT si focalizzano su oggetti specifici e parti di essi (mIoU di 0.53), mentre i modelli ablati (senza crop locali) mostrano un'attenzione diffusa e poco strutturata (mIoU di 0.34).
• Compromesso Ricostruzione-Semantica: Sebbene la fedeltà di ricostruzione (PSNR/rFID) sia leggermente inferiore rispetto a modelli ottimizzati esclusivamente per la generazione, il guadagno in termini di struttura semantica e capacità di ragionamento è sostanziale.

5. Significato e Implicazioni

Il lavoro COMiT rappresenta un passo significativo verso la creazione di rappresentazioni visive strutturate adatte per il ragionamento AI avanzato.

• Interpretabilità: Fornisce un'interfaccia tokenizzata che è intrinsecamente più allineata con la struttura semantica del mondo reale (oggetti e relazioni), facilitando l'integrazione con modelli linguistici per compiti multimodali complessi.
• Flessibilità: La politica di "crop" adattiva permette di scalare il processo di codifica in fase di inferenza (aggiungendo più crop per dettagli fini o meno per una visione d'insieme), offrendo un controllo dinamico sul compromesso tra costo computazionale e dettaglio.
• Futuro: L'approccio apre nuove direzioni per l'apprendimento di rappresentazioni discrete in video (gestione della ridondanza temporale) e per sistemi di ragionamento visivo che richiedono una comprensione composizionale profonda.

In sintesi, COMiT dimostra che ispirarsi ai processi cognitivi umani (comunicazione incrementale e attentiva) può portare a modelli di visione artificiale che non solo "vedono" le immagini, ma le "comprendono" in termini di oggetti e relazioni.