Riepilogo Tecnico: Struttura sopra i Pixel: Apprendimento di Programmi Visuali a Lunghezza Variabile

Enunciato del Problema

Le attuali reti neurali profonde eccellono nelle attività di visione artificiale ma producono rappresentazioni spesso verbose, distribuite e difficili da ispezionare o validare. Sebbene i tokenizzatori visuali discreti (DVT) offrano una via verso descrizioni strutturate della scena mappando le immagini in sequenze ordinate di codici discreti, gli approcci esistenti soffrono di due limitazioni primarie:

1. Lunghezza Fissa del Programma: La maggior parte dei DVT (ad es. VQ-VAE, VQGAN e recenti tokenizzatori 1D) impone una griglia spaziale fissa o un numero fisso di slot latenti per immagine. Questo disaccoppia il "budget di codice" dalla complessità visiva effettiva della scena, violando principi come il rasoio di Occam e la lunghezza minima di descrizione.
2. Addestramento Centrato sui Pixel: I DVT standard sono tipicamente addestrati con funzioni di perdita di ricostruzione a livello di pixel. Questa enfasi sulla fedeltà spesso costringe il modello a sprecare capacità nella cattura di caratteristiche testurali di basso livello piuttosto che nella struttura semantica o geometrica di alto livello.

Inoltre, i metodi esistenti che consentono una tokenizzazione a lunghezza variabile si affidano spesso a ricerche post-hoc, instradamento al momento dell'inferenza o insiemi discreti di tassi pre-addestrati, invece di apprendere una lunghezza di sequenza continua, specifica per immagine, accoppiata direttamente al modello e al contenuto della scena.

Metodologia: STROP

Gli autori propongono STROP (Structure over Tokens), un'architettura di tokenizzatore visivo discreto progettata per formare rappresentazioni strutturate della scena mentre apprende simultaneamente la lunghezza ottimale del programma visivo di un'immagine.

Architettura

STROP comprende cinque fasi chiave:

1. Codificatore Congelato: Un codificatore ViT DINOv3 congelato estrae caratteristiche a livello di patch dall'immagine di input.
2. Generatore di Programmi: Un transformer solo-codificatore elabora le caratteristiche delle patch a cui vengono aggiunte una sequenza di token di query apprendibili. Una maschera causale garantisce che i token di query prestino attenzione solo alle query precedenti e alle caratteristiche sorgente, generando una sequenza di programma grezza $Z_p$.
3. Quantizzazione Vettoriale: Il programma grezzo viene proiettato in uno spazio a bassa dimensionalità e quantizzato rispetto a un dizionario fisso ($|CB|=1024$) tramite ricerca del vicino più prossimo, producendo token discreti.
4. Testa di Lunghezza: Un MLP leggero predice la lunghezza attiva del programma ($\hat{L}$) direttamente dalle caratteristiche del codificatore. Ciò permette al modello di determinare quanta parte della sequenza esporre senza campionamento autoregressivo.
5. Interprete: Un transformer speculare solo-codificatore espande il programma troncato (prefisso di lunghezza $\hat{L}$) nuovamente in una griglia di caratteristiche spaziali. Questa griglia viene quindi passata a un decodificatore convoluzionale.

Obiettivo di Addestramento e Curriculum

A differenza dei tokenizzatori tradizionali, STROP bypassa i gradienti di ricostruzione a livello di pixel per modellare il dizionario. Invece, l'intero segnale di addestramento è derivato dalle caratteristiche a livello di patch DINOv3 congelate tramite distillazione delle caratteristiche. La funzione di perdita combina l'allineamento latente (similarità coseno e MSE rispetto alle caratteristiche dell'insegnante), la perdita di impegno e un regolarizzatore di diversità.

Per abilitare la troncatura adattiva, STROP impiega un curriculum a quattro fasi:

• Fase 1 (Troncamento Casuale): Il modello si allena su programmi troncati casualmente per forzare il contenuto informativo a essere caricato in avanti nei token iniziali.
• Fase 2 (Stima Oracolo): Il sistema stima le lunghezze "oracolo" per ciascun campione analizzando gli errori di ricostruzione e le pendenze locali della curva tasso-distorsione.
• Fase 3 (Addestramento Supervisionato): La testa di lunghezza viene addestrata a prevedere questi target oracolo mentre il troncamento rimane casuale, garantendo un apprendimento stabile.
• Fase 4 (Passaggio di consegne): La testa di lunghezza addestrata viene gradualmente implementata per controllare il troncamento, transitando da lunghezze casuali a lunghezze auto-predette.

All'inferenza, la testa di lunghezza predice $\hat{L}$ e il programma viene troncato rigidamente a questa lunghezza prima della decodifica. Un decodificatore di pixel disaccoppiato funge solo da livello di ispezione, garantendo che il dizionario sia modellato interamente dalla qualità delle rappresentazioni latenti di alto livello.

Contributi Chiave

Il documento delinea quattro contributi concreti:

1. Programmi Visuali a Lunghezza Variabile: STROP supervisiona la lunghezza del programma per immagine utilizzando sonde tasso-distorsione locali e un curriculum a prefisso, permettendo al conteggio dei token di crescere con la complessità della scena.
2. Tokenizzatore Semplice Generatore-Interprete: L'architettura utilizza due transformer solo-codificatore con query apprese per scrivere e leggere codici VQ ordinati causalmente, guidati dalla distillazione delle caratteristiche DINOv3.
3. Sonde Pixel senza Addestramento sui Pixel: Utilizzando un decodificatore di pixel disaccoppiato, il metodo tratta le ricostruzioni come una superficie di ispezione, impedendo ai gradienti dei pixel di modellare il dizionario e privilegiando la qualità rappresentazionale rispetto alla texture.
4. Valutazione di Rappresentazione e Struttura: Gli autori forniscono una valutazione completa dei compromessi tasso-qualità, delle prestazioni nelle attività dense di previsione a valle e di prove di struttura compositiva attraverso il riutilizzo dei codici e l'ancoraggio spaziale.

Risultati

Allineamento Latente e Compressione

STROP ottiene un forte allineamento con le caratteristiche DINOv3 congelate. Sul dataset COCO, la variante DINO-S/STROP-S ottiene una similarità coseno di 0.855 e un $R^2$ di 0.734. Il modello comprime tensori di caratteristiche di dimensioni variabili in una sequenza adattiva di al massimo 64 codici discreti, raggiungendo rapporti di compressione nel caso peggiore che variano da $\sim$4.900$\times$ a $\sim$13.100$\times$ a seconda del backbone.

Prestazioni a Valle

Quando le rappresentazioni STROP congelate vengono utilizzate per attività a valle tramite sonde lineari:

• Segmentazione Semantica: STROP supera costantemente i tokenizzatori adattivi pronti all'uso (FlexTok, One-D-Piece) su VOC, COCO-Stuff-27 e ADE20K. Ad esempio, la rappresentazione latente DINO-B/STROP-S ottiene 67.5 mIoU su VOC, superando significativamente FlexTok (48.4 mIoU).
• Classificazione Multi-Etichetta: STROP eguaglia o supera marginalmente l'insegnante DINO congelato e batte FlexTok di circa 10 punti di mean-mAP in media.
• Stima della Profondità: STROP preserva il contenuto rilevante per l'attività per la stima della profondità, sebbene rimanga indietro rispetto ai modelli insegnante più potenti.

Analisi Strutturale

• Correlazione con la Complessità: La lunghezza del programma correla fortemente con la complessità della scena. Su CLEVR, la lunghezza attiva del programma mostra una correlazione di Pearson di $r \approx 0.74$ con il conteggio degli oggetti ground-truth.
• Struttura Compositiva: Le diagnosi di cancellazione dei token rivelano che i singoli token del programma agiscono come "maniglie" spazialmente coerenti sulla scena. Le sinergie a coppie dei token si allineano con regioni semantiche, suggerendo l'emergere di una grammatica visiva appresa.
• Decodifica LLM: I LLM all'avanguardia (Qwen3.5, DeepSeek-V3.1) possono decodificare layout spaziali grezzi (conteggio e posizioni degli oggetti) dalle sequenze di codici, ma non riescono a legare in modo affidabile i token ad attributi specifici (colore, materiale), indicando che il dizionario espone il layout ma non ancora un legame di attributi completamente trasparente.

Significato e Limitazioni

Il documento afferma che STROP dimostra che programmi visuali a lunghezza variabile possono essere appresi end-to-end senza ricerca post-hoc, adattando efficacemente il "budget di codice" alla complessità della scena. Disaccoppiando l'addestramento dalla ricostruzione dei pixel, il modello privilegia la fedeltà strutturale e semantica, producendo rappresentazioni altamente efficaci per attività a valle ed esibendo segni di struttura compositiva.

Tuttavia, gli autori rimangono modesti sullo stato attuale del sistema:

• Divario di Leggibilità: Le sonde dirette sui token quantizzati grezzi performano peggio rispetto alle sonde sul campo interpretato, suggerendo che il programma è meglio visto come una rappresentazione intermedia eseguibile piuttosto che come una caratteristica lineare pronta all'uso.
• Legame degli Attributi: Il dizionario non codifica ancora in modo affidabile attributi discreti (colore, materiale) per i modelli linguistici, limitandone l'utilità come interfaccia simbolica completamente trasparente.
• Specificità dell'Attività: Sebbene STROP superi le linee di base sulla maggior parte dei benchmark, rimane indietro rispetto a FlexTok sul dataset Cityscapes, probabilmente a causa della natura densa e fine-granulare delle scene stradali che potrebbero beneficiare di una decodifica consapevole dei pixel.

Il lavoro posiziona STROP come un passo verso rappresentazioni strutturate principiate, con lavori futuri suggeriti nel ridimensionare la capacità del dizionario, nello sviluppo di protocolli di sondaggio nativi per i programmi e nell'allineamento delle identità dei codici con segnali di descrizione per migliorare il legame degli attributi.