Xray-Visual Models: Scaling Vision models on Industry Scale Data

Il paper presenta Xray-Visual, un modello visivo unificato addestrato su dati industriali su larga scala che combina un'architettura efficiente basata su Vision Transformer con una strategia di formazione multistadio e l'integrazione di grandi modelli linguistici per ottenere prestazioni all'avanguardia nella comprensione di immagini e video.

L'essenziale

Immagina di dover insegnare a un bambino a riconoscere il mondo. Potresti dargli un libro di testo con 100 foto perfette di gatti e cani, oppure potresti portarlo in una città enorme, piena di milioni di persone, di cartelloni pubblicitari, di video su TikTok e di post su Instagram, dove tutto è un po' disordinato, rumoroso e pieno di sorprese.

Il paper che hai condiviso, "Xray-Visual", racconta proprio la storia di come i ricercatori di Meta abbiano scelto la seconda opzione: hanno insegnato a un'intelligenza artificiale guardando tutto Internet (o quasi), e hanno ottenuto risultati straordinari.

Ecco la spiegazione semplice, passo dopo passo, con qualche metafora per rendere tutto più chiaro.

1. Il Problema: Il "Bambino" che vede poco

Fino a poco tempo fa, i modelli per vedere immagini (come quelli che usano i telefoni per riconoscere i tuoi amici nelle foto) erano come studenti che avevano studiato solo su libri di testo perfetti. Erano bravi nei test scolastici (i "benchmark" accademici), ma quando uscivano nel mondo reale, con foto sfocate, luci strane o oggetti mai visti prima, si confondevano.
I modelli di testo (come ChatGPT) erano invece come bambini che avevano letto tutti i libri del mondo. Perché? Perché c'è molto più testo scritto che immagini etichettate correttamente. Xray-Visual vuole colmare questo divario.

2. La Soluzione: La "Cucina" di 100 Miliardi di Ingredienti

I ricercatori hanno preso un'enorme quantità di dati grezzi: 100 miliardi di immagini e video presi da Facebook e Instagram.
Immagina di avere un magazzino pieno di ingredienti, ma molti sono rovinati, hanno etichette sbagliate o sono solo pubblicità.

• La Pulizia (Data Curation): Hanno creato una "cucina" super sofisticata. Hanno buttato via le spazzature (link, emoji, testi senza senso) e hanno organizzato gli ingredienti.
• L'Equilibrio (Semantic Balancing): Se nel tuo magazzino hai 1 milione di foto di "gatti" e solo 10 di "rinoceronti", il bambino imparerà solo i gatti. Loro hanno usato un trucco intelligente: hanno preso meno foto di gatti e ne hanno cercate di più di rinoceronti, per assicurarsi che il modello imparasse anche le cose rare.
• La Sintesi: Hanno usato un altro AI (un "chef" virtuale) per riscrivere le didascalie delle foto, rendendole più descrittive e meno ripetitive, così il modello imparava parole nuove.

3. L'Architettura: Un "Super-Occhio" che non si stanca

Invece di costruire un occhio per le foto e un altro per i video, hanno creato un unico modello che fa tutto.

• Il Trucco dell'Efficienza (EViT): Guardare un'immagine ad altissima risoluzione è come leggere un libro con caratteri minuscoli: costa molta energia. Il modello Xray usa un trucco chiamato "Token Merging". Immagina di leggere un libro e saltare le parole che non servono (come "il", "e", "ma") per andare dritto al punto. In questo modo, il modello vede la stessa immagine ma usando solo un quarto dell'energia rispetto ai suoi concorrenti. È come guidare una Ferrari che consuma come una Fiat Panda.
• Il Cervello Linguistico (LLM2CLIP): Di solito, questi modelli usano un "dizionario" semplice per capire le parole. Xray-Visual invece usa un cervello linguistico avanzato (un modello come LLaMA) per leggere le didascalie. È come se invece di usare un dizionario da bambino, usassero un professore di letteratura per capire le sfumature di una frase. Questo rende il modello bravissimo a capire cosa c'è in una foto anche quando la descrizione è complessa.

4. L'Allenamento: Tre Fasi di Crescita

Non hanno buttato tutto insieme. Hanno usato un piano di allenamento in tre fasi, come un atleta:

1. Fase 1 (MAE - Il Gioco del "Trova l'Errore"): Hanno coperto il 75% delle immagini e hanno chiesto al modello di indovinare cosa c'era sotto. Questo lo ha reso bravo a capire la struttura delle cose senza bisogno di etichette.
2. Fase 2 (Hashtag - L'Etichettatura): Hanno usato gli hashtag di Instagram (che sono spesso più precisi delle didascalie scritte dagli utenti) per insegnargli a classificare gli oggetti.
3. Fase 3 (Contrasto - Il Gioco del "Trova la Coppia"): Hanno mostrato al modello coppie di "Foto + Testo" e gli hanno detto: "Queste due vanno insieme, queste no". Questo ha affinato la sua capacità di collegare ciò che vede a ciò che legge.

5. I Risultati: Il Campione del Mondo

Cosa hanno ottenuto?

• Precisione: Hanno battuto tutti i record su test classici (come ImageNet) e su video (Kinetics).
• Robustezza: Questo è il punto più importante. Mentre altri modelli fallivano quando guardavano foto reali, sfocate o strane (come disegni o foto con filtri), Xray-Visual è rimasto calmo e preciso. È come un calciatore che vince sia in un campo perfetto che sotto la pioggia battente.
• Realtà: Nei test interni di Meta (come trovare l'annuncio giusto per un video che hai appena guardato), Xray-Visual ha superato di gran lunga i modelli precedenti, dimostrando che funziona davvero nel mondo reale, non solo nei laboratori.

In Sintesi

Xray-Visual è come un detective che ha letto milioni di giornali, guardato miliardi di video e ha imparato a riconoscere il mondo non solo "a memoria", ma capendo il contesto. È più veloce, più intelligente e molto più resistente agli errori rispetto a tutto ciò che è stato fatto prima, tutto grazie all'uso intelligente di dati reali e a un'architettura che non spreca energia.

È la prova che, se dai a un'intelligenza artificiale abbastanza "cibo" (dati) di qualità e gli insegni a non farsi ingannare dal rumore, può diventare un vero esperto di visione.

Sommario tecnico

Panoramica del Problema

Nonostante i recenti progressi nell'intelligenza artificiale, i modelli di visione artificiale (Vision Models) rimangono indietro rispetto ai Large Language Models (LLM) in termini di scala dei dati e capacità di generalizzazione. Mentre i LLM beneficiano di enormi quantità di testo generato dall'uomo, la raccolta e la curatela di dati visivi su scala comparabile (miliardi di immagini e video) sono state storicamente difficili a causa del rumore, della mancanza di etichette semantiche precise e della distribuzione sbilanciata dei concetti visivi. Questo divario ha limitato la capacità dei modelli di visione di operare con robustezza in scenari reali e diversificati, spesso fallendo quando esposti a distribuzioni di dati fuori distribuzione (OOD) o a variazioni di dominio.

Metodologia

Il paper presenta Xray-Visual, un'architettura unificata per la comprensione di immagini e video addestrata su dati di social media su scala industriale (Facebook e Instagram). La metodologia si articola in tre pilastri principali:

1. Curatela dei Dati su Scala Industriale

• Dataset ViSE (Immagini): Un dataset di oltre 15 miliardi di coppie immagine-testo estratte da post pubblici. Il processo di curatela include la rimozione di rumore (URL, emoji, tag), la filtrazione per lingua e un bilanciamento semantico basato su WordNet per gestire la distribuzione a "coda lunga" (oversampling di concetti rari, undersampling di quelli frequenti).
• Dataset URU (Video): Un dataset di 10 miliardi di coppie video-hashtag derivati da 24 miliardi di post di Instagram. Gli hashtag vengono normalizzati e mappati su rappresentazioni canoniche per migliorare la coerenza semantica.
• Captioning Sintetico e Raffinamento: Utilizzo di un Multimodal Large Language Model (MMLLM) interno per generare didascalie sintetiche, successivamente raffinate tramite riscrittura basata su LLM (Llama 3B) per eliminare ripetizioni e migliorare la diversità lessicale.

2. Architettura del Modello

• Backbone Unificato: Il modello si basa su un Vision Transformer (ViT) con tokenizzazione 3D, permettendo l'elaborazione congiunta di immagini e video in un unico framework. Le immagini vengono ripetute lungo la dimensione temporale per adattarsi ai kernel 3D.
• Efficienza (EViT): Adozione dell'architettura EViT (Efficient Vision Transformer) che riorganizza i token, rimuovendo quelli "inattenti" (low attention) per ridurre il costo computazionale mantenendo alte risoluzioni di input.
• LLM come Text Encoder (LLM2CLIP): Sostituzione del classico encoder testuale CLIP con un LLM (Llama-1B). Per risolvere il problema della scarsa discriminatività degli output degli LLM, viene utilizzato un approccio di fine-tuning con LoRA e allineamento tramite SimCSE, migliorando drasticamente la comprensione semantica del testo.
• Componenti Aggiuntivi:
  • Register Tokens: Token aggiuntivi inseriti nella sequenza per catturare meglio le caratteristiche outlier, migliorando le prestazioni video.
  • Loss di Denoising: Un obiettivo di apprendimento aggiuntivo che aggiunge rumore gaussiano alle embedding e le ricostruisce, aumentando la robustezza e la scalabilità.

3. Pipeline di Addestramento a Tre Stadi

1. Pre-training Self-Supervised (MAE): Addestramento iniziale tramite Masked Autoencoding su patch mascherate di immagini e video (75% mascheramento per immagini, 90% per video).
2. Classificazione Hashtag Semi-Supervisionata: Fine-tuning su grandi dataset di hashtag per apprendere rappresentazioni robuste basate su oggetti (nouns).
3. Apprendimento Contrastivo (CLIP-style): Addestramento finale con coppie immagine/video-caption per allineare le rappresentazioni visive e testuali. In questa fase si utilizzano sia caption utente che caption sintetiche raffinate.

Contributi Chiave

1. Scala dei Dati senza Precedenti: L'addestramento su 26 miliardi di immagini e video (10 miliardi di ore di video), superando di gran lunga i dataset pubblici disponibili e i modelli "world models" precedenti (es. JEPA).
2. Efficienza Computazionale: Grazie all'uso di EViT e token merging, il modello raggiunge prestazioni SOTA utilizzando solo il 25% dei token (288 token) rispetto ai modelli concorrenti (es. PE, SigLIP che usano 1024 token) e a risoluzioni inferiori (336px vs 448px), ottenendo un aumento di 4x nel Queries Per Second (QPS).
3. Integrazione LLM2CLIP: Dimostrazione che l'uso di LLM come encoder testuali migliora significativamente le prestazioni di recupero (retrieval) in scenari reali, superando i limiti degli encoder testuali tradizionali.
4. Robustezza al Domain Shift: Il modello mostra una resistenza superiore ai cambiamenti di dominio e alle perturbazioni avversarie rispetto ai modelli addestrati su dataset accademici puliti.

Risultati Sperimentali

Il modello Xray-Visual ha stabilito nuovi record (State-of-the-Art - SOTA) su una vasta gamma di benchmark:

• Classificazione Immagini: 89.3% di accuratezza Top-1 su ImageNet (con 336px e 288 token), superando modelli come PE e SigLIP.
• Comprensione Video: 78.1% di accuratezza Top-1 su Kinetics-700 e 74.69% su HMDB51, superando di gran lunga i modelli basati solo su video o encoder precedenti.
• Recupero Cross-Modale: Risultati SOTA su MS-COCO e MSRVTT per il recupero immagine-testo e video-testo.
• Metriche Interni (Realtà Produttiva): In scenari reali di Meta (reel-to-ads, FB search), il modello supera i baseline di oltre il 10% in termini di AUC, dimostrando che l'addestramento su dati industriali rumorosi ma vasti è superiore all'addestramento su dataset accademici puliti per applicazioni reali.
• Robustezza: Miglioramenti significativi su dataset OOD come ObjectNet (+8.1%) e ImageNet-Adversarial (+15.5%).

Significatività

Il lavoro di Xray-Visual segna un punto di svolta nella ricerca sulla visione artificiale industriale. Dimostra che:

1. La scala dei dati (miliardi di campioni da social media) è un fattore critico quanto l'architettura per la generalizzazione.
2. L'uso di LLM come encoder testuali è fondamentale per colmare il divario semantico tra testo e visione in contesti complessi.
3. È possibile raggiungere efficienza estrema (riduzione dei token e risoluzione) senza sacrificare l'accuratezza, rendendo questi modelli fattibili per il deployment su larga scala.
4. Le metriche accademiche non sempre riflettono le prestazioni nel mondo reale; l'addestramento su dati "sporchi" ma diversificati è essenziale per la robustezza in produzione.

In sintesi, Xray-Visual stabilisce un nuovo paradigma per i modelli visivi scalabili, unificando efficienza computazionale, prestazioni SOTA e robustezza operativa attraverso un approccio di addestramento su dati industriali massivi.