Riepilogo Tecnico: Pretraining Visivo Scalabile per l'Intelligenza Linguistica

Problema

Gli attuali modelli di base di grandi dimensioni si affidano prevalentemente al pretraining con massicci corpora testuali. Questo paradigma opera sull'assunto implicito che tutta la conoscenza apprendibile possa essere codificata senza perdite come una sequenza lineare di token testuali. Tuttavia, questo approccio scarta intrinsecamente le ricche informazioni visive presenti nei documenti scientifici, come figure, equazioni tipografiche, tabelle e layout spaziali a livello di pagina. Convertire queste fonti visive in testo semplice tramite parsing (ad esempio, estrazione HTML/LaTeX o OCR) è un processo con perdita che elimina vincoli geometrici, topologie simboliche e corrispondenze strutturali essenziali per il ragionamento scientifico. I modelli multimodali esistenti spesso trattano gli input visivi solo come contesto di condizionamento per la predizione del testo, piuttosto che integrarli profondamente nell'obiettivo di apprendimento predittivo.

Metodologia: Pretraining Visivo (VP)

Gli autori propongono il Visual Pretraining (VP), un framework in cui un modello di base apprende direttamente da documenti visivi grezzi senza estrazione di testo o supervisione di accoppiamento immagine-testo.

Architettura Core e Addestramento

• Rappresentazione dell'Input: Le pagine dei documenti scientifici grezzi vengono renderizzate come immagini. Una "vision tower" congelata codifica queste immagini in feature visive.
• Estrazione Sparsa del Foreground: Per migliorare l'efficienza, le regioni di sfondo vuote (margini, spazi bianchi) vengono filtrate utilizzando statistiche a livello di patch (varianza dei pixel, luminanza). Le patch di foreground rimanenti vengono ordinate secondo un ordine di scansione raster per formare una sequenza visiva sparsa.
• Proiezione e Predizione: Le feature visive sparse sono proiettate nello spazio nascosto dell'LLM tramite una proiezione lineare apprendibile. Il modello viene addestrato utilizzando un obiettivo di predizione autoregressiva del prossimo latente visivo (next-visual-latent prediction).
  • A differenza della standard predizione del next-token che mira a discreti token testuali, il VP mira a latenti visivi continui.
  • La funzione di perdita utilizza una perdita contrastiva in-batch (InfoNCE) per predire il prossimo latente visivo di foreground $z_{t+1}$ dato lo stato corrente, distinguendolo dalle altre patch nel batch.
• Addestramento Congiunto: L'obiettivo finale combina la standard predizione del next-token testuale ($\mathcal{L}_{CE}$) con la perdita di predizione del latente visivo ($\mathcal{L}_{VP}$), intercalate secondo un rapporto fisso. La vision encoder rimane congelata; vengono aggiornati solo l'LLM, il modulo di proiezione visiva e la testa di predizione.

Setup Sperimentale

Lo studio impiega un confronto strettamente controllato tra VP e Text Pretraining (TP):

• Corpus: Entrambi i metodi utilizzano lo stesso identico corpus di PDF scientifici sottostante.
• Differenza di Rappresentazione:
  • TP: I PDF sono analizzati in testo semplice (usando MinerU2.5), risultando in circa 80B di token testuali.
  • VP: I PDF sono renderizzati come immagini e convertiti in token visivi sparsi, risultando in circa 20B di token visivi.
• Backbone: Gli esperimenti sono condotti su molteplici architetture, tra cui Qwen3.5, Qwen3, Llama 3.2 Vision e Llama 3.1.
• Valutazione: Tutti i checkpoint subiscono un identico Supervised Fine-Tuning (SFT) prima della valutazione su benchmark di ragionamento scientifico e multimodali.

Contributi Chiave

1. Dimostrazione della Perdita di Informazione nel Pretraining Solo-Testo: Il paper fornisce prove empiriche che ridurre documenti visivi a testo semplice comporta una sostanziale perdita di informazioni, e che il pretraining visivo recupera questa informazione scartata.
2. Framework di Pretraining Visivo Autoregressivo: Gli autori introducono un metodo per addestrare modelli di base a predire patch di documenti nello spazio latente, integrando profondamente i latenti visivi nel processo predittivo senza richiedere dati accoppiati immagine-testo.
3. Alternativa Scalabile al Pretraining Solo-Testo: Attraverso studi empirici unificati su architetture e benchmark, il lavoro stabilisce il VP come un'alternativa efficace, efficiente e scalabile al tradizionale pretraining solo-testo.

Risultati

1. Efficacia nel Ragionamento Scientifico

Il VP supera costantemente il TP nei benchmark di ragionamento scientifico (MMLU-Pro, GPQA, AIME-25, HLE) sia nei modelli nativi multimodali che in quelli puramente linguistici.

• Guadagni di Performance: Su backbone Qwen 3.5, il VP ha migliorato i punteggi GPQA Diamond da 76.24 a 79.29 (+3.05) e MMLU-Pro da 83.91 a 85.09.
• Indipendenza dall'Architettura: I miglioramenti sono stati osservati in tutti i backbone testati, indicando che il beneficio non è legato a una specifica architettura.
• Ragionamento vs Conoscenza: I guadagni sono più pronunciati nei benchmark che richiedono la conoscenza di figure geometriche e schemi (GPQA, MMLU-Pro), mentre i miglioramenti su HLE (focalizzato sul ragionamento multi-step complesso) sono stati marginali, suggerendo che il VP recupera specificamente la conoscenza visivo-strutturale.

2. Scalabilità ed Efficienza

• Efficienza dei Token: Il VP raggiunge una performance downstream superiore consumando solo il 25% del budget di token rispetto al TP (20B token visivi vs 80B token testuali per lo stesso corpus).
• Leggi di Scaling (Scaling Laws): Man mano che l'addestramento procede, il VP mostra guadagni normalizzati in costante aumento rispetto al TP (ad esempio, 2.88× su AIME-25).
• Densità Strutturale: Il vantaggio del VP correla fortemente con la densità della struttura visiva. Nelle pagine ricche di figure, equazioni e tabelle, il VP supera significativamente il TP, mentre su pagine dominate dal testo, le performance sono comparabili.

3. Allineamento Cross-Modale e Trasferimento

Nonostante sia stato addestrato su documenti grezzi non etichettati senza esplicito accoppiamento immagine-testo:

• Allineamento: Il VP migliora significativamente l'allineamento cross-modale. La separazione dei centroidi tra gli embedding visivi e testuali scende da 1.665 a 0.661, e la similarità del coseno sale da 0.631 a 0.907.
• Benchmark Multimodali: I modelli VP superano sia i modelli base che quelli TP nei benchmark multimodali (MMMU-Pro, ChartQAPro, MathVista). Notevolmente, il TP a volte regredisce su benchmark visivamente pesanti (es. ChartQAPro), mentre il VP produce guadagni sostanziali (es. +5.4 su ChartQAPro).
• Meccanismo: L'analisi delle mappe di attenzione rivela che il ragionamento visivo nel VP presta attenzione alle stesse evidenze semantiche (vincoli, passaggi di calcolo) del ragionamento testuale, suggerendo che il modello impara a estrarre indizi visivi rilevanti per il ragionamento.

Significato e Claim

Il paper sostiene che il Visual Pretraining sia una via scalabile per apprendere sia l'intelligenza linguistica che quella visiva. Esso sfida l'assunto predefinito che i modelli di linguaggio debbano essere addestrati su rappresentazioni solo-testo.

• Complementare, Non Sostitutivo: Gli autori posizionano il VP non come un sostituto del pretraining testuale, ma come un obiettivo complementare che permette ai modelli di mantenere l'esposizione al testo pur apprendendo dalla forma visiva nativa dei documenti scientifici.
• Efficienza: Il framework dimosta che i modelli di base possono essere addestrati su corpora visivi altamente compressi (25% del conteggio dei token) per raggiungere o superare le performance dei modelli pre-addestrati su testo.
• Direzioni Future: Il lavoro suggerisce che la predizione del latente visivo potrebbe servire come un obiettivo di pretraining efficace per corpora visivi ad alta densità (grafici, formule, layout) e apre la strada verso l'addestramento di modelli di base principalmente su flussi visivi su larga scala con un leggero allineamento testuale.

Gli autori mantengono un tono modesto, notando che il loro approccio è basato sul pretraining testuale e che i guadagni dovrebbero essere visti come prova che il pretraining visivo completa ed estende le capacità dei modelli di base, piuttosto che operare come un regime di pretraining visivo completamente indipendente. Riconoscono anche che la trasferibilità a corpora visivi più ampi (es. immagini naturali o video) rimane una questione aperta.