💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

Questo articolo dimostra che la scomposizione del post-addestramento dei modelli visione-linguaggio in fasi distinte per la percezione visiva, il ragionamento visivo e il ragionamento testuale—in particolare dando priorità all'ottimizzazione della percezione tramite apprendimento per rinforzo—migliora significativamente sia l'accuratezza della percezione che quella del ragionamento, riducendo al contempo la necessità di tracce di ragionamento eccessive.

Autori originali: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Pubblicato 2026-05-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un problema matematico complesso, ma il problema è scritto su un foglio di carta con una macchia che copre un numero cruciale.

Se cerchi di "pensare" più intensamente alla matematica, otterrai solo una risposta più sicura, ma completamente errata. Potresti scrivere un saggio lungo e dettagliato che spiega perché la risposta è 50, quando il numero macchiato indicava in realtà che la risposta dovrebbe essere 5.

Questo è esattamente ciò che il documento "From Seeing to Thinking" sostiene stia accadendo con i modelli di intelligenza artificiale attuali che osservano immagini e cercano di ragionare su di esse (Modelli Linguistici-Visivi).

Ecco la spiegazione della loro scoperta e della soluzione, utilizzando analogie semplici:

Il Problema: L'IA "Sicura ma Sbagliata"

Il documento rileva che quando questi modelli di IA falliscono in compiti visivi (come la geometria o la lettura di un grafico), raramente è perché non riescono a fare i calcoli o la logica. È perché non riescono a "vedere" correttamente fin dall'inizio.

L'Analogia: Immagina un detective che cerca di risolvere un crimine. Se il detective identifica erroneamente la misura della scarpa del sospetto (Errore di Percezione), nessuna quantità di lavoro investigativo brillante (Ragionamento) risolverà il caso. Anzi, più il detective "pensa" alla misura sbagliata della scarpa, più scriverà un rapporto lungo e confuso che porterà alla conclusione errata.
La Scoperta: Gli autori hanno analizzato molti tentativi falliti dell'IA e hanno scoperto che l'87% degli errori iniziava con un semplice errore visivo (come leggere male un numero o confondere una forma). Una volta che l'IA commetteva quell'errore, "pensare più a lungo" non lo correggeva; faceva solo sì che l'IA si ostinasse nell'errore.

La Soluzione: Un Campo di Addestramento in Tre Fasi

Attualmente, la maggior parte dell'addestramento dell'IA mescola tutto insieme: insegna al modello a vedere, leggere e pensare contemporaneamente. Gli autori affermano che questo è come cercare di insegnare a qualcuno a guidare un'auto, riparare il motore e navigare su una mappa tutto nella stessa lezione. È troppo disordinato.

Invece, propongono un approccio di "Addestramento a Fasi", suddividendo il processo di apprendimento in tre fasi distinte:

Fase 1: Gli Occhi (Percezione Visiva)
- Obiettivo: Insegnare all'IA a descrivere accuratamente cosa c'è nell'immagine senza cercare di risolvere un problema ancora.
- Il Metodo: Hanno utilizzato un tipo speciale di addestramento chiamato RL (Apprendimento per Rinforzo). Pensa a questo come a un allenatore severo che dà un "pollice in su" all'IA solo se identifica correttamente un dettaglio (come "ci sono 7 lampioni") e un "pollice in giù" se indovina o allucina. Hanno scoperto che questo era molto meglio del vecchio metodo di mostrare semplicemente all'IA immagini con didascalie (SFT), che è come leggere un libro di fiabe senza essere testati sui dettagli.
Fase 2: Il Cervello (Ragionamento Testuale)
- Obiettivo: Insegnare all'IA come pensare logicamente usando le parole, ma senza alcuna immagine.
- L'Analogia: Questo è come insegnare a uno studente problemi matematici su una lavagna prima di darle un diagramma.
Fase 3: L'Integrazione (Ragionamento Visivo)
- Obiettivo: Ora che l'IA ha "buoni occhi" e un "cervello addestrato", insegnarle a combinarli per risolvere enigmi visivi.

Perché Questo Ordine è Importante

Il documento ha scoperto che l'ordine dell'addestramento è fondamentale.

Il Modo Giusto: Costruire prima gli occhi, poi il cervello, poi combinarli.
Il Modo Sbagliato: Se cerchi di insegnare all'IA a risolvere enigmi visivi complessi prima che abbia imparato a vedere chiaramente, si confonde. È come cercare di insegnare a un bambino a giocare a scacchi prima che sappia come si muovono i pezzi. Il documento ha dimostrato che invertire questo ordine rende l'IA peggiore sia nel vedere che nel pensare.

I Risultati: Più Intelligente e Più Veloce

Quando gli autori hanno addestrato i loro modelli utilizzando questo nuovo metodo "a Fasi", i risultati sono stati impressionanti:

Maggiore Accuratezza: I modelli sono diventati significativamente più bravi nei test di matematica visiva e di percezione del mondo reale.
Pensiero più Breve: Questa è la parte più sorprendente. Poiché i modelli avevano "buoni occhi", non avevano bisogno di "pensare" a lungo per ottenere la risposta giusta.
- L'Analogia: Un modello con occhi cattivi continua a rileggere il problema, a controllare l'immagine e a riscrivere i suoi pensieri perché è incerto. Un modello con occhi buoni vede la risposta immediatamente e scrive una soluzione breve e chiara.
- I Dati: I loro modelli hanno raggiunto un'accuratezza superiore dell'1,5% utilizzando il 20% in meno di "tempo di pensiero" (risposte testuali più brevi) rispetto ai modelli addestrati con il vecchio metodo misto.

Il Quadro Generale: Un Nuovo Modo di Imparare

Gli autori introducono anche un nuovo concetto chiamato "Curriculum delle Competenze".

Vecchio Modo: Addestrare l'IA su problemi facili, poi medi, poi difficili (basato sulla difficoltà).
Nuovo Modo: Addestrare l'IA su abilità specifiche in un ordine specifico (Percezione $\to$ Logica $\to$ Ragionamento).
La Magia: Hanno scoperto che questi due metodi funzionano meglio quando combinati. È come una scuola che organizza le classi per materia (Matematica, poi Scienze) e dispone le lezioni dal facile al difficile all'interno di quelle materie. Fare entrambe le cose ha dato all'IA i migliori risultati di tutti.

In sintesi: Per rendere l'IA migliore nel "pensare" alle immagini, dobbiamo prima assicurarci che possa effettivamente "vederle" correttamente. Separando queste competenze e addestrandole nel giusto ordine, otteniamo modelli non solo più intelligenti, ma anche più efficienti, evitando la trappola di pensare troppo a semplici errori visivi.

Riepilogo Tecnico: Dal Vedere al Pensare: Disaccoppiare Percezione e Ragionamento Migliora il Post-Addestramento dei Modelli Visivo-Linguistici

1. Enunciato del Problema

I recenti progressi nei Modelli Visivo-Linguistici (VLM) hanno posto un'enorme enfasi sul ragionamento a catena di pensiero (CoT) esteso, spesso guidato da tecniche di apprendimento per rinforzo (RL). Tuttavia, questo lavoro identifica un collo di bottiglia critico: le prestazioni su compiti visivi complessi (ad esempio, matematica visiva, geometria, comprensione di diagrammi) sono frequentemente limitate non dalle capacità di ragionamento, ma dalla percezione visiva.

Gli autori osservano che quando un VLM commette un errore iniziale nella percezione dei dettagli visivi (ad esempio, identificare erroneamente un angolo geometrico o il numero di oggetti), i passaggi di ragionamento successivi raramente correggono questo errore. Al contrario, il modello amplifica l'errore basandosi su assunzioni percettive errate, portando a tracce di ragionamento lunghe e contorte che non riescono a raggiungere la conclusione corretta. Al contrario, quando la percezione è accurata, il ragionamento tende a essere conciso e converge rapidamente. Il documento sostiene che i paradigmi attuali di post-addestramento, che spesso fondono dati di percezione e ragionamento o danno priorità al ragionamento, non riescono a colmare questa carenza fondamentale.

2. Metodologia

La soluzione proposta è un framework di post-addestramento a stadi che disaccoppia le capacità dei VLM in tre fasi distinte e sequenziali, ciascuna che utilizza dataset specializzati e strategie di addestramento:

2.1. Decomposizione delle Capacità

La pipeline di addestramento è divisa in tre fasi:

Percezione Visiva: Si concentra sul riconoscimento di dettagli visivi fini e relazioni spaziali senza richiedere ragionamenti multi-step.
Ragionamento Testuale: Si concentra sull'inferenza logica utilizzando input solo testuali.
Ragionamento Visivo: Si concentra su compiti multimodali complessi che richiedono sia una percezione accurata sia un ragionamento multi-step.

2.2. Sintesi e Curatela dei Dati

Dati di Percezione ( $D_{perc}$ ): Sintetizzati dal dataset DOCCI (didascalie di immagini a grana fine). Un LLM genera domande focalizzate sulla percezione basate sulle didascalie. Un meccanismo di filtraggio mantiene solo i campioni in cui il VLM di base non riesce a rispondere correttamente utilizzando solo l'immagine, ma ha successo quando gli viene fornita la didascalia. Questo isola i campioni in cui il limite è puramente percettivo.
Dati di Ragionamento Testuale ( $D_{text}$ ): Provenienti da ORZ-Math-13k, contenenti problemi matematici complessi risolvibili senza input visivi.
Dati di Ragionamento Visivo ( $D_{vis}$ ): Curati da diverse fonti open-source (CLEVR-Math, GeoQA170K, Math PUMA, ecc.), richiedono sia percezione sia ragionamento.

2.3. Strategie di Addestramento

Addestramento a Stadi: Il modello viene addestrato sequenzialmente ( $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ) utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
- Fase 1 (Percezione): Gli autori confrontano il Fine-Tuning Supervisionato (SFT) con l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Scoprono che l'RLVR è significativamente più efficace per la percezione, poiché penalizza le interpretazioni allucinate in modo più robusto rispetto all'SFT a livello di token.
- Fasi 2 e 3: Utilizzano GRPO per affinare le capacità di ragionamento.
Gestione del Codificatore Visivo: Nella fase di percezione, il codificatore visivo è attivo. Nelle fasi successive, le strategie variano (ad esempio, congelando il codificatore nelle fasi di ragionamento testuale), ma il principale motore del successo è l'ordine sequenziale dei dati.
Integrazione del Curriculum: Gli autori dimostrano che questa suddivisione basata sulle capacità è ortogonale ai curricula tradizionali basati sulla difficoltà. La combinazione di entrambi (ordinando i dati per difficoltà all'interno di ciascuna fase di capacità) produce guadagni additivi.

3. Contributi Chiave

Disaccoppiamento di Percezione e Ragionamento: Il documento stabilisce che la percezione visiva è una capacità distinta e fondamentale che deve essere consolidata prima di affinare il ragionamento visivo. Trattarle come un compito unitario porta a prestazioni subottimali.
Paradigma di Addestramento a Stadi: Gli autori propongono un ordine specifico di addestramento (Percezione $\rightarrow$ Ragionamento Testuale $\rightarrow$ Ragionamento Visivo) che supera costantemente l'addestramento fuso. Invertire questo ordine (addestrare il ragionamento prima della percezione) degrada le prestazioni.
RLVR per la Percezione: Il lavoro dimostra che l'RLVR è superiore all'SFT basato su didascalie per l'addestramento della percezione visiva, fornendo un segnale di addestramento più forte che riduce le allucinazioni.
Guadagni di Efficienza: I modelli addestrati con questo approccio raggiungono una maggiore accuratezza con tracce di ragionamento significativamente più brevi (20,8% più corte), indicando che una percezione accurata riduce la necessità di un eccessivo "pensare" per correggere errori iniziali.
Nuova Dimensione del Curriculum: Il documento introduce l'"apprendimento curriculare basato sulla dimensione delle capacità" come approccio complementare ai curricula basati sulla difficoltà, mostrando che la combinazione di entrambe le dimensioni produce ulteriori miglioramenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui backbones Qwen2.5-VL-7B e Qwen3-VL-8B, confrontando l'addestramento a stadi con l'addestramento fuso e varie baseline open-weight (ad esempio, OneThinker, GThinker).

Miglioramenti delle Prestazioni:
- Matematica Visiva: L'addestramento a stadi ha migliorato l'accuratezza su WeMath del 5,2% (Qwen2.5-VL-7B) e dell'1,5% (Qwen3-VL-8B) rispetto all'addestramento fuso. Su MathVista, il Qwen3-VL-8B a stadi ha raggiunto il 75,9%.
- Percezione: L'approccio ha migliorato l'accuratezza su RealWorldQA del 3,7% (Qwen3-VL-8B) e ha mantenuto alte prestazioni su A-OKVQA e POPE, evitando la "tassa percettiva" spesso osservata nell'addestramento basato solo sul ragionamento.
- Complessivo: Il Qwen3-VL-8B a stadi ha raggiunto una media complessiva record del 65,8%, superando il modello base e OneThinker-8B specializzato nel ragionamento.
Efficienza: I modelli a stadi hanno prodotto tracce di ragionamento 20,8% più corte rispetto ai modelli fusi, raggiungendo al contempo una maggiore accuratezza.
Analisi degli Errori: Utilizzando un giudice esterno (Claude-Haiku-4.5), gli autori hanno scoperto che l'addestramento a stadi ha ridotto il tasso di errori di percezione nelle tracce di ragionamento da 857 a 781 (su 3044 campioni) rispetto all'addestramento fuso.
Generalizzazione: I benefici dell'addestramento a stadi sono stati confermati su diverse architetture, inclusi InternVL3-8B e InternVL3.5-8B.

5. Significato e Affermazioni

Il documento afferma che il fattore limitante dominante per il ragionamento visivo nei VLM attuali è la percezione visiva, non la capacità di ragionamento in sé. Di conseguenza, un "pensare più lungo" non può compensare una percezione errata.

Il significato di questo lavoro risiede in:

Cambiamento di Paradigma: Passare dall'addestramento fuso verso un approccio a stadi disaccoppiato per capacità.
Insight Metodologico: Dimostrare che l'ordine dell'addestramento è importante; la percezione deve essere il supporto per il ragionamento.
Efficienza di Addestramento: Dimostrare che una migliore percezione porta a un ragionamento più efficiente (tracce più brevi), riducendo i costi computazionali.
Progettazione del Curriculum: Stabilire la suddivisione basata sulle capacità come una nuova dimensione ortogonale ai curricula basati sulla difficoltà, che può essere combinata per ottenere guadagni additivi.

Gli autori concludono che integrare dati specializzati sulla percezione con un paradigma di addestramento a stadi è essenziale per sviluppare VLM avanzati e generici in grado di risolvere in modo affidabile compiti visivi complessi.