🤖 machine learning

Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

Il documento propone "Scaffolding Minds", un metodo che ottimizza il ragionamento multimodale introducendo un encoder di scaffolding dedicato per migliori rappresentazioni latenti del target nel fine-tuning supervisionato e apprendendo sia la media che la varianza per il campionatore dell'apprendimento per rinforzo al fine di consentire un'esplorazione efficace, superando così significativamente i baseline esistenti in vari compiti di ragionamento visivo.

Autori originali: Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

Pubblicato 2026-08-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'intelligenza artificiale ha lottato a lungo per vedere il mondo come fanno gli esseri umani. Quando un computer guarda un'immagine, può spesso identificare gli oggetti, ma frequentemente fallisce nel comprendere le relazioni tra di essi o nel ragionare attraverso un complesso enigma visivo. Per anni, i ricercatori hanno cercato di risolvere questo problema insegnando alle macchine a "pensare" ad alta voce, costringendole a scrivere una spiegazione passo dopo passa in forma testuale prima di fornire una risposta. Sebbene ciò aiuti, spesso costringe la macchina a tradurre informazioni visive ricche e dettagliate in parole goffe, perdendo nel processo molte sfumature importanti. Un approccio più recente tenta di risolvere questo problema permettendo alla macchina di mantenere i propri pensieri in un linguaggio interno e nascosto, un flusso continuo di dati che esiste solo all'interno del cervello del computer. Questo metodo, noto come ragionamento latente, consente al modello di conservare i dettagli visivi senza doverli descrivere in frasi. Tuttavia, anche questa tecnica avanzata si è scontrata con un muro: i pensieri interni generati dalla macchina sono spesso basati su strumenti generici e predefiniti che non sono stati progettati per il problema specifico, e la macchina fatica a esplorare diversi modi di pensare per trovare la soluzione migliore.

Un team di ricercatori di Google DeepMind e dell'Università della California, San Diego, ha sviluppato un nuovo framework chiamato Scaffolding Minds per superare questi ostacoli. Il loro lavoro si concentra su due fasi specifiche in cui questi sistemi di ragionamento interno tipicamente falliscono. Primo, durante la fase iniziale di apprendimento, la macchina viene solitamente istruita per imitare l'output di un encoder visivo standard e preconfezionato — uno strumento addestrato su milioni di immagini generiche per riconoscere gatti, auto e paesaggi. Il problema è che questo strumento generico non è ottimizzato per il compito di ragionamento specifico che la macchina sta cercando di risolvere. Potrebbe preservare dettagli visivi irrilevanti pur trascurando le prove cruciali necessarie per risolvere un enigma. Secondo, quando la macchina cerca di migliorare se stessa attraverso tentativi ed errori, i metodi esistenti spesso la costringono ad attenersi rigidamente a un singolo percorso di pensiero o permettono solo di regolare le risposte scritte, lasciando invariato il ragionamento visivo interno. Questo impedisce alla macchina di scoprire nuovi e migliori modi per risolvere il problema.

Per risolvere questo problema, i ricercatori hanno introdotto un sistema in due parti che agisce come una guida costruita su misura per i pensieri interni della macchina. Nella prima fase, invece di fare affidamento su uno strumento generico, hanno addestrato un "encoder di scaffolding" dedicato. Immaginate questo come un tutor specializzato che impara esattamente quali tipi di note interne siano più utili per il compito specifico, piuttosto che limitarsi a copiare un dizionario generale. Questo tutor prende un'immagine di supporto — un ausilio visivo fornito solo durante l'addestramento — e la converte in un insieme di token interni ottimizzati, perfettamente calibrati per la sfida di ragionamento. Una volta che la macchina impara a generare autonomamente queste note ottimizzate, il tutor viene scartato e la macchina è pronta per lavorare senza aiuto.

Nella seconda fase, i ricercatori hanno sostituito le regole rigide che di solito governano i pensoli interni della macchina con un campionatore flessibile basato sull'apprendimento. Invece di costringere la macchina a seguire un unico percorso predeterminato, questo nuovo metodo permette alla macchina di campionare diverse variazioni dei propri pensieri interni durante la pratica. Impara ad aggiustare la "media" e la "varianza" del proprio pensiero, esplorando efficacemente un intervallo più ampio di possibilità per vedere quale percorso interno conduca alla risposta corretta. Questa esplorazione è guidata da ricompense, incoraggiando la macchina a trovare la traiettoria di ragionamento più efficace piuttosto che accontentarsi della prima che trova.

I risultati di questo approccio sono stati testati su una serie di impegnativi compiti di ragionamento visivo, tra cui un gioco di pianificazione spaziale chiamato FrozenLake, dove un personaggio deve navigare in una griglia di ghiaccio e buchi per raggiungere un obiettivo. Sulla griglia standard 8x8, il nuovo metodo ha migliorato l'accuratezza della macchina del 9,5 percento rispetto ai precedenti tentativi più forti. Man mano che i puzzle diventavano più difficili, con griglie che si espandevano a 32x32, il vantaggio cresceva significativamente, con il nuovo sistema che superava i migliori metodi precedenti del 19 percento. I ricercatori hanno inoltre testato il sistema su altri nove benchmark di ragionamento visivo che richiedono osservazione e confronto minuziosi. In tutti questi test, il metodo ha migliorato costantemente le prestazioni, aumentando l'accuratezza media del 5,2 percento.

Lo studio ha esplicitamente escluso l'idea che generare nuove immagini durante il processo di ragionamento sia necessario per il successo. Altri metodi che cercano di disegnare immagini intermedie per aiutare la macchina a pensare spesso soffrono di alti costi computazionali e velocità ridotte. L'approccio Scaffolding Minds ha ottenuto risultati superiori senza generare alcuna immagine aggiuntiva, dimostrando che ottimizzare la rappresentazione interna e nascosta dei dati visivi è più efficace che creare passaggi intermedi visibili. I ricercatori hanno scoperto che i due miglioramenti — il tutor addestrato su misura per le note interne e l'esplorazione flessibile di tali note — funzionano meglio se utilizzati insieme. Senza il tutor personalizzato, l'esplorazione flessibile non poteva raggiungere il suo pieno potenziale, e senza l'esplorazione, il tutor personalizzato non poteva perfezionare il proprio percorso verso la soluzione migliore.

Questo lavoro suggerisce che la qualità del bersaglio interno che la macchina mira a raggiungere è importante quanto il metodo che utilizza per arrivarci. Insegnando alla macchina di generare le proprie note interne ottimizzate e permettendole poi di esplorare diverse variazioni di tali note, i ricercatori hanno creato un sistema in grado di ragionare attraverso problemi visivi complessi con maggiore precisione e affidabilità. I risultati indicano che i futi progressi nel ragionamento visivo potrebbero dipendere meno dal far "vedere" di più alle macchine o dal farle "parlare" meglio, e più dall'insegnare loro come strutturare i propri pensieri interni e nascosti in modo che siano perfettamente allineati con il compito specifico.

Riepilogo Tecnico: Scaffolding Minds

Problema

Il ragionamento visivo latente è emerso come una soluzione convincente per il ragionamento multimodale, consentendo ai modelli vision-language (VLM) di "pensare" sia in termini testuali che visivi, intercalando token latenti continui nella catena di ragionamento. Gli attuali metodi seguono tipicamente un paradigma di addestramento in due fasi: (1) Supervised Fine-Tuning (SFT), in cui un "immagine di supporto" (helper image) viene codificata in token latenti utilizzando un encoder visivo predefinito e congelato per fungere da target; e (2) Reinforcement Learning (RL), dove il modello viene perfezionato tramite feedback di ricompensa.

Gli autori identificano due criticità fondamentali in questo framework esistente:

Target SFT Subottimali: I target latenti nella fase di SFT derivano da encoder visivi generalisti e congelati. Questi encoder non sono ottimizzati per il compito di ragionamento specifico a valle, spesso preservando contenuti percettivi irrilevanti per il compito mentre non riescono a enfatizzare l'evidenza intermedia necessaria per il ragionamento. Di conseguenza, il modello viene supervisionato verso un target conveniente ma subottimale.
Esplorazione RL Limitata: Gli attuali metodi di RL ignorano il blocco latente o applicano una regolarizzazione deterministica (ad esempio, vincoli gaussiani a varianza fissa). Questi approcci non campionano azioni latenti alternative, impedendo così l'esplorazione di diverse traiettorie di ragionamento latente. Questa mancanza di esplorazione porta a guadagni di prestazioni ridotti o instabili.

Metodologia: Scaffolding Minds

Il paper propone Scaffolding Minds, un framework in due fasi progettato per affrontare queste limitazioni ottimizzando sia la rappresentazione del target latente che il meccanismo di esplorazione.

Fase 1: SFT tramite Scaffolding Encoder

Invece di affidarsi a un encoder predefinito e congelato, gli autori introducono un Scaffolding Encoder ( $\psi$ ) apprendibile.

Fase di Scaffolding (Scaffolding Phase): Un encoder dedicato viene addestrato end-to-end per mappare l'immagine di supporto $h$ in un target di blocco latente $z^*$ . Questo encoder è ottimizzato direttamente attraverso la perdita del compito a valle (cross-entropy sui token della risposta) mentre il VLM di base rimane congelato. Ciò garantisce che $z^*$ catturi esattamente le caratteristiche sensibili al ragionamento di cui il VLM ha bisogno.
Fase di Generazione (Generation Phase): Il VLM di base viene sottoposto a fine-tuning per generare il proprio blocco latente $z$ partendo solo dall'input $x$ , supervisionato da una perdita di matching $L_2$ rispetto al target congelato $z^*$ . L'immagine di supporto viene scartata durante l'inferenza.
Architettura: Lo scaffolding encoder consiste in una copia addestinabile dell'encoder visivo del VLM seguita da un modulo di pooling cross-attention.

Fase 2: Scaffolding RL

Per abilitare l'esplorazione nello spazio latente, gli autori sostituiscono la regolarizzazione deterministica con lo Scaffolding RL, che impiega una politica gaussiana esplicita e adattiva all'input su azioni latenti residue.

Campionamento dell'Azione Residua (Residual Action Sampling): Il modello genera un prior latente di base $z_\theta$ . Due teste MLP leggere predicono una media $\mu(z_\theta)$ e una varianza $\sigma^2(z_\theta)$ adattive all'input per una distribuzione gaussiana.
Esplorazione: Durante il rollout, il modello campiona un aggiustamento residuo $\Delta z \sim \mathcal{N}(\mu, \sigma^2)$ e lo applica al prior ( $z_\theta + \Delta z$ ). Questa azione campionata viene valutata sotto entrambe le politiche corrente e precedente per calcolare un vantaggio guidato dalla ricompensa.
Stabilità: La testa della media è inizializzata a zero per centrare la distribuzione iniziale sul prior, mentre la testa della varianza parte da valori positivi piccoli per garantire un'esplorazione iniziale stabile.

Contributi Chiave

Target Latenti Ottimizzati: Il paper introduce uno scaffolding encoder che apprende i target latenti end-to-end attraverso il compito a valle, allontanandosi dai feature subottimali degli encoder congelati dei lavori precedenti.
Esplorazione Latente Stocastica: Propone lo Scaffolding RL, che sostituisce la regolarizzazione deterministica con una politica gaussiana appresa che campiona azioni latenti residue, permettendo l'esplorazione diretta di traiettorie di ragionamento alternative.
Complementarità: Gli autori dimostrano che il target ottimizzato (Fase 1) e il meccanismo di esplorazione (Fase 2) sono complementari; lo scaffolding encoder fornisce un punto di partenza ad alta accuratezza, mentre lo Scaffolding RL perfeziona questo target attraverso l'esplorazione guidata dalla ricompensa.

Risultati Sperimentali

Il metodo è stato valutato su FrozenLake (pianificazione spaziale) e nove benchmark di ragionamento incentrati sulla visione.

FrozenLake (Pianificazione Spaziale):
- Scaffolding Minds ha migliorato il più forte baseline latente precedente (VaLR) di +9,5% in media su dimensioni di griglia da 8×8 a 32×32.
- Il divario di prestazioni si è ampliato con la difficoltà del compito, raggiungendo un +19% sulle griglie 32×32 più impegnative.
- Rispetto al baseline SFT, il metodo completo ha ottenuto un miglioramento assoluto del +23,0%.
- Gli studi di ablazione hanno confermato che l'ottimizzazione del target (tuning dell'encoder visivo) ha guidato la maggior parte dei guadagni (+10,0% rispetto al semplice cambio di obiettivo), e che il campionamento di aggiustamenti appresi in RL era essenziale per guadagni stabili (+3,0% rispetto ai metodi deterministici).
Benchmark di Ragionamento Visivo-Centrico:
- Attraverso nove benchmark (inclusi V★, BLINK, MMVP, CV-Bench, ecc.), il metodo ha ottenuto un aumento medio di accuratezza del +5,2% rispetto al più forte baseline latente precedente.
- I guadagni sono stati più pronunciati nei compiti che richiedono distinzioni spaziali e visive fini (ad esempio, +20,7% su MMVP, +17,6% su MME-RealWorld-Lite).
- Il metodo ha superato i sistemi "think-with-image" che generano immagini intermedie esplicite, ottenendo risultati solidi con costi di inferenza vicini a quelli del VLM base.
Efficienza:
- Il metodo aggiunge solo il 4,6% di overhead di latenza di inferenza rispetto al VLM base, significativamente inferiore ai metodi di generazione di immagini che comportano un overhead >100%.

Significato e Rivendicazioni

Il paper sostiene che Scaffolding Minds dimostra che la qualità del target latente e l'esplorazione diretta nello spazio latente sono entrambi critici per un efficace ragionamento visivo latente. Trattando il target latente come un componente ottimizzato del sistema piuttosto che come una feature fissa, e abilitando l'esplorazione stocastica delle traiettorie latenti, il metodo ottiene guadagni sostanziali rispetto ai solidi baseline senza il costo computazionale della generazione di immagini intermedie. Gli autori posizionano questo lavoro come un passo verso un ragionamento multimodale più efficiente e capace, mostrando che la generazione esplicita di immagini non è strettamente necessaria se lo spazio latente stesso è opportunamente ottimizzato ed esplorato.

Il paper riconosce le limitazioni, notando che l'approccio dipende ancora dalla disponibilità di immagini di supporto intermedie durante l'addestramento, e che la proposta automatica di tali immagini per nuovi domini rimane una questione aperta per il lavoro futuro.