CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

Il paper presenta CogFlow, un nuovo framework ispirato alla cognizione umana che risolve le difficoltà dei modelli linguistici multimodali nella risoluzione di problemi matematici visivi integrando percezione, interiorizzazione della conoscenza e ragionamento attraverso meccanismi di ricompensa sinergica e ottimizzazione strategica, supportato dal nuovo dataset MathCog.

L'essenziale

Immagina di dover risolvere un problema di matematica geometrica guardando un disegno. Per un essere umano, il processo è naturale: prima guardi il disegno, poi capisci cosa vedi (ad esempio, "quella linea è un diametro"), e infine ragioni per trovare la soluzione.

Il problema con le intelligenze artificiali attuali (i modelli linguistici multimodali) è che spesso saltano un passaggio cruciale. Vedono il disegno, ma poi "sognano a occhi aperti" mentre ragionano, inventando fatti che non esistono nel disegno o dimenticando dettagli importanti. È come se un detective guardasse una scena del crimine, ma poi iniziasse a scrivere la sua teoria basandosi su film che ha visto, ignorando le prove reali.

Il paper COGFLOW (presentato alla conferenza ICLR 2026) propone una soluzione intelligente ispirata a come funziona la mente umana. Ecco come funziona, spiegato con un'analogia semplice:

L'Analogia del "Cucina e Assaggia"

Immagina che risolvere un problema matematico visivo sia come preparare un piatto gourmet complesso.

1. Fase 1: La Percezione (Il Mercante di Spese)

   • Cosa fanno gli AI vecchi: Vanno al mercato, prendono gli ingredienti, ma spesso confondono il sale con lo zucchero o dimenticano le uova.
   • Cosa fa COGFLOW: Ha un "Mercante di Spese" super attento (chiamato Synergistic Visual Rewards). Questo non si limita a guardare gli ingredienti; li pesa, li misura e controlla che siano esattamente quelli giusti. Se il disegno dice che un cerchio ha un raggio di 5, il modello lo scrive esattamente come "Raggio = 5", senza errori.

2. Fase 2: L'Internalizzazione (Il Cuoco che Assaggia)

   • Il problema: Anche se hai gli ingredienti giusti, potresti iniziare a cucinare dimenticandoti che hai messo il sale, o pensando di aver aggiunto il pepe quando non l'hai fatto. Questo è il "Reasoning Drift" (la deriva del ragionamento).
   • La soluzione COGFLOW: Prima di accendere il fuoco, il modello deve fare un passo intermedio chiamato Internalizzazione. È come se il cuoco prendesse gli ingredienti misurati e li trasformasse mentalmente in una ricetta chiara: "Ok, ho il sale, ho lo zucchero, ora so che devo mescolarli in questo modo".
   • Il modello usa un "Assaggiatore" speciale (Knowledge Internalization Reward) che controlla: "Stai usando davvero gli ingredienti che hai misurato, o stai inventando cose?". Se il modello inizia a ragionare su cose che non sono nel disegno, l'Assaggiatore lo ferma e gli fa ricominciare.

3. Fase 3: Il Ragionamento (Il Servizio a Tavola)

   • Cosa fanno gli AI vecchi: Servono il piatto anche se sanno che è venuto male, sperando che il cliente non se ne accorga.
   • Cosa fa COGFLOW: Usa un "Portiere" (Visual Gate). Prima di servire la soluzione finale, il portiere controlla se il piatto è stato preparato seguendo la ricetta corretta. Se il ragionamento si è allontanato dagli ingredienti reali, il portiere dice: "No, riprova". Solo se il ragionamento è perfettamente allineato con ciò che è stato visto, il piatto viene servito.

Perché è importante?

Prima, le intelligenze artificiali erano bravissime a "parlare" ma spesso brutte a "vedere" e a collegare le due cose. COGFLOW risolve questo creando un ponte solido tra vedere e pensare.

• Non si fida ciecamente: Non accetta risposte che sembrano logiche ma sono basate su allucinazioni (cose inventate).
• È più preciso: Grazie a questo metodo a tre fasi (Vedi -> Capisci/Interno -> Ragiona), il modello sbaglia molto meno, specialmente nei problemi di geometria dove un piccolo errore di lettura del disegno porta a una soluzione sbagliata.
• Ha imparato da zero: Gli autori hanno creato un nuovo "libro di esercizi" (chiamato MATHCOG) con oltre 120.000 problemi, dove ogni passaggio è stato etichettato con cura per insegnare al modello a non saltare i passaggi.

In sintesi

COGFLOW è come un nuovo tipo di studente di matematica che non si fida della sua intuizione immediata. Prima di rispondere, si prende il tempo di:

1. Misurare tutto con precisione (Percezione).
2. Scrivere una lista di controllo mentale di ciò che ha misurato (Internalizzazione).
3. Usare solo quella lista per risolvere il problema, controllando continuamente di non aver inventato nulla (Ragionamento).

Il risultato? Un'intelligenza artificiale che risolve problemi visivi con una precisione e una logica molto più vicine a quelle umane, evitando di "allucinare" soluzioni che sembrano belle ma sono sbagliate.

Sommario tecnico

1. Il Problema: Il "Deriva del Ragionamento" (Reasoning Drift)

Nonostante i progressi nei Modelli Linguistici Multimodali (MLLM), questi continuano a fallire nella risoluzione di problemi matematici visivi complessi.

• Limiti degli approcci esistenti:
  • I metodi one-step (ragionamento diretto) tendono a commettere errori sia percettivi che logici.
  • I metodi decoupled (percezione e ragionamento separati) migliorano l'estrazione delle informazioni visive, ma spesso soffrono di un fenomeno chiamato Reasoning Drift (deriva del ragionamento).
• Il problema centrale: Anche quando le informazioni visive vengono estratte correttamente, i modelli spesso non le integrano fedelmente nella fase di ragionamento successiva. Il modello genera catene di ragionamento che sembrano coerenti logicamente ma che contraddicono le evidenze visive estratte (ad esempio, applicando teoremi errati o ignorando vincoli geometrici).
• L'osservazione chiave: La maggior parte dei lavori precedenti ignora se i segnali visivi estratti siano effettivamente e fedelmente utilizzati nel ragionamento successivo.

2. Metodologia: COGFLOW

COGFLOW è un framework ispirato alla cognizione umana che modella esplicitamente il flusso gerarchico del ragionamento in tre stadi: Percezione ⇒ Internalizzazione ⇒ Ragionamento. L'obiettivo è garantire che ogni stadio sia allineato con il successivo.

Il framework si basa su due fasi principali: Supervised Fine-Tuning (SFT) e Reinforcement Learning (RL), utilizzando un nuovo dataset chiamato MATHCOG.

Componenti Chiave del Framework:

A. Percezione Affidabile con Synergistic Visual Rewards (SynVRs)
Per migliorare l'estrazione delle informazioni visive, COGFLOW introduce un sistema di ricompensa sinergico che opera in due spazi:

1. Visual Parameterized Reward (VPR): Valuta la precisione geometrica locale. Converte le primitive visive (punti, linee, cerchi) in espressioni parametriche (es. equazioni di cerchi) e calcola la distanza euclidea nello spazio dei parametri tra l'output del modello e la verità fondamentale (Ground Truth), utilizzando l'algoritmo ungherese per l'abbinamento ottimale.
2. Visual Semantic Reward (VSR): Valuta la coerenza globale e lo stile. Rende l'output del modello in un'immagine e calcola la similarità coseno degli embedding semantici (usando FG-CLIP) rispetto all'immagine originale.

• Risultato: SynVRs assicurano sia la fedeltà geometrica locale che la coerenza percettiva globale.

B. Internalizzazione della Conoscenza con Knowledge Internalization Reward (IntlzR)
Questo è il cuore innovativo del paper. Lo stadio di "Internalizzazione" trasforma i segnali percettivi grezzi in rappresentazioni strutturate pronte per il ragionamento.

• Obiettivo: Prevenire la deriva del ragionamento assicurando che il modello non inventi fatti o applichi teoremi in modo errato rispetto a ciò che ha "visto".
• Meccanismo: Viene addestrato un modello di ricompensa (IntlzR) su coppie positive/negative. Le traiettorie negative sono generate inserendo sistematicamente 5 tipi di errori di internalizzazione (es. omissione di primitive, introduzione di fatti inesistenti, violazione di vincoli geometrici).
• Ottimizzazione: Utilizza Softmax-DPO per addestrare il modello a preferire traiettorie in cui le informazioni visive sono integrate fedelmente nel contesto di ragionamento.

C. Ottimizzazione della Politica con Visual-Gated Policy Optimization (VGPO)
Per stabilizzare il ragionamento multi-step, COGFLOW introduce una "porta visiva" (Visual Gate).

• Funzionamento: Prima di generare la catena di ragionamento, il modello genera multiple traiettorie percettive candidate. La porta visiva valuta la qualità di ciascuna traiettoria percettiva (usando SynVRs) e filtra quelle di bassa qualità.
• Selezione: Solo le traiettorie percettive che superano una soglia di qualità vengono passate alla fase di ragionamento. Se nessuna supera la soglia, il modello rigenera le traiettorie.
• Vantaggio: Questo meccanismo impedisce al modello di ragionare su percezioni errate, ancorando il processo di ragionamento all'accuratezza percettiva.

3. Contributi Chiave

1. Nuovo Framework Cognitivo: COGFLOW è il primo approccio a introdurre esplicitamente uno stadio di "Internalizzazione della Conoscenza" per colmare il divario tra percezione e ragionamento, simulando il flusso gerarchico umano.
2. Dataset MATHCOG: Creazione di un nuovo dataset con oltre 120.000 campioni ad alta qualità. Include annotazioni disaccoppiate per percezione (Watching), internalizzazione e ragionamento (Thinking), oltre a 50.000 traiettorie negative sintetiche per l'addestramento di IntlzR.
3. Meccanismi di Ricompensa e Ottimizzazione:
   • SynVRs: Per una percezione geometrica e semantica robusta.
   • IntlzR: Per rilevare e correggere la deriva del ragionamento.
   • VGPO: Per filtrare attivamente le percezioni errate prima del ragionamento.
4. Prestazioni Superiori: Il modello dimostra che un approccio strutturato supera i modelli chiusi (come GPT-4o, Claude-3.5) e i migliori modelli open-source, pur utilizzando una dimensione di modello più piccola (7B).

4. Risultati Sperimentali

I risultati sono stati valutati su benchmark standard come FlowVerse, MathVerse, MathVista, WeMath e DynaMath.

• FlowVerse: COGFLOW-7B raggiunge il 66.0% di accuratezza (vs 50.7% di VLM-R1-7B e 56.9% di GPT-4o).
• MathVerse: Raggiunge il 53.9% di accuratezza, superando significativamente i baselines open-source e avvicinandosi alle performance di modelli chiusi molto più grandi.
• MathVista: Raggiunge il 76.8% di accuratezza, superando modelli come GPT-4o (49.9%) e Claude-3.5-Sonnet (67.7%).
• Analisi degli Errori: L'analisi mostra che COGFLOW riduce drasticamente gli errori di percezione, gli errori di internalizzazione della conoscenza e gli errori di ragionamento rispetto ai metodi baselines. In particolare, la componente IntlzR riduce significativamente la "deriva del ragionamento".
• Scalabilità: Il framework funziona bene su diverse architetture (Qwen2.5, InternVL) e scale (da 2B a 8B), dimostrando generalizzazione.

5. Significato e Impatto

Il lavoro di COGFLOW segna un punto di svolta nella risoluzione di problemi matematici visivi per i MLLM.

• Cambio di Paradigma: Sposta l'attenzione dal semplice miglioramento della percezione visiva alla fedeltà dell'integrazione tra percezione e ragionamento.
• Interpretabilità: Introducendo stadi intermedi espliciti (Internalizzazione), il processo decisionale del modello diventa più trasparente e verificabile.
• Robustezza: La capacità di filtrare le percezioni errate tramite VGPO rende il sistema più robusto contro errori che altrimenti porterebbero a conclusioni sbagliate, anche se il ragionamento logico sembra corretto.
• Risorsa per la Comunità: La release del dataset MATHCOG e del codice fornisce una base solida per future ricerche sull'allineamento percezione-ragionamento.

In sintesi, COGFLOW dimostra che per risolvere problemi matematici visivi complessi, non basta "vedere" meglio; è necessario "interiorizzare" ciò che si vede in modo strutturato prima di "ragionare", un principio che imita il processo cognitivo umano e che i modelli attuali non avevano ancora implementato in modo efficace.