Sintesi Tecnica: L'Arte dell'Interrogazione: La Coerenza Amplifica la Fattualità nel Ragionamento Spaziale

Definizione del Problema

I Large Reasoning Models (LRM) e i Vision-Language Models (VLM) mostrano deficienze significative nei compiti di ragionamento spaziale, come la determinazione della posizione relativa, l'ordinamento della profondità e il confronto delle dimensioni. I benchmark attuali indicano che questi modelli sottoperformano rispetto agli esseri umani del 30–40% e spesso falliscono nei compiti compositivi con un'accuratezza quasi casuale. Gli approcci esistenti tentano di colmare questo divario trattandolo come un deficit di conoscenza, affidandosi al Supervised Fine-Tuning (SFT) con dati etichettati provenienti da simulatori 3D sintetici o immagini reali annotate da cascate di modelli di visione (ad es., stimatori di profondità, detector). Tuttavia, questi metodi richiedono una supervisione ground-truth costosa e potrebbero non affrontare la causa radice: una mancanza di coerenza logica interna nel processo di ragionamento del modello.

Metodologia

Gli autori propongono che i LRM pre-addestrati possiedano già capacità latenti di ragionamento spaziale, ma manchino di allineamento con i principi geometrici fondamentali. Invece di ingerire nuova conoscenza fattuale, il paper introduce un framework di apprendimento per rinforzo (RL) auto-supervisionato che impone la coerenza logica sotto trasformazioni geometriche e semantiche.

1. Verificatori di Coerenza

L'innovazione principale è il verificatore di coerenza, una funzione di ricompensa che opera senza etichette ground-truth. Esso valuta se le risposte di un modello a un prompt $x$ e a un prompt aumentato $x' = T(x)$ soddisfano una relazione nota indotta dalla trasformazione $T$.

• Trasformazioni: Il framework applica trasformazioni d'immagine (ad es., flip orizzontali, ritagli che preservano gli oggetti) e trasformazioni testuali (ad es., scambio dell'ordine degli oggetti, negazione delle relazioni come "sinistra" $\to$ "destra").
• Invarianza vs. Equivarianza:
  • Invariante: Trasformazioni che preservano la risposta (ad es., ritaglio, jitter del colore). Le risposte del modello a $x$ e $x'$ devono coincidere.
  • Equivariante: Trasformazioni che invertono prevedibilmente la risposta (ad es, flip orizzontale per domande su "sinistra/destra"). Le risposte del modello devono differire.
• Segnale di Ricompensa: Il verificatore restituisce 1 se la coppia di risposte soddisfa la relazione attesa (corrispondenza o mancata corrispondenza) e 0 altrimenti. Questo fornisce un segnale di ricompensa auto-supervisionato derivato interamente dalla logica della trasformazione, non da etichette esterne.

2. OT-GRPO (Optimal Transport Group Relative Policy Optimization)

La standard Group Relative Policy Optimization (GRPO) assume ricompense scalari per le singole completazioni. Poiché i verificatori di coerenza valutano coppie di completazioni, gli autori introducono l'OT-GRPO, una variante di minimal-matching:

• Accoppiamento Avversariale: Invece di un accoppiamento casuale o della media (one-to-all), l'algoritmo risolve un problema di assegnazione lineare per trovare la permutazione $\sigma^*$ che minimizza il punteggio totale di coerenza tra l'insieme di completazioni dal prompt originale e quello dal prompt aumentato.
• Razionale: Questa strategia di "coerenza minima" forza il modello ad affrontare le sue incongruenze più difficili. Se un modello è veramente coerente, l'accoppiamento minimo produrrà comunque ricompense elevate; se è incoerente, l'accoppiamento avversariale espone questi fallimenti, impedendo al modello di manipolare il sistema attraverso allineamenti fortuiti.
• Ottimizzazione: Le coppie accoppiate ricevono un vantaggio condiviso e l'aggiornamento GRPO viene applicato sia alla completazione originale che a quella aumentata.

3. Configurazione dell'Addestramento

• Modelli: Fine-tuning di Qwen2.5-VL (3B e 7B parametri) utilizzando LoRA.
• Dataset: SUN RGB-D (indoor) e KITTI (outdoor) con annotazioni Omni3D.
• Compiti: Quattro compiti di ragionamento spaziale binario: Orientamento (sinistra/destra), Profondità (vicino/lontano), Dimensione (confronto volume) e Distanza Relativa.
• Formato: Il modello è istruito per utilizzare il Chain-of-Thought (CoT) all'interno di tag specifici, con una ricompensa di formato aggiuntiva per garantire l'aderenza strutturale.

Risultati Chiave

Il paper dimostra che l'approccio di addestramento basato sulla coerenza si avvicina alle prestazioni dell'addestramento supervisionato con ground-truth senza richiedere alcun dato etichettato.

1. Parità di Performance: Sul dataset SUN RGB-D, i modelli addestrati sulla coerenza hanno raggiunto un'accuratezza entro 2,3–2,7 punti percentuali dei modelli addestrati con etichette ground-truth in tutti e quattro i compiti. Per il modello da 7B, l'addestramento sulla coerenza ha raggiunto il 76,8% di accuratezza rispetto al 79,6% dei modelli addestrati sull'accuratezza.
2. Generalizzazione:
   • Cross-Task: L'addestramento su un compito spaziale (ad es, orientamento) ha migliorato le prestazioni su altri (ad es, profondità), con l'addestramento sulla coerenza che trasferisce le capacità quasi altrettanto efficacemente dell'addestramento sull'accuratezza.
   • Cross-Domain: I modelli addestrati su scene indoor (SUN RGB-D) si sono generalizzati bene alle scene outdoor (KITTI), con l'addestramento sulla coerenza che ha mostrato una degradazione minima rispetto ai baseline supervisionati.
3. Superiorità rispetto ai Baseline Auto-supervisionati: Il metodo proposto ha superato sette baseline auto-supervisionate esistenti, inclusi Visual Jigsaw e varianti SSL4RL, con margini significativi (fino a 20 punti percentuali rispetto ad alcune varianti di SSL4RL).
4. Robustezza alla Corruzione delle Etichette: Negli esperimenti in cui le etichette ground-truth sono state corrotte (invertite) con un rumore crescente, l'addestramento sulla coerenza (che non usa etichette) ha superato l'addestramento sull'accuratezza una volta che il rumore delle etichette ha superato il 10–20%. Ciò suggerisce che l'addestramento sulla coerenza è più robusto all'accumulo di errori inerente alle pipeline di annotazione automatizzata.
5. Estensione ai Compiti Numerici: Il framework è stato esteso con successo ai risultati numerici (conteggio e stima della distanza assoluta), dove l'addestramento sulla coerenza ha nuovamente seguito da vicino le prestazioni dei modelli addestrati sull'accuratezza.

Significato e Rivendicazioni

Il paper sostiene che l'imposizione della coerenza logica attraverso verificatori di coerenza sblocca le capacità di ragionamento spaziale latenti già presenti nei modelli pre-addestrati. I punti chiave sono:

• Efficienza Senza Etichette: Un ragionamento spaziale di alta qualità può essere ottenuto senza il costo e la complessità di generare annotazioni spaziali ground-truth.
• Meccanismo di Miglioramento: I risultati supportano la visione secondo cui l'RL con ricompense verificabili agisce come un filtro, selezionando e rinforzando pattern di ragionamento preesistenti che aderiscono alle leggi geometriche, piuttosto che creare capacità completamente nuove.
• Scalabilità: L'approccio è applicabile a diversi compiti e domini, suggerendo una via generale per migliorare i VLM in aree in cui i dati ground-truth sono scarsi o difficili da ottenere.

Gli autori concludono che l'addestramento sulla coerenza è un'alternativa valida e robusta al fine-tuning supervisionato per il ragionamento spaziale, offrendo una strada verso applicazioni di AI incarnata (embodied AI) e robotica più affidabili e generalizzabili.