State Beyond Appearance: Diagnosing and Improving State Consistency in Dial-Based Measurement Reading

1. Definizione del Problema

Il paper affronta una debolezza critica negli attuali Modelli Linguistici Multimodali su Grande Scala (MLLM): la loro incapacità di leggere in modo affidabile le misure basate su quadranti (ad esempio, orologi analogici, indicatori a lancetta, contatori industriali).

• Il Problema Centrale: Sebbene gli MLLM eccellano nel riconoscimento semantico generale, falliscono nel recupero dello stato fisico fine. Si affidano pesantemente a segnali superficiali di aspetto (illuminazione, texture, punto di vista) piuttosto che allo stato fisico sottostante (il valore effettivo indicato dalla lancetta).
• Inconsistenza dello Stato: Gli autori identificano che gli MLLM mancano di coerenza dello stato.
  • Fallimento dell'Invarianza: Lo stesso stato fisico (ad esempio, le 9:46) produce previsioni diverse quando cambiano il punto di vista o l'illuminazione.
  • Fallimento della Sensibilità: Stati vicini (ad esempio, 9:45 vs 9:46) che appaiono visivamente simili sono spesso indistinguibili per il modello, portando a grandi errori.
• Causa Radice: Lo spazio delle caratteristiche degli MLLM esistenti è organizzato in base all'aspetto piuttosto che alla struttura geometrica continua dello stato del quadrante. Ciò causa prestazioni fragili sotto le variazioni del mondo reale.

2. Metodologia: Framework TriSCA

Per risolvere il problema, gli autori propongono TriSCA, un framework di Allineamento Coerente dello Stato a Tre Livelli. L'approccio si basa su una pipeline di sintesi dati controllata (separando lo stato dall'aspetto) e tre fasi di training distinte:

A. Pipeline di Sintesi Dati

Gli autori hanno creato una pipeline di generazione di dati sintetici utilizzando Blender ed esecuzione di codice per produrre dataset controllati per orologi e indicatori.

• Fattorizzazione: Ogni campione è scomposto in uno Stato del Quadrante ($s$) (il valore reale) e una Condizione di Aspetto ($a$) (punto di vista, illuminazione, sfocatura).
• Relazioni Diagnostiche: Ciò permette la creazione di:
  1. Coppie Stesso-Stato: Identico $s$, $a$ variabile (per testare l'invarianza).
  2. Coppie Stato-Vicino: $s$ leggermente diverso, $a$ simile (per testare la discriminazione fine).

B. Framework di Training a Tre Fasi

Fase 1: Allineamento delle Rappresentazioni Consapevole della Distanza di Stato

• Obiettivo: Rimodellare lo spazio delle caratteristiche visive per riflettere la geometria dello stato fisico.
• Meccanismo: Congela il modello linguistico e aggiorna la torre visiva utilizzando una funzione di perdita tripletto contrastiva.
  • Ancora ($a$) e Positivo ($p$) condividono lo stesso stato ma hanno aspetti diversi.
  • Negativo ($n$) ha uno stato diverso.
  • Margine ($m_i$): Il margine di perdita è dinamico, basato sul "divario di stato" tra l'ancora e il negativo. Differenze di stato più grandi impongono distanze maggiori nello spazio delle caratteristiche.
• Risultato: Costringe i campioni dello stesso stato a raggrupparsi strettamente attraverso le condizioni e separa gli stati vicini in base alla loro differenza fisica.

Fase 2: Ragionamento Osservazione-Stato Basato su Metadati

• Obiettivo: Impedire al modello di saltare a una risposta olistica; forzare un processo di ragionamento fondato.
• Meccanismo: Fine-Tuning Supervisionato (SFT) con passaggi intermedi strutturati. Il modello viene addestrato a produrre una catena di pensiero che esplicitamente:
  1. Identifica l'indicatore (la lancetta).
  2. Stimava la sua posizione rispetto al quadrante.
  3. Mappa questa posizione alla scala calibrata.
  4. Deriva lo stato finale.
• Risultato: Il modello impara a fondare la sua previsione sull'evidenza visiva piuttosto che su scorciatoie di aspetto.

Fase 3: Allineamento degli Obiettivi Consapevole dello Stato

• Obiettivo: Affinare il segnale di ottimizzazione per adattarsi alla natura continua dei valori del quadrante.
• Meccanismo: Sostituisce le ricompense standard discrete "Corrispondenza Esatta" con una ricompensa continua della distanza di stato.
  • Utilizza una funzione di ricompensa Gaussiana: $r_{state} = \exp(-d_{state}^2 / 2\sigma^2)$, dove $d_{state}$ è l'errore tra i valori previsti e quelli reali.
  • Ottimizzato tramite Ottimizzazione della Politica Relativa di Gruppo (GRPO), che campiona più output e normalizza le ricompense all'interno del gruppo.
• Risultato: Il modello viene penalizzato meno per essere "vicino" alla risposta e più per essere lontano, incoraggiando una stima continua precisa.

3. Contributi Chiave

1. Diagnosi della Coerenza dello Stato: Il paper definisce e diagnostica formalmente la "coerenza dello stato" come la capacità mancante negli MLLM per la lettura dei quadranti. Fornisce prove (tramite sondaggio dello spazio delle caratteristiche) che i modelli attuali organizzano le caratteristiche in base all'aspetto, non allo stato.
2. Benchmark Controllati: Introduzione di una pipeline di sintesi che disaccoppia lo stato dall'aspetto, consentendo test rigorosi di invarianza e sensibilità che i dataset del mondo reale non possono fornire.
3. Framework TriSCA: Un metodo di training unificato a tre fasi che allinea rappresentazioni, ragionamento e obiettivi con la geometria intrinseca dei compiti sui quadranti.
4. Validazione Empirica: Dimostrato miglioramenti significativi nella robustezza rispetto a spostamenti di punto di vista/illuminazione e trasferibilità ai benchmark del mondo reale.

4. Risultati Sperimentali

Gli autori hanno valutato TriSCA su benchmark sintetici controllati (Orologi e Indicatori) e sul MeasureBench esterno.

• Robustezza agli Spostamenti di Aspetto:
  • I modelli di base (ad esempio, Qwen3-VL, Molmo) hanno subito cali netti di accuratezza (ad esempio, da ~5% a ~2%) sotto cambiamenti di punto di vista/illuminazione.
  • TriSCA ha mantenuto un'alta accuratezza, mostrando un degrado significativamente più lento all'aumentare della gravità delle perturbazioni.
• Metriche di Prestazione:
  • Benchmark Controllati: TriSCA ha raggiunto un'accuratezza del 37,4% sugli orologi (vs 5,1% baseline) e del 26,2% sugli indicatori (vs 1,7% baseline) nella condizione più difficile "Combinata".
  • Analisi dello Spazio delle Caratteristiche: Dopo l'allineamento, il Recall@1 per il recupero dello stesso stato è migliorato dal 77,33% al 90,00%, e il Punteggio Silhouette (qualità del cluster) è migliorato da 0,07 a 0,34, confermando una migliore organizzazione dello stato.
  • Generalizzazione nel Mondo Reale (MeasureBench): Sulla categoria "Dial" di MeasureBench, TriSCA ha migliorato l'accuratezza del modello open-source del +16,5% (Mondo Reale) e del +3,0% (Sintetico) rispetto al modello base, mentre le prestazioni su categorie non correlate sono rimaste stabili.
• Precisione Continua: TriSCA ha ridotto significativamente l'Errore Assoluto Medio (MAE), dimostrando che anche quando le corrispondenze esatte falliscono, le previsioni sono molto più vicine al valore reale.

5. Significato

• Oltre l'Accuratezza: Il paper sposta il focus dal semplice "ottenere la risposta giusta" al comprendere come il modello rappresenta il mondo. Sostiene che per i compiti fisici, la geometria interna dello spazio delle caratteristiche deve corrispondere alla geometria fisica del compito.
• Generalizzabilità: Sebbene focalizzato sui quadranti, la metodologia (allineamento coerente dello stato) offre una guida per migliorare gli MLLM in qualsiasi compito che richieda una stima precisa dello stato fisico (ad esempio, scale lineari, display compositi).
• Impatto Pratico: I risultati suggeriscono che la lettura automatica affidabile dei contatori, l'ispezione robotica e il monitoraggio critico per la sicurezza sono realizzabili con gli MLLM se addestrati con allineamento coerente dello stato piuttosto che con il semplice fine-tuning supervisionato standard.