Sintesi Tecnica: CoCoEvolve

Problematica

Il documento affronta le sfide fondamentali della comprensione cross-rappresentazione attraverso tre modalità: immagini di grafici ($V$), dati tabulari ($T$) e codice di visualizzazione ($C$). Gli attuali sistemi di IA faticano in questo compito a causa di tre colli di bottiglia primari:

1. Ambiguità intrinseca uno-a-molti: Una singola immagine di un grafico può corrispondere a molteplici rappresentazioni tabulari valide e a molteplici programmi di rendering validi. I benchmark esistenti spesso assumono verità fondamentali (ground truth) uno-a-uno non vincolate, il che è mal definito e non riesce a catturare la naturale ridondanza e ambiguità di queste mappature.
2. Ambiguità di supervisione e costi: Etichettare accuratamente l'ampio spazio di potenziali corrispondenze è proibitivamente costoso, portando a una scarsità di annotazioni di alta qualità e ben fondate.
3. Mancanza di segnali di ottimizzazione fondati: I metodi esistenti si affidano a obiettivi fissi e specifici per il task (ad esempio, chart-to-table o chart-to-code). Questi obiettivi locali non riescono a imporre una correttezza semantica globale e non si generalizzano alle direzioni invertite (ad esempio, table-to-chart) o a combinazioni di rappresentazioni non viste (ad esempio, table-to-code).

Metodologia: CoCoEvolve

Gli autori introducono CoCoEvolve, un framework di co-evoluzione guidato dalla coerenza progettato per ottimizzare i modelli senza annotazioni aggiuntive, sfruttando l'accordo reciproco tra le rappresentazioni.

1. Definizione dei Vincoli Fondati

Per risolvere l'ambiguità uno-a-molti, il framework fondamenta le mappature uno-a-molti in precise corrispondenze uno-a-uno aumentando le funzioni di mappatura con vincoli descrittivi ausiliari ($s \in S$). Questo ancora le mappature in modo tale che un'immagine di un grafico $v$, una tabella $t$ e uno snippet di codice $c$ siano trattati come molteplici rappresentazioni dello stesso significato sottostante, condizionati a specifici vincoli.

2. Framework di Co-Evoluzione

Il framework impiega due modelli, $M_\theta$ (che gestisce $V \to T$ e $V \to C$) e $M_\psi$ (che gestisce $T \to C$), che co-evolvono attraverso un ciclo di rappresentazione ($V \to T \to C \to V$).

• CoCoEvolve@Train (Fase di Training): I modelli sono addestrati congiuntamente su immagini di grafici non annotate. Inveve di fare affidamento su etichette ground-truth, il segnale di addestramento deriva dalla coerenza tra le rappresentazioni.
  • Ricompense Gerarchiche: Il sistema calcola una ricompensa condivisa basata su:
    • Coerenza del Codice ($F_c$): Misura l'accordo semantico tra il codice generato da entrambi i modelli tramite il successo dell'esecuzione e la similarità degli embedding.
    • Coerenza Visiva ($F_v$): Misura l'accordo visivo tra i grafici renderizzati utilizzando quattro metriche: similarità semantica CLIP, similarità strutturale SSIM, accuratezza testuale OCR e similarità percettiva DINOv2.
    • Ricompensa di Formato ($F_f$): Garantisce output strutturati ben formati.
  • Ottimizzazione Accoppiata: I modelli sono accoppiati attraverso il campionamento e la ricompensa. $M_\psi$ condiziona l'output di $M_\theta$, e il vantaggio per ciascun modello è derivato da un funzionale di ricompensa che dipende dall'output dell'altro modello. Ciò evita soluzioni degenerate in cui i modelli colludono per produrre output mutuamente coerenti ma semanticamente errati, incorporando le ricompense di grounding individuali rispetto al grafico originale.
• CoCoEvolve@Test (Fase di Test): In fase di inferenza, il framework applica lo stesso obiettivo di coerenza per co-ottimizzare i modelli. Dato un input, genera molteplici rollout da entrambi i modelli e seleziona l'output migliore in base alle ricompense di coerenza, raffinando efficacementamente la predizione al tempo di inferenza senza aggiornare i pesi del modello.
• Estensione Supervisionata: Il framework può integrare senza problemi un modulo teacher ($M$) quando sono disponibili annotazioni di alta qualità. Ciò consente una strategia di annealing lineare in cui il sistema transita da un co-addestramento guidato dal teacher a una co-evoluzione completamente auto-supervisionata.

3. Suite di Valutazione (CoCoEvolve@Eval)

Gli autori propongono una suite di valutazione unificata che evita l'inaffidabilità di collassare valutazioni complesse in singoli punteggi. Essa decompone la valutazione in metriche multidimensionali interpretabili:

• Rule-as-Judge: Metriche deterministiche per l'accuratezza strutturale, semantica, percettiva e testuale nei grafici; eseguibilità e qualità del codice nel codice; e accuratezza di schema/valore nelle tabelle.
• LLM-as-Judge & MLLM-as-Judge: Punteggio fine (scala 0-5) attraverso dimensioni come correttezza dei dati, tipo di grafico, fedeltà strutturale e stile visivo, piuttosto che un singolo punteggio a intervallo ampio.

Contributi Chiave

1. Definizione dei Vincoli Fondati: Il documento introduce una definizione formale per ancorare le intrinseche mappature uno-a-molti a precise corrispondenze uno-a-uno, affrontando una lacuna trascurata dai benchmark esistenti.
2. Framework CoCoEvolve: Un nuovo framework di co-evoluzione che trasforma la coerenza cross-rappresentazione in un segnale di auto-supervisione fondato e privo di annotazioni. Permette l'ottimizzazione sia al tempo di addestramento che al tempo di test, agnostico rispetto alle direzioni dei task e alle combinazioni di rappresentazione.
3. Suite di Valutazione Unificata: Una suite di valutazione sistematica che copre tutti i sei task cross-rappresentazione nel ciclo, utilizzando valutazioni multidimensionali per superare i limiti degli attuali approcci di giudizio basati su LLM/MLLM.
4. Validazione Empirica: Esperimenti estesi che dimostrano guadagni significativi in molteplici benchmark e architetture di modelli.

Risultati

Gli esperimenti sono stati condotti su quattro benchmark (ChartCoder, ChartNet, ChartMimic, Chart2Code) utilizzando vari MLLM e LLM (ad es., Qwen3-VL, InternVL3.5, DeepSeek-Coder).

• Guadagni di Performance: CoCoEvolve migliora costantemente le prestazioni sia nelle impostazioni di training-time che di test-time.
  • Sui set di test non sovrapposti, produce guadagni fino al 37,91%.
  • In contesti out-of-domain, i miglioramenti raggiungono il 46,88%.
  • I tassi di successo dell'esecuzione del codice sono migliorati significativamente, con alcune configurazioni che raggiungono il 100,00% di successo nell'esecuzione in sandbox.
• Generalizzabilità: Il metodo dimostra una robusta generalizzazione a task out-of-domain (variabilità di complessità e domini come fisica, finanza, biologia) e a diversi algoritmi di reinforcement learning (GRPO, DAPO, GSPO).
• Studi di Ablazione: L'inclusione di un modulo teacher sia al tempo di addestramento che al tempo di test produce le prestazioni più equilibrate, mentre l'ottimizzazione al tempo di test da sola migliora costantemente i risultati in tutti i sei task.

Significato e Claim

Il documento sostiene che CoCoEvolve offra un'alternativa scalabile alle pipeline pesanti in termini di annotazione per i compiti di ragionamento strutturato. Trattando la coerenza cross-modale come un segnale di supervisione affidabile, il framework consente ai modelli di "co-evolvere simbioticamente", dove il miglioramento di un modello fornisce una supervisione più forte per l'altro. Gli autori affermano che questo approccio affronta efficacemente l'ambiguità della supervisione e la mancanza di segnali di ottimizzazione adattabili alla direzione, portando a una migliore capacità di comprensione cross-rappresentazione che si generalizza attraverso task, direzioni e domini. Il lavoro suggerisce che imporre la correttezza semantica globale attraverso la coerenza è una via percorribile per il ragionamento multimodale senza fare affidamento su etichette ground-truth fisse.