Riepilogo Tecnico: ROSE – Analisi del divario tra percezione e azione nei modelli multimodali

Definizione del problema

Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano dimostrato progressi significativi nella percezione visiva, nel ragionamento e nella generazione, rimane un divario critico nella loro capacità di tradurre le evidenze visive in azioni dipendenti dal contesto. Gli attuali benchmark spesso aggregano compiti eterogenei, valutano domande fisse per ogni immagine o accoppiano decisioni visive con una pianificazione complessa e l'interazione con l'ambiente. Di conseguenza, non riescono a isolare una capacità specifica: Un MLLM può convertire un'interpretazione visiva coerente nell'azione esatta richiesta da un contesto di compito variabile, mentre la scena sottostante rimane fissa?

I modelli attuali spesso riescono a riconoscere "cosa è presente" (percezione), ma faticano a decidere "come agire" quando la regione rilevante o l'output simbolico richiesto cambiano. Questo articolo sostiene che un'azione corretta non è semplicemente un sottoprodotto del riconoscimento, ma un impegno dipendente dal contesto, e che la transizione dalla percezione all'azione è attualmente un collo di bottiglia significativo per i modelli allo stato dell'arte.

Metodologia: Il Benchmark ROSE

Per affrontare questo problema, gli autori introducono ROSE (Reference-conditioned Oddity and Symbolic Execution), un benchmark controllato progettato per mantenere fisse le evidenze visive variando al contempo i vincoli di regione e gli output simbolici richiesti.

Principi di progettazione del benchmark

• Accoppiamento della Scena: ROSE deriva molteplici compiti da una singola scena visiva. L'evidenza visiva (una griglia di elementi) e l'insieme globale delle celle "eccezione" (deviazioni da un riferimento di maggioranza) rimangono costanti.
• Riferimento di Maggioranza Implicito: Le scene non contengono nomi di target espliciti. Il modello deve inferire il riferimento di maggioranza per identificare le eccezioni sparse.
• Variazione Controllata: Il benchmark interviene solo sul contesto rilevante (ad esempio, una specifica riga, colonna o regione visiva) e sull'operazione di output richiesta (ad esempio, contare vs. cliccare coordinate).

Suite di Compiti

ROSE consiste in cinque template di compiti accoppiati derivati dalla stessa scena:

1. Conteggio Globale (G-Cnt): Conta tutte le celle eccezione nell'intera griglia.
2. Conteggio Locale (L-Cnt): Conta le celle eccezione all'interno di una regione numericamente specificata.
3. Click Locale (L-Clk): Restituisce le coordinate esatte delle celle eccezione all'interno di una regione numericamente specificata.
4. Click su Regione Visiva (V-Clk): Restituisce le coordinate esatte delle eccezioni all'interno di una regione evidenziata visivamente nell'immagine.
5. Click con Esclusione e Sottomissione del Conteggio (Excl-CS): Clicca sulle eccezioni al di fuori di una regione specificata e sottomette il conteggio, testando la coerenza tra azione e cardinalità.

Composizione del Dataset

ROSE v0.1 comprende 1.512 scene (3.024 immagini) e 7.560 istanze di compiti attraverso cinque sorgenti visive fini per garantire la robustezza contro specifiche categorie semantiche:

• CHINESEGLYPH: Caratteri visivamente confondibili in un font verificato.
• EMOJISTYLE: Stessa identità emoji, diversi fornitori di rendering.
• EMOJICONTENT: Diverse identità emoji, stile di rendering condiviso.
• PIXELEDIT: Modifiche localizzate su un asset pixel-art.
• PIXELCONTENT: Asset pixel-art distinti ma visivamente correlati.

Il dataset è suddiviso a livello di scena per prevenire la fuga di dati (data leakage) tra i set di addestramento/validazione e di test.

Contributi Chiave

1. Formulazione dell'Azione Visiva Condizionata dal Riferimento: Un ambiente controllato che isola l'interfaccia percezione-azione fissando l'evidenza visiva e variando contesto e requisiti di output.
2. Il Benchmark ROSE: Un dataset diagnostico di 1.512 scene e 7.560 istanze attraverso cinque sorgenti visive e cinque template di compiti, inclusi protocolli di output formale rigorosi per separare la conformità grammaticale dal successo del compito.
3. Framework di Valutazione Diagnostica: Una suite di analisi, inclusi i "compiti ponte" (Global-Click e Matched Local Count-to-Click), che decompone i cali di prestazione in specifici modi di fallimento: grounding delle coordinate, selezione condizionata dal contesto e esecuzione formale.

Risultati Sperimentali

Gli autori hanno valutato nove recenti MLLM (inclusi GPT-5.5, Gemini-3.1-Pro, Qwen3.6-Plus e modelli Claude) rispetto a un riferimento umano.

Divario di Prestazione

• Prestazione Umana: Ha raggiunto una media PASS del 98,8%.
• Prestazione dei Modelli: È variata dal 14,3% al 92,2%.
• Il Divario Percezione-Azione: Un calo significativo delle prestazioni si verifica passando dai compiti di conteggio ai compiti di azione condizionata dalla regione. Ad esempio, Qwen3.6-Plus è sceso dall'80,3% nei compiti di conteggio al 37,7% nelle azioni condizionate dalla regione (un calo di 42,6 punti percentuali). GLM-5V-Turbo è sceso dal 60,5% al 16,0%. Persino l'alto-performante GPT-5.5 ha visto un calo dal 93,8% all'84,3%.

Decomposizione del Divario

• Grounding delle Coordinate vs. Selezione del Contesto: I compiti ponte hanno rivelato che, sebbene il grounding delle coordinate (Global-Click) spieghi parte della perdita, la maggior parte del calo di prestazione avviene con l'aggiunta di vincoli di regione. Per Qwen3.6-Plus, il calo dal Global Counting al Global Clicking è stato di 13,2 punti, ma il calo aggiuntivo al Visual-Region Clicking è stato di 29,4 punti.
• Fallimento di Coerenza: Anche quando i modelli contavano correttamente le eccezioni globali, spesso fallivano nel filtrare correttamente queste eccezioni sotto i nuovi vincoli di regione. Per Qwen3.6-Plus, condizionato al corretto conteggio globale, l'accuratezza per il clicking condizionato alla regione rimaneva bassa (38,0%).
• Modi di Fallimento:
  • Output Non Valido: Alcuni modelli (es. Claude) sono falliti principalmente a causa di violazioni del protocollo (grammatica non valida).
  • Violazioni della Regione: Modelli più forti (es. Qwen, GLM) spesso producevano una grammatica valida ma cliccavano celle al di fuori della regione richiesta o non riuscivano ad astenersi quando non esistevano target.
  • Ancoraggio del Conteggio (Count Anchoring): I modelli spesso mantenevano il conteggio globale o l'insieme completo di coordinate anche quando il compito richiedeva un sottoinsieme o l'esclusione, fallendo nell'aggiornare l'insieme dei target in base al nuovo contesto.

Significato e Rivendicazioni

L'articolo sostiene che ROSE rivela un collo di bottiglia distinto e dipendente dal modello nel trasformare le evidenze visive condivise in azioni specifiche per il contesto. La scoperta principale è che molti modelli possono "vedere abbastanza per contare", ma non "abbastanza per agire".

• Oltre la Percezione: I risultati suggeriscono che un'azione multimodale affidabile richiede non solo il recupero dell'evidenza visiva, ma il ricomputer l'insieme dei target specifico per il contesto ed eseguirlo esattamente.
• Utilità Diagnostica: ROSE fornisce un banco di prova controllato per distinguere tra fallimenti nella percezione, nel binding della regione, nel grounding delle coordinate e nell'esecuzione dell'azione.
• Ambito Modesto: Gli autori dichiarano esplicitamente che ROSE è un benchmark diagnostico controllato, non una simulazione di interazione in un mondo aperto. Utilizza scene strutturate a griglia e azioni simboliche per rendere misurabili percezione ed esecuzione, riconoscendo che non cattura tutta la complessità delle immagini naturali, del linguaggio libero o della pianificazione a lungo termine.

L'articolo conclude che, sebbene gli attuali MLLM mostrino progressi notevoli, la transizione dal riconoscimento di pattern visivi all'esecuzione di azioni precise e dipendenti dal contesto rimane una sfida significativa che richiede ulteriori indagini su come i modelli mantengano la coerenza attraverso i cambiamenti di contesto del compito.