Graph-of-Mark: Promote Spatial Reasoning in Multimodal Language Models with Graph-Based Visual Prompting

Il paper propone Graph-of-Mark (GoM), una tecnica di prompting visivo basata su grafi che sovrappone scene grafiche alle immagini per migliorare le capacità di ragionamento spaziale dei modelli linguistici multimodali, ottenendo risultati significativamente superiori rispetto ai metodi esistenti.

L'essenziale

Immagina di avere un amico molto intelligente, un "genio" capace di leggere e capire le immagini, ma che ha un piccolo problema: tende a vedere il mondo come un cestino pieno di oggetti sparsi. Se gli mostri una foto di una cucina, lui ti dirà: "Vedo un forno, vedo una pianta, vedo un tostapane". Ma spesso non riesce a capire dove sono messi rispetto agli altri o come si relazionano tra loro. Per esempio, potrebbe non capire che la pianta è sopra il forno o accanto alla finestra.

Gli scienziati dell'Università di Bologna hanno creato una soluzione geniale e gratuita chiamata Graph-of-Mark (GoM). Ecco come funziona, spiegato in modo semplice:

1. Il Problema: L'Amico che non vede i collegamenti

I modelli attuali (chiamati MLM) sono bravissimi a riconoscere gli oggetti, ma quando devono rispondere a domande come "La pianta è sotto il forno?", spesso sbagliano. È come se guardassero una stanza piena di mobili ma non vedessero mai il pavimento o il soffitto che li collegano. Vedono solo "pezzi" isolati.

2. La Soluzione: Disegnare una mappa invisibile (ma visibile!)

Gli autori hanno pensato: "E se disegnassimo direttamente sulla foto una mappa che mostra i collegamenti?"
Invece di far indovinare al computer, disegnano sopra l'immagine:

• Cerchi colorati intorno agli oggetti (come se fossero etichette).
• Frecce che collegano un oggetto all'altro.
• Scritte sulle frecce che dicono la relazione: "Sopra", "Sotto", "Vicino", "Dietro".

È come se dessi al tuo amico genio una mappa del tesoro direttamente sulla foto. Non deve più indovinare: la mappa gli dice esattamente: "Ehi, guarda qui! C'è una freccia che va dalla pianta al forno e dice 'Sopra'".

3. Come funziona la magia (senza riaddestrare il computer)

Di solito, per insegnare a un'intelligenza artificiale a fare questo, dovresti riaddestrarlo per mesi con milioni di immagini, cosa costosissima e lenta.
GoM è diverso: è come un adesivo intelligente che applichi sulla foto prima di mostrarla al computer.

• Il sistema guarda la foto.
• Trova automaticamente gli oggetti (usando altri programmi già esistenti).
• Disegna le frecce e le etichette.
• Mostra la foto "migliorata" al modello.

Il modello non ha bisogno di studiare di nuovo; basta che guardi la foto con le frecce e capisce tutto al volo. È come se dessi a un turista una mappa della città invece di lasciarlo vagare alla cieca.

4. Perché è importante?

Immagina un robot che deve aiutare un chirurgo o un assistente virtuale che deve navigare in un'interfaccia complessa. Se il robot non sa che un oggetto è dietro all'altro, potrebbe sbattere contro di esso.
Con Graph-of-Mark, questi modelli diventano molto più bravi a capire lo spazio.

• Risultato: Nelle prove fatte, i modelli hanno fatto fino all'11% in più di domande giuste su posizioni e direzioni.
• Flessibilità: Funziona con qualsiasi modello di intelligenza artificiale, anche quelli piccoli e gratuiti, senza dover pagare per riaddestramenti costosi.

In sintesi

Pensa a Graph-of-Mark come a un traduttore visivo. Prende un'immagine confusa e ci scrive sopra una "storia" fatta di frecce e parole che spiega come gli oggetti si tengono per mano. Invece di dire al computer "Pensa!", gli dicono "Guarda qui, ecco la risposta disegnata sulla foto!".

È un modo semplice, economico ed efficace per insegnare alle macchine a non vedere solo gli oggetti, ma a capire il mondo che li circonda.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Graph-of-Mark: Promote Spatial Reasoning in Multimodal Language Models with Graph-Based Visual Prompting" in italiano.

1. Il Problema

I modelli linguistici multimodali (MLM) hanno fatto progressi significativi, ma faticano ancora nel ragionamento spaziale. Nonostante la loro capacità di riconoscere oggetti, tendono a trattare le immagini come semplici "sacche di oggetti" (bag of objects), ignorando le relazioni spaziali e la disposizione degli elementi nello spazio (es. sinistra/destra, sopra/sotto, davanti/dietro).
Le tecniche di prompting visivo esistenti, come Set-of-Mark (SoM), migliorano l'ancoraggio visivo dividendo l'immagine in regioni e assegnando loro etichette numeriche. Tuttavia, questi approcci trattano gli oggetti come entità isolate, fallendo nel catturare le relazioni strutturali tra di essi. Inoltre, le soluzioni basate sul fine-tuning sono costose computazionalmente e poco flessibili per nuovi domini.

2. Metodologia: Graph-of-Mark (GoM)

Gli autori propongono Graph-of-Mark (GoM), la prima tecnica di prompting visivo a livello di pixel, training-free, che sovrappone grafi di scena (Scene Graphs) direttamente sull'immagine di input per facilitare il ragionamento spaziale.

Il processo di GoM si articola in tre fasi principali:

• Rilevamento e Segmentazione degli Oggetti:
  • Utilizza un ensemble di rilevatori (OWL-V2 per categorie open-vocabulary, YOLOv8-X per classi comuni, Mask R-CNN per persone) per massimizzare la copertura degli oggetti.
  • Affina le bounding box con segmentatori (SAM-HQ) per ottenere maschere precise.
• Stima delle Relazioni Spaziali (Il cuore di GoM):
  • Costruisce un grafo dove i nodi sono gli oggetti e gli archi rappresentano le relazioni spaziali.
  • Le relazioni sono categorizzate in: Direzionali (sopra, sotto, sinistra, destra), Di profondità (davanti, dietro, basate su stime di profondità monoculari come MiDaS) e Di prossimità (vicino).
  • Vengono aggiunti modificatori basati sulla distanza (es. "tocca", "molto vicino").
• Rendering e Filtraggio:
  • Rendering: Le regioni degli oggetti sono colorate e contrassegnate da ID univoci (numeri o testo). Le relazioni sono visualizzate come frecce dirette con etichette testuali. Un algoritmo di allocazione intelligente posiziona questi marcatori per evitare sovrapposizioni e confusione.
  • Filtraggio: Per evitare rumore, il sistema filtra gli oggetti e le relazioni irrilevanti rispetto alla query dell'utente, mantenendo solo le interazioni pertinenti (top-k).

Modalità di Prompting:
GoM supporta due modalità:

1. Visual SG: L'MLM interpreta il grafo solo visivamente dall'immagine modificata ($I_{SG}$).
2. Visual + Textual SG: L'MLM riceve sia l'immagine modificata che una descrizione testuale del grafo ($T_{SG}$) nel prompt.

3. Contributi Chiave

• Prima tecnica di prompting visivo basata su grafi: GoM è il primo metodo che integra esplicitamente la struttura del grafo di scena direttamente nell'immagine di input, rendendo le relazioni spaziali visibili a livello di pixel.
• Approccio Training-Free: Non richiede il riaddestramento del modello MLM, rendendolo plug-and-play e compatibile con qualsiasi architettura esistente.
• Astrazione della Relazione: Sposta la percezione del modello da una collezione di oggetti a una rete di oggetti interconnessi, affrontando direttamente il limite della mancanza di supervisione spaziale esplicita.
• Risorsa Open Source: Il codice, i dataset pre-processati e gli script di valutazione sono rilasciati sotto licenza MIT.

4. Risultati Sperimentali

Gli autori hanno valutato GoM su 3 modelli MLM open-source (Gemma-3, Qwen-2.5-VL, LlamaV-o1) e 4 dataset (GQA, VQAv1, VQAv2 per il VQA; RefCOCOg per la comprensione delle espressioni referenziali).

• Prestazioni Superiori: GoM ha migliorato costantemente le capacità zero-shot di tutti i modelli testati, superando le tecniche di prompting visivo esistenti (come SoM).
• Miglioramenti Significativi: L'accuratezza nel VQA e nella localizzazione è aumentata fino a 11 punti percentuali rispetto alla baseline.
• Impatto dei Componenti:
  • L'uso di ID testuali per gli oggetti ha funzionato meglio per il VQA, mentre gli ID numerici sono stati preferibili per la localizzazione (REC).
  • L'inclusione di etichette di relazione ha aiutato, ma in alcuni casi l'assenza di etichette testuali ha costretto il modello a fare affidamento sulla struttura visiva, migliorando il ragionamento intrinseco.
  • La combinazione di grafo visivo e descrizione testuale ha sempre portato a guadagni di performance.
• Densità del Grafo: Le prestazioni ottimali si ottengono con 3-10 entità e 4-16 relazioni; oltre questo limite, le annotazioni in eccesso introducono rumore.
• Efficienza: L'overhead computazionale è minimo (circa 1.13 secondi per immagine in più rispetto alle baseline), un costo giustificato dal miglioramento nel ragionamento spaziale.

5. Significato e Implicazioni

Il paper dimostra che è possibile potenziare significativamente l'intelligenza spaziale dei modelli multimodali senza costi di addestramento, semplicemente modificando l'input visivo per includere informazioni relazionali strutturate.

• Generalizzazione: GoM funziona bene anche su modelli leggeri (fino a 11B parametri), aprendo la strada a soluzioni efficienti per dispositivi con risorse limitate.
• Applicazioni Reali: La capacità di comprendere relazioni spaziali è cruciale per applicazioni nel mondo reale come la robotica, la navigazione autonoma, l'interazione con interfacce utente (GUI agents) e, in particolare, in ambito biomedicale (analisi di immagini chirurgiche o diagnostiche), dove la posizione relativa degli organi è fondamentale.
• Futuro: Il lavoro suggerisce direzioni future come l'uso di ipergrafi per scene complesse, visione stereoscopica per una migliore profondità e modellazione temporale per i video.

In sintesi, GoM rappresenta un passo avanti fondamentale nel colmare il divario tra la percezione visiva e la comprensione semantica delle relazioni spaziali, offrendo un meccanismo robusto e interpretabile per l'analisi visiva strutturata.