MapTab: Are MLLMs Ready for Multi-Criteria Route Planning in Heterogeneous Graphs?

Il paper introduce MapTab, un benchmark multimodale progettato per valutare le capacità di ragionamento olistico su più criteri dei Modelli Linguistici Multimodali (MLLM) attraverso compiti di pianificazione di percorsi su grafi eterogenei, rivelando che le attuali prestazioni in questo ambito sono ancora limitate.

L'essenziale

Immagina di dover pianificare un viaggio complesso: devi scegliere il percorso migliore per arrivare a destinazione, ma non basta guardare solo la mappa. Devi anche considerare quanto tempo impiegherai, quanto costerà il biglietto, quanto sarà comodo il viaggio e quanto è affidabile il mezzo di trasporto.

Fino a poco tempo fa, i "cervelli artificiali" (chiamati MLLM, o Modelli Linguistici Multimodali) erano bravissimi a leggere testi e a riconoscere oggetti nelle foto, ma facevano molta fatica a combinare queste due abilità per prendere decisioni complesse come pianificare un viaggio.

Gli autori di questo studio, provenienti dall'Università di Nanjing in Cina, hanno creato un nuovo "campo di prova" chiamato MapTab per mettere alla prova questi cervelli artificiali. Ecco come funziona, spiegato con parole semplici e qualche metafora creativa.

1. Il Problema: Il Dilemma del Viaggiatore AI

Immagina di chiedere a un'intelligenza artificiale: "Come posso andare dalla Stazione A alla Stazione B spendendo poco, ma arrivando in fretta e stando comodo?"

Se dai all'AI solo la foto della mappa, lei potrebbe vedere le linee colorate, ma non sa quanto costano i biglietti o quanto tempo ci vuole.
Se le dai solo un foglio di calcolo (una tabella) con i prezzi e i tempi, lei sa i numeri, ma non sa come sono collegati tra loro le stazioni sulla mappa.

Il problema è che l'AI deve fare due cose contemporaneamente:

1. Guardare la mappa (capire la geometria e i collegamenti).
2. Leggere la tabella (capire i numeri e le regole).
3. Unire il tutto per trovare il percorso perfetto.

2. La Soluzione: MapTab (La "Palestra" per le AI)

Gli autori hanno costruito MapTab, che è come una palestra gigantesca dove allenare queste intelligenze artificiali. È composta da due "arene":

• Metromap (La Città): Contiene mappe della metropolitana di 160 città in 52 paesi. È come un labirinto di linee colorate dove devi trovare il modo di cambiare treno senza perdere tempo.
• Travelmap (Le Vacanze): Contiene mappe di 168 attrazioni turistiche in 19 paesi. Qui devi decidere quale parco visitare dopo l'altro, considerando quanto costa l'ingresso e quanto sei stanco.

In totale, ci sono 328 mappe e quasi 200.000 domande da rispondere. È un volume di dati enorme, come se avessi chiesto a un milione di persone di pianificare un viaggio diverso.

3. Come funziona il test?

Per ogni domanda, l'AI riceve tre cose:

1. L'immagine della mappa (il disegno).
2. Una tabella dei nodi (i dati sulle stazioni o sui luoghi: es. "Stazione X ha un costo di 5 euro").
3. Una tabella dei collegamenti (i dati sui percorsi: es. "Dal punto A al punto B ci vogliono 10 minuti").

L'AI deve poi rispondere a domande come: "Qual è il percorso più economico ma affidabile?" o "Quanto tempo ci vuole in totale?".

4. Cosa hanno scoperto? (I Risultati Sorprendenti)

Gli autori hanno testato 15 delle intelligenze artificiali più potenti del mondo (come GPT-4, Gemini, Qwen, ecc.) e hanno scoperto alcune cose molto interessanti:

• L'AI si perde nei numeri: Anche se l'AI è bravissima a riconoscere che quella è una stazione di metropolitana, quando deve fare calcoli matematici (somma i tempi, confronta i prezzi) spesso sbaglia. È come se avesse un'ottima memoria visiva, ma una calcolatrice rotta.
• Le tabelle sono più affidabili delle foto: Quando la mappa è troppo complessa e piena di dettagli, l'AI si confonde. Se invece le dai solo la tabella con i numeri, spesso fa un lavoro migliore. La foto a volte è un "disturbo" invece che un aiuto.
• Il paradosso del "pensare troppo": Alcune AI moderne hanno una funzione speciale chiamata "Chain of Thought" (Catena di Pensiero), che le fa ragionare passo dopo passo prima di rispondere.
  • Metafora: È come se un viaggiatore si fermasse a pensare 25 volte prima di prendere una decisione semplice. Risultato? Spesso si confonde ancora di più e sbaglia la strada! Per i compiti semplici, pensare troppo fa perdere tempo e precisione.
• Il "Trucco" della strada più breve: Molte AI, invece di calcolare davvero il percorso migliore in base a prezzo e comfort, fanno un trucco: scelgono semplicemente il percorso più corto in termini di stazioni, sperando che sia anche quello migliore. Se il percorso più corto non è quello richiesto, loro falliscono.

5. Perché è importante?

Questo studio ci dice che le intelligenze artificiali sono ancora lontane dall'essere "generaliste" (capaci di fare tutto come un umano). Sono bravissime a vedere e a leggere, ma faticano a ragionare quando devono unire immagini, numeri e regole complesse.

In sintesi:
MapTab è come un esame di guida molto difficile per le AI. Ci ha mostrato che, anche se queste macchine possono "vedere" una mappa e "leggere" un orario, non sono ancora pronte a guidare da sole in un mondo complesso dove bisogna bilanciare tempo, denaro e comfort. Per farlo, avranno bisogno di imparare a ragionare meglio, non solo a guardare più immagini.

Il lavoro degli autori è un passo fondamentale per capire dove dobbiamo migliorare queste tecnologie prima di affidargli la guida delle nostre città o i nostri viaggi di vacanza!

Sommario tecnico

1. Il Problema

L'articolo affronta la carenza di benchmark rigorosi per valutare le capacità di ragionamento dei Modelli Linguistici Multimodali su larga scala (MLLM) in scenari di decisione multi-criterio. Sebbene esistano benchmark per il ragionamento visivo strutturato (es. MMMU) o per la comprensione delle mappe (es. Mapbench), nessuno valuta sistematicamente la capacità di un modello di integrare:

• Dati visivi complessi: Mappe ad alta risoluzione con topologie intricate (metropolitane, attrazioni turistiche).
• Dati strutturati: Tabelle contenenti attributi quantitativi critici (tempo, prezzo, comfort, affidabilità).
• Vincoli multi-obiettivo: La necessità di bilanciare fattori contrastanti (es. minimizzare il tempo ma massimizzare il comfort) in un contesto di pianificazione di percorsi (Route Planning - RP).

Attualmente, i modelli falliscono spesso nel gestire questa integrazione, mostrando difficoltà nel ragionamento numerico, nell'allineamento cross-modale e nel seguire vincoli complessi in grafi eterogenei.

2. Metodologia: Il Benchmark MapTab

Gli autori hanno sviluppato MapTab, un benchmark multimodale progettato per testare il ragionamento olistico su grafi eterogenei.

A. Struttura dei Dati

MapTab comprende 328 mappe ad alta risoluzione divise in due scenari principali:

1. Metromap: Copre 160 città in 52 paesi (160 mappe), simulando scenari di commuting urbano.
2. Travelmap: Copre 168 attrazioni turistiche in 19 paesi (168 mappe), focalizzandosi su scenari di viaggio.

Ogni scenario è rappresentato come un grafo topologico e arricchito da due tabelle strutturate complementari:

• Edge_tab: Contiene attributi per gli archi (es. tempo di viaggio, costo, comfort, affidabilità tra due stazioni/attrazioni).
• Vertex_tab: Contiene attributi per i nodi (es. tempo di sosta, costo di ingresso, comfort, affidabilità, tempo di trasferimento).

B. Generazione delle Query

Il dataset include:

• 196.800 query di Route Planning (RP): Derivate da 16.400 coppie origine-destinazione. Le query sono categorizzate in:
  • Senza criteri: Trovare il percorso più breve (solo topologia).
  • Con criteri: Ottimizzare percorsi basandosi su singoli criteri (es. solo tempo) o combinazioni multi-criterio (es. Tempo + Prezzo + Comfort).
• 3.936 query di Question Answering (QA): Per valutare capacità specifiche come localizzazione, conteggio, ragionamento numerico e tracciamento di traiettorie.

C. Configurazioni di Valutazione

Il benchmark testa i modelli in diverse modalità di input per isolare le capacità di percezione e ragionamento:

• Solo Mappa (Map-only).
• Solo Tabella (Edge_tab-only).
• Mappa + Tabella (Map + Edge_tab).
• Mappa + Tabelle complete (Map + Edge_tab + Vertex_tab).
• Mappa + Tabella fusa (Map + Vertex2_tab, dove alcune informazioni degli archi sono integrate nei nodi).

3. Contributi Chiave

1. Primo Benchmark Multi-Criterio Multimodale: MapTab è il primo a combinare visivamente mappe e dati tabulari strutturati per valutare il ragionamento su grafi eterogenei in scenari di pianificazione reale.
2. Scalabilità e Diversità: Copre 52 paesi, 32 lingue native e include sia scenari urbani densi (metropolitane) che turistici, con un totale di quasi 200.000 query di pianificazione.
3. Framework di Valutazione Diagnostico: Non si limita a misurare l'accuratezza, ma analizza perché i modelli falliscono, distinguendo tra errori di percezione visiva, incapacità di calcolo numerico e fallimenti nel ragionamento logico multi-step.

4. Risultati Sperimentali

Sono stati valutati 15 MLLM all'avanguardia (inclusi modelli open-source come Qwen3-VL, InternVL e modelli chiusi come GPT-4o, Gemini-3-Flash).

Scoperte Principali:

• Collo di bottiglia nella percezione visiva: In scenari visivamente densi (Metromap), l'aggiunta di immagini spesso peggiora le prestazioni rispetto all'uso esclusivo delle tabelle strutturate. Le tabelle forniscono "ancore simboliche" più affidabili rispetto alla percezione visiva grezza.
• Limiti del ragionamento multi-criterio: I modelli tendono a cadere nella "trappola del percorso più breve" (Shortest-path trap). Anche quando vengono forniti criteri complessi, i modelli spesso ignorano i vincoli e restituiscono semplicemente il percorso topologicamente più breve, fallendo nell'ottimizzazione reale.
• Deficienze nel calcolo numerico: I modelli mostrano prestazioni molto basse in compiti di conteggio, confronto numerico e calcolo di pesi aggregati (es. somma di tempi e costi), essenziali per la pianificazione multi-criterio.
• Impatto del Chain-of-Thought (CoT): L'uso di modelli con capacità di "pensiero" (Thinking/CoT) migliora la coordinazione multimodale in scenari complessi, ma può portare a "sovra-pensiero" (overthinking) in compiti più semplici, degradando le prestazioni.
• Crollo del ragionamento su grafi complessi: Man mano che la difficoltà topologica della mappa aumenta (es. molte linee di trasferimento), l'accuratezza dei modelli crolla drasticamente, indicando che le attuali architetture non riescono a gestire la dipendenza a lungo raggio e la complessità strutturale dei grafi densi.

5. Significato e Impatto

Il paper MapTab fornisce una prova empirica che, nonostante i progressi nei modelli multimodali, esiste ancora un divario significativo tra le capacità attuali e l'intelligenza artificiale generale (AGI) necessaria per la presa di decisioni complesse nel mondo reale.

• Diagnosi delle limitazioni: Evidenzia che il problema non è solo la mancanza di dati, ma l'incapacità dei modelli di integrare percezione visiva, dati strutturati e ragionamento logico-numerico in un processo coerente.
• Direzioni future: Suggerisce la necessità di framework collaborativi modulari (separando percezione e ragionamento), l'uso di agenti con strumenti esterni (per calcoli e verifiche) e strategie di post-training mirate (SFT + RL) per migliorare il rispetto dei vincoli e il ragionamento multi-step.
• Riferimento per la ricerca: Offre un testbed realistico e sfidante per guidare lo sviluppo di MLLM più robusti per applicazioni critiche come la navigazione autonoma, la logistica e i sistemi di supporto alle decisioni urbane.

In sintesi, MapTab dimostra che i modelli attuali non sono ancora pronti per gestire compiti di pianificazione di percorsi in grafi eterogenei con vincoli multi-criterio reali, evidenziando la necessità di un salto qualitativo nelle capacità di ragionamento strutturato e di integrazione multimodale.