🤖 AI

MELLON - Multimodal Enhanced LLM for Online Navigation

Il documento presenta MELLON, un framework multimodale che migliora significativamente le prestazioni degli agenti di navigazione web sul benchmark WebShop allineando testo e immagini per migliorare il ragionamento e la pianificazione, ottenendo un aumento dell'accuratezza del 9,26% dopo un solo epoch di addestramento.

Autori originali: Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ruiyu Li, Haoyang Cai, Zhitong Guo, Tong Hu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come fare la spesa su Internet. Potresti pensare: "Gli basta dare le istruzioni testuali, come 'compra una maglietta rossa', e lui leggerà il sito web e cliccherà sui pulsanti". Ma ecco il problema: i siti web non sono solo muri di testo. Sono luoghi visivi e colorati, pieni di immagini, layout e design. Se chiedi a un essere umano di trovare un paio di scarpe specifico, non si limita a leggere la descrizione; guarda la foto per vedere il colore, lo stile e la forma. Per molto tempo, i programmi informatici più intelligenti che cercavano di navigare sul web erano come acquirenti ciechi: riuscivano a leggere perfettamente il testo, ma non riuscivano a "vedere" le immagini. Questo articolo si trova nel mondo dell'Intelligenza Artificiale, concentrandosi specificamente sugli "Agenti di Navigazione Web". Questi sono aiutanti digitali progettati per comprendere comandi in linguaggio naturale ed eseguire compiti su veri siti web, come comprare articoli o prenotare biglietti. La grande domanda che i ricercatori si pongono è: possiamo insegnare a questi agenti a usare sia i loro "occhi" (per vedere le immagini) che il loro "cervello" (per leggere il testo) contemporaneamente, proprio come fanno gli umani?

I ricercatori dietro questo studio, lavorando su un progetto chiamato MELLON, hanno deciso di testare questa idea su un negozio online simulato chiamato WebShop. Volevano vedere se dare a un agente IA una visione delle foto dei prodotti, insieme alle descrizioni testuali, l'avrebbe aiutato a prendere decisioni migliori. Non hanno solo tirato a indovinare; hanno costruito tre diversi strumenti sperimentali per cercare di risolvere l'enigma. Il primo, e il più efficace, è MELLON stesso. Pensa a MELLON come a uno shopper super intelligente che indossa occhiali speciali che traducono il mondo visivo in un linguaggio che il cervello dell'IA può comprendere. Il team ha scoperto che addestrando questo agente per un solo round di apprendimento (un "epoch"), questo è migliorato significatamente nel suo lavoro. Nello specifico, l'accuratezza nel completare i compiti è aumentata del 9,26% rispetto a una versione base che guardava solo il testo. Ciò suggerisce che mescolare visione e testo è un modo potente per aiutare l'IA a navigare sul web, anche se il sistema ha ancora delle fasi di crescita.

Tuttavia, la storia non è una semplice vittoria in campo largo del "multimodale è sempre meglio". Il team ha anche provato due altri approcci creativi che non hanno funzionato bene come speravano. Un'idea era quella di trattare il compito di shopping come un gioco di "Visual Question Answering" (VQAgent), dove l'IA guarda un'immagine e una domanda, poi sceglie la risposta correa. Pensavano che questo avrebbe funzionato perché fare la spesa è simile a rispondere a domande sulle immagini. Ma hanno scoperto che, nel contesto disordinato e reale di WebShop, le descrizioni testuali contenevano indizi più importanti delle immagini. Poiché l'IA era stata addestrata a fare affidamento pesantemente sulle immagini, si è confusa quando il testo era la vera chiave della soluzione. È come cercare di risolvere un enigma fissando un disegno quando la risposta è nascosta nelle note a piè di pagina.

Il terzo tentativo ha coinvolto un "Classificatore Multimodale" (Multimodal Ranker), uno strumento progettato per far sì che l'agente si fermasse e confrontasse attentamente ogni singolo articolo su una pagina prima di compiere una scelta, invece di afferrare semplicemente la prima cosa che vede. La speranza era che questo tempo di riflessione extra portasse a risultati migliori. Invece, l'esperimento ha mostrato che questa cautela extra ha reso l'agente più lento e meno accurato. I ricercatori hanno scoperto che gli strumenti utilizzati per misurare la somiglianza tra immagini e testo (chiamati punteggi BERT e CLIP) non corrispondevano bene a ciò che rendeva un prodotto un "buon abbinamento" nel sistema di punteggio del gioco. Si è scoperto che cercare di classificare ogni singola opzione era come uno shopper che passa un'ora a confrontare ogni camicia nel negozio, per poi finire per comprarne una sbagliata perché è stato sopraffatto.

Quindi, qual è la conclusione finale di questa avventura di shopping digitale? L'articolo suggerisce che, sebbene dare agli agenti IA la capacità di "vedere" il web sia una strada promettente, non è una bacchetta magica. L'agente MELLON ha dimostrato che allineare immagini e testo può aumentare le prestazioni, ma gli altri esperimenti hanno mostato che aggiungere semplicemente un ragionamento visivo più complesso o costringere l'agente a guardare tutto non è sempre la strategia giusta. I ricercatori concludono che dobbiamo continuare a esplorare come mescolare al meglio questi indizi visivi e testuali, forse addestrando gli agenti per più tempo o usando "cervelli" ancora più intelligenti (Large Language Models) in futuro. Per ora, hanno dimostrato che un po' di visione aiuta molto, ma l'IA deve ancora imparare esattamente quando guardare l'immagine e quando leggere le scritte in piccolo.

Sintesi Tecnica: MELLON - Multimodal Enhanced LLM for Online Navigation

Problematica

Gli agenti di navigazione web sono progettati per eseguire autonomamente compiti su siti web basandosi su istruzioni in linguaggio naturale. Sebbene gli attuali baseline sfruttino spesso i Large Language Models (LLM) per le loro capacità di ragionamento, essi operano predominantemente in modo unimodale, affidandosi esclusivamente al testo (HTML o alberi di accessibilità) e ignorando le informazioni visive. Gli autori sostengono che questo sia un limite critico, in particolare negli ambienti di e-commerce come WebShop, dove gli indizi visivi (ad esempio, la finitura, il colore o lo stile di un prodotto) contengono spesso informazioni qualitative assenti dalle descrizioni testuali. Gli approcci multimodali esistenti mancano o di forti capacità di ragionamento o di capacità di gestire la natura dinamica e vincolata alle azioni della navigazione web, dove le deviazioni da uno spazio di azione predefinito portano al fallimento del compito.

Metodologia

Il documento propone tre distinti approcci multimodali per affrontare queste sfide, con un focus primario su MELLON (Multimodal Enhanced LLM for Online Navigation).

1. MELLON (Multimodal Enhanced LLM for Online Navigation)

MELLON è un agente web progettato per integrare modalità visive e testuali per un potenziamento del ragionamento e della pianificazione. La sua architettura si compone di tre innovazioni principali:

Encoder Migliori: Il modello utilizza un backbone Vision Transformer (ViT) pre-addestrato accoppiato a un Q-Former per generare codifiche d'immagine. A differenza delle tradizionali CNN (es. ResNet), il ViT tratta i patch dell'immagine come token, catturando in modo più efficace le relazioni spaziali.
Allineamento Testo-Immagine e Addestramento Efficiente: Per colmare il divario tra l'encoder visivo e l'LLM, viene impiegato un singolo livello di proiezione (projection layer). Questo livello allinea gli embedding visivi con lo spazio di input dell'LLM.
- Strategia di Addestramento: Gli autori impiegano un approccio efficiente nei parametri in cui l'LLM (CodeLlama) e il ViT sono congelati (frozen). Solo il livello di proiezione e il Q-Former vengono addestrati.
- Funzione di Perdita: Il modello è addestrato utilizzando una perdita di generazione cross-entropy su coppie di input multimodali e azioni di successo. Il punteggio di completamento di WebShop è integrato nella funzione di perdita per ottimizzare congiuntamente il ragionamento e l'allineamento delle azioni.
Prompt ReAct Estesi: Il prompt ReAct (Reasoning + Acting) standard viene riprogettato per includere rappresentazioni visive allineate (inserite tramite <ImageHere>). L'ingegneria dei prompt è stata pesantemente ottimizzata per rientrare nei vincoli di memoria GPU da 24 GB, garantendo che l'agente possa eseguire un ragionamento sparso e selezionare azioni da uno spazio valido ( $A' = A \cap L$ ).

2. VQAgent

Questo approccio inquadra il compito di WebShop come un problema di Visual Question Answering (VQA) multi-hop, dove le "risposte" corrispondono alle azioni.

Architettura: Utilizza il modello BEiT3, un modello visione-linguaggio allo stato dell'arte.
Adattamento: A differenza del VQA standard (un compito di generazione), WebShop è trattato come un compito di classificazione. Il modello codifica l'osservazione (immagine, descrizione del prodotto, istruzione) e tutte le possibili azioni separatamente utilizzando BEiT3. Questi embedding vengono poi elaborati attraverso un livello di bi-attenzione e un livello lineare per assegnare un punteggio alle azioni.
Addestramento: Il modello è addestrato tramite Imitation Learning su traiettorie umane per imitare la corretta selezione dell'azione.

3. Multimodal Ranker

Questa componente mira a migliorare il comportamento esplorativo valutando sistematicamente tutte le opzioni disponibili prima di prendere una decisione, invece di selezionare il primo risultato iniziale.

Meccanismo: Combina i punteggi BERT (che misurano la similarità testuale tra istruzioni e titoli dei prodotti) e i punteggi CLIP (che misurano la congruenza immagine-testo).
Addestramento: Un parametro apprendibile bilancia queste due dimensioni, e il ranker è addestrato utilizzando la perdita MSE (Mean Squared Error) rispetto al punteggio di completamento di WebShop come etichetta.

Risultati Chiave

Prestazioni di MELLON

Miglioramento dell'Accuratezza: L'addestramento di MELLON per appena un epoch ha portato a un incremento del 9,26% nell'accuratezza del completamento del compito passo dopo passo rispetto al baseline di inferenza unimodale ViT+CodeLlama (salendo dal 5,11% al 14,37%).
Studi di Ablazione:
- Sostituire il baseline ResNet con un ViT + Q-Former addestrabile ha prodotto punteggi comparabili (39,92) ma tassi di successo leggermente inferiori (9,6% vs 9,8%) rispetto a ResNet, suggerendo che modelli più semplici possano bastare in certi contesti o che il compito richieda un contesto multimodale limitato.
- L'uso di CodeLlama è stato preferito rispetto a Vicuna-7B per il minor numero di allucinazioni e una migliore aderenza ai formati del compito, sebbene CodeLlama produca occasionalmente output vuoti o non validi.
Analisi Qualitativa: In casi specifici (ad esempio, selezionare un divano con "finitura in legno"), MELLON ha utilizzato con successo gli indizi visivi per identificare il prodotto corretto, mentre il baseline unimodale è fallito a causa della mancanza di comprensione visiva.

Prestazioni di VQAgent e Multimodal Ranker

VQAgent: Questo modello ha ottenuto prestazioni inferiori rispetto al baseline, raggiungendo un punteggio di 31,26 e un tasso di successo del 5,7% (rispetto al baseline di 39,92 e 9,8%). Gli autori attribuiscono ciò a un disallineamento nella densità di informazione: in WebShop, le descrizioni testuali contengono spesso informazioni più critiche rispetto alle immagini, a differenza dei compiti VQA standard dove l'informazione visiva è dominante.
Multimodal Ranker: L'integrazione dell'algoritmo di ranking ha diminuito le prestazioni (Punteggio: 28,13; Tasso di Successo: 8,6%). Gli autori suggeriscono che l'esplorazione esaustiva sia inefficiente nello vasto spazio di ricerca di WebShop e che i punteggi di similarità BERT/CLIP non correlino in modo affidabile con i criteri di ricompensa specifici dell'ambiente WebShop.

Significato e Rivendicazioni

Il documento sostiene di essere il primo a:

Sviluppare un agente di navigazione web multimodale che incorpora LLM nonostante le sfide ingegneristiche nel mappare la generazione aperta su spazi di azione web dinamici.
Allineare le rappresentazioni visive e testuali tramite un livello di proiezione in un LLM, dimostrando una strategia di addestramento efficiente (congelando l'LLM e il ViT).
Abilitare un forte ragionamento e pianificazione in un contesto multimodale tramite la riprogettazione dei prompt ReAct per includere rappresentazioni visive.

Gli autori sottolineano che, sebbene MELLON mostri una notevole promessa con un addestramento minimo (un epoch), i risultati evidenziano la necessità di un'ulteriore esplorazione degli approcci multimodali. Riconoscono le attuali limitazioni, tra cui la natura congelata dell'LLM e del ViT, e le sfide ingegneristiche poste dall'ambiente WebShop. Il lavoro suggerisce che con un addestramento più esteso, maggiori risorse di memoria e potenzialmente il fine-tuning dell'LLM, gli agenti multimodali potrebbero raggiungere un'efficacia sostanzialmente superiore nei compiti di navigazione web.