Technische Samenvatting: MELLON - Multimodale Verbeterde LLM voor Online Navigatie

Probleemstelling

Webnavigatie-agenten zijn ontworpen om autonoom taken uit te voeren op websites op basis van natuurlijke taalinstructies. Hoewel huidige baselines vaak gebruikmaken van Large Language Models (LLMs) voor hun redeneervermogen, opereren zij voornamelijk op een unimodale wijze, waarbij zij uitsluitend vertrouwen op tekst (HTML of toegankelijkheidsbomen) en visuele informatie negeren. De auteurs stellen dat dit een kritieke beperking is, met name in e-commerce omgevingen zoals WebShop, waar visuele aanwijzingen (bijv. de afwerking, kleur of stijl van een product) vaak kwalitatieve informatie bevatten die afwezig is in tekstuele beschrijvingen. Bestaande multimodale benaderingen missen ofwel sterke redeneervaardigheden, ofwel worstelen met de dynamische, actie-beperkte aard van webnavigatie, waarbij afwijkingen van een vooraf gedefinieerde actieruimte leiden tot taalfalen.

Methodologie

Het artikel stelt drie verschillende multimodale benaderingen voor om deze uitdagingen aan te pakken, met een primaire focus op MELLON (Multimodal Enhanced LLM for Online Navigation).

1. MELLON (Multimodal Enhanced LLM for Online Navigation)

MELLON is een webagent die is ontworpen om visuele en tekstuele modaliteiten te integreren voor verbeterde redenering en planning. De architectuur bestaat uit drie kerninnovaties:

• Betere Encoders: Het model maakt gebruik van een voorgetrainde Vision Transformer (ViT) backbone gekoppeld aan een Q-Former om beeldencodings te genereren. In tegenstelling tot traditionele CNN's (zoals ResNet), behandelt de ViT beeldpatches als tokens, waardoor ruimtelijke relaties effectiever worden vastgelegd.
• Tekst-Beeld Uitlijning en Efficiënte Training: Om de kloof tussen de visuele encoder en de LLM te overbruggen, wordt een enkele projectielaag ingezet. Deze laag stemt de visuele embeddings af op de inputruimte van de LLM.
  • Trainingsstrategie: De auteurs hanteren een parameter-efficiënte aanpak waarbij de LLM (CodeLlama) en de ViT bevroren zijn. Alleen de projectielaag en de Q-Former worden getraind.
  • Verliesfunctie: Het model wordt getraind met een cross-entropy generatieverlies op paren van multimodale inputs en succesvolle acties. De WebShop voltooiingsscore wordt geïntegreerd in de verliesfunctie om redenering en actie-uitlijning gezamenlijk te optimaliseren.
• Uitgebreide ReAct Prompts: De standaard ReAct (Reasoning + Acting) prompt is herontworpen om gealigneerde visuele representaties te bevatten (ingevoegd via <ImageHere>). De prompt engineering is zwaar geoptimaliseerd om binnen de beperkingen van 24 GB GPU-geheugen te passen, waardoor de agent in staat is tot ijle redenering (sparse reasoning) en het selecteren van acties uit een geldige ruimte ($A' = A \cap L$).

2. VQAgent

Deze benadering herkadert de WebShop-taak als een multi-hop Visual Question Answering (VQA) probleem, waarbij "antwoorden" overeenkomen met acties.

• Architectuur: Het maakt gebruik van het BEiT3 model, een state-of-the-art visie-taalmodel.
• Adaptatie: In tegenstelling tot standaard VQA (een generatietaak), wordt WebShop behandeld als een classificatietaak. Het model codeert de observatie (afbeelding, productbeschrijving, instructie) en alle mogelijke acties afzonderlijk met behulp van BEiT3. Deze embeddings worden vervolgens verwerkt via een bi-attention laag en een lineaire laag om acties te scoren.
• Training: Het model wordt getraind via Imitation Learning op menselijke trajecten om de correcte actieselectie na te bootsen.

3. Multimodale Ranker

Deze component beoogt het exploratiegedrag te verbeteren door systematisch alle beschikbare opties te evalueren voordat een beslissing wordt genomen, in plaats van enkel de eerste topresultaten te selecteren.

• Mechanisme: Het combineert BERT scores (die de tekstuele gelijkenis meten tussen instructies en producttitels) en CLIP scores (die de beeld-tekst congruentie meten).
• Training: Een leerbare parameter balanceert deze twee dimensies, en de ranker wordt getraind met behulp van een Mean Squared Error (MSE) verlies tegen de WebShop voltooiingsscore als label.

Belangrijkste Resultaten

MELLON Prestaties

• Verbetering in Accuraatheid: Het trainen van MELLON voor slechts één epoch resulteerde in een toename van 9,26% in de stap-voor-stap taakvoltooiingsnauwkeurigheid vergeleken met de unimodale ViT+CodeLlama inferentie-baseline (stijgend van 5,11% naar 14,37%).
• Ablatie-studies:
  • Het vervangen van de ResNet-baseline door een ViT + Trainable QFormer leverde vergelijkbare scores op (39,92) maar een iets lagere succesratio (9,6% vs. 9,8%) vergeleken met ResNet, wat suggereert dat eenvoudigere modellen in bepaalde contexten volstaan of dat de taak een beperkte multimodale context vereist.
  • De keuze voor CodeLlama boven Vicuna-7B werd geprefereerd vanwege minder hallucinaties en een betere naleving van de taatformaten, hoewel CodeLlama nog steeds incidenteel lege of ongeldige outputs produceerde.
• Kwalitatieve Analyse: In specifieke gevallen (bijv. het selecteren van een loveseat met een "houten afwerking"), maakte MELLON succesvol gebruik van visuele aanwijzingen om het juiste product te identificeren, terwijl de unimodale baseline faalde door een gebrek aan visueel begrip.

VQAgent en Multimodale Ranker Prestaties

• VQAgent: Dit model presteerde ondermaats vergeleken met de baseline, met een score van 31,26 en een succesratio van 5,7% (vs. baseline 39,92 en 9,8%). De auteurs schrijven dit toe aan een mismatch in informatiedichtheid: in WebShop bevat de tekstuele beschrijving vaak meer cruciale informatie dan afbeeldingen, in tegen tegenstelling tot standaard VQA-taken waar visuele informatie dominant is.
• Multimodale Ranker: De integratie van het rankingalgoritme verlaagde de prestaties (Score: 28,13; Succesratio: 8,6%). De auteurs suggereren dat uitputtende exploratie inefficiënt is in de enorme zoekruimte van WebShop en dat BERT/CLIP gelijkenissscores niet betrouwbaar correleren met de specifieke beloningscriteria van de WebShop-omgeving.

Betekenis en Claims

Het artikel beweert de eerste te zijn die:

1. Een multimodale webnavigatie-agent ontwikkelt die LLM's integreert, ondanks de technische uitdagingen van het mappen van open-ended generatie naar dynamische web-actieruimtes.
2. Visuele en tekstuele representaties uitlijnt via een projectielaag in een LLM, waarmee een efficiënte trainingsstrategie wordt gedemonstreerd (het bevriezen van de LLM en ViT).
3. Sterke redenering en planning mogelijk maakt in een multimodale setting door de ReAct-prompts te herontwerpen om visuele representaties te bevatten.

De auteurs benadrukken dat hoewel MELLON aanzienlijke belofte toont met minimale training (één epoch), de resultaten de noodzaak onderstrepen voor verdere exploratie van multimodale benaderingen. Zij erkennen de huidige beperkingen, waaronder de bevroren status van de LLM en de ViT, evenals de technische uitdagingen die de WebShop-omgeving met zich meebrengt. Het werk suggereert dat met uitgebreidere training, grotere geheugenbronnen en potentieel het fine-tunen van de LLM, multimodale agenten een substantieel hogere effectiviteit kunnen bereiken in webnavigatietaken.