Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety

Dit paper introduceert WebRRSBench, een uitgebreid benchmark voor multimodale grote taalmodellen (MLLM's) dat hun redeneervermogen, robuustheid en veiligheid bij webinteracties evalueert en significant tekortkomingen in deze gebieden blootlegt.

De kern

Stel je voor dat je een zeer slimme, maar nog wat onervaren assistent hebt die je helpt om dingen op het internet te doen. Deze assistent kan niet alleen lezen, maar ook kijken naar websites, knoppen zien en begrijpen wat er gebeurt. We noemen deze assistent een MLLM (een multimodaal groot taalmodel).

De auteurs van dit papier zeggen: "Hé, we vertrouwen deze assistent nu al met belangrijke taken, zoals het invullen van formulieren of het aankopen van spullen. Maar hebben we wel goed getest of hij echt slim, sterk en veilig is?"

Om dit te ontdekken, hebben ze een nieuwe test ontwikkeld, genaamd WebRRSBench. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zeer Slimme, maar Dwaas" Assistent

Vroeger keken we alleen of de assistent kon lezen of een knop kon vinden. Maar in het echte leven is het veel lastiger.

• Redeneren: Als je vraagt "Welke knop zit links van de rode doos?", moet de assistent niet alleen de knop zien, maar ook de ruimte eromheen begrijpen.
• Robuustheid (Sterk zijn): Wat gebeurt er als de website er anders uitziet? Stel, de kleuren zijn een beetje vervaagd, of de tekst is een beetje beschadigd door een virus? Is je assistent dan nog steeds slim, of raakt hij in paniek?
• Veiligheid: Wat als er een knop is die zegt "Verwijder mijn account voor altijd"? Ziet je assistent het gevaar, of klikt hij er gewoon op omdat hij denkt dat het een normale knop is?

De huidige tests waren als een rijexamen op een lege parkeerplaats. Ze testten of de auto kon rijden, maar niet of hij kon overleven in een storm of op een drukke markt.

2. De Oplossing: WebRRSBench (De "Stormtest")

De onderzoekers hebben een nieuwe testbaan gebouwd met 729 echte websites en bijna 3.800 vragen. Ze hebben de assistenten drie soorten "stormen" laten doorstaan:

• De Kleuren-Storm (Robuustheid): Ze hebben de kleuren van de websites veranderd. Soms maakten ze alles grijs en saai, soms veranderden ze de kleur van één knop, en soms van alle knoppen.
  • Vergelijking: Het is alsof je iemand vraagt een auto te herkennen, maar je verandert de kleur van de auto van rood naar blauw, of je plakt een sticker op de koplamp. Raakt de assistent in de war, of herkent hij de auto nog steeds?
• De Tekst-Storm (Robuustheid): Ze veranderden kleine letters of tekens in de tekst (bijvoorbeeld een 'o' vervangen door een '0').
  • Vergelijking: Het is alsof je een bordje "Stop" verandert in "St0p". Een slimme assistent moet weten dat het nog steeds een stopbord is, maar veel modellen raken hierdoor in de war.
• De Veiligheids-Test: Ze zochten websites met gevaarlijke knoppen (zoals "Account definitief verwijderen").
  • Vergelijking: Ze kijken of de assistent een brandalarm herkent en niet per ongeluk de brandblusser neerzet, terwijl hij denkt dat het een drankautomaat is.

3. Wat Vonden Ze? (De Resultaten)

Ze hebben 11 verschillende assistenten (zowel gratis open-source modellen als dure, gesloten modellen) getest. Hier zijn de belangrijkste ontdekkingen:

• De dure modellen zijn slimmer: De modellen van grote bedrijven (zoals GPT-5) deden het over het algemeen beter dan de gratis versies, vooral op het gebied van veiligheid.
• Ze zijn kwetsbaar voor kleine veranderingen: Als je de kleuren of letters een beetje aanpaste, vielen veel modellen flink uit elkaar. Ze leunden te veel op de "schone" versie van de website.
• Ruimtelijk inzicht is lastig: Veel modellen konden niet goed zeggen welke knop links of rechts van welke andere knop zat. Ze waren als een mens die wel kan lezen, maar geen gevoel heeft voor afstand.
• Oefening baart kunst (Fine-tuning): Toen ze een model speciaal trainden op deze taken (een soort "bijles" geven), werd het plotseling veel beter. Een model dat eerder maar 16% goed had, deed het daarna voor 41% goed.

4. De Conclusie

De boodschap van dit papier is duidelijk: Onze AI-assistenten zijn nog niet klaar voor de echte wereld. Ze zijn goed in het lezen van een perfecte website, maar ze zijn nog te fragiel en soms te onveilig voor complexe, chaotische situaties.

We moeten ze meer trainen om niet alleen te kijken naar de kleuren en letters, maar om de betekenis en de veiligheid van een website echt te begrijpen, zelfs als de website er raar uitziet. WebRRSBench is de nieuwe meetlat om te zien of ze daar klaar voor zijn.

Technische samenvatting

Titel: Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety

1. Het Probleem

Multimodale grote taalmodellen (MLLM's) worden steeds vaker ingezet als de kern van webgebaseerde systemen, zoals GUI-agenten en front-end automatisering. Deze systemen moeten paginastructuur interpreteren, interactieve widgets selecteren en multi-stap interacties uitvoeren. Echter, bestaande benchmarks voor webbegrip vertonen drie kritieke tekortkomingen die hun toepasbaarheid in realistische scenario's beperken:

• Onvoldoende redeneer-evaluatie: Bestaande benchmarks negeren vaak ruimtelijk redeneren (relaties tussen UI-elementen) en semantisch begrip van elementen, wat essentieel is voor GUI-agenten.
• Gebrek aan robuustheid en veiligheid: Er zijn weinig tests voor hoe modellen reageren op verstoringen (zoals layout-wijzigingen of kleurverschuivingen) en of ze veiligheidskritieke acties (zoals accountverwijdering) kunnen identificeren en vermijden.
• Beperkte uitbreidbaarheid: Veel benchmarks zijn statisch en kunnen niet eenvoudig worden uitgebreid met nieuwe testcases of evaluatiedimensies.

2. Methodologie: WebRRSBench

Om deze kloof te dichten, stellen de auteurs WebRRSBench voor, een uitgebreid benchmarkkader dat MLLM's evalueert op drie pijlers: Redeneren, Robuustheid en Veiligheid.

• Datasets: Het benchmark bestaat uit 729 websites (gefilterd uit bestaande datasets zoals Mind2Web en V0 Community) met 3.799 vraag-antwoordparen.

• Acht Evaluatietaken:

  1. Redeneren (4 taken):
     • Relatieve Positie: Bepalen van de ruimtelijke relatie tussen twee elementen (bijv. "linksboven van").
     • UI Groepering: Identificeren tot welke functionele sectie een element behoort (bijv. hoofdinhoud, sidebar).
     • Formulierinvulling: Het voorspellen van de juiste invoer in formulier-velden op basis van de context.
     • Hint-tekst Voorspelling: Het genereren van geschikte placeholder-tekst voor formulieren.
  2. Robuustheid (3 taken):
     • Kleur: Evaluatie onder drie condities: globale lage contrasten, partiële kleurverschuivingen (10-30% van de knoppen) en volledige kleurverschuivingen.
     • Tekst: Introductie van semantisch behoudende maar vorm-verstorende wijzigingen (witruimte, leestekens, visueel vergelijkbare karakters) in knoplabels.
     • Layout: Minimale DOM-wijzigingen (verwijderen/verplaatsen van knopen) om te testen of de algemene pagina-doelstelling behouden blijft.
  3. Veiligheid (1 taak):
     • Veiligheidskritieke Detectie: Identificeren van knoppen die onomkeerbare acties triggeren (bijv. "Account verwijderen") en die niet eenvoudig terug te draaien zijn.

• Evaluatie-protocol:

  • Gebruik van gestandaardiseerde prompts en een deterministische evaluatiepijplijn.
  • Ground truth wordt bepaald door consensus van vier PhD-studenten.
  • Voor robuustheidstaken wordt een "paar-evaluatie" gebruikt: het model krijgt zowel de originele als de verstoord versie, en de output wordt vergeleken op consistentie.

3. Belangrijkste Bijdragen

• Het eerste kader voor geïntegreerde evaluatie: WebRRSBench is de eerste benchmark die systematisch redeneren, robuustheid en veiligheid combineert voor web-GUI-agenten.
• Nieuwe redeneertaken: Introductie van vier nieuwe taken die cruciaal zijn voor ruimtelijk en semantisch begrip van UI's.
• Systematische robuustheidstests: Implementatie van drie nieuwe perturbatiemethoden (kleur, tekst, layout) gebaseerd op realistische scenario's (zoals WCAG-richtlijnen voor contrast).
• Uitbreidbaar ontwerp: Het framework ondersteunt automatische generatie van nieuwe steekproeven, wat langdurige bruikbaarheid garandeert.

4. Resultaten

De auteurs hebben 11 MLLM's (zowel open-source als gesloten-source) geëvalueerd. De belangrijkste bevindingen zijn:

• Prestatieverschillen: Gesloten-source modellen (zoals GPT-5, Claude-4-Sonnet, Gemini 2.5-Pro) presteren over het algemeen beter dan open-source modellen, vooral bij veiligheidskritieke taken.
• Redeneringsproblemen: Zelfs de beste modellen worstelen met compositieel redeneren over ruimtelijke relaties en formulierinvulling. Open-source modellen tonen grote variatie; grotere modellen (bijv. Qwen2.5-VL-72B) zijn robuuster, maar kleinere modellen falen vaak bij ruimtelijke taken.
• Systematische kwetsbaarheden:
  1. Over-reliance op visuele salientie: Modellen vertrouwen te veel op opvallende kleuren in plaats van tekstuele of structurele cues.
  2. Fragiliteit bij tekstwijzigingen: Kleine tekstdrukken leiden tot grote afwijkingen in functionele interpretatie.
  3. Ruimtelijke bias: Modellen neigen om lokale details te overbelichten ten koste van de globale structuur.
• Effectiviteit van Fine-tuning: LoRA-based fine-tuning leidt tot aanzienlijke verbeteringen. Bijvoorbeeld:
  • Positie-redenering steeg van 16,3% naar 41,3%.
  • UI-groepering steeg van 67,6% naar 96,9%.
  • Kleur-robuustheid steeg van 73,1% naar 80,1%.

5. Betekenis en Conclusie

WebRRSBench biedt een noodzakelijke standaard voor het evalueren van de inzetbaarheid van MLLM's in real-world webautomatisering. Het onderzoek benadrukt dat hoewel modellen goed zijn in visuele waarneming, er nog grote gaten zijn in hun veiligheidsbewustzijn en robustheid tegen verstoringen.

De studie concludeert dat toekomstige modellen niet alleen groter moeten zijn, maar ook specifiek getraind moeten worden op ruimtelijk redeneren en veiligheidsprotocollen. De gepubliceerde dataset en code (beschikbaar op GitHub) dienen als een fundament voor de ontwikkeling van de volgende generatie veilige en betrouwbare web-agenten.