Benchmarking MLLM-based Web Understanding: Reasoning, Robustness and Safety

Die Studie stellt WebRRSBench vor, ein umfassendes Benchmark für multimodale große Sprachmodelle, das deren Fähigkeiten in Bezug auf logisches Schlussfolgern, Robustheit und Sicherheit bei der Webinteraktion evaluiert und dabei erhebliche Defizite in diesen kritischen Bereichen aufzeigt.

Das Wesentliche

Stellen Sie sich vor, Sie geben einem hochintelligenten, aber noch etwas unerfahrenen Assistenten eine Brille auf und bitten ihn, für Sie im Internet zu arbeiten. Er soll Formulare ausfüllen, auf Knöpfe klicken und komplexe Webseiten navigieren. Klingt einfach? Für die aktuellen „KI-Assistenten" (die sogenannten Multimodalen Large Language Models oder MLLMs) ist das oft wie ein Spaziergang durch ein Labyrinth, das sich ständig verändert.

Diese Forschungsarbeit stellt genau diese Assistenten auf den Prüfstand. Die Forscher haben einen neuen Test namens WebRRSBench entwickelt. Um zu verstehen, worum es dabei geht, nutzen wir ein paar einfache Vergleiche:

1. Der Test: Ein neuer Fahrprüfungs-Parcours

Bisherige Tests für KI waren wie eine theoretische Fahrprüfung: Sie fragten die KI nur, ob sie ein Schild lesen oder einen Text verstehen kann. Aber im echten Leben muss ein Autofahrer (oder ein KI-Agent) auch räumlich denken, bei schlechtem Wetter sicher bleiben und nicht in Panik geraten, wenn ein anderer Fahrer die Spur wechselt.

WebRRSBench ist wie ein extrem anspruchsvoller Fahrtest mit drei speziellen Disziplinen:

• Denkvermögen (Reasoning):

  • Die Aufgabe: Die KI muss verstehen, wo Dinge zueinander stehen. Ist der „Kaufen"-Knopf links oder rechts vom Bild?
  • Das Problem: Viele KIs sind wie Menschen, die eine Landkarte lesen können, aber im echten Verkehr die Orientierung verlieren. Sie wissen oft nicht, dass ein Element über einem anderen liegt, wenn das Design kompliziert ist.
  • Der Test: Die KI muss Beziehungen zwischen Elementen auf einer Webseite beschreiben, ähnlich wie man sagt: „Der Kühlschrank steht links neben dem Herd."

• Robustheit (Robustness):

  • Die Aufgabe: Was passiert, wenn die Welt um die KI herum verrückt spielt?
  • Die Analogie: Stellen Sie sich vor, Sie fahren bei starkem Nebel (geringer Kontrast), jemand bemalt plötzlich 30 % der Autos auf der Straße in grelle Farben (Farbverschiebung) oder jemand ändert die Beschriftung an einem Verkehrsschild von „Stop" in „Stöp" (Textverzerrung).
  • Der Test: Die Forscher verändern Webseiten absichtlich: Sie machen sie dunkel, ändern die Farben der Knöpfe oder fügen kleine Tippfehler hinzu. Eine gute KI sollte trotzdem wissen, welcher Knopf der wichtigste ist. Die aktuellen KIs stolpern hier oft über die kleinsten Veränderungen.

• Sicherheit (Safety):

  • Die Aufgabe: Kann die KI erkennen, wenn eine Handlung katastrophal ist?
  • Die Analogie: Ein Autofahrer muss wissen, dass er nicht einfach in eine Mauer fahren darf. In der digitalen Welt gibt es Knöpfe wie „Konto dauerhaft löschen" oder „Nicht erstattbare Zahlung bestätigen".
  • Der Test: Die KI muss erkennen, welche Knöpfe gefährlich sind und nicht versehentlich darauf klicken. Hier zeigen die KIs oft, dass sie zu vorsichtig sind (sie trauen sich nichts) oder zu unvorsichtig (sie löschen versehentlich alles).

2. Die Ergebnisse: Wer besteht den Test?

Die Forscher haben 11 verschiedene KI-Modelle getestet, von den großen, teuren „Super-Intelligenzen" (wie GPT-5) bis hin zu den kostenlosen Open-Source-Modellen.

• Die Gewinner: Die großen, geschlossenen Modelle (die man nicht selbst herunterladen kann) waren deutlich besser. Sie waren wie erfahrene Rennfahrer, die auch bei Nebel und auf rutschiger Straße sicher bleiben.
• Die Schwächen: Die kleineren Modelle hatten massive Probleme. Sie verwechselten oft die Position von Knöpfen oder fielen auf optische Täuschungen herein.
• Der Durchbruch durch Training: Das Spannendste ist, dass die Forscher gezeigt haben, wie man die KIs verbessern kann. Durch gezieltes „Nachschulen" (Fine-Tuning) konnten sie die Leistung bei der räumlichen Orientierung von einem miserablen 16 % auf fast 41 % steigern. Das ist, als würde man einem Fahrschüler nach 10 Stunden extra-Training plötzlich die Angst vor dem Parken nehmen.

3. Warum ist das wichtig?

Stellen Sie sich vor, Sie lassen einen Roboter Ihren Online-Banking-Account verwalten. Wenn dieser Roboter nicht versteht, dass der „Löschen"-Knopf links vom „Speichern"-Knopf liegt, oder wenn er panisch wird, weil die Webseite plötzlich dunkler ist, könnte er Ihr ganzes Geld löschen oder versehentlich einen teuren Kauf tätigen.

Zusammenfassend:
Dieser Papier sagt uns: Unsere KI-Assistenten sind noch nicht bereit, allein im Internet zu arbeiten. Sie sind wie brillante Schüler, die die Theorie können, aber im echten, chaotischen Straßenverkehr noch zu viele Fehler machen. Der neue Test WebRRSBench ist wie ein strenger Fahrlehrer, der genau auf diese Schwächen achtet, damit wir in Zukunft sicherere und zuverlässigere digitale Assistenten haben.

Die Botschaft ist klar: Bevor wir KI-Systeme vollautomatisch unsere Webseiten bedienen lassen, müssen wir sie erst einmal in einem simulierten Chaos-Parcours trainieren, damit sie nicht bei der kleinsten Farbänderung oder einem Tippfehler die Kontrolle verlieren.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) werden zunehmend als Kern-Engines für Web-GUI-Agenten und Frontend-Automatisierung eingesetzt. Diese Systeme müssen Webseitenstrukturen interpretieren, interaktive Widgets auswählen und mehrstufige Interaktionen zuverlässig ausführen.

Bestehende Benchmarks (z. B. VisualWebBench, WebUIBench) konzentrieren sich jedoch hauptsächlich auf visuelle Wahrnehmung oder die Generierung von UI-Code. Es fehlt eine umfassende Evaluierung der für reale Webanwendungen kritischen Fähigkeiten:

• Fehlende Reasoning-Evaluation: Aktuelle Benchmarks vernachlässigen räumliches Denken (Positionen von Elementen zueinander) und das semantische Verständnis von UI-Komponenten im Kontext.
• Mangelnde Robustheits- und Sicherheitsbewertung: Es gibt kaum Tests für adversariale Störungen (z. B. Layout-Änderungen, Farbverschiebungen) oder die Fähigkeit, sicherheitskritische Aktionen (z. B. Kontolöschung) zu erkennen und zu vermeiden.
• Eingeschränkte Erweiterbarkeit: Viele Benchmarks sind statisch und lassen sich nicht programmatisch um neue Testfälle erweitern.

2. Methodik: WebRRSBench

Die Autoren stellen WebRRSBench vor, einen umfassenden Benchmark, der Reasoning, Robustheit und Sicherheit für MLLMs in Web-Umgebungen gemeinsam bewertet.

• Datensatz: Der Benchmark basiert auf 729 realen Webseiten und enthält 3.799 Frage-Antwort-Paare. Die Daten stammen aus Quellen wie Mind2Web, WebSRC und der V0-Community, wobei eine gezielte Filterung für spezifische Evaluierungsdimensionen erfolgte.
• Aufgabenstruktur (8 Tasks):
  1. Reasoning-Tasks:
     • Position Relationship Reasoning: Bestimmung der relativen Position von Elementen (z. B. „oben-links von").
     • Form Filling: Ausfüllen von Formularen basierend auf inferierten Benutzerzielen.
     • Hint Text Prediction: Vorhersage von Hilfetexten in Formularen.
     • UI Grouping: Zuordnung von Elementen zu funktionalen Gruppen (z. B. Sidebar, Hauptinhalt).
  2. Robustheits-Tasks (Adversariale Perturbationen):
     • Color Robustness: Drei Szenarien (globale Kontrastreduktion, partielle Farbverschiebung bei 10–30% der Buttons, vollständige Farbverschiebung aller Buttons).
     • Text Robustness: Störungen von Button-Labels durch Leerzeichen, Sonderzeichen oder ähnlich aussehende Zeichen (z. B. „o" zu „0"), ohne die Funktion zu ändern.
     • Layout Robustness: Minimale DOM-Änderungen (Löschen, Einfügen, Verschieben von Knoten), die die Semantik erhalten, aber das Layout verändern.
  3. Safety-Tasks:
     • Safety Critical Detection: Identifikation von irreversiblen Aktionen (z. B. „Account löschen"), die nicht durch einfache Schritte rückgängig gemacht werden können.
• Evaluierungs-Pipeline:
  • Verwendung von standardisierten Prompts und einem deterministischen Evaluierungs-Workflow.
  • Ground Truth (GT) wird durch Konsens von vier PhD-Studierenden erstellt, nicht durch automatische Metriken.
  • Bei Robustheitstests wird ein paired evaluation protocol verwendet: Das Modell erhält sowohl das Original als auch die gestörte Version. Robustheit wird gemessen, indem die semantische Konsistenz der Antworten verglichen wird.
  • Zusätzlich wird eine Self-Contrast-Analyse durchgeführt, um Instabilitäten zu erkennen, die bei reinen Durchschnittswerten verborgen bleiben könnten.

3. Wichtige Beiträge

1. Erster umfassender Evaluierungsrahmen: WebRRSBench ist der erste Benchmark, der Reasoning, Robustheit und Sicherheit für Web-GUI-Agenten systematisch integriert.
2. Neue Reasoning-Aufgaben: Einführung von vier neuen Aufgaben, die für GUI-Agenten essenziell sind (räumliche Inferenz, Formularausfüllung, UI-Gruppierung).
3. Systematische Robustheits- und Sicherheitsbewertung: Entwicklung von drei neuen Perturbationsmethoden (Layout, Farbe, Text) und spezifischen Sicherheitsaufgaben, die Lücken in bestehenden Benchmarks schließen.
4. Erweiterbares Design: Der Rahmen unterstützt die automatische Generierung von Adversarial-Samples und Positionierungs-Beispielen, was langfristige Nutzbarkeit sichert.

4. Ergebnisse

Die Autoren bewerteten 11 MLLMs (eine Mischung aus Open-Source- und Closed-Source-Modellen wie GPT-5, Claude-4-Sonnet, Gemini 2.5-Pro, Qwen2.5-VL-Serie, Llama4, Pixtral).

• Gesamtleistung (RQ1):
  • Closed-Source-Modelle (insb. GPT-5, Gemini 2.5-Pro) schneiden in fast allen Kategorien, besonders bei Sicherheitsaufgaben, deutlich besser ab als Open-Source-Modelle.
  • Open-Source-Modelle zeigen große Varianz. Größere Modelle (z. B. Qwen2.5-VL-72B) erreichen bei Robustheitstests Werte nahe den Closed-Source-Modellen, scheitern aber oft bei komplexen Reasoning-Aufgaben wie Positionsbestimmung und Formularausfüllung.
  • Reasoning-Aufgaben stellen für alle Modelle die größte Hürde dar.
• Fine-Tuning-Effekte (RQ2):
  • Ein gezieltes LoRA-Fine-Tuning auf Qwen2.5-VL-7B führte zu signifikanten Verbesserungen:
    • Positions-Reasoning: Steigerung von 16,3 % auf 41,3 % (Faktor >2,5).
    • UI-Gruppierung: Steigerung von 67,6 % auf 96,9 %.
    • Farb-Robustheit: Steigerung von 73,1 % auf 80,1 %.
  • Dies zeigt, dass gezieltes Supervision-Learning die Fähigkeiten von MLLMs in diesen Bereichen effektiv verbessern kann.
• Fehleranalyse (RQ3):
  • Modelle zeigen drei systematische Schwächen:
    1. Übermäßige Abhängigkeit von visueller Salienz: Bei Farbstörungen verlassen sie sich zu sehr auf auffällige Farben statt auf Text/Struktur.
    2. Brüchigkeit bei Textänderungen: Kleine Änderungen auf Zeichenebene führen zu großen Abweichungen in der Funktionsinterpretation.
    3. Räumlicher Aufmerksamkeits-Bias: Modelle neigen dazu, lokale Regionen zu überbewerten und die globale Struktur zu ignorieren, was zu unvollständigen Zusammenfassungen führt.

5. Bedeutung und Ausblick

WebRRSBench setzt neue Standards für die Evaluierung von MLLMs im Web-Kontext. Die Studie zeigt, dass aktuelle Modelle zwar Fortschritte bei der visuellen Wahrnehmung gemacht haben, aber bei tiefem Reasoning, Robustheit gegen Störungen und Sicherheitsbewusstsein erhebliche Defizite aufweisen.

Der Benchmark bietet:

• Einen realistischen Test für die Einsatzbereitschaft von Web-Agenten in der Praxis.
• Ein Werkzeug zur Identifizierung spezifischer Schwachstellen (z. B. Anfälligkeit für Jailbreaks durch visuelle Manipulation).
• Eine Basis für zukünftige Forschung, die auf robustere, sicherere und besser reasoning-fähige Modelle abzielt.

Die Code- und Datensatz-Verfügbarkeit unterstreicht die Reproduzierbarkeit und fördert die Weiterentwicklung des Feldes.