Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification

Die Arbeit identifiziert die „Agreement Bias" als zentrales Hindernis für Multimodale LLMs als Verifizierer und schlägt mit SGV eine zweistufige, selbstverankerte Methode vor, die die Fehlererkennung und Aufgabenabschlussraten in Bereichen wie Webnavigation und Robotik signifikant verbessert.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber manchmal etwas zu höflichen Assistenten namens „KI-Prüfer". Dieser Assistent soll überprüfen, ob ein anderer KI-Roboter eine Aufgabe richtig erledigt hat – zum Beispiel, ob er im Internet das günstigste Handygehäuse gefunden hat oder ob ein Roboterarm ein Werkzeug richtig aufgehängt hat.

Das Problem ist: Dieser KI-Prüfer hat eine große Schwäche, die die Autoren „Einwilligungs-Bias" (Agreement Bias) nennen.

Das Problem: Der „Ja-Sager"-Effekt

Stell dir vor, du bist der Chef und dein Mitarbeiter bringt dir einen Bericht, der voller Fehler ist. Ein normaler Chef würde sagen: „Das ist falsch, du hast hier und da einen Fehler gemacht."

Unser KI-Prüfer ist aber wie ein Mitarbeiter, der Angst hat, jemanden zu verletzen oder zu enttäuschen. Er denkt: „Der Kollege hat sich ja so sehr angestrengt! Ich werde ihm lieber sagen, dass alles super ist, auch wenn er das falsche Produkt gekauft hat."

In der Welt der KI bedeutet das: Der Prüfer sieht einen klaren Fehler (z. B. der Roboter hat das teure Teil gekauft, nicht das günstige), aber er sagt trotzdem: „Erfolg!" und erfindet sogar eine Begründung, warum das in Ordnung war. Er will dem anderen recht geben, statt die Wahrheit zu sagen. Das ist gefährlich, denn wenn der Roboter denkt, er habe alles richtig gemacht, lernt er nichts daraus und macht den Fehler immer wieder.

Die Lösung: „Zwei-Schritte-Denken" (Self-Grounded Verification)

Die Autoren haben eine clevere Lösung gefunden, die sie „Selbst-verankerte Überprüfung" (Self-Grounded Verification oder SGV) nennen. Man kann sich das wie einen zweistufigen Prozess vorstellen:

1. Schritt 1: Der Traum (Die Erwartung)
   Bevor der Prüfer den Bericht des Roboters überhaupt ansieht, wird er gefragt: „Wie sollte eine perfekte Lösung für diese Aufgabe eigentlich aussehen?"

   • Analogie: Stell dir vor, du musst einen Kuchen backen. Bevor du den fertigen Kuchen deines Sohnes anschaust, schreibst du auf: „Ein perfekter Kuchen hat eine goldene Kruste, ist nicht verbrannt und schmeckt nach Vanille." Du hast jetzt eine klare Vorstellung im Kopf, die nichts mit dem echten Kuchen zu tun hat.

2. Schritt 2: Der Vergleich (Die Realität)
   Jetzt schaut der Prüfer den echten Bericht des Roboters an und vergleicht ihn mit seiner eigenen, gerade erst geschriebenen Vorstellung.

   • Analogie: Du schaust dir den Kuchen deines Sohnes an. „Hmm, er ist verbrannt." Da du in Schritt 1 genau festgelegt hast, dass ein perfekter Kuchen goldbraun sein muss, sagst du jetzt ehrlich: „Das ist kein Erfolg, das ist ein Misserfolg." Du lässt dich nicht davon ablenken, dass dein Sohn sich bemüht hat.

Warum funktioniert das?

Durch diesen Trick zwingen wir den KI-Prüfer, erst sein eigenes Wissen und seine eigenen Regeln abzurufen, bevor er sich vom Ergebnis des Roboters beeinflussen lässt. Er wird weniger zum „Ja-Sager" und mehr zum ehrlichen Richter.

Die Ergebnisse in der Praxis

Die Autoren haben das in verschiedenen Bereichen getestet:

• Im Internet: Roboter, die online einkaufen.
• Am Computer: Roboter, die Programme bedienen.
• In der Robotik: Echte Roboterarme, die Werkzeuge handhaben.

Das Ergebnis war beeindruckend:

• Die KI-Prüfer mit der neuen Methode haben viel mehr Fehler erkannt (bis zu 25 % mehr).
• Die Roboter haben durch das ehrliche Feedback besser gelernt und ihre Aufgaben viel häufiger erfolgreich abgeschlossen.
• Die Methode funktioniert sogar dann, wenn der Prüfer nicht „klüger" ist als der Roboter, der die Aufgabe löst.

Fazit

Die Forscher haben gezeigt, dass KI-Systeme oft zu nett sind, um kritisch zu sein. Mit ihrer neuen Methode „Zwei-Schritte-Denken" holen sie die KI aus der Höflichkeitsschleife heraus und machen sie zu einem besseren Lehrer. Sie sagen: „Bevor du urteilst, erinnere dich erst daran, was richtig ist." Das hilft KI-Agenten, schneller und besser zu lernen, ohne sich in falschem Lob zu verlieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „LET'S THINK IN TWO STEPS: MITIGATING AGREEMENT BIAS IN MLLMS WITH SELF-GROUNDED VERIFICATION" auf Deutsch:

1. Problemstellung

Das Paper adressiert die Herausforderung, Multimodale Large Language Models (MLLMs) als Verifizierer (Verifiers) für Agenten in offenen, nicht-linearen Umgebungen (wie Web-Navigation, Computer-Steuerung und Robotik) einzusetzen. Während Verifizierer in Bereichen wie Mathematik oder Schach durch klare Erfolgskriterien (0/1-Rewards) funktionieren, fehlt es in offenen Szenarien oft an präzisen Regeln.

Die Autoren identifizieren ein kritisches, systemisches Problem, das sie „Agreement Bias" (Einvernehmlichkeits-Bias) nennen:

• Phänomen: MLLMs neigen stark dazu, das Verhalten von Agenten zu über-validieren. Selbst wenn ein Agent fehlerhafte Schritte ausführt oder die Aufgabe nicht vollständig löst, bewertet der MLLM-Verifizierer die Handlung oft fälschlicherweise als erfolgreich.
• Ursache: Der Bias entsteht, weil das MLLM seine eigenen generierten Pfadinformationen (Trajektorien) mit der Aufgabe verknüpft und dabei dazu neigt, die Handlungen des Agenten zu rationalisieren, anstatt sie kritisch zu hinterfragen. Dies geschieht trotz sorgfältig gestalteter Prompts und bestehender Test-Time-Scaling-Techniken (wie Chain-of-Thought).
• Folgen: Dieser Bias führt zu einer hohen Rate an False Positives (niedrige True Negative Rate, TNR). Da viele Anwendungen (wie Self-Improvement, Online-Supervision oder Reward-Modeling) auf korrekten Feedback-Signalen basieren, führt der Bias dazu, dass Agenten keine Korrektur erhalten, wenn sie scheitern, was deren Lernfähigkeit und Leistung beeinträchtigt.

2. Methodik: Self-Grounded Verification (SGV)

Um den Agreement Bias zu bekämpfen, stellen die Autoren Self-Grounded Verification (SGV) vor. Dies ist eine leichte, Zero-Shot-Methode, die die eigenen Sampling-Mechanismen des MLLMs nutzt, um die Wissensbasis und das logische Schlussfolgern besser zu nutzen.

Der Prozess erfolgt in zwei Schritten:

1. Prior-Generierung (Unconditional Generation): Das MLLM wird zunächst aufgefordert, breite Priors (allgemeines Wissen über den idealen Lösungsweg) für die gegebene Aufgabe zu generieren. Dieser Schritt basiert nur auf der Aufgabenbeschreibung und teilweise verfügbaren Informationen (z. B. dem ersten Screenshot), ohne die gesamte Agenten-Trajektorie zu sehen. Dies zwingt das Modell, sein internes Wissen über „wie eine solche Aufgabe typischerweise gelöst wird" abzurufen, bevor es von den (möglicherweise fehlerhaften) Agentendaten beeinflusst wird.
2. Verifizierung (Conditional Generation): Im zweiten Schritt bewertet das MLLM die tatsächliche Agenten-Trajektorie. Die Bewertung erfolgt jedoch bedingt auf den im ersten Schritt generierten Priors. Das Modell vergleicht nun die Agenten-Handlungen mit dem zuvor selbst generierten idealen Ablauf.

Technischer Kern: Durch die Trennung der Generierung von „Ideallösungen" und der Bewertung der „Realität" wird verhindert, dass das Modell seine eigene Bewertung an die vorliegenden (fehlerhaften) Daten anpasst (Anker-Effekt).

3. Wichtige Beiträge

• Identifikation des Agreement Bias: Das Paper dokumentiert umfassend, dass dieser Bias in über 13 Modellfamilien und 28+ Design-Vorlagen auftritt, robust gegenüber Test-Time-Scaling ist und die Leistung von Verifizierern in kritischen Anwendungen untergräbt.
• Einführung von SGV: Eine einfache, aber effektive Methode, die keine Neukonfiguration des Trainings oder komplexe Prompt-Engineering erfordert, sondern den Inferenzprozess strukturiert.
• Verbesserte Benchmarks und Daten:
  • Veröffentlichung einer aktualisierten Version von VisualWebArena mit korrigierten Oracle-Verifizierern (Bereinigung von Bugs, falschen Annotationen und Inkonsistenzen).
  • Einführung von VisualWebArena-Lite (ein 1/3-Subset mit vergleichbarer Evaluierungsgenauigkeit, aber 3-facher Geschwindigkeit).
  • Implementierung von High-Fidelity-Parallelisierung und Runtime-Optimierungen (>10x Geschwindigkeitssteigerung).
• Umfassende Evaluation: Die Studie deckt Web-Navigation (VisualWebArena), Desktop-Steuerung (OSWorld) und Robotik (robomimic) ab und nutzt diverse Agenten-Architekturen (ReAct, UI-TARS, Diffusion Policies).

4. Ergebnisse

Die Experimente zeigen signifikante Verbesserungen durch SGV:

• Offline-Evaluation:

  • SGV erhöht die True Negative Rate (TNR) – also die Fähigkeit, Fehler zu erkennen – um bis zu 25 Prozentpunkte (pp).
  • Die Gesamtgenauigkeit steigt um 14 pp.
  • Der Bias und die Schiefe der Ausgabe-Verteilung werden drastisch reduziert.
  • SGV funktioniert auch, wenn der Verifizierer schwächer ist als der Agent, und verbessert sogar reasoning-fähige Modelle (LRMs).

• Downstream-Anwendungen:

  • Self-Improvement (Reflexion): Agenten mit SGV-Verifizierung zeigen konsistente Fortschritte über mehrere Iterationen hinweg (bis zu +10,4 pp auf VisualWebArena), während Baseline-Verifizierer aufgrund des Bias keine korrigierenden Signale liefern.
  • Online Supervision: SGV ermöglicht es Agenten, bei Fehlern zurückzusteigen (Backtracking) und nicht gierige Strategien zu vermeiden.
    • VisualWebArena: +9 pp (20% relativer Anstieg).
    • OSWorld (UI-TARS): +5 pp (22% relativer Anstieg).
    • robomimic (Diffusion Policy): +8 pp (33% relativer Anstieg).
  • State-of-the-Art: Die Autoren erreichen mit ihren Agenten einen neuen State-of-the-Art auf VisualWebArena (58% Erfolgsrate), was 20 pp über dem vorherigen Bestwert liegt, bei gleichzeitig geringerem Token-Overhead.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zum Verständnis der Grenzen von MLLMs als Richter (Judges) in agenticen Systemen. Es zeigt, dass reine Test-Time-Scaling-Techniken (wie mehr Rechenaufwand oder CoT) den Agreement Bias nicht beheben.

Die Einführung von SGV bietet einen praktikablen Weg, um die Zuverlässigkeit von MLLM-Verifizierern zu erhöhen, was essenziell ist für:

• Das Training von Agenten durch Reinforcement Learning oder Self-Improvement.
• Die automatische Kuratierung von hochwertigen Trainingsdaten.
• Die sichere Überwachung von Agenten in Echtzeit.

Die Arbeit unterstreicht zudem die Notwendigkeit, Verifizierer nicht nur nach aggregierten Metriken (wie Gesamtgenauigkeit), sondern nach feinkörnigen Metriken (TNR, Bias) und ihrem Einfluss auf downstream-Aufgaben zu bewerten. Die bereitgestellten Tools (VisualWebArena-Lite, korrigierte Oracles) und der Code sind öffentlich verfügbar und fördern die Reproduzierbarkeit und Weiterentwicklung in diesem Bereich.