Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man ein Videospiel navigiert. Sie wollen nicht nur, dass der Roboter das letzte Level gewinnt; Sie wollen wissen, ob er tatsächlich versteht, wie sich die Spielwelt verändert, wenn er eine Taste drückt. Weiß er, dass das Klicken auf einen „Start“-Button ein Menü erscheinen lässt? Oder rät er nur, dass das Menü vielleicht da ist, weil es wie ein Menü aussieht? Dies ist das Herzstück von „GUI-Agenten“ – Computerprogrammen, die mit Bildschirmen interagieren, so wie Menschen es tun: klicken, tippen und scrollen, um Aufgaben zu erledigen. Lange Zeit haben Wissenschaftler diese Roboter getestweise darauf geprüft, ob sie eine ganze Aufgabe abschließen können, wie zum Beispiel „einen Flug buchen“. Aber wenn der Roboter scheitert, ist es schwer zu sagen, ob er sich verlaufen hat, den Text nicht lesen konnte oder schlichtweg nicht verstanden hat, dass das Klicken auf eine Schaltfläche den Bildschirm verändert. Wir brauchen eine Möglichkeit, zu testen, ob der Roboter wirklich das Ursache-Wirkungs-Prinzip versteht, und nicht nur, ob er am Ende Glück hatte.

Hier kommt EvoGUI ins Spiel, ein neues Diagnosewerkzeug, das von Forschern der Tsinghua-Universität entwickelt wurde. Betrachten Sie es als eine „Zustandsübergangs-Prüfung“ für KI. Anstatt die KI eine komplexe Mission erfüllen zu lassen, bricht EvoGUI die Reise in winzige, handhabbare Rätsel herunter. Es nimmt eine aufgezeichnete Historie eines Menschen, der eine Website navigiert, und verwandelt sie in drei Arten von Fragen: „Was passierte zuerst?“ (Reihenfolge), „Welche Aktion verursachte diese Änderung?“ (Raten der Bewegung) und „Welcher dieser zwei Bildschirme kam als Nächstes?“ (Vorhersage der Zukunft). Die Forscher haben 28 verschiedene KI-Modelle mit diesem neuen Benchmark getestet. Sie fanden heraus, dass selbst die intelligentesten Modelle immer noch Schwierigkeiten damit haben, zu verstehen, wie sich Bildschirme entwickeln. Das beste Modell erreichte nur etwa 60 % der „Extrapunkte“ über dem Zufallsraten hinaus, was beweist, dass die KI zwar immer besser darin wird, zu sehen und zu sprechen, aber noch einen weiten Weg vor sich hat, bis sie wirklich versteht, wie sich ein Computerbildschirm verändert, wenn man ihn berührt.

Das Problem: Die „Black Box“ des Erfolgs

Stellen Sie sich vor, Sie beobachten einen Magier, der ein Kaninchen aus einem Hut zieht. Wenn der Trick funktioniert, applaudieren Sie. Aber wenn der Trick misslingt, wissen Sie nicht, ob das Kaninchen zu schwer war, der Hut zu klein war oder ob der Magier einfach den Zauberspruch vergessen hat. Dies ist genau das Problem mit aktuellen Tests für KI-Agenten. Die meisten Benchmarks messen den „End-to-End-Erfolg“ – hat die KI die Aufgabe abgeschlossen? Wenn sie gescheitert ist, wissen wir nicht warum. Hat sie die Schaltfläche nicht gesehen? Hat sie den Text nicht gelesen? Oder hat sie nicht verstanden, dass das Klicken auf die Schaltfläche tatsächlich den Bildschirm verändern würde?

Die Forscher hinter dieser Arbeit argumentieren, dass wir aufhören müssen, nur den finalen Akt zu beobachten, und stattdessen anfangen sollten, die Mechanik des Zaubertricks selbst zu testen. Sie wollten einen Weg finden, um die spezifische Fähigkeit des Verständnisses von Zustandsübergängen zu isolieren: die Fähigkeit vorherzusagen, wie sich eine Benutzeroberfläche nach einer Aktion verändert.

Die Lösung: Die Geschichte in ein Quiz verwandeln

Das Team unter der Leitung von Yaohan Yang und Minglei Shi entwickelte EvoGUI. Anstatt eine KI eine neue Aufgabe ausführen zu lassen, nahmen sie bestehende Aufzeichnungen von Menschen, die Websites navigieren (aus Datensätzen wie Mind2Web und WebLINX), und verwandelten sie in ein Multiple-Choice-Quiz. Sie mussten keine Menschen anheuern, um neue Fragen zu formulieren; sie nutzten einfach das eigene Protokoll des Computers darüber, was passiert ist.

Sie unterteilten die Fähigkeit des „Verstehens“ in drei unterhaltsame, unterschiedliche Spiele:

1. Das Zeitreise-Rätsel (Temporale Ordnung):
   Stellen Sie sich vor, Sie haben drei Fotos einer Geschichte, aber diese sind durcheinandergeraten. Eines zeigt eine leere Seite, eines zeigt ein ausgefülltes Formular und eines zeigt eine „Erfolgs“-Meldung. Die KI muss sie in die richtige Reihenfolge bringen: 1, 2, 3. Dies testet, ob die KI den Fluss von Zeit und Logik versteht.

2. Das Detektivspiel (Inverse Aktion/Wertvorhersage):
   Der KI wird ein „Vorher“-Bild und ein „Nachher“-Bild gezeigt. Sie muss erraten, was der Mensch getan hat. Hat er eine Schaltfläche geklickt? Hat er einen Namen getippt? Wenn er getippt hat, was genau hat er getippt? Dies testet, ob die KI in der Lage ist, eine Änderung zu betrachten und die spezifische Ursache zu ermitteln.

3. Die „Nächster Schritt“-Vermutung (One-Step Reachability):
   Die KI sieht einen Startbildschirm und zwei mögliche „Nächste“-Bildschirme (Kandidat A und Kandidat B). Einer ist der echte nächste Schritt, den der Mensch gemacht hat; der andere ist eine gefälschte Option, die ähnlich aussieht, aber nicht passiert ist. Die KI muss den echten auswählen. Dies ist der schwierigste Teil, da die gefälschten Optionen oft sehr knifflig sind – es könnten Bildschirme sein, die später einmal passieren könnten, aber gerade jetzt nicht.

Die Ergebnisse: Die KI lernt noch die Grundlagen

Die Forscher testeten 28 verschiedene KI-Modelle, von Open-Source-Giganten bis hin zu geschlossenen, proprietären Super-Modellen. Sie verwendeten einen speziellen Score namens EvoGain, um zu messen, wie viel besser die KI im Vergleich zum bloßen Zufallsraten abschnitt.

Hier ist die große Überraschung: Die KI ist bei weitem nicht so gut, wie wir dachten.

• Der beste Performer: Das Top-Modell, Gemini-3-Flash-Preview, erreichte einen EvoGain von 60,4 %. Das klingt hoch, bedeutet aber, dass das Modell bei etwa 40 % der Fragen immer noch Fehler macht. Es ist kein „gelöstes“ Problem; es gibt noch enormen Raum für Verbesserungen.
• Größe spielt keine Rolle: Man könnte denken, dass eine größere, teurere KI besser wäre. Das Paper zeigt jedoch, dass dies nicht der Fall ist. Einige massive Modelle mit Hunderten von Milliarden Parametern schnitten tatsächlich schlechter ab als kleinere, spezialisierte Modelle. „Groß“ zu sein bedeutet nicht automatisch, dass man versteht, wie sich ein Bildschirm verändert.
• Spezialisten vs. Generalisten: Selbst Modelle, die speziell für GUI-Aufgaben entwickelt wurden (wie UI-TARS), dominierten das Leaderboard nicht. Dies deutet darauf hin, dass es nicht ausreicht, eine KI einfach nur darauf zu trainieren, „einen Computer zu benutzen“; sie muss die Dynamik der Benutzeroberfläche tiefgreifend verstehen.

Warum das wichtig ist

Das Paper legt nahe, dass wir die Fähigkeit der KI, digitale Umgebungen zu verstehen, überschätzt haben. Nur weil eine KI eine Aufgabe abschließen kann, bedeutet das nicht, dass sie versteht, warum es funktioniert hat. Sie könnte einfach nur den richtigen Pfad geraten haben.

Durch die Nutzung von EvoGUI können Forscher nun genau bestimmen, wo eine KI scheitert. Ist sie schlecht darin, Ereignisse zu ordnen? Kann sie den Text, den sie getippt hat, nicht lesen? Verwechselt sie ähnliche Bildschirme? Dieses Diagnosewerkzeug wirkt wie das Stethoskop eines Arztes, das den „Herzschlag“ der KI abhört, um die spezifische Schwäche zu finden, anstatt nur zu prüfen, ob der Patient am Ende des Tages noch lebt.

Kurz gesagt: Während KI-Agenten zwar klüger werden, lernen sie noch immer die Grundlagen von Ursache und Wirkung in der digitalen Welt. Sie können den Bildschirm sehen, aber sie sind sich noch nicht ganz sicher, wie sich der Bildschirm verändern wird, wenn sie ihn berühren. Die Reise zu einem wahrhaft verstehenden KI-Agenten hat gerade erst begonnen.