💬 NLP

Benchmarking Living-Screen-Native GUI Agents on Short-Video Platforms

Dieses Paper führt LivingScreen ein, den ersten Benchmark für „Living-Screen-Native“-GUI-Agenten, die auf dynamischen Kurzvideo-Plattformen operieren, und zeigt auf, dass aktuelle Frontier-Modelle die menschliche Leistung nicht erreichen können, da sie nicht in der Lage sind, das Timing der Beobachtung inmitten kontinuierlich wechselnder Inhalte effektiv zu kontrollieren.

Ursprüngliche Autoren: Jiashu Yao, Heyan Huang, Daiqing Wu, Wangke Chen, Huaxi Ai, Haoyu Wen, Zeming Liu, Yuhang Guo

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiashu Yao, Heyan Huang, Daiqing Wu, Wangke Chen, Huaxi Ai, Haoyu Wen, Zeming Liu, Yuhang Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man ein Smartphone benutzt. Die meisten aktuellen Tests für diese Roboter sind wie das Geben eines eingefrorenen Fotos eines Bildschirms. Der Robot betrachtet das Bild, entscheidet, worauf er klicken soll, und dann verändert sich das Bild. Es ist ein bisschen wie das Spielen von „Simon Says“ (Simon sagt), bei dem sich das Spielfeld nie bewegt, außer wenn man es berührt.

Aber das echte Leben ist nicht eingefroren. Denken Sie an TikTok, Instagram Reels oder YouTube Shorts. Die Videos spielen automatisch ab, Kommentare scrollen vorbei und neuer Inhalt lädt, während man noch zuschaut. Der Bildschirm ist „lebendig“.

Dieses Paper stellt eine neue Art vor, Roboter (genannt GUI Agents) auf diesen „lebendigen“ Bildschirmen zu testen. Hier ist die Aufschlüsselung in einfachen Worten:

1. Das Problem: Der „eingefrorene Bildschirm“ vs. der „lebendige Bildschirm“

Aktuelle KI-Modelle sind gut darin, ein statisches Bild oder eine voraufgezeichnete Videodatei zu betrachten. Aber sie haben Schwierigkeiten, wenn sich der Bildschirm von selbst ständig verändert.

Der alte Weg: Die KI erhält eine Momentaufnahme, denkt nach, klickt und erhält dann eine neue Momentaufnahme.
Der neue Weg (Living-Screen-Native): Der Bildschirm spielt weiter. Die KI muss entscheiden: „Soll ich mir dieses ganze Video ansehen? Soll ich nur einen kurzen Blick auf die ersten 3 Sekunden werfen? Soll ich dieses hier komplett überspringen?“

Die Autoren nennen dies „Living-Screen-Native“, weil der Agent durch einen Bildschirm navigieren muss, der sich in Echtzeit entwickelt, genau wie ein Mensch es tut.

2. Die Lösung: „LIVINGSCREEN“ (Der neue Test)

Um dies zu testen, haben die Forscher einen speziellen Spielplatz namens LIVINGSCREEN gebaut.

Die Umgebung: Es ist eine realistische, gefälschte Version einer Kurzvideo-App innerhalb eines Webbrowsers. Sie spielt echte Videos ab, zeigt Kommentare an und besitzt Buttons für „Like“, „Share“ und „Follow“.
Die Regeln: Die KI kann das Video nicht einfach „herunterladen“. Sie muss mit dem Bildschirm interagieren, genau wie ein Mensch: wischen, Buttons klicken und entscheiden, wie lange sie einen Clip anschaut.
Die Aufgaben: Der Test hat drei Schwierigkeitsstufen:
- Level 1 (Basis): Kannst du auf den „Like“-Button klicken oder nach unten scrollen?
- Level 2 (Verständnis): Kannst du ein paar Videos anschauen, die Kommentare lesen und herausfinden, ob zwei Videos dieselbe Geschichte erzählen?
- Level 3 (Der Endgegner): Kannst du wie ein menschlicher Nutzer agieren? Zum Beispiel: „Finde Videos, die gegen die Regeln verstoßen, und melde sie“ oder „Finde Videos über Kochen und speichere die besten davon“.

3. Die Ergebnisse: Die Roboter sind tollpatschig

Die Forscher haben die intelligentesten heute verfügbaren KI-Modelle auf diesem neuen Test getestet. Die Ergebnisse waren überraschend:

Menschen gewinnen: Menschen sind viel besser darin, Geschwindigkeit und Genauigkeit auszubalancieren. Wir wissen genau, wie lange wir ein Video schauen müssen, um die Antwort zu erhalten.
KI kämpft: Selbst die besten KI-Modelle konnten die menschliche Leistung nicht erreichen. Sie waren entweder zu langsam (sie schauten zu viel) oder zu hastig (sie übersahen wichtige Details).

4. Die große Entdeckung: „Über-Beobachtung“ und „Unter-Beobachtung“

Die Forscher fanden heraus, dass der Hauptgrund für das Scheitern der KI nicht darin liegt, dass sie nicht sehen oder klicken kann, sondern dass sie nicht weiß, wie man zuschaut. Die Autoren nennen dies „Über- und Unter-Beobachtung“.

Denken Sie an einen Schüler, der eine Prüfung schreibt:

Unter-Beobachtung: Der Schüler wirft einen Blick auf eine Frage, rät sofort die Antwort und zieht weiter, wobei er das entscheidende Detail mitten im Absatz übersieht.
Über-Beobachtung: Der Schüler liest denselben Absatz fünfmal, selbst nachdem er ihn bereits verstanden hat, und verschwendet dadurch Zeit und Energie.

Das Problem der KI:

Einige AIs schauen zu wenig. Sie überspringen Videos, die sie hätten anschauen sollen, was zu falschen Antworten führt.
Einige AIs schauen zu viel. Sie starren minutenlang auf irrelevante Videos und verschwenden Zeit, ohne dadurch tatsächlich klüger bezüglich der Aufgabe zu werden.
Der menschliche Unterschied: Menschen sind „kluge Scanner“. Wir machen einen schnellen 2-Sekunden-„Blick“, um zu sehen, ob ein Video relevant ist. Wenn ja, schauen wir länger zu. Wenn nicht, wischen wir weg. Den KI-Modellen fehlt dieser „Schnell-Blick“-Filter meistens. Sie neigen dazu, ein Video entweder komplett zu ignorieren oder es exzessiv zu schauen (Binge-Watching).

5. Können wir ihnen einfach sagen, es besser zu machen?

Die Forscher versuchten, den KI-Modellen einfache Anweisungen zu geben, wie zum Beispiel „Schau weniger“, „Schau mehr“ oder sogar „Kopiere, wie Menschen schauen“.

Das Ergebnis: Es funktionierte nicht gut. Der KI zu sagen, „schau weniger“, führte dazu, dass sie zu viele wichtige Videos übersprang. Der KI zu sagen, „schau mehr“, führte dazu, dass sie Zeit verschwendete.
Das Fazit: Dies ist nicht nur eine Frage besserer Anweisungen. Die KI-Modelle mangelt es ernsthaft an der Fähigkeit, ihre eigene Aufmerksamkeit zu steuern. Sie wissen nicht, wann sie schauen müssen und wann sie aufhören sollen zu schauen.

Zusammenfassung

Dieses Paper besagt, dass wir, um wirklich hilfreiche KI-Assistenten für Apps wie TikTok oder YouTube zu bauen, aufhören müssen, sie auf eingefrorenen Bildschirmen zu testen. Wir müssen ihnen beibringen, wie sie ihre Aufmerksamkeit managen, in einer Welt, die niemals aufhört, sich zu bewegen. Derzeit sind die besten KI-Modelle wie eine Person, die entweder nie in die Speisekarte schaut oder jedes einzelne Wort darauf eine Stunde lang liest – sie haben einfach noch nicht gelernt, wie man effektiv „einen Blick wirft“.

Technisches Resümee: Benchmarking von Living-Screen-Native GUI-Agenten auf Kurzvideo-Plattformen

1. Problemdefinition

Aktuelle Graphical User Interface (GUI)-Agenten operieren unter einer statischen Annahme: Der Bildschirm ist zwischen zwei Aktionen eingefroren, und die Welt entwickelt sich nur dann, wenn der Agent handelt. Dieses Paradigma erfasst keine realen Schnittstellen, insbesondere Kurzvideo-Plattformen, bei denen Inhalte autonom in kontinuierlicher Zeit ablaufen. In diesen Umgebungen muss ein kompetenter Nutzer aktiv entscheiden, was er sieht, wie lange er sieht und wann er aufhört, um das Gleichgewicht zwischen Informationsgewinnung und Zeitkosten zu halten.

Bestehende Benchmarks behandeln Videos entweder als passiven Input (Video QA) oder behandeln die GUI als eine Sequenz statischer Screenshots (Standard-GUI-Agenten), wodurch das Quadrantenfeld des „lebenden Bildschirms“ fehlt, in dem sich die Umgebung unabhängig entwickelt, während der Agent proaktiv entscheidet, welche Granularität der Beobachtung er wählt. Die Autoren formalisieren diese Lücke als Living-Screen-Native GUI-Agenten, definiert als Agenten, die auf Bildschirmen operieren, die sich in kontinuierlicher Zeit entwickeln und die aktiv bestimmen, welche visuellen Ausschnitte dieser Entwicklung sie beobachten.

2. Methodik: Der LIVINGSCREEN-Benchmark

Um diesen Kontext zu instanziieren und zu evaluieren, führen die Autoren LIVINGSCREEN ein, den ersten Benchmark für Living-Screen-Native Agenten auf Kurzvideo-Plattformen.

2.1 Konstruktion der Umgebung

Plattform: Ein hochgetreuer, browserbasierter Nachbau einer modernen Kurzvideo-Applikation (modelliert nach chinesischen Plattformen), erstellt mit Playwright.
Interaktion: Agenten interagieren über eine Low-Level-Action-API (Pixel-Koordinaten-Klicks, Swipes, Tippen) und beobachten ausschließlich durch gerenderte Screenshots oder Bildschirmaufnahmen, ohne Zugriff auf das zugrunde liegende DOM oder Videodateien zu haben.
Inhalt: Der Korpus besteht aus echten Kurzvideos aus öffentlichen Datensätzen, ergänzt durch Metadaten (Titel, Hashtags, Kommentare) und einen kleinen Bruchteil (<1 %) synthetisierter Videos für Long-Tail-Sicherheitsrisiken.
Feed-Generierung: Feeds werden durch das Clustering von Videos nach Keywords und deren Mischung mit zufälligen Distraktoren konstruiert, um einen realistischen Empfehlungsstrom zu simulieren.

2.2 Aufgaben-Taxonomie

Der Benchmark umfasst 499 Aufgaben über 1.528 einzigartige Videos, organisiert in einer dreistufigen Hierarchie:

L1 (Atomare GUI-Aktion): Testet elementare Primitivfunktionen wie Liken, Sammeln, Kommentieren, Melden und Navigieren (Swipen/Spulen).
L2 (Quellenübergreifendes Verständnis): Erfordert die Integration von Evidenzen aus verschiedenen Videos, Kommentaren und UI-Hinweisen. Unteraufgaben beinhalten kontextuelle Assoziation, Ereignisvergleich, Merkmalsanalyse, spatiotemporale Aggregation und robuste Evaluierung (Umgang mit nicht beantwortbaren Fragen).
L3 (Closed-Loop-Anwendung): Verlangt einen vollständigen Kreislauf aus Wahrnehmung, Schlussfolgerung und Aktion, um umweltgraduierte Ergebnisse zu erzielen. Beispiele sind Fact-Checking bei umstrittenen Ereignissen, Content-Moderation (Erkennung von Richtlinienverstößen) und Präferenzsimulation.

2.3 Evaluierungsmetriken

Der Benchmark bewertet Agenten auf zwei Dimensionen:

Genauigkeit: Gemessen durch die Erfolgsrate (Success Rate, SR), bestimmt durch den Vergleich des finalen Umgebungszustands mit der Ground Truth (z. B. spezifisch gelikte/gemeldete Videos) oder Option Matching.
Effizienz:
- Anzahl der Schritte (Number of Steps, NS): Durchschnittliche Tool-Aufrufe pro Episode (operationale Kosten).
- Watch-Ratio (WR): Der Anteil der gesamten Feed-Laufzeit, der tatsächlich vom Agenten aufgezeichnet wurde (beobachtungsbedingte Kosten).
- Ziel: Hohe SR bei niedrigem NS und WR.

2.4 Formalisierung des Agenten

Die Autoren schlagen einen Living-Screen-Native POMDP vor, der den Standard-Markov-Entscheidungsprozess modifiziert:

Kontinuierlich evolvierender Zustand ( $\Delta_1$ ): Der Zustand entwickelt sich autonom ( $\Phi$ ), selbst wenn der Agent inaktiv ist (z. B. Fortschreiten des Playheads), im Gegensatz zu den agentengesteuerten Zustandsübergängen in Standard-GUI-POMDPs.
Agenten-initiierte Beobachtung ( $\Delta_2$ ): Beobachtungen sind keine punktuellen Stichproben, sondern durch die Aktion des Agenten parametrisiert. Der Agent entscheidet über das Zeitfenster $W(a_k)$ der Beobachtung und wählt zwischen einem einzelnen Screenshot oder einem Videoclip der Dauer $\Delta t$ .

3. Experimentelles Setup

Die Autoren evaluierten eine repräsentative Auswahl an führenden Multimodalen Large Language Models (MLLMs), einschließlich nativer Video-Modelle (Gemini-3.5, Doubao-Seed-Serie, Qwen-3.6, etc.) und bildbasierter Modelle (Claude, GPT-5-Varianten). Alle Modelle wurden in einer einheitlichen Agenten-Architektur unter Verwendung eines „Think-then-Tool-Call“-Formats zusammengefasst, mit einer maximalen Episodenlänge von 30 Schritten.

4. Kernergebnisse

Leistungslücke: Kein evaluierter Modell nähert sich der menschlichen Leistung beim Tradeoff zwischen Kosten und Genauigkeit. Die besten Modelle erreichen signifikant niedrigere Erfolgsraten (SR) als Menschen (z. B. Top-Modelle ~69 % vs. Mensch 94 % insgesamt) bei oft höheren Beobachtungskosten.
Divergierende Paradigmen: Modelle zeigen inkonsistente Strategien. Einige bevorzugen hohe Exploration (hohes NS, fragmentierte Informationsbeschaffung), während andere eine schwere Beobachtung bevorzugen (hohes WR, langes Anschauen von Clips).
Dominanter Fehlermodus: Der primäre identifizierte Fehlermodus ist Über- und Unter-Beobachtung:
- Unter-Beobachtung: Agenten überspringen Videos oder schauen zu kurz hin, um genügend Evidenz zu sammeln (betrifft 39–61 % der Trajektorien).
- Über-Beobachtung: Agenten schauen irrelevante Videos oder schauen weiter, nachdem die notwendigen Informationen bereits gewonnen wurden (betrifft 25–43 % der Trajektorien).
- Koexistenz: 9–24 % der Trajektorien weisen beide Fehler gleichzeitig auf.
Menschlicher Vergleich: Menschen nutzen eine „Information Foraging“-Strategie, indem sie eine geringe Menge an Aufmerksamkeit aufwenden, um Videos kurz zu „überfliegen“ (52 % der Beobachtungen), um die Relevanz zu filtern, bevor sie sich zu einem tiefen Konsum entscheiden. Aktuelle Modelle fehlt dieser kostengünstige Scouting-Schritt, was zu einer ineffizienten Aufmerksamkeitsallokation führt.

5. Analyse der Beobachtungskontrolle

Die Autoren untersuchten, ob diese Fehler auf mangelndes Bewusstsein (Prompting) oder Defizite in der Kapazität zurückzuführen sind.

Prompting-Experimente: Varianten, die Agenten anwiesen, Strategien wie „Weniger schauen“, „Mehr schauen“ oder „Menschen nachahmen“ anzuwenden, verschoben die Watch-Ratio (WR) erfolgreich, konnten aber die Erfolgsrate (SR) nicht verbessern.
Fazit: Über- und Unter-Beobachtung sind nicht bloß Bewusstseinsfehler, die durch Prompting lösbar sind; sie repräsentieren eine echte Kapazitätslücke der aktuellen MLLMs hinsichtlich der Beobachtungskontrolle.

6. Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

Formalisierung: Es identifiziert und formalisiert das „Living-Screen-Native“-Setting und unterscheidet es von statischen GUI- und passiven Video-QA-Aufgaben.
Benchmark-Veröffentlichung: Es führt LIVINGSCREEN ein und bietet die erste getreue Umgebung, Aufgaben-Suite und Effizienzmetriken für dieses Setting.
Identifikation der Kapazitätslücke: Es deckt die Beobachtungskontrolle (speziell das Management von Über- und Unter-Beobachtung) als eine kritische, bisher unterstudierte Achse für die zukünftige GUI-Agenten-Forschung auf.

Die Autoren positionieren LIVINGSCREEN als Sprungbrett zu Agenten, die in der Lage sind, in echten „lebenden“ Interfaces zu existieren, und betonen, dass zukünftiger Fortschritt voraussetzt, dass Modelle nicht nur lernen, was sie klicken, sondern auch, wie und wie lange sie beobachten.

7. Limitationen

Die Autoren räumen ein, dass es sich beim Benchmark um einen kontrollierten Browser-Nachbau handelt, dem Live-Empfehlungs-Engines oder Social-Graph-Effekte fehlen. Die Daten sind ausschließlich auf Chinesisch, und die Skalierung (499 Aufgaben) ist intermediär, was den hohen Annotationsaufwand für dynamische, mehrstufige Aufgaben widerspiegelt. Ethische Überlegungen bezüglich des Dual-Use-Potenzials autonomer Agenten für Desinformation oder Umgehung von Regeln werden ebenfalls angemerkt, wobei eine menschliche Aufsicht (Human-in-the-loop) für den realen Einsatz empfohlen wird.