Technische Samenvatting: Benchmarking van Living-Screen-Native GUI-agenten op Short-Video Platformen

1. Probleemdefinitie

Huidige Graphical User Interface (GUI) agenten opereren onder een statische aanname: het scherm is bevroren tussen twee acties in, en de wereld evolueert alleen wanneer de agent handelt. Dit paradigma slaagt er niet in om realistische interfaces te vatten, met name short-video platformen, waar content autonoom afspeelt in continue tijd. In deze omgevingen moet een competente gebruiker actief beslissen wat er bekeken wordt, hoe lang er bekeken wordt, en wanneer er gestopt wordt, waarbij een balans wordt gezocht tussen informatieverwerving en tijdskosten.

Bestaande benchmarks behandelen video ofwel als een passieve input (Video QA), of behandelen de GUI als een sequentie van statische screenshots (standaard GUI-agenten), waardoor het kwadrant van de "living screen" wordt gemist, waar de omgeving onafhankelijk evolueert terwijl de agent proactief de granulariteit van de observatie selecteert. De auteurs formaliseren dit gat als Living-Screen-Native GUI Agents, gedefinieerd als agenten die opereren op schermen die in continue tijd evolueren en die actief bepalen welke visuele segmenten van die evolutie zij observeren.

2. Methodologie: De LIVINGSCREEN Benchmark

Om deze setting te instantiëren en te evalueren, introduceren de auteurs LIVINGSCREEN, de eerste benchmark voor living-screen-native agenten op short-video platformen.

2.1 Omgevingsconstructie

• Platform: Een hoogwaardige, op een browser gebaseerde replica van een moderne short-video applicatie (gemodelleerd naar Chinese platformen), gebouwd met Playwright.
• Interactie: Agenten interageren via een low-level actie-API (pixel-coördinaat klikken, swipen, typen) en observeren uitsluitend via gerenderde screenshots of schermopnames, zonder toegang tot de onderliggende DOM of videobestanden.
• Content: Het corpus bestaat uit echte korte video's uit publieke datasets, aangevuld met metadata (titels, hashtags, reacties) en een klein fractie (<1%) van gesynthetiseerde video's voor long-tail veiligheidsrisico's.
• Feed Generatie: Feeds worden geconstrueerd door video's te clusteren op basis van trefwoorden en deze te mengen met willekeurige distractoren om een realistische aanbevelingsstroom te simuleren.

2.2 Taaktaxonomie

De benchmark omvat 499 taken over 1.528 unieke video's, georganiseerd in een drie-lagen hiërarchie:

1. L1 (Atomische GUI-actie): Test elementaire primitieven zoals liken, verzamelen, reageren, rapporteren en navigeren (swipen/zoeken).
2. L2 (Cross-Source Begrip): Vereist het integreren van bewijslast over verschillende video's, reacties en UI-aanwijzingen heen. Subtaken omvatten contextuele associatie, gebeurtenisvergelijking, feature-analyse, spatio-temporele aggregatie en robuuste evaluatie (omgaan met onbeantwoordbare vragen).
3. L3 (Closed-Loop Applicatie): Vereist een volledige loop van perceptie, redenering en actie om resultaten te behalen die aan de omgeving gekoppeld zijn. Voorbeelden zijn fact-checking van omstreden gebeurtenissen, content moderatie (detectie van beleidsschendingen) en preferentie-simulatie.

2.3 Evaluatiemetrieken

De benchmark scoort agenten op twee dimensies:

• Nauwkeurigheid: Gemeten door de Success Rate (SR), bepaald door de uiteindelijke omgevingsstatus te vergelijken met de grondwaarheid (bijv. specifieke gelikete/gerapporteerde video's) of optie-matching.
• Efficiëntie:
  • Aantal stappen (NS): Gemiddeld aantal tool-calls per episode (operationele kosten).
  • Watch Ratio (WR): Het deel van de totale feed-tijd dat daadwerkelijk door de agent is opgenomen (observationele kosten).
  • Doel: Hoge SR met lage NS en WR.

2.4 Agent Formalisering

De auteurs stellen een Living-Screen-Native POMDP voor die de standaard Markov Decision Process wijzigt:

• Continue Evoluerende Staat ($\Delta_1$): De staat evolueert autonoom ($\Phi$) zelfs wanneer de agent inactief is (bijv. de afspeelbalk die vordert), wat verschilt van de door de agent aangestuurde staatsovergangen in standaard GUI POMDP's.
• Door de Agent Geïnitieerde Observatie ($\Delta_2$): Observaties zijn geen puntmatige samples, maar zijn geparametriseerd door de actie van de agent. De agent bepaalt het tijdsvenster $W(a_k)$ om te observeren, waarbij gekozen wordt tussen een enkele screenshot of een videoclip van duur $\Delta t$.

2.5 Experimentele Opstelling

De auteurs evalueerden een representatieve set van frontier Multimodal Large Language Models (MLLMs), inclusief native video modellen (Gemini-3.5, Doubao-Seed serie, Qwen-3.6, etc.) en beeldgebaseerde modellen (Claude, GPT-5 varianten). Alle modellen werden ingekapseld in een uniforme agent-architectuur met een "think-then-tool-call" format, met een maximale episode-lengte van 30 stappen.

4. Belangrijkste Resultaten

• Prestatiekloof: Geen van de geëvalueerde modellen benadert menselijke prestaties op de tradeoff tussen kosten en nauwkeurigheid. De beste modellen behalen significant lagere Success Rates (SR) dan mensen (bijv. top modellen ~69% vs. Mens 94% totaal) terwijl ze vaak hogere observationele kosten met zich meebrengen.
• Divergerende Paradigma's: Modellen vertonen inconsistente strategieën. Sommige geven de voorkeur aan hoge exploratie (hoge NS, gefragmenteerde informatieverzameling), terwijl andere de voorkeur geven aan zware observatie (hoge WR, het kijken naar lange clips).
• Dominante Foutmodus: De primaire foutmodus die is geïdentificeerd is Over- en Under-Observatie:
  • Under-Observation: Agenten slaan video's over of kijken te kort om voldoende bewijs te verzamelen (beïnvloedt 39–61% van de trajecten).
  • Over-Observation: Agenten kijken naar irrelevante video's of blijven kijken nadat de noodzakelijke informatie is verkregen (beïnvloedt 25–43% van de trajecten).
  • Co-occurrence: 9–24% van de trajecten vertoont beide fouten simultaan.
• Menselijke Vergelijking: Mensen hanteren een "informatie-foraging" strategie, waarbij ze een kleine hoeveelheid aandacht besteden om video's te "glancen" (52% van de observaties) om relevantie te filteren voordat ze overgaan tot diepe consumptie. Huidige modellen missen deze goedkope scouting-stap, wat leidt tot inefficiënte aandachttoewijzing.

5. Analyse van Observatiecontrole

De auteurs onderzochten of deze fouten te wijten zijn aan een gebrek aan bewustzijn (prompting) of aan capaciteitsgebreken.

• Prompting Experimenten: Varianten die instructies gaven om "Minder te Kijken", "Meer te Kijken" of "Menselijke Strategieën te Imiteren" slaagden erin de Watch Ratio (WR) te verschuiven, maar faalden in het verbeteren van de Success Rate (SR).
• Conclusie: Over- en under-observatie zijn niet louter bewustzijnsfouten die door prompting kunnen worden opgelost; ze vertegenwoordigen een werkelijke capaciteitskloof in huidige MLLM's met betrekking tot observatiecontrole.

6. Betekenis en Bijdragen

De paper claimt drie primaire bijdragen:

1. Formalisering: Het identificeert en formaliseert de "Living-Screen-Native" setting, en onderscheidt deze van statische GUI en passieve Video QA taken.
2. Benchmark Release: Het introduceert LIVINGSCREEN, en biedt de eerste getrouwe omgeving, taaksuite en efficiëntiemetrieken voor deze setting.
3. Identificatie van de Capaciteitskloof: Het onthult observatiecontrole (specifiek het beheer van over- en under-observatie) als een cruciale, voorheen onderbelichte as voor toekomstig onderzoek naar GUI-agenten.

De auteurs positioneren LIVINGSCREEN als een opstapje naar agenten die in staat zijn om werkelijk levende interfaces te bewonen, waarbij zij benadrukken dat toekomstige vooruitgang vereist dat modellen niet alleen beheersen wat ze moeten klikken, maar ook hoe en hoe lang ze moeten observeren.

7. Limieten

De auteurs erkennen dat de benchmark een gecontroleerde browser-replica is, die geen live aanbevelingsmotoren of sociale grafiek-effecten mist. De data is uitsluitend in het Chinees, en de schaal (499 taken) is intermediair, wat de hoge kosten reflecteert die nodig zijn voor dynamische, meerstaps-taken. Ethische overwegingen met betrekking tot het dual-use potentieel van autonome agenten voor desinformatie of ontwijking worden opgemerkt, waarbij wordt geadviseerd om menselijk toezicht (human-in-the-loop) te handhaven bij real-world deployment.