💬 NLP

UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents

Dit artikel introduceert UI-MOPD, een nieuw framework dat multi-teacher on-policy distillatie en de nieuw geconstrueerde Uni-GUI dataset benut om een unificerende cross-platform GUI-agent te trainen, waarbij gespecialiseerde desktop- en mobiele expertise effectief wordt geïntegreerd terwijl uitdagingen met betrekking tot schaarse data en uiteenlopende interactieconventies worden overwonnen.

Oorspronkelijke auteurs: Niu Lian, Tongbo Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Heng Qu, Shu-Tao Xia, Jinpeng Wang

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Niu Lian, Tongbo Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Heng Qu, Shu-Tao Xia, Jinpeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je digitale assistent een meesterkok is. Maar hier komt de twist: deze chef moet tegelijkertijd in twee totaal verschillende keukens koken. De ene keuken is een high-tech desktopcomputer met een gigantisch scherm, een muis en een toetsenbord. De andere keuken is een gestroomlijnde, zakformaat mobiele telefoon met een touchscreen en geen fysieke knoppen. In de computerkeuken kan "teruggaan" betekenen dat je een venster sluit. Op de telefoonkeuken betekent het het tikken op een klein "terug"-pijltje. Als je probeert de chef in beide keukens te leren koken door simpelweg alle recepten door elkaar te mengen en op het beste te hopen, wordt het resultaat een ramp: de chef raakt in de war, vergeet hoe hij de muis moet gebruiken en probeert per ongeluk over een toetsenbord te swipen. Dit is precies het probleem waar wetenschappers geconfronteerd worden met "GUI-agents": slimme computerprogramma's die ontworpen zijn om te klikken, te typen en te swipen door ons digitale leven om taken voor ons uit te voeren.

Lange tijd waren deze agents als specialisten: de een was geweldig in computers, een ander in telefoons, maar ze konden niet beide aan. Onderzoekers probeerden dit op te lossen door de twee specialisten simpelweg bij elkaar te smijten, in de hoop dat hun gecombineerde kennis een super-agent zou creëren. Maar zoals dit nieuwe onderzoek suggereert, vervaagt die "mix-en-match"-aanpak vaak de lijnen, waardoor de agent slechter wordt in beide taken. De vraag die iedereen bezighoudt is: Hoe bouwen we een enkele, verenigde agent die naadloos kan schakelen tussen een desktop en een mobiele telefoon zonder zijn verstand of vaardigheden te verliezen?

Maak kennis met UI-MOPD, een slimme nieuwe methode voorgesteld door onderzoekers van Tsinghua University, Xiaomi en andere topinstellingen. Zie UI-MOPD niet als een blender, maar als een briljante coach met een unieke trainingsstrategie. In plaats van de student (de nieuwe verenigde agent) te dwingen een modderige mix van instructies te memoriseren, zet de coach een dynamisch trainingskamp op met twee expertmentoren: een "Desktop Guru" en een "Mobile Guru".

Zo werkt de magie. De student-agent gaat naar buiten en probeert zelfstandig taken op te lossen door zijn eigen "rollouts" (pogingen om een taak te voltooien) te genereren. Wanneer de student aan een computertaak werkt, roept de coach onmiddellijk de Desktop Guru erbij om specifiek, hoogwaardig advies te geven. Wanneer de student overschakelt naar een telefoontaak, wisselt de coach de Mobile Guru in. Dit wordt Multi-Platform On-Policy Distillation genoemd. Het cruciale aspect is dat de student leert van de juiste expert op het juiste moment, in plaats van te proberen hun verschillen uit te middelen. De Desktop Guru probeert de student niet te leren hoe hij moet swipen; de Mobile Guru probeert hen niet te leren hoe ze een muis moeten gebruiken. Ze fungeren als "gedragsankers", die de acties van de student trouw houden aan de specifieke regels van de omgeving waarin zij zich op dat moment bevinden.

De onderzoekers bouwden een enorme, hoogwaardige dataset genaamd Uni-GUI om dit mogelijk te maken. Ze creëerden een speciale tool om bijna 10.000 hoogwaardige, werkende voorbeelden te verzamelen van taken die op zowel computers als telefoons worden uitgevoerd. Ze filterden de slechte pogingen eruit en behielden alleen de exemplaren die daadwerkelijk werkten, om ervoor te zorgen dat de docenten perfecte voorbeelden hadden om aan de student te tonen.

Toen ze deze nieuwe aanpak testten, waren de resultaten veelbelovend. Op een uitdagende computerbenchmark genaamd OSWorld slaagde de nieuwe agent 38,2% van de tijd. Op een mobiele benchmark genaamd MobileWorld slaagde hij 12,0% van de tijd. Deze cijfers suggereren dat UI-MOPD aanzienlijk beter is dan eerdere methoden die probeerden data simpelweg te mengen of modellen samen te voegen. Zo terwijl andere methoden misschien één platform verbeteren maar het andere verpesten, slaagde UI-MOPD erin om de prestaties aan beide kanten gelijktijdig te verhogen. De studie geeft aan dat deze "specialistische coach"-methode de agent helpt zijn algemene intelligentie te behouden terwijl hij leert navigeren door de specifieke eigenaardigheden van verschillende apparaten, waardoor de "gemiddelde"-valstrik wordt vermeden die eerdere modellen in de war bracht.

Kortom, het artikel suggereert dat als je een slimme agent wilt die zowel je laptop als je telefoon kan bedienen, je ze niet gewoon bij elkaar moet stampen. In plaats daarvan geef je het een slim systeem dat precies weet naar welke expert het moet luisteren, afhankelijk van welk scherm het bekijkt. Het is een stap naar een toekomst waarin je digitale assistent echt een meester is in alle digitale domeinen, en niet slechts in één.

Technische Samenvatting: UI-MOPD

Probleemstelling

Het artikel behandelt de uitdaging van het trainen van unificerende multi-platform GUI-agenten die in staat zijn om te opereren in heterogene omgevingen (specifiek desktop en mobiel) met behoud van de onderscheidende interactieconventies van elk platform.

Huidige benaderingen voor cross-platform leren vertrouwen doorgaans op:

Data-aggregatie: Het mengen van heterogene supervisiesignalen van verschillende platforms.
Model Merging: Het middelen van parameters van gespecialiseerde modellen.
Sequentiële training: Trainen op het ene platform en vervolgens op het andere.

De auteurs stellen dat deze methoden vaak falen omdat desktop- en mobiele platforms, hoewel ze fundamentele capaciteiten delen (visueel begrip, planning), beschikken over conflicterende actiesemantiek en interactieconventies (bijv. "terug"-navigatie verschilt tussen besturingssystemen). Het mengen van supervisie of het middelen van parameters heeft de neiging om native gedragingen te vertroebelen, wat leidt tot capaciteitsconflatie, ongebalanceerde prestaties en de degradatie van platformspecifieke priors. Bovendien is hoogwaardige, uitvoerbare cross-platform interactiedata schaars gebleken, wat de ontwikkeling van robuuste unificerende agenten belemmert.

Methodologie: UI-MOPD

Om deze uitdagingen aan te pakken, stellen de auteurs UI-MOPD (Multi-Platform On-Policy Distillation) voor, een framework dat specialistische kennis integreert zonder de afzonderlijke interactieconventies te middelen. De aanpak bestaat uit twee hoofdfasen:

1. Dataconstructie: Uni-GUI

De auteurs hebben eerst Uni-GUI geconstrueerd, een hoogwaardige dataset met bijna 10.000 uitvoerbare cross-platform interactietrajecten.

Verzameling: Gebouwd met een unificerende desktop-mobiele harness, waarbij ~110K computer- en ~50K mobiele interactiestappen zijn verzameld.
Verwerking: Strikte filtering, trajectvalidatie en kwaliteitscontrole werden toegepast om uitvoerbare acties en nauwkeurige staat-actie uitlijning te garanderen.

2. Trainingsframework: Multi-Teacher On-Policy Distillation (MOPD)

De trainingspipeline omvat twee fasen:

Fase 1 (Teacher Training): Supervised Fine-Tuning (SFT) van een vision-language foundation model (Qwen3-VL-32B) op de platformspecifieke partities van Uni-GUI om twee expert-teachers te creëren: een Desktop Teacher ( $\pi^d_{ref}$ ) en een Mobile Teacher ( $\pi^m_{ref}$ ).
Fase 2 (Student Training): Een gedeelde student-policy ( $\pi_\theta$ $π_{θ}$ , geïnitialiseerd vanaf een 8B model) wordt getraind met behulp van Multi-Teacher On-Policy Distillation.
- On-Policy Rollouts: De student samplet rollouts vanuit zijn huidige policy in gemengde platformomgevingen.
- Platform-Conditioned Routing: Elke rollout wordt gerouteerd naar de corresponderende platform-gespecialiseerde teacher op basis van de omgeving-label.
- Behavioral Anchoring: De teacher biedt alleen begeleiding bij staten die daadwerkelijk door de student zijn bezocht. Dit fungeert als een platform-geconditioneerde gedragsanker, wat voorkomt dat de student de native interactiepatronen overschrijft met signalen van het andere platform.
- Loss Function: De trainingsdoelstelling combineert clipped policy optimization (PPO-stijl) met een Reverse KL-divergentie straf. De KL-term wordt berekend tussen de student en de gerouteerde teacher, niet een unificerende teacher.
- Adaptive KL Masking: Een groep-niveau mask ( $\mu$ ) wordt toegepast om teacher-straffen te verwijderen wanneer de taakfeedback (reward) al voldoende is, om onnodige beperking van exploratie op hoog-presterende rollouts te voorkomen.

Belangrijkste Bijdragen

Uni-GUI Dataset: De introductie van een hoogwaardige, unificerende dataset van ~10K cross-platform interactietrajecten, die het tekort aan uitvoerbare multi-platform data aanpakt.
UI-MOPD Framework: De eerste toepassing van Multi-Teacher On-Policy Distillation bij unificerende GUI-agent training. Het integreert uniek complementaire desktop- en mobiele expertise door platform-geconditioneerde teachers te gebruiken als gedragsankers in plaats van ze te middelen.
Systematische Evaluatie: Uitgebreide experimenten die aantonen dat UI-MOPD een gebalanceerde cross-platform prestatie bereikt, waarbij het parameter-gematchte integratiestrategieën (mixed SFT/RL, model merging, sequentiële training) overtreft terwijl de algemene GUI grounding-capaciteiten behouden blijven.

Experimentele Resultaten

De auteurs evalueerden UI-MOPD op de OSWorld (desktop) en MobileWorld (mobiel) benchmarks, gebruikmakend van een 8B parameter student-model.

Prestaties:
- OSWorld: Bereikte een taaksuccespercentage van 38,2% (een relatieve verbetering van 12,7% ten opzichte van het basemodel).
- MobileWorld: Bereikte een taaksuccespercentage van 12,0% (een relatieve verbetering van 55,8% ten opzichte van het basemodel).
- Balans: UI-MOPD bereikte de hoogste Harmonisch Gemiddelde (H-Mean) van 18,3% onder alle 8B integratiestrategieën, wat de prestaties evenaart van een veel groter 235B parameter model in termen van gebalanceerde capaciteit.
Vergelijkingen:
- Presteerde beter dan strategieën zoals Mixed-SFT, Mixed-RL, Model Merging (Weight Averaging/TIES), en Sequential-RL.
- Toonde aan dat het gebruik van een enkele "Unified Teacher" (getraind op gemengde data) of single-platform teachers onvoldoende was vergeleken met de gerouteerde multi-teacher aanpak.
Generalisatie:
- De methode behield algemene GUI grounding-capaciteiten, waarbij verbeteringen of verwaarloosbare degradatie werden getoond op statische benchmarks zoals AndroidControl, ScreenSpot-Pro, en OSWorld-G, terwijl andere integratiestrategieën vaak bredere degradatie veroorzaakten.

Betekenis en Claims

Het artikel claimt dat Multi-Teacher On-Policy Distillation een effectieve aanpak biedt voor het bouwen van unificerende cross-platform GUI-agenten. De kernbetekenis ligt in de bevinding dat:

Integratie van Specialistische Kennis: Platformspecifieke teachers bieden complementaire, niet redundante supervisie. Ze fungeren als stabiele ankers die een gedeelde policy in staat stellen om taken te voltooien zonder de platformspecifieke gedrags-priors uit te wissen.
Resolutie van Conflict: Door rollouts te routeren naar specifieke teachers, lost de methode het conflict op tussen gedeelde capaciteiten en uiteenlopende interactieconventies, waardoor het "middelingseffect" dat andere integratiemethoden teistert, wordt vermeden.
Efficiëntie: De aanpak stelt een enkel 8B model in staat om een gebalanceerde prestatie te leveren over platforms die normaal gesproken veel grotere modellen of aparte gespecialiseerde agenten vereisen, zonder de algemene GUI-begrip op te offeren.

De auteurs concluderen dat dit framework een nieuw paradigma vestigt voor het trainen van unificerende agenten in heterogene omgevingen, waarbij de focus verschuift van eenvoudige data-mixing naar gestructureerde, conditie-bewuste kennisintegratie.