🤖 AI

Darwin Mobile Agent: A Roadmap for Self-Evolution

Dieses Paper stellt den Darwin Mobile Agent vor, eine Open-Source-Infrastruktur, die parallele Cloud-Phone-Interaktionen nutzt, um Datenengpässe zu überwinden und einen Fahrplan für die Entfernung menschlicher Vorannahmen aus Aufgaben-Curricula, Verifizierung und Gedächtnis zu etablieren, wodurch autonome, selbstentwickelnde Agenten in der Lage sind, allgemeine Verhaltensweisen durch Interaktion mit komplexen mobilen GUI-Umgebungen zu erlernen.

Ursprüngliche Autoren: Daniel Beechey, Derek Yuen, Jianheng Liu, Dezhao Luo, Tiantian He, Weilin Luo, Jun Wang, Kun Shao

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Beechey, Derek Yuen, Jianheng Liu, Dezhao Luo, Tiantian He, Weilin Luo, Jun Wang, Kun Shao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, wie man ein Smartphone benutzt. Sie könnten ein riesiges Handbuch für jede einzelne App, jeden Button und jeden Bildschirm schreiben, den er jemals sehen könnte. Aber die reale Welt ist zu chaotisch und verändert sich zu schnell. Stattdessen schlagen die Autoren dieser Arbeit einen anderen Ansatz vor: Lassen Sie den Roboter durch Tun lernen, so wie ein menschliches Baby lernt zu laufen, indem es hinfällt und wieder aufsteht.

Sie nennen ihr Projekt Darwin Mobile Agent. Hier ist eine einfache Aufschlüsselung dessen, was sie gebaut haben und warum es wichtig ist, unter Verwendung alltäglicher Analogien.

1. Der „Große Welt“-Spielplatz

Die meisten KI-Tests finden in einer kontrollierten, statischen Videospiel-Umgebung statt (wie Atari), in der sich die Regeln nie ändern. Die Autoren argumentieren, dass ein Agent, um wirklich intelligent zu werden, in einer „Großen Welt“ üben muss – einem Ort, der riesig, komplex und ständig im Wandel ist.

Die Analogie: Denken Sie an ein Videospiel-Level, das niemals endet und während Sie spielen ständig neue Räume und Möbel hinzufügt.
Die Lösung: Sie haben Smartphone-Bildschirme als diese „Große Welt“ gewählt. Warum? Weil es Millionen von Apps gibt, diese sich ständig aktualisieren und sie voller realer Komplexität sind. Es ist ein digitaler Sandkasten, der um Größenordnungen komplizierter ist als der Agent selbst.

2. Die „Cloud-Phone-Farm“ (Das Fitnessstudio)

Um zu lernen, muss der Agent Millionen Male üben. Wenn Sie dies auf einem einzigen physischen Telefon versuchen würden, würde es ewig dauern. Wenn Sie einen Standard-Computer-Emulator verwenden würden, wäre dieser instabil und würde oft abstürzen.

Die Analogie: Stellen Sie sich ein Fitnessstudio mit 1.000 Paralleluniversen vor. In einem Universum versucht der Roboter, eine App zu öffnen; in einem anderen versucht er, eine Textnachricht zu senden. All das geschieht gleichzeitig.
Die Lösung: Sie haben ein System unter Verwendung von Cloud-basierten Telefonen aufgebaut. Anstatt darauf zu warten, dass ein Telefon eine Aufgabe abschließt, bevor die nächste beginnt, lässt ihr System hunderte von Telefonen parallel laufen.
Der „Asynchrone“ Trick: In einer normalen Schlange warten alle auf die langsamste Person. In ihrem System arbeitet, wenn ein Telefon langsam ist (vielleicht ist das Internet verzögert), die anderen weiter. Die „schnellen“ Telefone warten nicht untätig auf die „langsamen“. Dies hält den Lernprozess mit hoher Geschwindigkeit am Laufen.

3. Die „Selbstentwickelnde“ Roadmap

Die Autoren glauben, dass wir aufhören müssen, als Lehrer des Agenten zu fungieren, damit ein Agent wirklich evolvieren kann, und stattdin müssen wir ihn selbst lehren lassen. Sie schlagen eine dreistufige Roadmap vor, um menschliche Hilfe zu eliminieren, die sich auf drei Säulen konzentriert:

A. Das Curriculum (Was als Nächstes zu lernen ist)

Aktueller Stand: Menschen wählen die Aufgaben aus (z. B. „Öffne die Wetter-App“).
Das Ziel: Der Agent sollte schließlich selbst herausfinden, worin er schlecht ist, und nach schwierigeren Aufgaben fragen, um zu üben – genau wie ein Schüler, der merkt, dass er mehr Mathe-Übung braucht.
Der Schritt der Arbeit: Im Moment wählen Menschen die Aufgaben noch aus, aber sie wählen solche aus, die „genau richtig“ sind – nicht zu einfach, nicht unmöglich –, damit der Agent lernen kann.

B. Der Richter (Habe ich gewonnen?)

Aktueller Stand: Menschen (oder einfacher Code) prüfen, ob der Roboter erfolgreich war.
Das Ziel: Der Agent sollte in der Lage sein, auf seine Handlungen zu schauen und zu sagen: „Ja, ich habe mein Ziel erreicht“, ohne dass ein Mensch ihm über die Schulter schauen muss.
Der Schritt der Arbeit: Sie verwenden einen intelligenten KI-„Richter“ (ein Large Language Model), der die Handlungen des Roboters betrachtet und entscheidet, ob er erfolgreich war. Dies ist ein Zwischenschritt zwischen menschlichen Richtern und dem Roboter, der sich selbst beurteilt.

C. Das Gedächtnis (Was habe ich gelernt?)

Aktueller Stand: Menschen entwerfen, wie der Roboter Dinge erinnert (z. B. „Behalte die letzten 5 Bildschirme im Kopf“).
Das Ziel: Der Agent sollte lernen, wie er seine eigenen Erinnerungen organisiert, indem er entscheidet, was wichtig ist, um sich zu merken, und was er vergessen sollte.
Der Schritt der Arbeit: Momentan verwendet das System ein einfaches „Sliding Window“ (es erinnert sich an die letzten paar Aktionen). Das Ziel ist, dass der Agent schließlich lernt, wie er seine eigene Historie zusammenfasst.

4. Die Ergebnisse: Funktioniert es?

Das Team hat ihr System mit einem spezifischen KI-Modell (UI-TARS) getestet, das versucht, 8 verschiedene Telefonaufgaben zu lösen.

Es hat gelernt: Der Agent wurde bei seinen Aufgaben mit der Zeit besser, was beweist, dass das System funktioniert.
Es skaliert: Sie zeigten, dass das Hinzufügen von mehr Cloud-Telefonen das Training beschleunigt, bis zu einem Punkt, an dem das KI-Modell selbst zum Engpass wird (wie 1.000 Schüler, aber nur ein einziger Lehrer).
Es ist robust: Selbst wenn Telefone die Verbindung verloren oder das Internet verzögert war, setzte das System das Lernen fort, ohne abzustürzen.
Die Lektion des „Kritikers“: Sie fanden heraus, dass wenn die „innere Stimme“ der KI (die errät, wie gut ein Zug ist) mit einer zufälligen Vermutung beginnt, der Roboter in Panik gerät und mit dem Lernen aufhört. Aber wenn sie dieser inneren Stimme einen vernünftigen Ausgangspunkt geben, lernt der Roboter reibungslos.

Zusammenfassung

Der Darwin Mobile Agent ist ein neuer, Open-Source-Spielplatz, der darauf ausgelegt ist, eine KI darauf zu trainieren, Smartphones eigenständig zu benutzen. Anstatt Regeln hart zu kodieren, haben sie eine massive, parallele „Cloud-Gym“-Umgebung geschaffen, in der eine KI Millionen Male üben kann.

Ihre ultimative Vision ist ein selbstentwickelnder Agent: einer, der keine Menschen braucht, die seine Hausaufgaben auswählen, seine Tests bewerten oder seine Notizen organisieren. Er lernt, passt sich an und wird intelligenter – allein durch seine Interaktionen mit der komplexen, chaotischen Welt der mobilen Apps. Diese Arbeit beweist, dass der erste Schritt dieser Vision stabil ist und bereit für die nächste Phase ist.

Technisches Resümee: Darwin Mobile Agent

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung, die Schaffung von KI-Agenten zu bewältigen, die zu allgemeinem, adaptivem Verhalten in offenen Umgebungen fähig sind. Geleitet von der „Bitter Lesson“ (Sutton, 2019) argumentieren die Autoren, dass effektiver Fortschritt eine systematische Entfernung menschlicher Priors erfordert und Intelligenz durch Interaktion mit einer „Großen Welt“ (Big World), die wesentlich komplexer ist als der Agent selbst, entstehen lassen muss.

Die aktuelle Forschung zu mobilen Agenten steht vor zwei primären Engpässen:

Die Welt: Bestehende Benchmarks (z. B. Atari) sind statisch und bilden die nicht-stationäre, teilweise beobachtbare Natur der realen Welt nicht ab. Physische Robotik ist durch die Verkörperung (Embodiment) beschränkt, während aktuelle mobile Simulationen oft auf instabilen Emulatoren oder statischen XML-Zuständen beruhen.
Der Lernrahmen des Agenten: Nachhaltiges autonomes Lernen erfordert einen Rahmen, der in der Lage ist, kontinuierliche Interaktion, Aufgabenfortschritt und Zustandsmanagement zu bewältigen, ohne auf fest vorgegebene, von Menschen entworfene Lehrpläne oder Verifizierungsmechanismen angewiesen zu sein.

Das Paper postuliert, dass die mobile grafische Benutzeroberfläche (Mobile GUI) als praktisches Stellvertretermodell für eine „Große Welt“ dient – eine digitale, nicht-stationäre Umgebung mit nahezu unendlich vielen kombinierbaren Aufgaben, die jedoch für Large Language Models (LLMs) ohne physische Einschränkungen zugänglich bleibt.

2. Methodik

2.1 Die Darwin Mobile Agent Infrastruktur

Die Autoren führen den Darwin Mobile Agent ein, eine Open-Source-Infrastruktur, die darauf ausgelegt ist, autonomes Reinforcement Learning (RL) in mobilen GUIs zu unterstützen. Das System basiert auf den GiGPO- und VERL-Frameworks und verwendet eine modulare Architektur, die Agenten (interne Entscheidungsfindung) von Workflows (Interaktionslogik) trennt.

Wichtige architektonische Komponenten:

Asynchrone Cloud-native Umgebung: Um die Engpässe bei der Datenerfassung zu überwinden, nutzt das System eine Flotte von Cloud-gehosteten Android-Instanzen, die über das Android Debug Bridge (ADB) gesteuert werden. Im Gegensatz zur synchronen Vektorisierung, bei der das System am langsamsten Gerät hängen bleibt, verwendet Darwin einen asynchronen Rollout-Aggregator. Worker pushen abgeschlossene Schritte sofort in eine zentrale Warteschlange, sodass der Lernprozess die Daten konsumieren kann, sobald eine Mindestbatchgröße erreicht ist. Dies entkoppelt die Inferenz von der Latenz der Umgebung.
Zustandsmanagement: Da mobile Umgebungen nicht-stationär sind und nicht perfekt zurückgesetzt werden können, führt die Umgebung ein minimales Cleanup durch (Rückkehr zum Home-Bildschirm) anstatt eines vollständigen System-Reflashings. Um persistente Zustände und Seiteneffekte zu verwalten, implementiert das System ein Task Lifecycle Protocol mit drei Phasen: Setup, Execution und Teardown. Der Agent ist dafür verantwortlich, Voraussetzungen zu schaffen und die Umgebung wiederherzustellen, wodurch er das Zustandsmanagement internalisiert.
Agent Learning Loop: Der Rahmen verwendet Proximal Policy Optimisation (PPO) mit Generalised Advantage Estimation (GAE). Er behandelt den atomaren Übergang $(o_t, a_t, r_t)$ als die fundamentale Dateneinheit und rekonstruiert Trajektorien erst bei vollständiger Beendigung, um einen Bias in der Wertschätzung (Value-Estimation) durch Abbruch zu vermeiden.

2.2 Konzeptionelle Roadmap: Entfernung menschlicher Priors

Das Paper schlägt eine dreistufige Roadmap vor, um systematisch menschlich entworfene Komponenten durch gelernte Äquivalente über drei Säulen zu ersetzen:

Aufgaben-Curriculum (Task Curriculum): Übergang von von Menschen entworfenen Aufgabensätzen $\rightarrow$ externer Modellselektion $\rightarrow$ Agent Meta-Learning zur Verwaltung seines eigenen Curricums.
Ergebnisverifizierung (Outcome Verification): Übergang von programmatischen Zustandsprüfungen (unmöglich in offenen GUIs) $\rightarrow$ externen LLM-Judges $\rightarrow$ dem Agenten, der lernt, seine eigenen Ergebnisse zu verifizieren.
Agentenzustand (Memory): Übergang von festen Heuristiken (z. B. Sliding Windows) $\rightarrow$ externen LLM-Memory-Managern $\rightarrow$ dem Agenten, der seine eigene Zustandsrepräsentation autonom destilliert und verwaltet.

Aktueller Implementierungsstatus: Die berichteten Experimente operieren in der ersten Stufe dieser Roadmap und nutzen von Menschen kuratierte Aufgaben, einen externen LLM-Judge zur Verifizierung und einen konfigurierbaren episodischen Buffer für das Zustandsmanagement.

3. Kernbeiträge

Darwin Mobile Agent Framework: Das erste Open-Source End-to-End-System zum Training mobiler GUI-Agenten mittels Reinforcement Learning, das eine skalierbare asynchrone Architektur bietet, welche die Lücke zwischen langsamen mobilen Interaktionen und hohem Inferenz-Durchsatz schließt.
Skalierbare asynchrone Architektur: Ein neuartiges Design, das die Leerlaufzeiten eliminiert, die mit synchronem RL in mobilen Domänen verbunden sind, indem es die Environment-Worker von der Policy-Inferenz entkoppelt und somit massive Parallelisierung ermöglicht.
Task Lifecycle Protocol: Ein Mechanismus, der es Agenten ermöglicht, komplexe, langfristige Workflows mit Setup- und Teardown-Phasen zu bewältigen, und damit die Probleme der Nicht-Stationarität und Persistenz in realen mobilen Ökosystemen adressiert.
Roadmap zur Selbstentwicklung: Ein konzeptioneller Rahmen, der definiert, wie der Übergang von von menschlichen Priors abhängigen Agenten zu wahrhaft selbstentwickelnden Agenten durch Internalisierung von Curriculum, Verifizierung und Gedächtnis erfolgen kann.

4. Experimentelle Ergebnisse

Die Autoren validierten die Infrastruktur unter Verwendung eines UI-TARS-7B Basismodells auf einer Teilmenge von acht Aufgaben aus SPA-Bench.

Kalibrierung des Belohnungssignals (Reward Signal Calibration): Ein LLM-basierter Judge wurde gegen menschliche Labels auf 296 Trajektorien validiert und erreichte einen F1-Score von 0,91 (Englisch) und 0,85 (Chinesisch, was die Zuverlässigkeit als Belohnungssignal bestätigt.
Stabilität der Policy-Optimierung: Das System zeigte eine konsistente Verbesserung der mittleren Erfolgsrate über die Trainingsschritte hinweg und etablierte damit eine stabile Baseline für RL in mobilen GUIs.
Verteilte Skalierbarkeit: Die Skalierung von 8 auf 32 gleichzeitige Cloud-Phones zeigte, dass das System trotz zunehmender Off-Policy-Daten-Drift konvergiert. Der Durchsatz verbesserte sich von 8 auf 16 Telefone, stagnierte jedoch bei 32 aufgrund von Engpässen bei der Modell-Inferenz, nicht durch die Umgebungslatenz. Das System zeigte zudem Resilienz gegenüber Netzwerkausfällen.
Horizontale Skalierbarkeit: Eine proportionale Erhöhung sowohl der Anzahl der Aufgaben (8 auf 16) als auch der Hardware-Ressourcen (16 auf 32 Telefone) führte zu ähnlichen Konvergenzraten, was darauf hindeutet, dass das Framework „Big World“-Training unterstützt, bei dem die Komplexität durch Skalierung der Ressourcen bewältigt wird.
Task Lifecycle: Das System verwaltete automatisierte Setup- und Teardown-Phasen erfolgreich ohne Leistungsabfall, wobei die Agenten auch in diesen Hilfsphasen Lern-Trends zeigten.
Robustheit des Critics: Experimente zeigten, dass eine zufällige Initialisierung des Critics zu einem Policy-Kollaps führt. Eine „Warm-up“-Phase oder eine kalibrierte Initialisierung (Bias = 0,1) ist für die Stabilität erforderlich. Zudem erwies sich die Behandlung von abgebrochenen Trajektorien als terminale Zustände (Value = 0) als stabiler als das Bootstrapping von einem potenziell ungenauen Critic.

5. Bedeutung und Ansprüche

Das Paper beansprucht, das praktische und theoretische Fundament gelegt zu haben, das notwendig ist, um sich in Richtung wahrhaft autonomer, selbstentwickelnder GUI-Agenten zu bewegen.

Infrastruktur: Es demonstriert, dass eine stabile, skalierbare, asynchrone Pipeline für mobiles RL machbar ist und damit den Datensammel-Engpass überwindet, der den Fortschritt in diesem Bereich bisher behindert hat.
Methodischer Wandel: Indem das mobile GUI als „Große Welt“ behandelt und eine Roadmap zur Entfernung menschlicher Priors vorgeschlagen wird, verschiebt diese Arbeit das Paradigma von statischem Benchmarking hin zu kontinuierlicher, autonomer Kapazitätserweiterung.
Bescheidenheit: Die Autoren stellen explizit klar, dass die aktuelle Implementierung nur die erste Stufe ihrer vorgeschlagenen Roadmap darstellt. Während die Infrastruktur für die Policy-Optimierung validiert wurde, bleibt das ultimative Ziel – Agenten, die ihr eigenes Curriculum, ihre Verifizierung und ihr Gedächtnis autonom entwickeln – ein zukünftiges Ziel. Die Arbeit liefert die notwendige „Anatomie“ und „Umgebung“, um dieses Ziel zu verfolgen, beansprucht aber nicht, die vollständige Selbstentwicklung bereits erreicht zu haben.