Computer sind zu leistungsstarken Werkzeugen für die Handhabung komplexer Informationen geworden, doch eine Maschine anzuweisen, eine mehrstufige Büroaufgabe auszuführen, fühlt sich oft so an, als würde man versuchen, einem Kind das Autofahren beizubringen, indem man ihm lediglich das Ziel beschreibt. Jahrelang haben Forscher versucht, künstliche Intelligenz-Agenten zu entwickeln, die einen Bildschirm betrachten, verstehen, was zu tun ist, und die richtigen Schaltflächen klicken können, um ans Ziel zu kommen. Diese Systeme, bekannt als GUI-Agenten, haben Fortschritte gemacht, kämpfen aber mit zwei hartnäckigen Problemen. Erstens mangelt es ihnen an ausreichend hochwertigen Übungsdaten, um die subtilen, ungeschriebenen Regeln zu erlernen, wie Menschen Software tatsächlich nutzen. Zweitens sind sie oft zu starr; wenn ein Mensch eine vage Anweisung gibt, kann die Maschine einmal durch Glück Erfolg haben, beim nächsten Mal jedoch scheitern, weil sie sich nicht an kleine Änderungen auf dem Bildschirm oder an die spezifischen Gewohnheiten des Nutzers anpassen kann. Das Ziel war es, einen digitalen Arbeiter zu schaffen, der nicht nur klug genug ist, einem Skript zu folgen, sondern zuverlässig genug, um die chaotische Realität eines echten Desktops zu bewältigen.

Ein Team von Tencent hat ein neues System namens UI-Mate vorgestellt, das diese Probleme angeht, indem es verändert, wie der Agent lernt und wie er Hilfe erhält. Anstatt nur eine Liste von Klicks auswendig zu lernen, wird das System in einer simulierten Umgebung trainiert, in der es tausende Aufgaben üben kann – vom Organisieren von Tabellenkalkulationen bis hin zur Verwaltung von E-Mails –, während eine spezialisierte Engine seine Arbeit in Echtzeit überprüft. Dieser Prozess ermöglicht es dem System, nicht nur zu lernen, wie das Endergebnis aussehen sollte, sondern auch, wie es sich verhält, wenn es einen Fehler macht. Die Forscher fanden heraus, dass sie durch das Training des Agenten auf diese rigorose, geschlossene Weise (closed-loop) ein Modell erstellen konnten, das signifikant besser abschneidet als bisherige Open-Source-Systeme und sogar die Fähigkeiten viel größerer, proprietärer Modelle erreicht.

Der Kern dieser Verbesserung liegt in einer Methode, die die Forscher „umgebungsgestütztes Training“ (environment-grounded training) nennen. Stellen Sie sich vor, ein Schüler lernt das Kochen nicht nur durch das Lesen eines Rezepts, sondern indem er tatsächlich in einer Küche steht, Gemüse schneidet und ein Lehrer ihm sofort sagt, wenn das Messer abrutscht oder die Hitze zu hoch ist. In gleicher Weise wird UI-Mate in einer digitalen Umgebung trainiert, in der jede Aktion gegen einen echten, funktionierenden Computerbildschirm getestet wird. Wenn der Agent versucht, eine Datei am falschen Ort zu speichern, weiß das System dies sofort und protokolliert dieses Scheitern. Dieser Zyklus aus Versuchen, Scheitern und Korrigieren findet Millionen von Malen über verschiedene Anwendungen hinweg statt, wodurch der Agent ein tiefes Verständnis dafür entwickelt, wie Software funktioniert. Die Forscher bauten eine massive Bibliothek dieser Übungsaufgaben auf, die alles von einfacher Dateiverwaltung bis hin zu komplexen Arbeitsabläufen abdeckt, die den Transfer von Informationen zwischen einem Kalender, einem E-Mail-Programm und einem Projektmanagement-Tool erfordern. Durch die sorgfältige Abstimmung der Arten von Aufgaben, die der Agent sieht, stellten sie sicher, dass er lernte, sowohl kurze, einfache Jobs als auch lange, komplizierte Sequenzen zu bewältigen, ohne verwirrt zu werden.

Doch selbst ein gut trainierter Agent kann Schwierigkeiten haben, wenn ein Mensch eine vage Anweisung gibt, wie etwa: „Bearbeite dieses Angebot für den Kandidaten.“ Der Agent weiß dann vielleicht nicht, welche spezifischen Dateien er öffnen oder welche exakten Schaltflächen er klicken soll, weil die Anweisung nicht die notwendige Detailtiefe besitzt. Um dies zu lösen, entwickelten die Forscher eine neue Art und Weise, wie der Agent von einer Demonstration lernt. Anstatt den Agenten zu zwingen, blind eine aufgezeichnete Sequenz von Mausklicks zu kopieren, zerlegt das System die Demonstration in einen flexiblen Plan aus Teilaufgaben. Es betrachtet ein Video eines Menschen oder einer stärkeren KI, die einen ähnlichen Job erledigt, und extrahiert die Ziele: „Angebot finden“, „Gehalt prüfen“, „E-Mail senden“. Während der eigentlichen Arbeit nutzt der Agent diesen Plan als Leitfaden, entscheidet aber anhand des Live-Bildschirms, wie er die Maus bewegt oder den Text tippt. Das bedeutet, dass der Agent seine Aktionen anpassen kann, falls der Bildschirm etwas anders aussieht als im Video, anstatt steckenzubleiben.

Die Ergebnisse dieses Ansatzes sind beeindruckend. Bei Tests auf einem Standardset von Computer-Anwendungsherausforderungen erreichte das neue System, speziell die 27-Milliarden-Parameter-Version, eine Erfolgsquote von 77,0 Prozent, womit es andere Open-Source-Modelle übertraf und sehr nah an die besten verfügbaren Closed-Source-Systeme herankam. Noch wichtiger ist, dass die Forscher einen neuen Test namens OSWorkerBench entwickelten, der realistische Büroarbeit über Dutzende von verschiedenen Anwendungen hinweg simuliert. In diesem Test verbesserte das System seine Leistung im Vergleich zum Basismodell um fast 18 Prozentpunkte. Die bedeutendste Erkenntnis war jedoch, als sie dem Agenten mit einer einzigen Demonstration eine Anleitung gaben. Für einen Satz von 33 langen, komplexen Aufgaben steigerte die Bereitstellung eines einzigen Beispiels für die Durchführung die Erfolgsquote des Agenten von 17,2 Prozent auf 35,4 Prozent. Dies zeigt, dass das System das Beispiel nicht einfach nur auswendig lernt, sondern die zugrunde liegende Logik versteht und sie auf neue Situationen anwenden kann, was es für den realen Einsatz viel zuverlässiger macht.

Die Forscher entdeckten auch, dass die Fähigkeit des Agenten, lange Aufgaben zu bewältigen, nicht nur von roher Rechenleistung abhängt. Sie testeten Modelle unterschiedlicher Größe und fanden heraus, dass zwar größere Modelle im Allgemeinen besser abschnitten, aber die spezifische Trainingsmethode wichtiger war als die reine Größe allein. Ein kleineres Modell, das mit ihrem rigorosen, umgebungsgestützten Ansatz trainiert wurde, schnitt besser ab als ein viel größeres Modell, das dieses Training nicht erhalten hatte. Dies deutet darauf hin, dass die Qualität der Übungsdaten und die Feedbackschleife entscheidender sind als einfach nur das „Gehirn“ des Agenten größer zu machen. Das System erwies sich zudem als fähig, Aufgaben zu bewältigen, die erfordern, Informationen vom Anfang eines Arbeitsablaufs zu behalten und am Ende wieder zu verwenden – ein häufiger Schwachpunkt früherer KI-Agenten.

Um sicherzustellen, dass diese Ergebnisse kein Zufall waren, baute das Team einen Benchmark auf, der 100 verschiedene Büroaufgaben umfasste, die von Personalwesen über Vertrieb bis hin zu Ingenieurwesen reichten. Sie evaluierten das System in seiner Fähigkeit, diese Aufgaben ohne Hilfe zu bewältigen, und erneut mit einer Demonstration. Die Daten zeigten, dass sich der Agent durch eine visuelle Anleitung konsistent verbesserte, er aber nicht davon abhängig wurde. Er blieb in der Lage, allein anhand von Anweisungen zu arbeiten, was bewies, dass die Demonstration als hilfreiche Karte und nicht als starre Regel fungierte. Dieses Gleichgewicht ist für den praktischen Einsatz entscheidend, da es bedeutet, dass das System eingesetzt werden kann, wenn kein vorheriges Beispiel existiert, während es dennoch in der Lage ist, schnell zu lernen, sobald ein Nutzer eines bereitstellt.

Die Implikationen dieser Arbeit reichen über bessere Testergebnisse hinaus. Indem sie demonstrierten, dass ein Agent in der Lage ist, komplexe Workflows über mehrere Anwendungen hinweg mit hoher Zuverlässigkeit zu navigieren, haben die Forscher einen bedeutenden Schritt zur praktischen Realität der digitalen Automatisierung für den alltäglichen Büroalltag gemacht. Das System erfordert nicht, dass ein Mensch jeden Klick mikromanagt; statattdessen kann es ein übergeordnetes Ziel aufnehmen und die notwendigen Schritte ermitteln, wobei es seinen Kurs korrigiert, wenn es auf unerwartete Bildschirmlayouts oder fehlende Informationen stößt. Die Fähigkeit, aus einer einzigen Demonstration zu lernen, legt nahe, dass diese Agenten schließlich in der Lage sein könnten, neue, unternehmensspezifische Abläufe in Minuten statt in Monaten zu erlernen.

Die Studie hebt auch die Bedeutung der Art und Weise hervor, wie wir diese Systeme evaluieren. Die Forscher fanden heraus, dass das bloße Zählen, ob eine Aufgabe abgeschlossen wurde oder nicht, oft verschleiert, dass ein Agent vor dem Scheitern im allerletzten Schritt möglicherweise schon signifikante Fortschritte gemacht hat. Durch die Messung des Teilfortschritts konnten sie sehen, dass der Agent oft bereits zu 80 Prozent durch eine komplexe Aufgabe war, selbst wenn er sie nicht abschloss. Diese Nuance ist wichtig, um zu verstehen, wo die Technologie heute steht und wo sie sich verbessern muss. Das Team identifizierte, dass die häufigsten verbleibenden Fehlerfälle nicht in den frühen Phasen einer Aufgabe lagen, sondern in den letzten Schritten, wie etwa dem Vergessen, eine Bestätigungs-E-Mail zu senden oder ein spezifisches Feld in einem Formular auszufüllen.

Letztendlich zeigt die Arbeit einen klaren Weg nach vorn für den Bau leistungsfähigerer Computer-Agenten. Sie zeigt, dass die Kombination aus rigorosem, simuliertem Training und der Fähigkeit, aus visuellen Beispielen zu lernen, ein System schafft, das sowohl leistungsstark als auch anpassungsfähig ist. Die Forscher haben ihre Trainingsdaten und Benchmarks der Community zur Verfügung gestellt, damit andere auf diesen Erkenntnissen aufbauen können. Während sich diese Systeme weiterentwickeln, bewegen sie sich näher an eine Zukunft heran, in der künstliche Intelligenz die Routine-, repetitive und komplexe digitale Aufgaben bewältigen kann, die derzeit so viel der menschlichen Arbeitszeit beanspruchen, sodass Menschen frei bleiben, um sich auf die Entscheidungen zu konzentrieren, die wirklich menschliches Urteilsvermögen erfordern.