OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations
Dieses Paper stellt OmegaUse-SOP vor, ein Human-in-the-Loop-System, das Experten-Demonstrationen in wiederverwendbare, domänenspezifische Standard Operating Procedure (SOP)-Skills für GUI-Agenten transformiert und dadurch deren Zuverlässigkeit in komplexen professionellen Umgebungen, wie etwa Photovoltaik-Simulations-Workflows, signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Computerprogramm vor, das einen Bildschirm betrachten kann, versteht, was es sieht, und Schaltflächen anklickt oder Text tippt, genau wie ein Mensch es tun würde. Dies ist das Versprechen des „GUI-Agenten“, einer Art künstlicher Intelligenz, die darauf ausgelegt ist, die digitale Welt nicht durch das Lesen von Code zu navigieren, sondern indem sie die grafischen Benutzeroberflächen beobachtet und mit ihnen interagiert, die wir jeden Tag verwenden. Während diese Agenten bei einfachen Aufgaben schon recht gut geworden sind, geraten sie oft ins Straucheln, wenn sie mit komplexen, professionellen Aufgaben konfrontiert werden. Die reale Arbeitswelt verläuft selten geradlinig; sie beinhaltet verborgene Regeln, spezifische Software-Gewohnheiten und Schritte, die geprüft und immer wieder überprüft werden müssen. Wenn ein Agent versucht, eine professionelle Aufgabe ohne Verständnis dieser Nuancen auszuführen, verliert er sich oft, übersieht ein entscheidendes Detail oder führt die falsche Aktion aus. Die Herausforderung besteht daher nicht nur darin, den Agenten intelligenter zu machen, sondern ihm die spezifischen, ungeschriebenen Abläufe beizubringen, die Experten nutzen, um eine Aufgabe korrekt zu erledigen.
Ein Forscher von Baidu und ein Energieunternehmen aus China haben ein neues System entwickelt, um dieses Problem zu lösen, das OmegaUse-SOP genannt wird. Der Kern der Idee besteht darin, die Art und Weise, wie Menschen komplexe Softwareaufgaben ausführen, als eine Reihe von Anweisungen zu behandeln, die erfasst, verfeinert und wiederverwendet werden können. Sie nennen diesen Prozess „SOP Engineering“, was für „Standard Operating Procedure Engineering“ steht. Man kann es sich wie das Erstellen einer Anleitung vorstellen, die den Arbeitsablauf eines Meisterschafts-Handwerkers in einen zuverlässigen Leitfaden verwandelt, dem eine Maschine folgen kann. Anstatt einfach nur ein Video aufzunehmen, in dem jemand Schaltflächen anklickt, beobachtet das System den menschlichen Experten, versteht, was er tut, und schreibt diese Handlungen dann in klare, logische Schritte um, die ein Computer verstehen und an neue Situationen anpassen kann.
Das System arbeitet durch vier verschiedene Phasen, die in einer Schleife ablaufen. Zueriederst beobachtet das Modul „Observe“ einen menschlichen Experten bei der Ausführung einer Aufgabe am Computer. Es zeichnet jeden Mausklick, jeden Tastendruck und jede Bildschirmänderung auf und speichert ein Bild des Bildschirms unmittelbar vor jeder Aktion. Dies erstellt ein detailliertes Protokoll darüber, was genau passiert ist und wie der Bildschirm in diesem Moment aussah. Als Nächstes nimmt das Modul „Reason“ dieses Rohprotokoll und übersetzt es in einfache Sprache. Es erkennt beispielsweise, dass ein Klick auf eine bestimmte Stelle bedeutet, dass der Mensch tatsächlich ein Feld für den „Projektnamen“ ausgewählt hat, und nicht nur an eine zufällige Koordinate geklickt hat. Es verwandelt eine Liste technischer Ereignisse in eine Geschichte: „Klicken Sie in das Feld für den Projektnamen, dann tippen Sie den Namen ein.“ Dieser Schritt ist entscheidend, weil er dem Computer hilft, die Bedeutung der Aktion zu verstehen, nicht nur die Bewegung.
Sobald die Schritte verstanden sind, ermöglicht die Phase „Configure“ einem menschlichen Benutzer, spezifische Regeln und Variablen hinzuzufügen. In der professionellen Arbeit muss dieselbe Aufgabe jedes Mal mit anderen Zahlen oder Einstellungen durchgeführt werden können. Dieses Modul erlaubt es dem Benutzer, bestimmte Teile der Anweisungen als veränderbar zu markieren, sodass der Agent weiß, welche Werte er für einen neuen Auftrag austauschen muss. Schließlich setzt das Modul „Execute“ den Plan in die Tat um. Der Agent betrachtet den aktuellen Bildschirm, findet den richtigen Schritt in seinen Anweisungen und führt die Aktion aus. Nach jedem Schritt prüft er, ob sich der Bildschirm so verändert hat, wie er es sollte. Wenn etwas falsch aussieht, kann er stoppen und einen Menschen um Hilfe bitten oder es erneut versuchen. Dieser Zyklus aus Beobachten, Verstehen, Anpassen und Handeln verwandelt eine einzige menschliche Demonstration in eine wiederverwendbare Fähigkeit, die auf viele verschiedene Aufgaben angewendet werden kann.
Um zu testen, ob dieser Ansatz tatsächlich funktioniert, arbeitete der Forscher mit einem Kunden aus der Stromindustrie zusammen, um eine sehr spezifische Herausforderung anzugehen: das Entwerfen von Solarsystemen mit einer komplexen Software namens PVsyst. Sie wählten fünf schwierige Aufgaben, die Experten regelmäßig durchführen, wie etwa das Importieren von Wetterdaten, das Einstellen des Winkels von Solarmodulen und das Berechnen von Energieverlusten. Sie testeten drei verschiedene Modelle künstlicher Intelligenz bei diesen Aufgaben. Zuerst ließen sie die Modelle versuchen, die Aufgaben allein durch das Zuhören auf eine einfache Anweisung zu erledigen, ohne Hilfe durch das neue System. Die Ergebnisse waren gemischt; die Modelle hatten Schwierigkeiten und schafften je nach Modell nur ein bis drei der fünf Aufgaben. Sie wurden oft durch das spezifische Layout der Software verwirrt oder übersahen subtile Anforderungen.
Dann wandte der Forscher das OmegaUse-SOP-System an. Sie zeichneten menschliche Experten bei denselben fünf Aufgaben auf, nutzten das System, um diese Aufzeichnungen in verfeinerte, schrittweise Fähigkeiten umzuwandeln, und ließen die Modelle es erneut versuchen. Der Unterschied war unmittelbar und absolut. Mit Hilfe der entwickelten SOPs schafften alle Modelle, einschließlich der Open-Source-Modelle, alle fünf Aufgaben erfolgreich. Das System machte die Agenten nicht nur etwas besser; es verwandelte sie von unzuverlässigen Neulingen in kompetente Bediener. Der Forscher führte auch einen spezifischen Test durch, um zu sehen, welcher Teil ihres Systems am wichtigsten war. Er fand heraus, dass das „Reason“-Modul, der Teil, der rohe Klicks in aussagekräftige Anweisungen übersetzt, der Schlüssel war. Als sie diesen Schritt entfernten und die Agenten versuchten, den rohen, unerklärten Protokollen zu folgen, sank die Erfolgsquote dramatisch. Dies bewies, dass es nicht ausreicht, einfach nur aufzuzeichnen, was ein Mensch tut; der Computer muss verstehen, warum er es tut.
Die Ergebnisse legen nahe, dass künstliche Intelligenz, um professionelle Software wirklich zu meistern, mehr als nur leistungsstarke Vision oder ein gutes Gedächtnis benötigt. Sie braucht eine Möglichkeit, das implizite Wissen zu erfassen, das menschliche Experten besitzen – die Gewohnheiten, die Überprüfungen und die spezifischen Wege, wie sie durch komplexe Menüs navigieren. Durch den Aufbau eines Systems, das menschliche Demonstrationen in strukturierte, editierbare und verifizierbare Fähigkeiten verwandelt, hat der Forscher einen praktischen Weg aufgezeigt. Das OmegaUse-SOP-System ersetzt nicht das menschliche Urteilsvermögen; stattdessen schafft es eine Brücke zwischen menschlicher Expertise und maschineller Ausführung, die es Computern ermöglicht, die komplexen, regelgebundenen Arbeitsabläufe zuverlässig zu bewältigen, die die professionelle Arbeit in Bereichen wie Ingenieurwesen und Design definieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.