Can Coding Agents Be General Agents?
Die Studie untersucht, ob Coding-Agenten allgemeine Geschäftsprozesse automatisieren können, und stellt fest, dass sie zwar einfache Aufgaben zuverlässig erledigen, aber bei komplexen Aufgaben an der Lücke zwischen Domänenlogik und Codeausführung scheitern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten, extrem schnellen Programmier-Assistenten an der Hand. Dieser Assistent kann Code schreiben, Fehler finden und Software reparieren, als wäre es ein Kinderspiel. Er ist so gut, dass er in den letzten Jahren von einem talentierten Lehrling zu einem Meisterhandwerker aufgestiegen ist.
Die große Frage, die sich die Autoren dieses Papiers stellen, lautet: Kann dieser Programmier-Assistent auch ein allgemeiner Büro-Assistent sein? Kann er nicht nur Code schreiben, sondern auch komplexe geschäftliche Aufgaben erledigen, wie zum Beispiel: „Bestelle 40 Stühle für unser neues Büro, aber achte auf das Budget und die Lieferfrist"?
Hier ist die Geschichte ihrer Forschung, einfach erklärt:
1. Der große Hoffnungsträger: Der „Schweizer Taschenmesser"-Assistent
Bisher haben wir diesen Assistenten nur im „Code-Studio" gesehen. Er ist dort ein Star. Aber Menschen fangen an, ihn für alles Mögliche zu nutzen: Steuererklärungen, Reiseplanung, Personalwesen.
Die Idee dahinter ist genial: Da fast jede moderne Arbeit in Software stattfindet (in Excel, Datenbanken, Browsern), könnte ein Assistent, der die Sprache der Software (Code) fließend spricht, eigentlich alles steuern. Er muss nicht für jede Aufgabe ein neues Werkzeug lernen; er kann sich einfach seinen eigenen „Werkzeugkasten" aus Code programmieren.
2. Das Problem: Die Lücke zwischen „Was" und „Wie"
Die Forscher haben herausgefunden, dass es eine riesige Lücke gibt.
- Die aktuellen Tests prüfen entweder nur, ob der Assistent gut Code schreibt (wie ein Mathematik-Test), oder nur, ob er gute Geschäftsideen hat (wie ein Management-Test).
- Aber im echten Leben muss der Assistent beides gleichzeitig tun: Er muss verstehen, was der Chef will (Geschäftsidee) und dann den perfekten Code schreiben, um das umzusetzen.
Stellen Sie sich vor, Sie bestellen ein Essen.
- Der Code-Test prüft nur, ob der Koch das Steak perfekt gebraten hat.
- Der Geschäfts-Test prüft nur, ob der Koch weiß, dass Sie Vegetarier sind.
- Der echte Assistent muss beides: Er muss wissen, dass Sie Vegetarier sind, und dann den Code (das Rezept) schreiben, der garantiert kein Fleisch enthält.
3. Das Experiment: Der Assistent im echten Büro
Um das zu testen, haben die Forscher den Assistenten in ein ERP-System (eine riesige Unternehmens-Software, die alles von Gehältern bis zu Lagerbeständen regelt) gesetzt. Sie gaben ihm echte Aufgaben, wie:
- „Bestellen Sie Stühle für zwei verschiedene Abteilungen."
- „Achten Sie auf das Budget."
- „Halten Sie einen Gewinn von 25% ein."
- „Nur Lieferanten aus den USA verwenden."
Der Assistent musste dabei keine fertigen Knöpfe drücken. Er musste selbst Code schreiben, um die Datenbank zu durchsuchen, Entscheidungen zu treffen und die Bestellungen zu tätigen.
4. Das Ergebnis: Ein brillanter Anfänger, ein verwirrter Profi
Was er gut kann (Die einfachen Aufgaben):
Bei einfachen Aufgaben war der Assistent fantastisch. Er hat Bestellungen erstellt, die günstigsten Lieferanten gefunden und Rechnungen geschrieben. Er hat das fast so gut gemacht wie ein erfahrener menschlicher Mitarbeiter, obwohl er keine Anleitung für diese spezielle Software hatte.
Wo er scheitert (Die komplexen Aufgaben):
Sobald die Aufgaben schwieriger wurden (mehr Regeln, mehr Entscheidungen), begann er zu straucheln. Die Forscher haben vier typische Fehlermuster entdeckt, die man sich wie folgt vorstellen kann:
Der „Faule Trick" (Lazy Heuristics):
- Aufgabe: „Bestelle nur bei amerikanischen Lieferanten."
- Der Fehler: Der Assistent schaut nicht auf die Adresse, sondern sucht einfach nach dem Wort „American" im Namen des Lieferanten. Wenn ein Lieferant „American Furniture" heißt, ist er dabei. Wenn ein echter amerikanischer Lieferant „Joe's Tools" heißt, wird er ignoriert.
- Metapher: Er versteht die Regel, aber er nimmt den faulen Weg, um sie umzusetzen, und macht dabei Fehler.
Die „Halluzination" (Das falsche Universum):
- Aufgabe: „Lagere beschädigte LED-Platinen im Kühlschrank."
- Der Fehler: Der Assistent glaubt fest, es gäbe einen Kühlschrank im Lager. Da es keinen gibt, schreibt er Code, der nach dem Kühlschrank sucht, nichts findet und dann fälschlicherweise annimmt, die Platinen seien weg.
- Metapher: Er schreibt perfekten Code, aber er spielt in einem Film, der in seiner Fantasie existiert, nicht in der echten Welt.
Das „Vergessen" (Ignorierte Regeln):
- Aufgabe: „Urlaubstage müssen aufeinanderfolgend sein."
- Der Fehler: Der Assistent vergisst diese Regel komplett und plant den Urlaub in kleinen Häppchen, obwohl es verboten ist. Er liest die Regel, denkt aber nicht weiter darüber nach.
Der „Übermütige" (Overconfidence):
- Das größte Problem: Egal ob er die Aufgabe richtig, falsch oder nur halb richtig gelöst hat, er sagt immer: „Alles erledigt! Erfolg!"
- Warum? Im Code-Bereich gibt es klare Signale: Wenn der Code falsch ist, gibt es eine rote Fehlermeldung. Im Geschäftsbereich gibt es diese roten Fehlermeldungen oft nicht. Das System sagt nicht: „Du hast den Gewinn von 25% verfehlt." Der Assistent denkt also, er habe gewonnen, weil sein Code ohne Fehler lief, obwohl das Geschäftsergebnis katastrophal war.
5. Fazit: Noch nicht bereit für die Welt
Die Autoren kommen zu dem Schluss:
Coding-Agents sind vielversprechend, aber noch nicht allgemein einsatzbereit für komplexe Geschäftsprozesse.
Sie sind wie ein geniales Kind, das die Sprache der Maschinen perfekt spricht, aber noch nicht die Nuancen der menschlichen Welt und der komplexen Regeln versteht. Wenn man sie mit einfachen Aufgaben konfrontiert, sind sie super. Sobald die Dinge knifflig werden, verlieren sie den Bezug zur Realität.
Die Lektion:
Damit diese Agenten wirklich „allgemein" werden können, müssen wir sie nicht nur darauf trainieren, Code fehlerfrei zu schreiben, sondern auch darauf, die Geschäftslogik zu verstehen und zu prüfen, ob das Ergebnis wirklich das ist, was wir wollten – und nicht nur, ob der Code funktioniert hat. Bis dahin brauchen wir noch menschliche Aufsicht und spezielle Werkzeuge für bestimmte Aufgaben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.