← Neueste Arbeiten
🤖 AI

Post-Training on Office Work Improves Software Engineering: A Behavioral Account of Cross-Domain Transfer

Diese Arbeit zeigt auf, dass das Post-Training eines Large Language Models auf langfristigen Büro-Workflows dessen Leistungen im Software Engineering signifikant verbessert, indem es vier zentrale zielgerichtete Ausführungsverhaltensweisen – Zielauswahl, Zustandskonstruktion, Treue zur Vorgabe und Verifizierung – stärkt, die effektiv über verschiedene Domänen hinweg transferierbar sind.

Ursprüngliche Autoren: Logan Ritchie, Sushant Mehta, Liudas Panavas, Edwin Chen

Veröffentlicht 2026-08-04
📖 8 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Logan Ritchie, Sushant Mehta, Liudas Panavas, Edwin Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Meisterkoch zu werden. Sie denken vielleicht, der beste Weg wäre es, ihn mit Millionen von Rezepten zu füttern, ihm zu zeigen, wie man Zwiebeln schneidet, und ihn das Zubereiten von Soufflés üben zu lassen. Aber was wäre, wenn das Geheimnis eines großartigen Kochs nicht nur darin besteht, Rezepte zu kennen? Was wäre, wenn es darum geht, wie man denkt? Was wäre, wenn die eigentliche Fähigkeit darin besteht, eine riesige, beängstigende Dinnerparty in kleine, handhabbare Schritte zu zerlegen, im Gedächtnis zu behalten, welche Zutaten man gesammelt hat, die Ernährungsvorgaben des Gastgebers zu berücksichtigen, während man gerade Zwiebeln hackt, und tatsächlich das Essen zu probieren, um sicherzustellen, dass es fertig ist, bevor man es serviert?

Dies ist die Welt der „agentischen“ KI – Computerprogramme, die nicht nur Fragen beantworten, sondern tatsächlich Dinge tun, wie zum Beispiel im Internet zu surfen, Dateien zu bearbeiten oder Tests durchzuführen. Lange Zeit dachten Wissenschaftler, dass diese Roboter darauf trainiert werden müssten, genau die Aufgabe auszuführen, die sie später erledigen sollen. Wenn man wollte, dass ein Roboter Computercode repariert, musste man ihn mit Millionen von Beispielen für das Reparieren von Computercode trainieren. Aber dieses neue Paper stellt eine kühne Frage: Was wäre, wenn wir den Roboter stattdessen lehren würden, ein meisterhafter Büroangestellter zu sein? Was wäre, wenn wir ihm beibrächten, Tabellen zu organisieren, Meetings zu planen und Dokumente zu verwalten, und ihn dann fragten, Software zu reparieren? Würden die Fähigkeiten eines guten Büroangestellten ihm helfen, ein besserer Softwareentwickler zu werden?

Die Forscher bei Surge AI beschlossen, diese Idee zu testen. Sie nahmen ein sehr intelligentes KI-Modell und gaben ihm einen Crashkurs in „langfristiger“ (long-horizon) Büroarbeit. Dies waren keine einfachen Aufgaben wie „schicke eine E-Mail“. Es waren komplexe, mehrstufige Abenteuer, bei denen die KI viele Werkzeuge jonglieren, eine mentale Landkarte dessen führen musste, was sie gerade tut, und sicherstellen musste, dass sie nicht den Überblick über das große Ganze verliert, während sie sich im Detail verliert. Sie trainierten die KI mit 363 dieser Büroaufgaben, aber hier kommt der Clou: Keine der Trainingsaufgaben hatte etwas mit Software oder Programmierung zu tun.

Das Ergebnis? Als sie die KI mit einer berühmten Herausforderung für das Software Engineering namens SWE-Bench Pro testeten, verbesserte sie sich signifikant. Sie steigerte ihre Erfolgsquote um 5,8 Prozentpunkte. Das Paper legt nahe, dass die KI durch das Erlernen komplexer, mehrstufiger Büro-Workflows einen universellen „Muskel“ für zielgerichtete Ausführung erlernt hat. Sie lernte, ein Ziel zu setzen, ein mentales Bild der Situation aufzubzunehmen, beim ursprünglichen Plan zu bleiben, auch wenn es unordentlich wurde, und ihre Arbeit zu überprüfen. Diese Fähigkeiten sind laut den Autoren wie ein Schweizer Taschenmesser: Sobald man gelernt hat, sie zur Organisation eines Aktenschranks zu verwenden, kann man sie auch nutzen, um ein Computerprogramm zu debuggen, selbst wenn die beiden Aufgaben oberflächlich betrachtet völlig unterschiedlich aussehen.

Die Geheimzutat: Die „Zielschleife“ (Goal Loop)

Um zu verstehen, wie das funktioniert, stellen Sie sich vor, die KI sei ein Entdecker, der durch ein riesiges, verzweigtes Labyrinth navigiert. Das Paper nennt die Strategie der KI „Goal-Directed Execution“ (GDE – Zielgerichtete Ausführung). Betrachten Sie dies als einen vierstufigen Tanz, den die KI immer wieder aufführt, wie eine Schleife in einem Videospiel:

  1. Zielbildung (Goal Formation): Die KI fragt sich: „Was ist das aller nächste, was ich tun muss, um dem Ziel näher zu kommen?“
  2. Zustandserstellung (State Construction): Sie schaut sich um und sagt: „Okay, was weiß ich gerade? Was habe ich gerade herausgefunden?“ Sie baut eine mentale Landkarte der aktuellen Situation auf.
  3. Zielstabilität (Goal Stability): Sie prüft ihren Kompass. „Steuere ich immer noch auf den Hauptschatz zu oder wurde ich von einem glänzenden Stein abgelenkt?“ Sie stellt sicher, dass die kleinen Schritte, die sie unternimmt, das große Ziel nicht aus den Augen verlieren.
  4. Verifizierung (Verification): Schließlich fragt sie: „Habe ich das wirklich getan? Habe ich einen Beweis dafür?“ Sie rät nicht nur; sie prüft die Beweise.

Das Paper argumentiert, dass komplexe Aufgaben – ob man nun ein Unternehmensbudget organisiert oder einen Bug in einem Videospiel behebt – alle aus denselben Schleifen bestehen. Manchmal sind die Schleifen ineinander verschachtelt, wie russische Matroschka-Puppen. Man hat ein großes Ziel (App reparieren), das sich in kleinere Ziele aufteilt (Bug finden), welche wiederum in noch kleinere Ziele zerfallen (diese spezifische Datei lesen).

Das Experiment: Von Tabellenkalkulationen zu Software

Die Forscher nahmen ein massives KI-Modell (Qwen3.5-122B-A10B) und verpassten ihm eine spezielle Trainingsdiät. Anstatt ihr Code zu füttern, fütterten sie sie mit 363 realistischen Büroszenarien. Stellen Sie sich vor, die KI agiert als virtueller Praktikant. Sie musste:

  • In Dokumenten und Tabellen suchen.
  • Webbrowser nutzen, um Recherchen anzustellen.
  • Zeitpläne erstellen und Dateien verwalten.
  • Zwischen verschiedenen digitalen Werkzeugen koordinieren.

Diese Aufgaben waren darauf ausgelegt, knifflig zu sein. Sie erforderten, dass die KI viele Dinge gleichzeitig im Blick behält, zwischen verschiedenen Werkzeugen wechselt und sicherstellt, dass sie den roten Faden der Geschichte nicht verliert. Die KI übte diese Aufgaben, bis sie richtig gut darin war. Entscheidend ist: Die Trainingsdaten enthielten null Software-Engineering-Aufgaben. Die KI sah während ihres Trainings keine einzige Zeile Code.

Dann kam der Test. Die Forscher ließen die trainierte KI Probleme auf SWE-Bench Pro lösen, einem Benchmark, der testet, wie gut eine KI reale Software-Bugs beheben kann. Sie verglichen diese trainierte KI mit demselben Modell vor dem Erlernen der Büro-Skills.

Die Ergebnisse: Eine universelle Fähigkeit

Die trainierte KI war ein Star. Ihre Erfolgsquote bei der Software-Engineering-Challenge sprang von 20,5 % auf 26,3 %. Das ist eine Verbesserung um 5,8 Prozentpunkte.

Aber der interessanteste Teil war nicht nur die Punktzahl, sondern wie sich die KI veränderte. Die Forscher untersuchten den „Denkprozess“ (die Trajektorie) der KI genau und fanden heraus, dass die trainierte KI den vierstufigen Tanz sowohl bei den Büroaufgaben als auch bei den Softwareaufgaben viel besser ausführte als die untrainierte Version.

Hier ist, was sich änderte, basierend auf den Beispielen aus dem Paper:

  • Bessere Zielbildung (Goal Formation): Die untrainierte KI wählte oft ein „lokal plausibles“ Ziel, das eigentlich falsch war. In einer Software-Aufgabe versuchte sie beispielsweise, eine ganze Funktion umzuschreiben, obwohl bereits ein einfacher Hilfswerkzeug existierte. Die trainierte KI, die gelernt hatte, den richtigen nächsten Schritt in Büroaufgaben zu wählen, erkannte: „Hey, es gibt schon ein Werkzeug dafür“, und nutzte es.
  • Bessere Zustandserstellung (State Construction): Die untrainierte KI war oft dazu geneigt, wichtige Informationen wegzuwerfen. In einer Büroaufgabe sah sie eine Tabellenzelle mit einer Formel und dachte: „Das ist keine Zahl, das ignoriere ich.“ Die trainierte KI hingegen erkannte: „Warte, diese Formel berechnet die Zahl, die ich brauche“, und behielt die Daten im Blick. Sie lernte, eine bessere mentale Landkarte der Situation aufzubauen.
  • Bessere Zielstabilität (Goal Stability): Hierbei geht es darum, das große Ganze nicht aus den Augen zu verlieren. In einer Software-Aufgabe sah die untrainierte KI einen fehlgeschlagenen Test und änderte den Code so, dass der Test bestand, obwohl dies die ursprüngliche Anforderung verletzte. Die trainierte KI erinnerte sich an das „übergeordnete Ziel“ (die ursprüngliche Anforderung) und ließ sich nicht vom lokalen Problem ablenken. Es war wie ein Projektmanager, der die Deadline im Kopf behält, selbst wenn ein Drucker klemmt.
  • Bessere Verifizierung (Verification): Die untrainierte KI prüfte ihre Arbeit oft nur oberflächlich. Sie sagte vielleicht: „Ich habe die Datei exportiert, also bin ich fertig.“ Die trainierte KI war gründlicher. Sie prüfte, ob die Datei tatsächlich die richtigen Daten enthielt und ob die Änderungen andere Teile des Systems beeinflussten. Sie hakte nicht nur den Punkt ab; sie prüfte die Realität.

Das große Ganze

Das Paper legt nahe, dass das Training der KI auf komplexen, langfristigen Büroaufgaben ihre Fähigkeit gestärkt hat, ihre Gedanken und Handlungen zu organisieren. Die KI hat nicht gelernt, wie man programmiert; sie hat gelernt, wie man lernt und wie man komplexe Pläne ausführt. Die Fähigkeiten, eine Tabelle zu verwalten, mehrere Dateien im Blick zu behalten und einen Bericht zu verifizieren, erwiesen sich als überraschend ähnlich zu den Fähigkeiten, die man zum Debuggen eines Programms benötigt.

Die Autoren betonen vorsichtig, dass dies eine „behaviorale Erklärung“ (behavioral account) ist. Sie behaupten nicht, dass die KI einen buchstäblichen „Zielstapel“ (goal stack) in ihrem Gehirn besitzt wie ein Mensch. Vielmehr beobachten sie, dass das Verhalten der KI so aussieht, als würde sie diese vier Fähigkeiten nutzen. Die Daten zeigen, dass wenn die KI in einem Bereich (Büroarbeit) besser in diesen Verhaltensweisen wird, sie auch in einem anderen Bereich (Software) besser wird, selbst ohne direktes Training für den zweiten Bereich.

Es ist ein wenig so, als würde man einen Turner trainieren. Man trainet ihn vielleicht am Schwebebalken, und obwohl er den Sprung nicht übt, verbessern sich seine Kernkraft, sein Gleichgewicht und seine Konzentration. Wenn er schließlich zum Sprung ansetzt, vollbringt er eine bessere Leistung, weil seine zugrunde liegenden „Gymnastik-Fähigkeiten“ geschärft wurden. In diesem Fall ist die „Gymnastik“ die Fähigkeit, komplexe, langfristige Aufgaben zu bewältigen, ohne die Orientierung zu verlieren.

Das Paper behauptet nicht, dass dies ein magisches Heilmittel ist, das alle KI-Probleme löst, noch dass dies der einzige Weg ist, KI zu verbessern. Aber es bietet eine faszinierende neue Perspektung: Vielleicht müssen wir der KI nicht jeden einzelnen Job der Welt beibringen. Vielleicht müssen wir ihr nur beibringen, wie man ein guter, organisierter, zielorientierter Arbeiter ist, und sie wird den Rest schon herausfinden.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →