Interactive Training 2: Auditable Control Plane for Live Model Training
Dieses Paper stellt Interactive Training 2 vor, eine Open-Source-Control-Plane, die durch ein gemeinsames Protokoll und einen maßgeschneiderten Aim-Workspace eine auditierbare Echtzeit-Steuerung des laufenden Modelltrainings ermöglicht, wodurch sowohl Menschen als auch automatisierte Agenten Trainingsparameter über verschiedene Workflows hinweg sicher modifizieren können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen Meisterkoch bei der Zubereitung eines komplexen Gerichts. Sie sehen den Topf brodeln, riechen die Gewürze und bemerken, dass die Sauce zu dick wird. In alten Zeiten hätten Sie in die Küche rennen, ein spezielles Werkzeug greifen und Anweisungen flüstern müssen, die nur dieser eine Koch verstand, wenn Sie dem Koch sagen wollten, er solle die Hitze reduzieren oder eine Prise Salz hinzufügen. Wenn Sie mit einem anderen Koch sprechen wollten, der ein anderes Gericht zubereitet, hätten Sie ein ganz neues Set an Werkzeugen und eine neue Sprache benötigt. So funktionierte das Training von Modellen der künstlichen Intelligenz früher: Forscher konnten den „Kochprozess“ beobachten, aber das Rezept während des Vorgangs zu ändern, war mühsam, erforderte für jedes einzelne Experiment speziellen Code und war schwer nachverfolgbar.
Stellen Sie sich nun vor, jede Küche hätte ein universelles, magisches Intercom-System. Sie könnten herantreten, sagen: „Gib mehr Salz hinzu“ oder „Dreh die Hitze runter“, und der Koch würde Sie hören, prüfen, ob es gerade sicher ist, dies zu tun, und dann die Änderung genau dann vornehmen, wenn der Topf bereit ist. Das Beste daran? Das System würde genau aufschreiben, wer was wann gefordet hat und ob der Koch es ausgeführt hat. Dies ist die Welt des „Interaktiven Trainings“, ein Bereich, in dem Forscher versuchen, KI-Modelle zu steuern, während sie lernen, anstatt sie nur zu beobachten. Die große Frage lautet: Wie machen wir dieses Steuern einfach, sicher und aufzeichnungsfähig für jeden KI-Koch, nicht nur für diejenigen, die einen speziellen Markenherd benutzen?
Dieses Paper stellt Interactive Training 2 vor, eine neue „Control Plane“, die wie dieses universelle Intercom-System für das KI-Training fungiert. Die Autoren haben ein Open-Source-System entwickelt, das es Menschen, Computerskripten oder sogar KI-Agenten (wie smarten Robotern) ermöglicht, mit einem Trainingsmodell über eine einzige, gemeinsame Sprache zu kommunizieren. Anstatt für jedes Experiment neuen Code zu schreiben, sagt der Forscher dem System einfach: „Hier sind die Regler, an denen ich drehen kann (wie die Lernrate) und die Knöpfe, die ich drücken kann (wie das Speichern eines Checkpoints).“
So funktioniert es in der Praxis: Ein Forscher (oder ein smarter KI-Agent) blicelt auf ein Live-Dashboard, das zeigt, wie es dem Modell geht. Wenn das Modell Schwierigkeiten hat, kann er eine Anfrage über das System senden, wie zum Beispiel: „Senke die Lernrate auf 0,00002.“ Das Trainingsmodell ändert sich nicht sofort; stattdessen wartet es auf einen sicheren Moment in seinem Kochprozess – was die Autoren einen „Kontrollpunkt“ nennen – um die Änderung vorzunehmen. Es prüft dann, ob die Anfrage gültig ist, wendet sie an und schreibt die gesamte Geschichte in ein digitales Journal. Dieses Journal verbindet die Anfrage mit dem Ergebnis, dem neuen Score und der gespeicherten Version des Modells und schafft so einen klaren, prüfbaren Pfad darüber, wer was wann getan hat.
Das Team hat dieses System bei fünf verschiedenen Arten von KI-Aufgaben getestet, darunter das Beibringen von Verständnis für menschliche Gefühle (Sentiment-Analyse) und das Spielen von Spielen (Reinforcement Learning). Sie zeigten, dass dasselbe System alles bewältigen konnte, von einfachen Anpassungen der Lernrate bis hin zu komplexen Änderungen in der Art und Weise, wie das Modell Daten verarbeitet. In diesen Tests nutzten sie einen KI-Agenten, der als „Küchenassistent“ fungierte, der die Ergebnisse beobachtete, entschied, was als Nächstes geändert werden sollte, und die Anfrage sendete. Das System zeichnete jeden Schritt erfolgreich auf, vom ursprünglichen Plan bis zum Endergebnis, und bewies damit, dass man ein KI-Modell live steuern kann, ohne den Code zu brechen oder die Historie zu verlieren.
Das Paper behauptet nicht, alle Probleme des KI-Trainings gelöst zu haben oder ein magisches Heilmittel zu sein, das perfekte Ergebnisse garantiert. Stattdessen bietet es eine wiederverwendbare Grundlage. Es legt nahe, dass wir durch die Trennung von „Steuerung“ und „Kochen“ das Training flexibler und leichter untersuchbar machen können. Die Autoren demonstrieren, dass dieser Ansatz über verschiedene Frameworks hinweg funktioniert und dass er es sowohl Menschen als auch automatisierten Agenten ermöglicht, in Echtzeit mit der Verbesserung von KI-Modellen zu kollaborieren, während stets eine perfekte Aufzeichnung der gesamten Reise erhalten bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.