Palmyra x6 Technical Report: An Agentic, Tool-Use Model Post-Trained via Anchored Supervised Fine-Tuning
Palmyra x6 ist ein auf Unternehmen ausgerichtetes agentisches Sprachmodell, das durch einen konservativen, kontrollierten Post-Training-Ansatz mittels Anchored Supervised Fine-Tuning auf einem kompakten, verifizierten Datensatz eine Spitzenleistung bei Benchmarks zur Werkzeugnutzung erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Landschaft der künstlichen Intelligenz war eine beständige Herausforderung, wie man große Sprachmodelle dazu bringt, als zuverlässige Assistenten zu agieren, ohne die Fähigkeiten zu untergraben, die sie bereits besitzen. Traditionell erforderte die Erstellung eines leistungsstarken Modells für eine spezifische Aufgabe den Aufbau des gesamten Systems von Grund auf neu, ein Prozess, der dem Bau eines neuen Motors für jedes verschiedene Fahrzeug gleicht. Vor Kurzem haben Forscher entdeckt, dass es oft ausreicht, ein bestehendes, leistungsfähiges Modell zu nehmen und sein Verhalten für einen bestimmten Zweck sorgfältig zu verfeinern, vorausgesetzt, die Trainingsdaten sind von außergewöhnlicher Qualität und die Lernmethode ist präzise. Dieser Ansatz konzentriert sich auf „agentische“ Aufgaben, bei denen das Modell nicht nur Fragen beantworten, sondern aktiv Schritte planen, digitale Werkzeuge wie die Websuche oder die Code-Ausführung nutzen und komplexe, mehrstufige Arbeitsabläufe navigieren muss, um Probleme zu lösen. Das Ziel ist es, eine KI zu schaffen, die effektiv in einer realen digitalen Umgebung funktionieren kann, indem sie Aufgaben bewältigt, die eine langfristige Planung und die Interaktion mit verschiedenen Softwaresystemen erfordern, anstatt lediglich Text zu generieren.
Ein Team von Forschern bei Writer, Inc. hat diese Herausforderung mit der Entwicklung von Palmyra x6 angegangen, einem Modell, das speziell darauf ausgeet ist, in diesen agentischen Aufgaben zu glänzen. Anstatt ein massives neues Modell von Grund auf neu zu trainieren, begannen sie mit einer hochentwickelten bestehenden Basis namens GLM-5.2, einem Modell mit hunderten Milliarden Parametern. Diesem Fundament wendeten sie eine hochspezialisierte Trainingsmethode namens Anchored Supervised Fine-Tuning an. Diese Technik ist darauf ausgelegt, dem Modell neue Fähigkeiten beizubringen – insbesondere, wie es Werkzeuge nutzt und komplexe Aufgaben plant – während gleichzeitig strikt verhindert wird, dass es das allgemeine Wissen und die bereits vorhandenen Denkfähigkeiten vergisst oder abbaut. Das Ergebnis ist ein System, das in komplexen digitalen Umgebungen, wie etwa bei Websuchen, der Code-Ausführung und der Dokumentenabfrage, mit einem Kompetenzniveau navigieren kann, das die vorherigen Versionen ihres eigenen Agenten deutlich übertrifft und mit den fortschrittlichsten verfügbaren Modellen konkurriert.
Der Kern dieser Errungenschaft liegt in der Qualität und der Art der für das Training verwendeten Daten. Anstatt das Modell mit riesigen Mengen an Internettext zu füttern, generierten die Forscher einen kompakten, hochgradig kuratierten Datensatz, der aus nur 626 Beispielen besteht. Jedes Beispiel ist eine vollständige, verifizierte Trajektorie einer von einem KI-Agenten gelösten Aufgabe. Dies sind synthetische Geschichten, in denen die KI eine Serie von Schritten plant, verschiedene Werkzeuge aufruft, um Informationen zu sammeln oder Aktionen durchzuführen, und zu einer korrekten Lösung gelangt. Um sicherzustellen, dass diese Beispiele perfekt waren, nutzten die Forscher einen strengen Prozess, bei dem ein „Lehrer“-Modell zuerst einen erfolgreichen Pfad demonstrierte und ein „Schüler“-Modell dann gebeten wurde, dasselbe Problem unabhängig zu lösen, wobei es das Plan des Lehrers nur als Orientierungshilfe auf hoher Ebene nutzte. Wenn das Schüler-Modell versuchte, den Prozess zu umgehen, indem es die Antwort kopierte, oder die Werkzeuge nicht korrekt verwendete, wurde der Versuch verworfen. Nur die erfolgreichsten, ehrlichen Versuche wurden beibehalten, wodurch eine kleine, aber unglaublich hochwertige Bibliothek von Beispielen entstand, die dem Modell beibrachten, wie ein kompetenter Agent zu denken und zu handeln.
Um aus diesem kleinen Datensatz zu lernen, ohne seine ursprünglichen Fähigkeiten zu verlieren, setzten die Forscher eine Methode ein, die wie ein Sicherheitsanker wirkt. Während des Trainings wird das Modell ständig an sein ursprüngliches, ungeträintes Selbst erinnert. Dieser „Anker“ stellt sicher, dass das Modell, während es lernt, Werkzeuge zu nutzen und Aufgaben zu planen, nicht von seiner allgemeinen Intelligenz und seinen Sicherheitsverhaltensweisen abweicht. Dies ist entscheidend, da das Training auf einem winzigen Datensatz dazu führen könnte, dass das Modell übermäßig spezialisiert wird oder die Fähigkeit verliert, allgemeine Konversationen zu führen. Indem sie das Modell an seinen ursprünglichen Zustand koppeln, konnten die Forscher neue agentische Fähigkeiten injizieren, ohne das Fundament zu erodieren. Sie nutzten zudem einen spezialisierten mathematischen Optimierer, ein Werkzeug, das dem Modell hilft, effizienter zu lernen, indem es seine internen Verbindungen als geometrische Formen statt nur als Zahlen behandelt, was es ermöglicht, die begrenzte Datenmenge besser zu nutzen.
Die Ergebnisse dieses Ansatzes waren unmittelbar und substanziell. Bei Tests gegen eine breite Palette von Benchmarks, die die Fähigkeit einer KI messen, Werkzeuge zu nutzen, langfristige Aufgaben zu planen und komplexe Anweisungen zu befolgen, zeigte Palmyra x6 eine massive Verbesserung gegenüber dem bisherigen Standardmodell, das von dem Agenten von Writer verwendet wurde. Es zeigte besonders starke Zuwächse in der Finanzforschung, wo es das Web durchsuchen und Daten analysieren musste, sowie in allgemeinen Szenarien zur Werkzeugnutzung. Das Modell schnitt auch wettbewerbsfähig gegenüber anderen führenden Frontier-Modellen ab und belegte in den Durchschnittswerten über mehrere verschiedene Tests hinweg oft Spitzenplätze in der Gruppe. Vielleicht am wichtigsten ist, dass das Modell ein hohes Maß an Sicherheit und Neutralität beibehielt. In Tests, die politische Voreingenommenheit und Ablehnungsverhalten messen sollten, zeigte Palmyra x6 einen ausgewogenen Ansatz, indem es mehrere Seiten kontroverser Themen darstellte und schädliche Anfragen mit einer Rate ablehnte, die mit seinem Basismodell konsistent war, was bewies, dass die neuen Fähigkeiten nicht zu Lasten der Sicherheit oder Zuverlässigkeit gingen.
Die Forscher wiesen vorsichtig darauf hin, dass dieses Modell ein spezialisiertes Werkzeug ist und kein universeller Ersatz für alle KI-Aufgaben. Seine Stärken liegen spezifisch in agentischen Arbeitsabläufen, in denen es Werkzeuge aufrufen und Pläne ausführen kann, während seine Leistung bei anderen Arten von Aufgaben weiterhin durch die Fähigkeiten des Basismodells bestimmt wird, auf dem es aufgebaut wurde. Die Trainingsdaten waren, obwohl gering in der Anzahl, ausreichend, um das spezifische Verhalten der Werkzeugnutzung zu lehren, da die Lernmethode darauf ausgelegt war, konservativ und präzise zu sein. Das Modell ist nun für die kommerzielle Nutzung verfügbar und bietet eine Version, die effizient auf Standard-Hardware betrieben werden kann. Diese Arbeit zeigt, dass es mit der richtigen Kombination aus hochwertigen Daten, einem sorgfältigen Trainingsziel und einem stabilen Fundament möglich ist, hochfähige KI-Agenten zu erschaffen, ohne dass ein massives, ressourcenintensives Retraining von Grund auf erforderlich ist. Der Erfolg von Palmyra x6 deutet auf eine Zukunft hin, in der KI-Assistenten mit Präzision und Sicherheit auf komplexe, reale Aufgaben zugeschnitten werden können, wobei sie sich auf ein paar hundert perfekte Beispiele verlassen, statt auf Millionen unvollkommener.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.