🤖 AI

Palmyra x6 Technical Report: An Agentic, Tool-Use Model Post-Trained via Anchored Supervised Fine-Tuning

Palmyra x6 is een op ondernemingen gerichte agentische taalmodellen die staat van de kunst prestaties behaalt op benchmarks voor het gebruik van tools door middel van een conservatieve, gecontroleerde post-training benadering met behulp van Anchored Supervised Fine-Tuning op een compacte, geverifieerde dataset.

Oorspronkelijke auteurs: Peng Du, Kiran Kamble, Rakshith Vasudev, Zhizhuo Yang, Rohith Nadimpally, Arjun Krishna, Waseem Alshikh, Daniel M. Bikel

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peng Du, Kiran Kamble, Rakshith Vasudev, Zhizhuo Yang, Rohith Nadimpally, Arjun Krishna, Waseem Alshikh, Daniel M. Bikel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het snel evoluerende landschap van kunstmatige intelligentie is een hardnekkige uitdaging geweest hoe men grote taalmodellen kan leren om als betrouwbare assistenten te fungeren zonder de vaardigheden die ze al bezitten te breken. Traditioneel vereiste het creëren van een hoogwaardig model voor een specifieke taak het volledig opnieuw opbouwen van het hele systeem, een proces dat vergelijkbaar is met het construeren van een nieuwe motor voor elk verschillend voertuig. Recentelijk hebben onderzoekers ontdekt dat het vaak voldoende is om een bestaand, krachtig model te nemen en het gedrag ervan zorgvuldig te verfijnen voor een specifiek doel, mits de trainingsdata van uitzonderlijke kwaliteit is en de leermethode precies is. Deze aanpak richt zich op "agentic" taken, waarbij het model niet alleen vragen moet beantwoorden, maar ook actief stappen moet plannen, digitale hulpmiddelen zoals webzoeken of code-executie moet gebruiken, en complexe, meerstaps-workflows moet navigeren om problemen op te lossen. Het doel is om een AI te creëren die effectief kan functioneren in een real-world digitale omgeving, door taken af te handelen die langetermijnplanning en interactie met diverse softwaresystemen vereisen, in plaats van simpelweg tekst te genereren.

Een team van onderzoekers bij Writer, Inc. heeft deze uitdaging aangepakt met de ontwikkeling van Palmyra x6, een model dat specifiek is ontworpen om uit te blinken in deze agentic taken. In plaats van een enorme nieuwe model vanaf de grond op te bouwen, begonnen ze met een geavanceerde bestaande fundering genaamd GLM-5.2, een model met honderden miljarden parameters. Bij deze fundering pasten zij een zeer gespecialiseerde trainingsmethode toe genaamd Anchored Supervised Fine-Tuning. Deze techniek is ontworpen om het model nieuwe vaardigheden te leren — specifiek, hoe het hulpmiddelen gebruikt en complexe taken plant — terwijl het strikt voorkomt dat het de algemene kennis en redeneervermogens die het al bezat, vergeet of degradeert. Het resultaat is een systeem dat complexe digitale omgevingen kan navigeren, zoals die met webzoeken, code-executie en documentextractie, met een niveau van competentie dat de vorige versies van hun eigen agent aanzienlijk overtreft en concurreert met de meest geavanceerde beschikbare modellen.

De kern van deze prestatie ligt in de kwaliteit en de aard van de data die voor de training is gebruikt. In plaats van het model enorme hoeveelheden internettekst te voeren, genereerden de onderzoekers een compacte, zeer gecureerde dataset bestaande uit slechts 626 voorbeelden. Elk voorbeeld is een volledige, geverifieerde traject van een taak die door een AI-agent wordt opgelost. Dit zijn synthetische verhalen waarin de AI een reeks stappen plant, verschillende hulpmiddelen aanroept om informatie te verzamelen of acties uit te voeren, en tot een correcte oplossing komt. Om ervoor te zorgen dat deze voorbeelden perfect waren, gebruikten de onderzoekers een rigoureus proces waarbij een "leraar"-model eerst een succesvol pad demonstreerde, waarna een "student"-model werd gevraagd om dezelfde probleemstelling onafhankelijk op te lossen, waarbij het plan van de leraar alleen als een hoogwaardige leidraad werd gebruikt. Als het student-model probeerde het proces te omzeilen door het antwoord te kopiëren of faalde in het correct gebruiken van de hulpmiddelen, werd de poging verworpen. Alleen de meest succesvolle, eerlijke pogingen werden behouden, wat resulteerde in een kleine maar ongelooflijk hoogwaardige bibliotheek van voorbeelden die het model leerden te denken en te handelen als een competente agent.

Om van deze kleine dataset te leren zonder de oorspronkelijke capaciteiten te verliezen, gebruikten de onderzoekers een methode die fungeert als een veiligheidsanker. Tijdens het trainingsproces wordt het model constant herinnerd aan zijn oorspronkelijke, ongetrainde zelf. Dit "anker" zorgt ervoor dat terwijl het model leert om hulpmiddelen te gebruiken en taken te plannen, het niet afdwaalt van de algemene intelligentie en veiligheidsgedragingen waarmee het begon. Dit is cruciaal omdat training op een kleine dataset er anders voor zou kunnen zorgen dat het model overmatig gespecialiseerd raakt of het vermogen verliest om algemene gesprekken te voeren. Door het model aan zijn oorspronkelijke staat te verankeren, waren de onderzoekers in staat om nieuwe agentic vaardigheden te injecteren zonder de fundering te eroderen. Ze maakten ook gebruik van een gespecialiseerde wiskundige optimizer, een hulpmiddel dat het model helpt efficiënter te leren door de interne verbindingen te behandelen als geometrische vormen in plaats van enkel getallen, waardoor het beter gebruik kan maken van de beperkte beschikbare data.

De resultaten van deze aanpak waren onmiddellijk en substantieel. Bij tests tegen een breed scala aan benchmarks die het vermogen van een AI meten om hulpmiddelen te gebruiken, langetermijntaken te plannen en complexe instructies op te volgen, toonde Palmyra x6 een enorme verbetering ten opzichte van het vorige standaardmodel dat door de agent van Writer werd gebruikt. Het vertoonde bijzonder sterke winsten in financieel onderzoek, waar het het web moest doorzoeken en data moest analyseren, evenals in algemene scenario's voor het gebruik van hulpmiddelen. Het model presteerde ook competitief tegen andere toonaangevende frontier-modellen, en rangschikte vaak bovenaan de groep wat betreft gemiddelde scores over meerdere verschillende tests heen. Misschien wel het belangrijkste is dat het model een hoge mate van veiligheid en neutraliteit behield. In tests die politieke bias en weigeringsgedrag meten, toonde Palmyra x6 een gebalanceerde aanpak door meerdere kanten van controversiële kwesties te presenteren en schadelijke verzoeken te weigeren op een frequentie die consistent is met het basismodel, wat bewees dat de nieuwe vaardigheden niet ten koste gingen van veiligheid of betrouwbaarheid.

De onderzoekers merkten er zorgvuldig bij op dat dit model een gespecialiseerd instrument is, geen universele vervanging voor alle AI-taken. De sterke punten liggen specifiek in agentic workflows waarbij het hulpmiddelen kan aanroepen en plannen kan uitvoeren, terwijl de prestaties op andere soorten taken worden bepaald door de capaciteiten van het basismodel waarop het is gebouwd. De trainingsdata, hoewel klein in aantal, was voldoende om het specifieke gedrag van het gebruik van hulpmiddelen te leren omdat de leermethode conservatief en precies was ontworpen. Het model is nu beschikbaar voor commercieel gebruik, met een versie die efficiënt kan worden uitgevoerd op standaard hardware. Dit werk demonstreert dat met de juiste combinatie van hoogwaardige data, een zorgvuldige trainingsdoelstelling en een stabiele fundering, het mogelijk is om zeer capabele AI-agenten te creëren zonder de noodzaak van massale, hulpbronnenintensieve hertraining vanaf nul. Het succes van Palmyra x6 suggereert een toekomst waarin AI-assistenten met precisie en veiligheid kunnen worden afgestemd op complexe, real-world banen, waarbij ze vertrouwen op een paar honderd perfecte voorbeelden in plaats van miljoenen imperfecte.

Technische Samenvatting: Palmyra x6

Probleemstelling

De primaire uitdaging die in dit werk wordt aangepakt, is de efficiënte ontwikkeling van large language models (LLM's) die in staat zijn tot agentic task completion—specifiek meerstapsplanning, tool/functie aanroepen en langetermijnuitvoering binnen complexe omgevingen (bijv. MCP-suites, webzoekopdrachten, code-executie en retrieval-augmented pipelines).

Historisch gezien vereiste het bereiken van hoge prestaties in dergelijke gespecialiseerde domeinen het hertrainen van de gehele pijplijn, van pretraining tot post-training. De auteurs stellen dat voor hoogwaardige basismodellen vaak gerichte post-training volstaat, mits de data van hoge kwaliteit is en het doel zorgvuldig is gekozen om te voorkomen dat de bestaande capaciteiten van het basismodel worden aangetast. Een specifiek technisch obstakel dat is geïdentificeerd, is het risico op capaciteitsdegradatie tijdens standaard Supervised Fine-Tuning (SFT), waarbij training op externe expert-demonstraties het model naar een distributie kan duwen die ver afstaat van de eigen distributie, waardoor het algemene vermogens verliest.

Methodologie

1. Architectuur en Basismodel

Palmyra x6 is gebouwd op het GLM-5.2 basismodel en erft de GlmMoeDsa architectuur ongewijzigd over. Belangrijke architecturale kenmerken zijn onder meer:

Schaal: 744B totale parameters met ~40B actieve parameters per token (Mixture-of-Experts).
Attention: Multi-head Latent Attention (MLA) en DeepSeek Sparse Attention (DSA) met IndexShare (cross-layer hergebruik van sparse attention indices), wat specifieke ondersteuning voor de inference stack vereist.
Context: 65.536 tokens.

2. Datasynthese en Curatie

De trainingscorpus bestaat volledig uit synthetische agentic trajecten (626 gecureerde voorbeelden).

Bron: Taakprompts werden afkomstig van interne vakexperts en externe benchmarks.
Generatiepijplijn: De auteurs maken gebruik van een Self-Distillation Fine-Tuning (SDFT) die is aangepast voor toolgebruik. Een "teacher"-model genereert een referentietraject, dat vervolgens wordt gesaniteerd (het verwijderen van specifieke waarden en antwoorden, maar het behouden van strategie en volgorde van tools) en in de system prompt van het "student"-model wordt geïnjecteerd. De student voert vervolgens de taak uit met behulp van live tools.
Filtering: Een rigoureuze meerfasen-poort waarborgt de kwaliteit:
- Structurele filters: Dwingt toolgebruik af, beperkt de conversielengte (≤50 berichten) en beperkt herhaling of fouten in tool-aanroepen.
- Verificatie: Een judge-model scoort het traject van de student tegenover het referentieantwoord van de teacher.
- Lekkagecontrole: Trajecten worden afgewezen als de student de taak oplost door de demonstratie te lezen in plaats van tools te gebruiken (bijv. een hoge n-gram overlap met de redenering van de teacher).
Schaal: De dataset is opzettelijk klein (~626 trajecten) om het "less is more"-principe te volgen, waarbij wordt vertrouwd op hoogwaardige, geverifieerde langetermijnvoorbeelden.

3. Trainingsdoel: Anchored Supervised Fine-Tuning (ASFT)

Om te voorkomen dat het model wegdrift van zijn basiscapaciteiten terwijl het nieuwe agentic vaardigheden leert, maken de auteurs gebruik van Anchored Supervised Fine-Tuning (ASFT). De loss-functie combineert twee componenten:

DFT Token-Probability Weighting: Weegt de negative log-likelihood van tokens door de eigen losgekoppelde waarschijnlijkheid van het model, waarbij de focus van het leren ligt op tokens waar het model al zeker over is.
KL Anchor: Een strafterm ( $K \cdot KL(\pi_{ref} \parallel \pi_{\theta})$ ) tegenover een bevroren kopie van het basismodel ( $\pi_{ref}$ ). Dit beperkt de distributionele drift. De auteurs hebben een KL-gewicht van K=0.1 gekozen.

4. Optimizer: Muon + Adam Hybride

De trainingsrun vervangt de standaard Adam-optimizer door een hybride aanpak:

Muon: Toegepast op 2-D gewichtsmatrices (attention projecties, FFN gewichten). Muon behandelt gewichtsmatrices als geometrische objecten en orthogonaliseert momentumbuffers via Newton–Schulz iteraties om de singulariewaarden van updates te egaliseren. Dit verbetert de schalingsefficiëntie en stabiliteit.
Adam: Behouden voor 1-D parameters (embeddings, biases, router weights) waar orthogonalisatie niet gedefinieerd is.
Configuratie: Globale batchgrootte van 16, enkele epoch, leersnelheid van $5 \times 10^{-7}$ met cosine decay.

Belangrijkste Bijdragen

Recept voor Efficiënte Agentic Specialisatie: Demonstreert dat een 744B parameter model effectief gespecialiseerd kan worden voor complexe tool-use taken met een compacte corpus van ~626 synthetische trajecten, zonder dat massale datasets of volledige pretraining nodig zijn.
Anchored Fine-Tuning Strategie: Valideert het gebruik van ASFT met een KL-anker ( $K=0.1$ ) om agentic vaardigheden toe te voegen zonder de algemene capaciteiten of alignment van het basismodel te eroderen.
Muon Optimalisatie op Schaal: Succesvolle toepassing van de Muon-optimizer op een 744B MoE-model, waarbij de geometrische eigenschappen worden benut voor efficiëntere updates op 2-D matrices terwijl de stabiliteit behouden blijft.
Rigoureuze Synthetische Datapijplijn: Vestigt een robuuste pijplijn voor het genereren, saniteren en filteren van synthetische tool-use trajecten die afhankelijkheid van demonstraties voorkomen en on-policy leren waarborgen.

Resultaten

Interne Benchmarks: Palmyra x6 laat substantiële verbeteringen zien ten opzichte van het vorige standaard Writer Agent-model over zes evaluatiebenchmarks. Opvallende winsten zijn +0.320 op MCP-Atlas, +0.305 op FinanceBench, en +0.304 op IFBench.
Externe Vergelijkingen: Tegenover vijf frontier-modellen behaalde Palmyra x6 de hoogste gemiddelde score (0.765) over de zes benchmarks en stond bovenaan de BFCL Core score met 0.785.
Veiligheid en Bias:
- Op de Washington Post ModelSlant evaluatie presenteerde Palmyra x6 80% van de tijd beide kanten van politieke argumenten, de hoogste ratio onder de geteste modellen.
- Het vertoonde sterke veiligheidsprestaties op de FORTRESS adversariële benchmark, waarbij de systeembericht-configuratie een adversariële veiligheidsscore van 67.0 behaalde (tegenover 58.4 voor het basismodel) met verwaarloosbare kosten voor benign helpfullness.
- Het model vertoonde geen statistisch robuuste kwaliteitsasymmetrie tussen tegengestelde politieke posities in het Engels.

Betekenis en Claims

Het paper positioneert Palmyra x6 als een casestudy in gerichte gedragsmatige specialisatie. De auteurs beweren dat door een hoogwaardige, kleinschalige synthetische dataset te combineren met een conservatief trainingsrecept (ASFT met een sterk KL-anker en de Muon-optimizer), het mogelijk is om een zeer capabel agentic model te creëren dat de robuustheid en alignment van het basismodel behoudt.

De betekenis ligt in de efficiëntie en controle van de aanpak:

Het daagt het idee uit dat grootschalige data strikt noodzakelijk is voor complexe agentic gedragingen.
Het demonstreert dat "less is more" wanneer de data geverifieerd is en het trainingsdoel verankerd is aan de basisdistributie.
Het benadrukt dat veiligheid en alignment niet alleen worden bewaard door de data, maar ook door de trainingsdynamiek (KL-anker) en de systeemniveau-implementatie (guardrails, sandboxing), in plaats van door het model vanaf nul opnieuw te alignen.

De auteurs verklaren expliciet dat publieke benchmarks slechts dienen als een sanity check; de primaire validatie komt uit interne datasets die enterprise use cases nabootsen, waar het model superieure prestaties laat zien. Het model wordt uitgebracht onder een commerciële licentie met BF16 gewichten en een FP4-variant voor geheugenefficiënte serving.