🤖 AI

ANDES: Agent Native Data Evolving Synthesis Tool for Autonomous Instruction Alignment

Het artikel introduceert ANDES, een framework dat autonome AI-instructie-alignement verbetert door datageneratie te transformeren naar een plug-and-play agent-vaardigheid via een zelf evoluerend World Tree-routeringsmechanisme, waardoor zwakkere agents state-of-the-art prestaties kunnen bereiken onder strikte rekenbeperkingen.

Oorspronkelijke auteurs: Zhengyang Zhao, Shengjie Ye, Lu Ma, Hao Liang, Hengyi Feng, Wentao Zhang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengyang Zhao, Shengjie Ye, Lu Ma, Hao Liang, Hengyi Feng, Wentao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente maar onervaren robotassistent probeert te leren hoe hij behulpzaam kan zijn. Je weet dat de robot moet leren van voorbeelden (data), maar je wilt niet jarenlang handmatig die voorbeelden voor jezelf schrijven. Dus besluit je om een andere, iets slimmere robot (de "agent") het werk te laten doen om de trainingsdata te vinden en te organiseren.

Het probleem is dat de auteurs van dit paper ontdekten dat een robot vragen om op het chaotische "open internet" naar goede voorbeelden te zoeken, lijkt op een kind naar een enorme, lawaaierige bibliotheek sturen om specifieke boeken te vinden. Ze raken overweldigd, pakken de verkeerde boeken of blijven steken in de ruis. Als je ze daarentegen gewoon een statische lijst met boeken geeft om te lezen, kunnen ze niet aanpassen als ze later merken dat ze een specifieke vaardigheid missen.

Ontmoet "Andes": De Intelligente Bibliothecaris-vaardigheid

De auteurs introduceren een nieuwe tool genaamd Andes (Agent Native Data Evolving Synthesis). Denk aan Andes niet als een robot die de wereld in gaat om te zoeken, maar als een superkrachtige, plug-and-play "Bibliothecaris-vaardigheid" die je aan je trainingsrobot kunt geven.

Zo werkt Andes, gebruikmakend van eenvoudige metaforen:

1. De "Wereldboom" (De Oneindige Kaart)

Stel je een gigantische, levende kaart van alle mogelijke onderwerpen voor, georganiseerd als een stamboom.

De Stam: Brede onderwerpen (zoals "Wiskunde" of "Coderen").
De Takken: Specifieke thema's (zoals "Algebra" of "Debugging").
De Bladeren: Specifieke scenario's (zoals "Het oplossen van een kwadratische vergelijking" of "Het repareren van een kapotte loop").

Meestal, als een robot probeert data te genereren, kan het steeds weer dezelfde paar bladeren kiezen, wat leidt tot saaie, repetitieve training. Andes heeft een speciaal mechanisme genaamd Self-Evolving Routing.

Het Slimme Kompas: Wanneer de robot "Wiskunde" moet leren, kiest Andes niet zomaar willekeurige bladeren. Het gebruikt een kompas om de specifie be takken van de boom te vinden die het meest relevant zijn voor Wiskunde.
De Groeiende Boom: Als de robot steeds weer om "Algebra" vraagt, merkt Andes dat de boom daar te vol wordt. In plaats van steeds dezelfde oude voorbeelden te hergebruiken, laat Andes de boom er magisch nieuwe takken en bladeren bij groeien op de plek zelf. Het verzint verse, unieke scenario's zodat de robot nooit verveeld raakt of vast komt te zitten in een lus van herhaling.

2. De "Twee-Fasen Keuken" (Het Maken van de Data)

Zodra Andes de juiste "ingrediënten" (onderwerpen) uit de boom heeft gekozen, serveert het deze niet zomaar rauw. Het haalt ze door een twee-staps keuken:

Fase 1 (De Chef): Het maakt een concept van een vraag en antwoord (zoals een ruw recept).
Fase 2 (De Voedselcriticus): Een tweede robot proeft het gerecht. Het controleert: "Is dit te simpel? Is de logica gebrekkig? Maken we niet voor de 50ste keer hetzelfde gerecht?"
- Als het gerecht slecht is, wordt het weggegooid.
- Als het oké is maar verbetering nodig heeft, herstelt de chef het.
- De Criticus schrijft ook een Rapportcijfer voor de hoofdrobot-trainer.

3. De "Feedbackloop" (De Conversatie)

Dit is het belangrijkste deel. In oude systemen genereerde de robot data één keer en stopte het ermee. Met Andes is het een conversatie.

Nadat de Criticus het Rapportcijfer heeft geschreven, leest de hoofdrobot-trainer dit.
Het rapport kan zeggen: "Je hebt 100 wiskundeproblemen gegenereerd, maar ze gingen allemaal over optellen. Je hebt meer aftrekken nodig, en de logica in deze drie voorbeelden was zwak."
De trainer-robot zegt dan: "Begrepen!" en past zijn volgende verzoek aan om zich te richten op aftrekken en de logica te herstellen.
Andes luistert naar dit nieuwe verzoek en genereert de volgende batch data die perfect is afgestemd op de gaten die net zijn gevonden.

Waarom is dit een groot ding?

De onderzoekers testten dit op een benchmark genaamd PostTrainBench, die meet hoe goed robots zichzelf kunnen onderwijzen.

De Strijd: Zonder Andes hadden zelfs zeer geavanceerde robots moeite om goede data te vinden, en presteerden ze vaak slechter dan de basismodellen die ze probeerden te verbeteren. Ze raakten verdwaald in de ruis of kwamen vast te zitten in lussen.
Het Succes: Toen de onderzoekers een relatief "zwakkere" robot de Andes-vaardigheid gaven, werd deze plotseling een meesterleraar. Het behaalde de beste resultaten ooit geregistreerd op deze benchmark, waarbij het zelfs veel krachtigere robots versloeg die niet over deze specifieke tool beschikten.

Samenvattend:
Andes lost het probleem op van "Hoe leren we een robot om zichzelf te onderwijzen?" door het een dynamische, zelf-updatende bibliotheek en een slimme feedbackloop te geven. In plaats van de robot doelloos door het internet te laten dwalen, fungeert Andes als een gespecialiseerde tool die direct hoogwaardige, diverse en perfect gerichte trainingsvoorbeelden genereert, terwijl het constant zijn eigen fouten corrigeert op basis van de voortgang van de robot.

Technische Samenvatting: ANDES (Agent Native Data Evolving Synthesis)

Probleemstelling

Het artikel identificeert een kritieke flessenhals in de autonome post-training van Large Language Models (LLM's): het onvermogen van agenten om betrouwbaar hoogwaardige, gerichte en diverse trainingsdata te verwerven onder strikte rekenkrachtbeperkingen (compute constraints). Hoewel recente trends erop gericht zijn om de complexe besluitvorming van modelalignement (SFT en RL) te delegeren aan autonome agenten, laten evaluaties zien dat zelfs grensverleggende (frontier) agenten in dit domein moeite hebben.

Huidige benaderingen kampen met twee primaire faalmodi:

Web-gebaseerde acquisitie: Het vertrouwen op open webzoekopdrachten dwingt agenten tot langetermijnplanning, ruwe HTML-parsing en zero-shot ruisfiltering. Dit legt een evenredig hoge barrière op, waardoor zwakkere modellen falen voordat ze een functionele trainingslus kunnen vormen, terwijl geavanceerde modellen vaak worstelen met datorganisatie en kwaliteitscontrole.
Statische synthetische pipelines: Conventionele methoden voor synthetische data werken als statische, eenmalige scripts die geïsoleerd zijn van de actieve trainingscyclus van de agent. Ze missen het vermogen om generatie dynamisch te sturen op basis van realtime diagnostische feedback, wat leidt tot mismatch in datadomeinen, diversiteitscollaps en overfitting op oppervlakkige benchmarkdistributies.

Er is een kritiek gebrek aan een toegankelijke, dynamisch interactieve, hoogwaardige interface voor datasynthese die specifiek is afgestemd op post-training agenten.

Methodologie: Het ANDES-framework

Om deze hiaten aan te pakken, introduceren de auteurs ANDES (Agent Native Data Evolving Synthesis), een framework dat datageneratie niet herdefinieert als een statische pipeline, maar als een plug-and-play agent-vaardigheid. ANDES biedt een intelligente abstractielaag, waardoor trainer-agenten de datasynthese dynamisch kunnen sturen via een interactieve, gesloten lus-interface.

Het framework werkt via vier kernstadia:

1. Doelgestuurde Agent-aanvraag

Voordat ANDES wordt aangeroepen, analyseert de trainer-agent downstream benchmarks en ontleedt deze in $K$ macro-capaciteitsdomeinen (bijv. wiskundig redeneren, codegeneratie). In plaats van specifieke taakvereisten op te sommen, abstraheert de agent deze naar onderliggende capaciteitsdimensies om te zorgen voor overdraagbare datadekking. Voor elk domein construeert de agent een taakbeschrijving ( $\tau$ ), wijst een sample-budget toe ( $N$ ) en selecteert een formaatprotocol ( $\phi$ ) als inputconfiguratie.

2. Zelf-evoluerende Dynamische World Tree Routing

Om precieze taakspecifieke gronding te faciliteren met behoud van diversiteit, maakt ANDES gebruik van een World Tree ( $W$ ) die gestructureerd is als Onderwerp $\rightarrow$ Thema $\rightarrow$ Scenario (bijv. Cybersecurity $\rightarrow$ Preventie van Informatielekken $\rightarrow$ Maatregelen voor Preventie).

Gewogen Steekproef (Weighted Sampling): Onderwerpen worden geproportioneel aan hun gewichten gesampled. Een Router LLM evalueert gesamplede scenario's tegen de taakbeschrijving en classificeert ze als Sterk (taak-gealigneerd), Zwak (generiek) of Ambigu.
Adaptieve Weging: Gewichten worden bijgewerkt op basis van geschiktheidsratings, waarbij het synthesebudget verschuift naar semantisch gealigneerde onderwerpen terwijl residuele dekking behouden blijft.
Dynamische Node-evolutie: Om uitputting van scenario-pools in hoog-relevante onderwerpen te voorkomen, triggert het systeem een "subboom-evolutie" wanneer het selectie-aantal van een onderwerp een verzadigingsdrempel overschrijdt. Een Evolver LLM genereert nieuwe thema's en scenario's geconditioneerd op eerdere generaties, wat ervoor zorgt dat de taxonomie fris blijft en redundantie wordt vermeden.

3. Tweestaps Datasynthese

Elke routing-configuratie wordt verwerkt via een tweestaps-pipeline:

Stap 1 (QA-generatie): Genereert ruwe Vraag-Antwoord paren. Voor "fusion track" samples (taak-gealigneerd) injecteert de prompt de taakbeschrijving als een harde beperking, terwijl het scenario als een contextuele wrapper wordt gebruikt. Voor "generic track" samples focussen de prompts op algemene instructiedata.
Stap 2 (Verfijnen en Samenvatten): Een Refiner LLM bekritiseert de ruwe outputs en wijst een inspanningsscore toe om zwaar defecte responsen te filteren. De behouden responsen worden herschreven. Cruciaal is dat er een logische diversiteitscontrole wordt uitgevoerd op fusion-track samples om repetitie van redeneertemplates (collapse) te detecteren en te onderdrukken.

4. Rapport-gestuurde Partitionering en Configuratieaanpassing

Het systeem retourneert een verfijnde dataset samen met een Syntheserapport dat diagnostische signalen bevat (bijv. samenvattingen van logische diversiteit, onderwerpverdeling, effectieve aantal samples). De trainer-agent gebruikt dit rapport om:

Data te filteren: Actieve filtering toepassen om samples te verwijderen met gedetecteerde logische repetitie.
Configuratie aan te passen: De volgende aanroep van de taakbeschrijving ( $\tau$ ) dynamisch te herzien om onderbelichte capaciteitshoeken te targeten en het sample-budget ( $N$ ) aan te passen om de weggegooide samples te compenseren. Dit creëert een closed-loop interactie waarbij de agent progressief de synthese stuurt naar betere capaciteitsdekking.

Belangrijkste Bijdragen

Conceptuele Verschuiving: Het artikel herconceptualiseert datasynthese van een statische, offline pipeline naar een plug-and-play agent-vaardigheid, wat de drempel voor autonome dat acquisitie aanzienlijk verlaagt.
De ANDES-tool: Implementatie van een synthesetool aangedreven door zelf-evoluerende World Tree routing en rapport-gestuurde feedback. Dit abstraheert complexe datacuratie-mechanica weg, waardoor agenten zich kunnen richten op hoogwaardige optimalisatiestrategieën.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat de integratie van ANDES in de actieve post-training loop fundamenteel zwakkere modellen in staat stelt om opmerkelijke autonome zelfverbetering te bereiken en SOTA-prestaties te behalen.

Experimentele Resultaten

De auteurs evalueerden ANDES op PostTrainBench, een benchmark ontworpen om autonome post-training capaciteiten te beoordelen.

SOTA Prestaties: Onder strikte rekenkrachtbeperkingen behaalde een GLM-4.7 agent uitgerust met ANDES een gemiddelde score van 33,39% op PostTrainBench. Dit presteert beter dan de sterkste concurrerende methode, Opus-4.7 (xHigh), die 28,56% scoorde, en overtreft de kale executie-baseline (GLM-4.7 met enkel Scaffold) met 7,48% aanzienlijk.
Cross-Model Generalisatie: ANDES behaalde consistent de hoogste gemiddelde prestaties over vier verschillende basismodellen (Qwen3-1.7B, Qwen3-4B, SmolLM-3B, en Gemma3-4B), wat duidt op de effectiviteit die niet gebonden is aan een specifieke modelarchitectuur.
Ablatie-studies:
- Scaffold vs. Tool: Hoewel een aangepaste agent-scaffold de prestaties verbeterde ten opzichte van een standaard CLI-baseline, zorgde de integratie van de ANDES-tool voor een definitieve "tweede golf" van verbeteringen, wat bevestigt dat actieve, doelgerichte datasynthese de primaire drijfveer van succes is.
- Interactiemechanisme: Het verwijderen van de rapport-gestuurde interactie verminderde de prestaties (van 30,39% naar 26,80% op Qwen3-1.7B), wat valideert dat multi-round interactie essentieel is voor het optimaliseren van datakwaliteit en diversiteit.
Schaalbaarheid: Analyse van de World Tree toonde aan dat naarmate het datavolume schaalt, het systeem er succesvol in slaagt de focus te verschuiven naar target-relevante nodes (verhoging van de "fusion data" ratio) terwijl het continu nieuwe nodes evolueert om diversiteitscollaps te voorkomen.

Betekenis en Claims

Het artikel claimt dat de primaire flessenhals in geautomatiseerde onderzoeksprocessen niet de uitvoering van de training is, maar de betrouwbare acquisitie van hoogwaardige, gerichte en diverse data binnen beperkte rekenbudgetten.

ANDES demonstreert dat gestructureerde, interactieve en evolueerbare datasynthese-interfaces een veelbelovende stap zijn richting schaalbare en betrouwbare geautomatiseerde modelalignement. Door datageneratie te transformeren in een dynamische, closed-loop game waarbij agenten actief data filteren en configuraties kalibreren, stelt het framework zelfs fundamenteel zwakkere agenten in staat om SOTA-prestaties te behalen, waardoor de kloof tussen agent-capaciteiten en de rigoureuze eisen van post-training effectief wordt overbrugd.