🤖 AI

ANDES: Agent Native Data Evolving Synthesis Tool for Autonomous Instruction Alignment

Das Papier stellt ANDES vor, ein Framework, das die autonome KI-Instruktionsausrichtung verbessert, indem es die Datengenerierung durch einen selbstentwickelnden World-Tree-Routing-Mechanismus in eine Plug-and-Play-Agentenfertigkeit transformiert und es dadurch schwächeren Agenten ermöglicht, unter strengen Rechenbeschränkungen State-of-the-Art-Leistung zu erbringen.

Ursprüngliche Autoren: Zhengyang Zhao, Shengjie Ye, Lu Ma, Hao Liang, Hengyi Feng, Wentao Zhang

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhengyang Zhao, Shengjie Ye, Lu Ma, Hao Liang, Hengyi Feng, Wentao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber unerfahrenen Roboter-Assistenten beizubringen, wie man hilfreich ist. Sie wissen, dass der Roboter aus Beispielen (Daten) lernen muss, aber Sie wollen nicht Jahre damit verbringen, diese Beispiele selbst manuell zu schreiben. Also beschließen Sie, einen anderen, etwas klügeren Roboter (einen „Agenten“) die Arbeit erledigen zu lassen, um die Trainingsdaten für den ersten Roboter zu finden und zu organisieren.

Das Problem, das die Autoren dieser Arbeit entdeckt haben, ist, dass die Aufforderung an einen Roboter, das „offene Internet“ aufzusuchen, um gute Beispiele zu finden, so ist, als würde man ein Kind in eine riesige, laute Bibliothek schicken, um ganz bestimmte Bücher zu finden. Sie werden überfordert, nehmen die falschen Bücher mit oder bleiben im Rauschen stecken. Alternativ: Wenn Sie ihnen einfach nur eine statische Liste von Büchern zum Lesen geben, können sie sich nicht anpassen, wenn sie später merken, dass ihnen eine bestimmte Fähigkeit fehlt.

Enter „Andes“: Die intelligente Bibliothekar-Fähigkeit

Die Autoren führen ein neues Werkzeug namens Andes (Agent Native Data Evolving Synthesis) ein. Denken Sie bei Andes nicht an einen Roboter, der hinausgeht und sucht, sondern an eine superstarke, Plug-and-Play „Bibliothekar-Fähigkeit“, die Sie Ihrem Trainingsroboter geben können.

So funktioniert Andes, erklärt anhand einfacher Metaphern:

1. Der „Weltenbaum“ (Die unendliche Karte)

Stellen Sie sich eine riesige, lebendige Landkarte aller möglichen Themen vor, die wie ein Stammbaum organisiert ist.

Der Stamm: Breite Themen (wie „Mathematik“ oder „Programmierung“).
Die Äste: Spezifische Themenbereiche (wie „Algebra“ oder „Fehlersuche“).
Die Blätter: Spezifische Szenarien (wie „Das Lösen einer quadratischen Gleichung“ oder „Das Beheben einer Endlosschleife“).

Normalerweise, wenn ein Roboter versucht, Daten zu generieren, könnte er immer wieder dieselben paar Blätter auswählen, was zu langweiligen, repetitiven Trainings führt. Andes besitzt einen speziellen Mechanismus namens Self-Evolving Routing.

Der smarte Kompass: Wenn der Roboter „Mathematik“ lernen muss, wählt Andes nicht einfach wahllos Blätter aus. Es nutzt einen Kompass, um die spezifischen Äste des Baumes zu finden, die für Mathematik am relevantesten sind.
Der wachsende Baum: Wenn der Roboter immer wieder nach „Algebra“ fragt, bemerkt Andes, dass der Baum dort zu voll wird. Anstatt die gleichen alten Beispiele immer wieder zu verwenden, lässt Andes auf der Stelle magisch neue Äste und Blätter wachsen. Es erfindet frische, einzigartige Szenarien, damit der Roboter niemals gelangweilt wird oder in einer Schleife der Wiederholung stecken bleibt.

2. Die „Zweistufige Küche“ (Das Erstellen der Daten)

Sobald Andes die richtigen „Zutaten“ (Themen) aus dem Baum ausgewählt hat, serviert es diese nicht einfach roh. Es lässt sie durch eine zweistufige Küche laufen:

Stufe 1 (Der Chefkoch): Er erstellt einen Entwurf einer Frage und Antwort (wie ein grobes Rezept).
Stufe 2 (Der Food-Kritiker): Ein zweiter Roboter probiert das Gericht. Er prüft: „Ist das zu einfach? Ist die Logik fehlerhaft? Bereiten wir gerade zum 50. Mal dasselbe Gericht zu?“
- Wenn das Gericht schlecht ist, wird es weggeworfen.
- Wenn es okay ist, aber noch Arbeit braucht, korrigiert der Chefkoch es.
- Der Kritiker schreibt auch ein Zeugnis für den Haupttrainer-Roboter.

3. Die „Feedback-Schleife“ (Das Gespräch)

Dies ist der wichtigste Teil. In alten Systemen generierte der Roboter Daten einmalig und hörte dann auf. Mit Andes ist es ein Gespräch.

Nachdem der Kritiker das Zeugnis geschrieben hat, liest der Haupttrainer-Roboter es.
Das Zeugnis könnte sagen: „Du hast 100 Matheaufgaben erstellt, aber sie handelten alle von Addition. Du brauchst mehr Subtraktion, und die Logik in diesen drei Beispielen war schwach.“
Der Trainer-Roboter sagt dann: „Verstanden!“ und passt seine nächste Anfrage an, um sich auf die Subtraktion zu konzenten und die Logik zu korrigieren.
Andes hört diese neue Anfrage und generiert die nächste Charge an Daten, die perfekt auf die gerade gefundenen Lücken zugeschnitten ist.

Warum ist das eine große Sache?

Die Forscher haben dies an einem Benchmark namens PostTrainBench getestet, der misst, wie gut Roboter sich selbst unterrichten können.

Der Kampf: Ohne Andes hatten selbst sehr fortgeschrittene Roboter Schwierigkeiten, gute Daten zu finden, und schnitten oft schlechter ab als die Basismodelle, die sie eigentlich verbessern wollten. Sie verloren sich im Rauschen oder blieben in Schleifen stecken.
Der Erfolg: Als die Forscher einem relativ „schwächeren“ Roboter die Andes-Fähigkeit gaben, wurde er plötzlich zu einem Meisterlehrer. Er erzielte die besten jemals aufgezeichneten Ergebnisse auf diesem Benchmark und schlug sogar viel leistungsfähigere Roboter, die nicht über dieses spezielle Werkzeug verfügten.

Zusammenfassend:
Andes löst das Problem der Frage: „Wie bringen wir einem Roboter bei, sich selbst zu unterrichten?“, indem es ihm eine dynamische, sich selbst aktualisierende Bibliothek und eine smarte Feedback-Schleife gibt. Anstatt den Roboter ziellos durch das Internet wandern zu lassen, fungiert Andes als spezialisiertes Werkzeug, das sofort hochwertige, vielfältige und perfekt gezielte Trainingsbeispiele generiert, während es seine eigenen Fehler basierend auf dem Fortschritt des Roboters ständig korrigiert.

Technisches Resümee: ANDES (Agent Native Data Evolving Synthesis)

Problemstellung

Das Paper identifiziert einen kritischen Flaschenhals bei der autonomen Post-Training-Phase von Large Language Models (LLMs): die Unfähigkeit von Agenten, unter strengen Rechenbeschränkungen zuverlässig hochwertige, zielgerichtete und diverse Trainingsdaten zu erwerben. Während aktuelle Trends darauf abzielen, die komplexe Entscheidungsfindung des Modell-Alignments (SFT und RL) an autonome Agenten zu delegieren, zeigen Evaluierungen, dass selbst Frontier-Agenten in diesem Bereich Schwierigkeiten haben.

Derzeitige Ansätze stehen vor zwei primären Ausfallmodi:

Web-basierte Akquisition: Das Vertrauen auf die offene Websuche zwingt Agenten dazu, langfristige Planung, das Parsen von Roh-HTML und Zero-Shot-Rauschfilterung durchzuführen. Dies stellt eine prohibitiv hohe Barriere dar, die dazu führt, dass schwächere Modelle bereits vor dem Aufbau eines funktionalen Trainings-Loops scheitern, während fortgeschrittene Modelle oft mit der Datenorganisation und Qualitätskontrolle kämpfen.
Statische synthetische Pipelines: Konventionelle Methoden zur Synthese synthetischer Daten operieren als statische One-Shot-Skripte, die isoliert vom aktiven Trainingszyklus des Agenten stehen. Ihnen fehlt die Fähigkeit, die Generierung basierend auf Echtzeit-Diagnose-Feedback dynamisch zu steuern, was zu Fehlpaarungen im Datendomänenbereich, zum Kollaps der Diversität und zum Overfitting auf oberflächliche Benchmark-Verteilungen führt.

Es besteht ein kritisches Fehlen einer zugänglichen, dynamisch interaktiven und hochwertigen Schnittstelle zur Datensynthese, die speziell auf Post-Training-Agenten zugeschnitten ist.

Methodik: Das ANDES-Framework

Um diese Lücken zu schließen, führen die Autoren ANDES (Agent Native Data Evolving Synthesis) ein – ein Framework, das die Datengenerierung nicht als statische Pipeline, sondern als Plug-and-Play-Agenten-Skill neu konzipiert. ANDES bietet eine intelligente Abstraktionsebene, die es Trainer-Agenten ermöglicht, die Datensynthese durch eine interaktive Closed-Loop-Schnittstelle dynamisch zu steuern.

Das Framework operiert durch vier Kernphasen:

1. Zielgerichtete Agenten-Anforderung (Target-Driven Agent Request)

Bevor den ANDES-Prozess aufruft, analysiert der Trainer-Agent nachgeschaltete Benchmarks und zerlegt diese in $K$ Makro-Fähigkeitsdomänen (z. B. mathematisches Denken, Codegenerierung). Anstatt spezifische Aufgabenanforderungen aufzulisten, abstrahiert der Agent diese in zugrunde liegende Fähigkeitsdimensionen, um eine übertragbare Datenabdeckung zu gewährleisten. Für jede Domän erstellt der Agent eine Aufgabenbeschreibung ( $\tau$ ), weist ein Stichproben-Budget ( $N$ ) zu und wählt ein Formatprotokoll ( $\phi$ ) als Input-Konfiguration.

2. Selbstentwickelndes dynamisches World Tree Routing

Um eine präzise aufgabenbezogene Erdung bei gleichzeitiger Aufrechterhaltung der Diversität zu ermöglichen, nutzt ANDES einen World Tree ( $W$ ), der als Thema $\rightarrow$ Subthema $\rightarrow$ Szenario strukturiert ist (z. B. Cybersicherheit $\rightarrow$ Prävention von Informationslecks $\rightarrow$ Präventionsmaßnahmen).

Gewichtetes Sampling: Themen werden proportional zu ihren Gewichten gesampelt. Ein Router-LLM evaluiert die gesampelten Szenarien gegen die Aufgabenbeschreibung und klassifiziert sie als Stark (aufgabenkonform), Schwach (generisch) oder Ambivalent.
Adaptive Gewichtung: Die Gewichte werden basierend auf den Eignungsbewertungen aktualisiert, wodurch das Synthese-Budget zu semantisch ausgerichteten Themen verschoben wird, während eine Restabdeckung erhalten bleibt.
Dynamische Knoten-Evolution: Um die Erschöpfung der Szenarien-Pools in hochrelevanten Themen zu verhindern, löst das System eine „Subtree-Evolution“ aus, wenn die Auswahlhäufigkeit eines Themas einen Sättigungsschwellenwert überschreitet. Ein Evolver-LLM generiert neue Themen und Szenarien konditioniert auf vorherige Generationen, um sicherzustellen, dass die Taxonomie frisch bleibt und Redundanzen vermieden werden.

3. Zweistufige Datensynthese

Jede Routing-Konfiguration wird durch eine zweistufige Pipeline verarbeitet:

Stufe 1 (QA-Generierung): Generiert rohe Frage-Antwort-Paare. Für „Fusion-Track“-Samples (aufgabenkonform) injiziert der Prompt die Aufgabenbeschreibung als harte Randbedingung, während das Szenario als kontextueller Wrapper dient. Für „Generic-Track“-Samples liegt der Fokus der Prompts auf allgemeinen Instruktionsdaten.
Stufe 2 (Verfeinerung und Zusammenfassung): Ein Refiner-LLM kritisiert die Rohausgaben und vergibt einen Effort-Score, um stark fehlerhafte Antworten herauszufiltern. Die beibehaltenen Antworten werden umgeschrieben. Entscheidend ist, dass ein logischer Diversitätscheck bei Fusion-Track-Samples durchgeführt wird, um die Wiederholung von Reasoning-Templates (Kollaps) zu erkennen und zu unterdrücken.

4. Berichtgesteuerte Partitionierung und Konfigurationsanpassung

Das System gibt einen verfeinerten Datensatz zusammen mit einem Synthesebericht zurück, der diagnostische Signale enthält (z. B. Zusammenfassungen der logischen Diversität, Themenverteilung, effektive Stichprobenzahlen). Der Trainer-Agent nutzt diesen Bericht, um:

Daten zu filtern: Aktive Filterung anwenden, um Proben mit detektierter logischer Repetition zu entfernen.
Konfiguration anzupassen: Die Aufgabenbeschreibung ( $\tau$ ) für den nächsten Aufruf dynamisch zu revidieren, um unterexplorierte Fähigkeitsaspekte zu adressieren, und das Stichproben-Budget ( $N$ ) anzupassen, um die verworfenen Proben zu kompensieren. Dies schafft eine Closed-Loop-Interaktion, bei der der Agent die Synthese progressiv in Richtung einer besseren Fähigkeitsabdeckung steuert.

Zentrale Beiträge

Konzeptioneller Wandel: Das Paper rekonzeptualisiert die Datensynthese von einer statischen Offline-Pipeline zu einem Plug-and-Play-Agenten-Skill, was die Fähigkeitsschwelle für die autonome Datenerwerbung signifikant senkt.
Das ANDES-Tool: Implementierung eines Synthese-Tools, das durch selbstentwickelndes World-Tree-Routing und berichtgesteuertes Feedback angetrieben wird. Dies abstrahiert die komplexen Mechanismen der Datenkuratierung und ermöglicht es Agenten, sich auf High-Level-Optimierungsstrategien zu konzentrieren.
Empirische Validierung: Eine umfassende Evaluierung zeigt, dass die Integration von ANDES in den aktiven Post-Training-Loop es fundamental schwächeren Modellen ermöglicht, bemerkenswerte autonome Selbstverbesserung zu erzielen und State-of-the-Art (SOTA)-Leistung zu erreichen.

Experimentelle Ergebnisse

Die Autoren evaluierten ANDES auf PostTrainBench, einem Benchmark zur Bewertung autonomer Post-Training-Fähigkeiten.

SOTA-Leistung: Unter strengen Rechenbeschränkungen erreichte ein GLM-4.7-Agent, der mit ANDES ausgestattet war, einen Durchschnittswert von 33,39 % auf PostTrainBench. Dies übertrifft die stärkste konkurrierende Methode, Opus-4.7 (xHigh), die 28,56 % erreichte, und übertrifft die reine Execution-Baseline (GLM-4.7 mit nur Scaffold) mit 7,48 % deutlich.
Modellübergreifende Generalisierung: ANDES erreichte konsistent die höchste durchschnittliche Leistung über vier verschiedene Basismodelle hinweg (Qwen3-1.7B, Qwen3-4B, SmolLM-3B und Gemma3-4B), was die Effektivität unabhängig von der spezifischen Modellarchitektur belegt.
Ablationsstudien:
- Scaffold vs. Tool: Während ein benutzerdefiniertes Agenten-Scaffold die Leistung gegenüber einer Standard-CLI-Baseline verbesserte, trieb die Integration des ANDES-Tools eine definitive „zweite Welle“ der Verbesserungen voran, was bestätigt, dass aktive, zielgerichtete Datensynthese der primäre Erfolgsfaktor ist.
- Interaktionsmechanismus: Das Entfernen der berichtgesteuerten Interaktion reduzierte die Leistung (von 30,39 % auf 26,80 % bei Qwen3-1.7B), was validiert, dass die Multi-Round-Interaktion essenziell für die Optimierung von Datenqualität und -diversität ist.
Skalierbarkeit: Die Analyse des World Tree zeigte, dass das System mit steigendem Datenvolumen erfolgreich den Fokus auf zielrelevante Knoten verschiebt (Erhöhung der „Fusion-Data“-Ratio) und gleichzeitig neue Knoten entwickelt, um einen Diversitätskollaps zu verhindern.

Bedeutung und Ansprüche

Das Paper behauptet, dass der primäre Flaschenhals in automatisierten Forschungs-Pipelines nicht die Ausführung des Trainings selbst ist, sondern der zuverlässige Erwerb hochwertiger, zielgerichteter und diverser Daten innerhalb begrenzter Rechenbudgets.

ANDES demonstriert, dass strukturierte, interaktive und entwicklungsfähige Datensynthese-Schnittstellen ein vielversprechender Schritt in Richtung skalierbarer und zuverlässiger automatisierter Modell-Alignment sind. Durch die Transformation der Datengenerierung in ein dynamisches, geschlossenes Spiel, in dem Agenten Daten aktiv filtern und Konfigurationen kalibrieren, ermöglicht das Framework selbst fundamental schwächeren Agenten das Erreichen von SOTA-Leistungen und schließt so die Lücke zwischen Agentenfähigkeiten und den rigorosen Anforderungen des Post-Trainings.