🤖 AI

Evidence Over Plans: Online Trajectory Verification for Skill Distillation

Dieser Beitrag stellt SPARK vor, ein Framework, das den Posterior Distillation Index (PDI) nutzt, um Agentenfertigkeiten direkt aus umgebungsbasierten Trajektorienbeweisen statt aus vorab geplanten Abläufen zu verifizieren und zu destillieren, was zu effizienten, übertragbaren Fertigkeiten führt, die menschlich verfasste Baseline-Modelle bei vielfältigen Aufgaben übertreffen.

Ursprüngliche Autoren: Yang Zhou, Zihan Dong, Zhenting Wang, Can Jin, Shiyu Zhao, Bangwei Guo, Difei Gu, Linjun Zhang, Mu Zhou, Dimitris N. Metaxas

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yang Zhou, Zihan Dong, Zhenting Wang, Can Jin, Shiyu Zhao, Bangwei Guo, Difei Gu, Linjun Zhang, Mu Zhou, Dimitris N. Metaxas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen neuen Lehrling (die „Schüler"-KI) darin zu unterweisen, wie man eine komplexe Maschine repariert. Sie haben zwei Möglichkeiten, das Handbuch zu verfassen:

Der „Plan"-Ansatz: Sie setzen sich hin und schreiben ein Handbuch basierend darauf, was Sie glauben, dass geschehen sollte. Sie raten die Schritte, die benötigten Werkzeuge und die Reihenfolge der Operationen. Dies ist vergleichbar mit dem Schreiben eines Rezepts für einen Kuchen, den Sie noch nie tatsächlich gebacken haben.
Der „Evidenz"-Ansatz: Sie beobachten einen Experten (die „Lehrer"-KI), wie er tatsächlich versucht, die Maschine zu reparieren. Er könnte dreimal scheitern, ein Teil zerbrechen, seinen Fehler erkennen und schließlich beim vierten Versuch erfolgreich sein. Sie schreiben dann das Handbuch ausschließlich basierend auf den spezifischen Handlungen, die funktionierten, und den spezifischen Fehlern, die er vermieden hat.

Dieser Artikel argumentiert, dass Ansatz #2 weitaus überlegen ist, aber nur, wenn Sie in der Lage sind, zwischen einem „guten" und einem „schlechten" Handbuch zu unterscheiden.

Das Problem: Raten versus Wissen

Die Autoren stellten fest, dass die meisten heutigen KI-Systeme versuchen, „Fähigkeiten" (Anleitungshandbücher) zu erstellen, indem sie raten, wie die Lösung sein sollte, bevor sie die Maschine überhaupt berühren. Sie verlassen sich auf „vorherige Pläne".

Das Problem? Diese Pläne scheitern oft, weil sie die chaotische Realität der Umgebung nicht berücksichtigen. Das Handbuch sagt „drehen Sie den roten Knopf", aber in der realen Maschine ist der rote Knopf festgeklemmt, und Sie müssen tatsächlich zuerst den blauen Hebel wackeln. Wenn das Handbuch nur eine Vermutung ist, wird der Lehrling scheitern.

Die Lösung: SPARK und der „Posterior Distillation Index" (PDI)

Die Forscher entwickelten ein System namens SPARK (Structured Pipelines for Autonomous Runnable tasKs and sKill generation). Stellen Sie sich SPARK als eine High-Tech-Filmcrew vor, die die gesamte Reise des Experten aufzeichnet, einschließlich aller Misserfolge.

Aber die Aufzeichnung allein reicht nicht aus. Sie benötigen eine Möglichkeit zu beurteilen, ob das resultierende Handbuch tatsächlich gut ist. Hier kommt PDI ins Spiel.

PDI ist wie ein „Wahrheitsdetektor" für Anleitungshandbücher. Er stellt drei einfache Fragen:

Haben sie es tatsächlich getan? (Execution Grounding): Beschreibt das Handbuch Handlungen, die in der realen Welt verifiziert wurden, dass sie funktionieren?
Haben sie nur ihre eigenen schlechten Vermutungen kopiert? (Plan Copying): Wiederholt das Handbuch lediglich die ursprünglichen, unbewiesenen Ideen des Experten? (PDI wünscht sich, dass dies niedrig ist).
Sind sie in einer Schleife stecken geblieben? (Memo Ossification): Hat der Experte immer wieder dieselbe gescheiterte Strategie versucht, oder hat er gelernt und sich angepasst? (PDI wünscht sich, dass dies niedrig ist).

Wenn ein Handbuch einen hohen PDI-Wert erzielt, bedeutet dies, dass es auf harter Evidenz (was tatsächlich funktionierte) und nicht auf weichen Vermutungen (was sie hofften, dass es funktionieren würde) basiert.

Der „Aha!"-Moment: Online-Eingriff

Hier kommt der clevere Teil ins Spiel. Normalerweise überprüfen Sie, ob ein Handbuch gut ist, nachdem es geschrieben wurde. Aber SPARK nutzt PDI als Live-Monitor.

Stellen Sie sich vor, der Experte versucht, die Maschine zu reparieren. SPARK beobachtet seinen „Gedankenprozess" (seine Notizen). Wenn das System sieht, dass der Experte beginnt, denselben Fehler zu wiederholen oder an einem Plan festzuhalten, der nicht funktioniert (ein niedriger PDI-Wert), greift es sofort ein. Es flüstert dem Experten zu: „Hey, diese Strategie funktioniert nicht. Versuchen Sie einen völlig anderen Ansatz."

Dies stellt sicher, dass das finale Handbuch aus einer erfolgreichen, adaptiven Reise destilliert wird und nicht aus einem sturen Misserfolg.

Die Ergebnisse: Kleine Schüler, große Erfolge

Die Forscher testeten dies, indem sie eine „Lehrer"-KI (ein sehr intelligentes, teures Modell) Aufgaben erkunden ließen und diese PDI-verifizierten Handbücher generierten. Dann gaben sie diese Handbücher an „Schüler"-KIs (kleinere, günstigere, weniger leistungsfähige Modelle).

Die Ergebnisse waren überraschend:

Die Schüler schlugen die Lehrer: In vielen Fällen führte die kleine Schüler-KI, bewaffnet mit dem PDI-verifizierten Handbuch, bessere Leistungen als die leistungsstarke Lehrer-KI ohne irgendein Handbuch.
Günstiger ist besser: Die Lehrer-KI ist teuer im Betrieb (wie die Einstellung eines leitenden Ingenieurs für eine Woche). Die Schüler-KI ist günstig (wie die Einstellung eines Junior-Praktikanten für eine Stunde). SPARK ermöglicht es, den leitenden Ingenieur einmal zu bezahlen, um die Evidenz zu ermitteln, und dann den günstigen Praktikanten die Arbeit tausendmal durchführen zu lassen.
Besser als menschliche Handbücher: Die von SPARK generierten Handbücher schnitten tatsächlich besser ab als Handbücher, die von menschlichen Experten geschrieben wurden. Warum? Weil Menschen oft auf Basis von Allgemeinwissen (vorherige Pläne) schreiben, während SPARK auf Basis spezifischer, verifizierter Versuche und Irrtümer (posteriore Evidenz) schreibt.

Das Fazit

Dieser Artikel beweist, dass KI, um wirklich nützliche Fähigkeiten zu erlernen, nicht nur „nachdenken" sollte, wie man ein Problem löst. Sie muss das Problem lösen, scheitern, lernen und erfolgreich sein. Die resultierende „Fähigkeit" muss eine Destillation dieser realweltlichen Evidenz sein, nicht ein theoretischer Plan.

Durch die Verwendung des PDI-Werts, um schlechte Pläne herauszufiltern und den Lernprozess in Echtzeit zu steuern, erstellt SPARK eine Bibliothek von Fähigkeiten, die es sogar kleinen, günstigen KI-Modellen ermöglicht, komplexe Aufgaben mit der Zuverlässigkeit eines viel größeren, intelligenteren Systems auszuführen.

Technische Zusammenfassung: Evidenz vor Plänen: Online-Trajektorienverifikation für Skill-Distillation

Problemstellung

Während Large Language Model (LLM)-Agenten die Erfolgsquote von Aufgaben durch menschlich verfasste prozedurale Fähigkeiten verbessern können, ist die Qualität dieser Fähigkeiten ohne eine umweltverankerte Verifikation schwer zu bewerten. Bestehende Methoden zur Skill-Generierung verlassen sich häufig auf Präferenzprotokolle oder vorab geplante Pläne statt auf direkte Interaktion mit der Umgebung. Dies führt zu einem fundamentalen Engpass: Fähigkeiten sind häufig „prior-basiert", was bedeutet, dass sie generische Heuristiken oder die ursprüngliche Intention des Modells kodieren, anstatt empirische Evidenz, die durch Ausführung entdeckt wurde. Folglich führen diese Methoden bei der Übertragung von Fähigkeiten zwischen Modellen unterschiedlicher Kapazitäten oft zu vernachlässigbaren oder sogar verschlechterten Gewinnen, da ihnen die spezifischen Einschränkungen, Abhängigkeiten und Fehlermodi fehlen, die erst während der tatsächlichen Aufgabenausführung auftreten.

Methodik: SPARK und PDI

Die Autoren schlagen SPARK (Structured Pipelines for Autonomous Runnable tasKs and sKill generation) vor, ein Framework, das darauf ausgelegt ist, Fähigkeiten zu generieren, die auf umweltverifizierter Evidenz basieren, und die Qualität der Trajektorien zu analysieren, aus denen sie destilliert werden.

1. Die SPARK-Pipeline

SPARK arbeitet durch zwei miteinander verbundene Pipelines:

Skill-Generierungs-Pipeline: Ein „Lehrer"-Agent interagiert mit einer Dockerisierten Umgebung für bis zu $N_{max}$ $N_{ma x}$ Versuche.
- Exploration Memo: Anstatt rohe Protokolle zu führen, pflegt der Agent ein strukturiertes „Exploration Memo", das Versuche, Befehle, verifizierte Fakten, aktuelle Fehlermuster und nächste Strategien zusammenfasst. Dieses Memo wird nach jedem Misserfolg neu geschrieben (nicht angehängt), um eine Kontextverwässerung zu verhindern.
- Evidenz-Zusammenstellung: Bei Erfolg stellt das System sechs strukturierte Evidenzblöcke zusammen: Task Pattern, Execution Chain, Verification records, Lessons (Fehlermuster), Environment context und Raw Support Tail.
- Distillation: Diese Blöcke werden in ein wiederverwendbares SKILL.md-Dokument destilliert.
Task-Konstruktions-Pipeline: Um eine rigorose Evaluation sicherzustellen, wandelt SPARK natürliche Sprach-Prompts in strukturierte Task-Blueprints um. Diese durchlaufen iterative Kritik, Reparatur und deterministische Oracle-Verifikation (mittels pytest), um eigenständige, ausführbare Benchmark-Instanzen zu erstellen.

2. Der Posterior Distillation Index (PDI)

Um zu quantifizieren, ob eine Fähigkeit auf posteriorer Evidenz (Umweltinteraktion) statt auf vorab geplanten Plänen basiert, führen die Autoren den Posterior Distillation Index (PDI) ein. Der PDI ist eine Trajektorien-Metrik, die als gleichgewichtige lineare Kombination von drei z-scored-Signalen berechnet wird:

Execution Grounding ( $\phi_{exec}$ ): Misst die Verteilungsähnlichkeit zwischen den erfolgreichen Ausführungsbefehlen des Agents und der finalen Fähigkeit. Hohe Werte deuten darauf hin, dass sich die Fähigkeit auf durch die Umgebung verifizierte Operationen konzentriert.
Plan Copying ( $\phi_{plan}$ ): Misst die Ähnlichkeit zwischen den Abschnitten „Next Strategy" des Exploration Memos und der finalen Fähigkeit. Niedrige Werte sind wünschenswert und deuten darauf hin, dass die Fähigkeit von den ursprünglichen Plänen des Agents abweicht und neue Evidenz integriert.
Memo Ossification ( $\phi_{oss}$ ): Misst die Stabilität von „Verified Facts" und gescheiterten Testsets über die Versuche hinweg. Niedrige Werte sind wünschenswert und deuten darauf hin, dass das Verständnis des Agents sich weiterentwickelte, anstatt dieselben Fehlermuster zu wiederholen (kognitive Stagnation).

$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$

3. Online-Intervention

Eine Schlüsselinnovation ist die Verwendung eines PDI-Proxy als Online-Diagnosesignal. Während der Skill-Exploration, wenn der Proxy-PDI unter einen Schwellenwert fällt, löst SPARK Interventionen aus:

Weiche Intervention: Fördert eine breitere Hypothesenrevision.
Starke Intervention: Enthält die vorherige Strategie zurück und zwingt den Agenten, sich auf verifizierte Fakten und Fehlermuster zu stützen, wodurch verhindert wird, dass der Agent bei einem veralteten Plan verharrt.

Hauptbeiträge

Trajektorien-verifizierte Metrik (PDI): Eine prinzipielle, interpretierbare Metrik, die Fähigkeiten, die auf Umweltevidenz basieren, von solchen unterscheidet, die auf unverifizierten vorab geplanten Plänen beruhen. Sie bietet eine mechanistische Bewertung dafür, welche Trajektorien übertragbare Fähigkeiten liefern.
Transparente Skill-Generierung (SPARK): Ein Framework, das Ausführungsprotokolle, Verifiziersignale und Memo-Historien bewahrt, eine vollständige Analyse auf Trajektorienebene ermöglicht und den Destillationsprozess analysierbar macht.
Online-Interventionsmechanismus: Eine Methode, um PDI-Proxy-Werte zur Überwachung und Intervention während des Skill-Explorationsprozesses zu nutzen, um die Qualität der generierten Fähigkeiten aktiv zu verbessern, bevor die Destillation abgeschlossen ist.
Trajektorien-Benchmark: Ein Datensatz von 86 ausführbaren Aufgaben (erweitert auf 300 Varianten) mit vollständigen Ausführungsverläufen, Verifiziersignalen und destillierten Fähigkeiten, der die Evaluation der Skill-Übertragung über Umgebungsinteraktionen hinweg ermöglicht.

Experimentelle Ergebnisse

Die Autoren evaluierten SPARK an 86 Aufgaben aus dem SkillsBench-Benchmark und 300 generierten Task-Varianten sowie in der ALFWorld-Umgebung.

Leistungssteigerungen: SPARK-generierte Fähigkeiten übertrafen konsistent sowohl „no-skill"-Baselines als auch menschlich verfasste Fähigkeiten über sieben Schülermodelle hinweg (von GPT-5.4-nano bis DeepSeek-Chat). Bemerkenswerterweise übertrafen kleine Schülermodelle, die mit SPARK-Fähigkeiten ausgestattet waren, oft die ununterstützte Leistung der starken Lehrermodelle, die zur Generierung der Fähigkeiten verwendet wurden.
Kosteneffizienz: Obwohl die Lehrer-Exploration teuer ist, ermöglichen die destillierten Fähigkeiten schwächeren Schülermodellen, Aufgaben zu einem Inferenzkostenfaktor zu lösen, der bis zu 1.000× günstiger ist als die Explorationskosten des Lehrers.
Prädiktive Kraft des PDI:
- Es besteht eine signifikante positive Korrelation ( $\rho \approx 0,36$ ) zwischen PDI und Skill-Gewinn.
- Fähigkeiten aus Trajektorien mit hohem PDI erzielten die höchsten Pass-Gewinn-Raten.
- „Plan Copying" (hohes $\phi_{plan}$ ) in Kombination mit niedrigem Execution Grounding führte zu nahezu null oder negativen Gewinnen, was bestätigt, dass das Zusammenfassen von Plänen ohne Evidenz ineffektiv ist.
- „Memo Ossification" (hohes $\phi_{oss}$ ) korrelierte negativ mit der Skill-Qualität, was darauf hindeutet, dass kognitive Stagnation die Übertragung schädigt.
Online-Intervention: Ablationsstudien zeigten, dass die Aktivierung der PDI-gesteuerten Online-Intervention die nachgelagerten Pass-Raten signifikant verbesserte (z. B. Erhöhung der Pass-Rate von DeepSeek-Chat von 9,1 % auf 42,4 % bei bestimmten Teilmengen).
Generalisierung: SPARK-Fähigkeiten generalisierten über Task-Varianten hinweg und sogar auf die out-of-distribution ALFWorld-Umgebung, wobei die Erfolgsraten von 16,7 % auf 40,0 % verbessert wurden.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass effektives prozedurales Wissen für Agenten posterior-basiert sein muss, was bedeutet, dass es Einschränkungen und Fehlermodi kodieren muss, die nur durch Umgebungsinteraktion entdeckt werden können. Die Autoren behaupten:

Timing ist kritisch: Robuste Fähigkeiten sollten aus empirischer Interaktion destilliert werden, nicht aus vorab geplanten Plänen.
Evidenz vor Plänen: Die Qualität einer Fähigkeit wird durch ihre Verankerung in verifizierter Evidenz bestimmt, nicht durch die Komplexität des ursprünglichen Plans des Agents.
Übertragbarkeit: Durch die Verwendung von PDI zur Filterung und Steuerung der Destillation produziert SPARK Fähigkeiten, die effizient, übertragbar und in der Lage sind, schwächere Modelle so zu befähigen, stärkere Modelle zu übertreffen, denen diese spezifischen, umweltverankerten Erkenntnisse fehlen.
Mechanistisches Verständnis: Das Framework geht über die Black-Box-Skill-Generierung hinaus und bietet ein mechanistisches Verständnis dafür, warum einige Trajektorien nützliche Fähigkeiten liefern (divergente Exploration, niedrige Ossifikation), während andere dies nicht tun.

Die Autoren schließen, dass die autonome Skill-Generierung am effektivsten funktioniert, wenn der Agent die Umgebung als Voraussetzung und nicht als nachträglichen Gedanken nutzt, um lebenswichtiges Wissen zu produzieren, das zukünftige Agenten erben und verifizierbar ausführen können.