🤖 AI

MIND-Skill: Quality-Guaranteed Skill Generation via Multi-Agent Induction and Deduction

Das Papier stellt MIND-Skill vor, ein Multi-Agenten-Framework, das durch einen induktiv-deduktiven Zyklus, der mittels textueller Verluste (Rekonstruktion, Ergebnis und Bewertungskriterien) optimiert wird, automatisch hochwertige, wiederverwendbare LLM-Fähigkeiten generiert, um Robustheit und Generalisierbarkeit bei komplexen Aufgaben zu gewährleisten.

Ursprüngliche Autoren: Yixuan Li, Mingshu Cai, Ziyang Xiao, Wanyuan Wang, Yanchen Deng, Bo An

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yixuan Li, Mingshu Cai, Ziyang Xiao, Wanyuan Wang, Yanchen Deng, Bo An

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber leicht ungeschickten Roboter-Assistenten. Sie bringen ihm bei, eine bestimmte Aufgabe zu erledigen, wie etwa „einen Rückerstattungsbetrag an einen Freund auf Venmo senden", indem Sie ihm ein Video davon zeigen, wie Sie es perfekt ausführen. Der Roboter schaut zu, versucht aber nicht einfach, Ihre exakten Bewegungen zu kopieren, sondern schreibt stattdessen ein Regelwerk für sich selbst, um ähnliche Aufgaben in der Zukunft bewältigen zu können.

Das Problem ist, dass der Roboter, wenn er ein schlechtes Regelwerk schreibt, stecken bleiben könnte. Er könnte sich den Namen Ihres spezifischen Freundes merken (zu spezifisch) oder Anweisungen verfassen, die zu vage sind, um nützlich zu sein (zu abstrakt).

MIND-Skill ist ein neues System, das entwickelt wurde, um diesen KI-Agenten zu helfen, automatisch perfekte, hochwertige Regelwerke zu schreiben. Dies geschieht mithilfe eines cleveren „Lehrer-und-Schüler"-Spiels, das garantiert, dass die Regeln tatsächlich funktionieren.

So funktioniert es, aufgeteilt in einfache Teile:

1. Die zwei Charaktere: Der Lehrer und der Schüler

Das System nutzt zwei KI-Agenten, die zusammenarbeiten:

Der Lehrer (Induktions-Agent): Dieser Agent sieht sich ein erfolgreiches Video einer durchgeführten Aufgabe an. Seine Aufgabe ist es, ein allgemeines Regelwerk (eine „Fertigkeit") zu schreiben, das erklärt, wie die Aufgabe zu erledigen ist, ohne spezifische Namen oder Zahlen zu erwähnen.
Der Schüler (Deduktions-Agent): Dieser Agent ist der Test. Er erhält nur das vom Lehrer geschriebene Regelwerk und die ursprüngliche Aufgabenbeschreibung. Er versucht, die Aufgabe von Grund auf neu nur mit diesen Anweisungen auszuführen.

2. Der „Rekonstruktions"-Test

Dies ist der Trick. Das System fragt nicht nur: „Hat der Schüler die richtige Antwort erhalten?" Es fragt: „Hat der Schüler derselben Logik wie das Originalvideo gefolgt?"

Wenn der Lehrer ein Regelwerk schreibt, das besagt: „Klicken Sie auf den roten Knopf", das Originalvideo aber zeigte, dass auf einen blauen Knopf geklickt wurde, wird der Schüler scheitern. Das System fängt dies auf.
Wenn der Lehrer ein Regelwerk schreibt, das zu vage ist (z. B. „Machen Sie die Sache"), wird der Schüler verwirrt sein und scheitern.
Wenn der Lehrer ein Regelwerk schreibt, das zu spezifisch ist (z. B. „Klicken Sie auf den Knopf für Benutzer #123"), erkennt das System, dass dies für niemanden anderen funktionieren wird.

Das System vergleicht die Leistung des Schülers mit dem Originalvideo. Wenn sie übereinstimmen, ist das Regelwerk gut. Wenn nicht, weiß das System, dass das Regelwerk fehlerhaft ist.

3. Die drei „Zeugnisse"

Um sicherzustellen, dass das Regelwerk perfekt ist, gibt das System dem Lehrer nach jedem Versuch drei spezifische Zeugnisse (genannt „Verluste"):

Das „Haben Sie die Schritte befolgt?"-Zeugnis (Rekonstruktions-Verlust): Hat der Schüler derselben Strategie wie das Originalvideo gefolgt? (z. B. Haben beide zuerst die E-Mail geprüft und dann auf Senden geklickt?)
Das „Haben Sie die Arbeit erledigt?"-Zeugnis (Ergebnis-Verlust): Hat der Schüler die Aufgabe in der realen Welt tatsächlich erfolgreich abgeschlossen?
Das „Ist dies ein gutes Handbuch?"-Zeugnis (Rubrik-Verlust): Ist das Regelwerk gut geschrieben? Ist es klar? Vermeidet es das Kopieren spezifischer Details (wie Namen oder IDs), die dort nicht hingehören? Dies stellt sicher, dass das Regelwerk ein nützliches Werkzeug ist und nicht nur eine Kopie-Einzelheit eines spezifischen Ereignisses.

4. Der Verbesserungszyklus

Das System führt dieses Spiel immer wieder durch.

Der Lehrer schreibt einen Entwurf.
Der Schüler probiert ihn aus.
Das System bewertet den Entwurf anhand der drei Zeugnisse.
Das System teilt dem Lehrer genau mit, was falsch war (z. B. „Sie haben einen spezifischen Namen enthalten; entfernen Sie ihn" oder „Sie haben eine Sicherheitsprüfung übersprungen").
Der Lehrer schreibt das Regelwerk basierend auf diesem Feedback um.

Dies geschieht automatisch und verfeinert das Regelwerk, bis es fehlerfrei ist.

Warum ist das besonders?

Die meisten früheren Methoden versuchten, Regelwerke zu schreiben, indem sie einfach eine intelligente KI aufforderten, ein Video „zusammenzufassen". Doch die KI macht oft Fehler – entweder ist sie zu vage oder zu spezifisch.

MIND-Skill ist anders, weil es das Regelwerk sofort testet. Es ist wie ein Koch, der ein Rezept schreibt und es dann sofort an einen Sous-Chef gibt, um das Gericht zu kochen. Wenn der Sous-Chef das Essen verbrennt oder die falschen Zutaten verwendet, weiß der Koch, dass das Rezept schlecht war, und korrigiert es, bevor es jemand anderes versucht.

Die Ergebnisse

Die Studie testete dies in zwei schwierigen Welten:

AppWorld: Eine Simulation der Nutzung realer Apps (wie Geld senden, Tickets buchen, Dateien verwalten).
BFCL-v3: Ein Test zum korrekten Aufrufen von Computerfunktionen.

Die Ergebnisse zeigten, dass Agenten, die Regelwerke von MIND-Skill verwendeten, viel besser darin waren, neue, unbekannte Aufgaben zu lösen, als Agenten, die Regelwerke verwendeten, die von anderen Methoden erstellt wurden. Selbst wenn der „Lehrer"-KI nicht das intelligenteste verfügbare Modell war, machten den Testprozess die finalen Regelwerke so gut, dass sie genauso gut abschnitten wie diejenigen, die von den intelligentesten Modellen erstellt wurden.

Kurz gesagt: MIND-Skill verwandelt KI-Agenten in sich selbst verbessernde Lehrer, die ihre eigenen perfekten Anleitungen schreiben, indem sie ständig testen, ob diese Anleitungen tatsächlich funktionieren.

Technische Zusammenfassung: MIND-Skill

Problemstellung

Von Large Language Models (LLM) angetriebene KI-Agenten haben Erfolge beim autonomen Problemlösen gezeigt, haben jedoch Schwierigkeiten mit komplexen, mehrstufigen Realwelt-Aufgaben, die domainspezifisches prozedurales Wissen erfordern (z. B. API-Nutzung, mehrstufige Tool-Aufrufe). Obwohl wiederverwendbare „Agenten-Fähigkeiten" (Agent Skills) – strukturierte Dokumente, die erfolgreiche Strategien kapseln – eine Abhilfe bieten, bleibt ihre Kuratierung ein weitgehend manueller, expertengetriebener Prozess. Bestehende Methoden zur automatischen Generierung von Fähigkeiten leiden unter drei kritischen Einschränkungen:

Fehlende Qualitätsgarantien: Viele Methoden generieren Fähigkeiten direkt aus Aufgaben specifications oder Trajektorien ohne eine geschlossene Validierungsschleife, um Fehler basierend auf Ausführungsergebnissen zu korrigieren.
Schlechte Dokumentationsqualität: Generierte Fähigkeiten halten oft nicht an technischen Schreibstandards (logischer Fluss, Fehlerbehebungsanleitungen) fest, was ihre Portabilität und Wiederverwendbarkeit verringert.
Ungeprüfte Abstraktionsgetreue: Trajektorien-Destillationsmethoden generalisieren oft zu stark oder versäumen es, wesentliche Edge-Case-Behandlungen und Voraussetzungsprüfungen zu bewahren, was zu Fähigkeiten führt, die das Quellverhalten nicht getreu rekonstruieren.

Methodik: MIND-Skill

Die Autoren schlagen MIND-Skill (Multi-agent INduction and Deduction for Skills) vor, ein Framework, das generalisierbare Fähigkeiten mit robusten Qualitätsgarantien automatisch synthetisiert. Das Framework arbeitet über einen geschlossenen Induktions-Deduktions-Prozess, der mit TextGrad optimiert wird.

Kernarchitektur

Induktions-Agent ( $A_I$ ): Hat die Aufgabe, eine erfolgreiche Trajektorie ( $\tau$ ) und eine Aufgabenspezifikation ( $t$ ) in ein strukturiertes Fähigkeitsdokument ( $s$ ) zu abstrahieren. Der System-Prompt des Agents ( $P_I$ ) ist die einzige Variable, die während des Prozesses optimiert wird.
Deduktions-Agent ( $A_D$ ): Ein „eingefrorener" Agent, der versucht, die ursprüngliche Trajektorie ( $\tau$ ) ausschließlich unter Verwendung der Aufgabenspezifikation ( $t$ ) und der induzierten Fähigkeit ( $s$ ) wiederherzustellen. Er erhält keinen Zugriff auf die Quelltrajektorie oder externe Anleitung. Dies stellt sicher, dass jeder Rekonstruktionsfehler direkt auf Mängel in der Fähigkeit selbst zurückzuführen ist.

Optimierung durch Textuelle Verluste

Das Framework optimiert den Induktions-Prompt ( $P_I$ ) gemeinsam unter Verwendung von drei komplementären textuellen Verlustfunktionen, die von LLM-Richtern und der Umgebungsausführung bewertet werden:

Rekonstruktionsverlust ( $L_{recon}$ ): Misst die prozedurale Übereinstimmung zwischen der Quelltrajektorie ( $\tau$ ) und der rekonstruierten Trajektorie ( $\hat{\tau}$ ). Ein LLM-Richter bewertet die Äquivalenz auf Taktikebene (z. B. dasselbe Abruf-Aggregationsmuster) anstelle einer wortwörtlichen schrittweisen Ähnlichkeit.
Ergebnisverlust ( $L_{outcome}$ ): Erzwingt die Ausführungskorrektheit, indem die rekonstruierte Trajektorie in einer Live-Umgebung ausgeführt wird. Er liefert ein Ground-Truth-Signal basierend darauf, ob das Aufgabenziel erreicht wird.
Rubrikverlust ( $L_{rubric}$ ): Bewertet die Dokumentationsqualität und regularisiert das Abstraktionsniveau. Er bestraft „Ground-Truth-Leckagen" (Auswendiglernen spezifischer API-Pfade oder Entitäts-IDs) und stellt sicher, dass die Fähigkeit handlungsorientiert, übertragbar, vollständig und prägnant ist.

Optimierungsverfahren

Das System verwendet eine lexikographische Minimierung, wobei der Ergebnisverlust das primäre Ziel ist, während Rekonstruktions- und Rubrikverluste als Entscheidungshilfen dienen. Mithilfe von TextGrad analysiert ein Gradient-LLM das textuelle Feedback aus allen drei Verlusten, um Fehlermuster zu diagnostizieren und Änderungen am Induktions-Prompt ( $P_I$ ) vorzuschlagen. Ein Optimierer-LLM aktualisiert dann den Prompt. Dieser iterative Prozess läuft für eine festgelegte Anzahl von Schritten und behält die bisher beste gefundene Fähigkeit bei.

Hauptbeiträge

Neues Framework: Einführung von MIND-Skill, einem Multi-Agenten-Induktions- und Deduktions-Framework, das generalisierbare Fähigkeiten aus erfolgreichen Trajektorien ohne menschliches Eingreifen synthetisiert.
Mechanismus zur Qualitätssicherung: Vorschlag einer geschlossenen Optimierungsstrategie unter Verwendung von drei textuellen Verlusten (Rekonstruktion, Ergebnis, Rubrik), um sicherzustellen, dass Fähigkeiten getreu, korrekt und gut dokumentiert sind. Entscheidend ist, dass der Deduktions-Agent eingefroren bleibt, um die Fähigkeitenqualität als einzige Variable zu isolieren.
Empirische Validierung: Nachweis, dass MIND-Skill die Leistung von Agenten sowohl bei Quellaufgaben als auch bei während der Generierung nicht gesehenen zurückgehaltenen Aufgaben verbessert und dabei concurrente State-of-the-Art-Methoden übertrifft.

Experimentelle Ergebnisse

Die Autoren bewerteten MIND-Skill an zwei Benchmarks: AppWorld (interaktiver Coding-Agent-Benchmark) und BFCL-v3 (Multi-Turn-Funktionsaufruf-Benchmark).

Leistung: MIND-Skill übertraf konsistent die Baselines, einschließlich ReAct, In-Context Learning (ICL), Skill-extract (One-Shot-Induktion), ACE (lebenslanges Evolvieren) und Trace2Skill (Trajektorien-Destillation).
- Auf AppWorld-Challenge erreichte MIND-Skill eine Task Goal Completion (TGC) von 51,8 % und eine Scenario Goal Completion (SGC) von 39,6 %, was die nächstbeste Methode (ACE mit 51,1 % TGC und 34,5 % SGC) deutlich übertraf.
- Auf BFCL-v3 erreichte MIND-Skill die höchste Genauigkeit (77,3 % mit Qwen3.5-Basis, 78,7 % mit GPT-5.4-Basis).
Ablationsstudien:
- Das Entfernen einer der drei Verlustfunktionen führte zu Leistungseinbußen, was ihre Unverzichtbarkeit bestätigt. Der Rekonstruktionsverlust war für Challenge-Aufgaben am kritischsten, während der Rubrikverlust entscheidend war, um Overfitting bei Normal-Aufgaben zu verhindern.
- Die geschlossene Optimierung übertraf die One-Shot-Fähigkeitsextraktion (Skill-extract) erheblich, was den Wert der iterativen Verfeinerung unterstreicht.
Modellagnostizismus: MIND-Skill ermöglichte es einem schwächeren Basismodell (Qwen3.5-122B), eine Leistung zu erzielen, die mit einem stärkeren Modell (GPT-5.4) vergleichbar ist, wenn es als Fähigkeitsgenerator verwendet wurde. Dies deutet darauf hin, dass das Framework Fähigkeitslücken durch Ausrichtung und Optimierung effektiv kompensiert.
Effizienz: MIND-Skill generiert kompakte Fähigkeiten und injiziert zur Inferenzzeit 3–6 Mal weniger Tokens als monolithische Playbooks von Baselines wie ACE.

Bedeutung

Die Arbeit behauptet, dass MIND-Skill die kritische Lücke in der automatischen Fähigkeitsgenerierung schließt, indem es Qualitätsgarantien durch einen prinzipiengeleiteten, geschlossenen Prozess bereitstellt. Im Gegensatz zu früheren Methoden, die auf eine nachträgliche Fehlerdiagnose oder ungeprüfte Abstraktion angewiesen sind, validiert MIND-Skill Fähigkeiten explizit, indem es versucht, das Quellverhalten wiederherzustellen. Das Framework zeigt, dass hochwertige, generalisierbare prozedurale Kenntnisse automatisch aus erfolgreichen Trajektorien destilliert werden können, wodurch die Abhängigkeit von manueller Kuratierung verringert und Agenten ermöglicht wird, komplexe Aufgaben mit langem Horizont effektiver auszuführen. Die Ergebnisse deuten darauf hin, dass das Induktions-Deduktions-Paradigma, gekoppelt mit der Optimierung textueller Verluste, ein robuster Ansatz zur Skalierung von Agentenfähigkeiten ist.