Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

Diese Arbeit bietet eine umfassende Übersicht über die Anpassung agenter KI-Systeme nach dem Pre-Training und gliedert den fragmentierten Forschungsstand in ein vierstufiges Rahmenwerk ein, das Agenten- und Werkzeuganpassung durch Methoden wie Feinabstimmung, Verstärkungslernen und adaptive Speichersysteme zusammenführt.

Das Wesentliche

Stell dir vor, ein KI-Agent ist wie ein hochintelligenter, aber noch etwas grüner Handwerker, der komplexe Aufgaben lösen soll. Früher hat man diesen Handwerker nur mit einem detaillierten Bauplan (dem "Prompt") ausgestattet und gehofft, dass er alles richtig macht.

Diese neue Forschungsarbeit sagt jedoch: "Das reicht nicht!" Um wirklich gut zu werden, muss sich der Handwerker entweder selbst weiterbilden oder seine Werkzeuge verbessern. Die Autoren haben eine Landkarte erstellt, die genau beschreibt, wie diese Anpassung passiert. Sie teilen den Prozess in vier einfache Szenarien auf.

Hier ist die Erklärung der vier Wege, wie KI-Agenten lernen, mit einfachen Analogien:

1. Der Handwerker lernt durch direkte Erfahrung (A1)

Das Szenario: Der Handwerker probiert etwas aus, und das Werkzeug gibt ihm sofort ein klares "Ja" oder "Nein".

• Die Analogie: Stell dir vor, der Handwerker versucht, einen Schalter umzulegen. Wenn der Schalter klickt und das Licht angeht, weiß er sofort: "Das war gut!" Wenn es knistert und nichts passiert, weiß er: "Das war falsch."
• Was passiert: Der Agent (der Handwerker) wird trainiert, indem er direkt auf die Ergebnisse seiner Aktionen reagiert. Wenn er Code schreibt und der Computer sagt "Fehler", lernt er sofort daraus. Das ist sehr effizient, aber es funktioniert nur, wenn es ein klares, objektives Ergebnis gibt (wie bei Mathe oder Programmieren).

2. Der Handwerker lernt aus dem Endergebnis (A2)

Das Szenario: Der Handwerker muss eine ganze Reise planen. Er weiß erst am Ende, ob er das Ziel erreicht hat, nicht bei jedem einzelnen Schritt.

• Die Analogie: Ein Handwerker soll ein ganzes Haus bauen. Er kann nicht bei jedem Nagel sofort wissen, ob das Haus stabil ist. Er muss erst das ganze Haus fertigstellen. Wenn das Haus steht, bekommt er eine Belohnung. Wenn es einstürzt, muss er alles neu planen.
• Was passiert: Der Agent wird nur am Ende bewertet (z. B. "Hast du die richtige Antwort auf die Frage gefunden?"). Das ist schwieriger zu lernen, weil er nicht weiß, welcher einzelne Schritt falsch war. Aber es ist notwendig für komplexe Aufgaben, bei denen es keine klaren "Richtig/Falsch"-Signale gibt.

3. Wir kaufen einfach bessere Werkzeuge (T1)

Das Szenario: Der Handwerker bleibt derselbe, aber wir geben ihm ein besseres Werkzeug in die Hand.

• Die Analogie: Stell dir vor, dein Handwerker ist fest in seiner Denkweise (er ist ein "frozen" Modell, den man nicht ändern darf). Statt ihn neu zu erziehen, kaufen wir ihm einen neuen, hochmodernen Bohrer oder eine bessere Säge. Der Handwerker muss nicht lernen, wie man bohrt; das Werkzeug ist einfach besser.
• Was passiert: Wir trainieren die Werkzeuge (wie Suchmaschinen oder Datenbanken) unabhängig vom Agenten. Jeder Agent kann diese Werkzeuge nutzen. Das ist günstig und flexibel, aber der Handwerker selbst wird nicht schlauer.

4. Wir passen die Werkzeuge an den Handwerker an (T2) – Der Game-Changer!

Das Szenario: Wir behalten den Handwerker bei, aber wir schulen seine Werkzeuge so, dass sie genau das tun, was dieser spezifische Handwerker braucht.

• Die Analogie: Der Handwerker ist ein etwas chaotischer Typ, der gerne lange Reden hält. Statt ihn zu ändern, bauen wir ihm eine spezielle Notizkarte (ein Werkzeug), die genau die Informationen filtert, die er mag, und sie in einer Form präsentiert, die er versteht. Das Werkzeug lernt vom Handwerker: "Aha, wenn ich ihm diese Information gebe, macht er eine gute Arbeit."
• Was passiert: Der Agent (der Handwerker) bleibt unverändert, aber die Werkzeuge (wie Suchmaschinen oder Gedächtnis-Systeme) werden so trainiert, dass sie perfekt mit ihm zusammenarbeiten.
• Warum das genial ist: Es ist viel billiger und schneller! Statt den riesigen Handwerker neu zu erziehen (was extrem teuer ist), trainieren wir nur das kleine Werkzeug. Das ist wie ein Assistent, der lernt, wie sein Chef tickt.

---

Zusammenfassung: Was bedeutet das für die Zukunft?

Die Autoren sagen uns, dass wir nicht mehr nur versuchen müssen, den "großen Kopf" (das KI-Modell) immer größer und schlauer zu machen. Stattdessen sollten wir:

1. Den Kopf stabil halten: Lass den großen KI-Modell-Handwerker in Ruhe (er ist teuer und schwer zu ändern).
2. Die Werkzeuge schlau machen: Baue ein Ökosystem aus spezialisierten Werkzeugen, die sich an den Handwerker anpassen (T2).
3. Gedächtnis und Skills nutzen: Das Werkzeug kann auch ein "Gedächtnis" sein, das lernt, was der Handwerker in der Vergangenheit gut gemacht hat, oder ein "Skill-Buch", das ihm zeigt, wie man bestimmte Dinge tut.

Die große Erkenntnis:
Die Zukunft liegt nicht in einem einzigen, riesigen, alles-könnenden Roboter. Sie liegt in einem stabilen Kern (dem großen KI-Modell), der von einem sich ständig weiterentwickelnden Team aus spezialisierten Werkzeugen und Assistenten unterstützt wird. Diese Werkzeuge lernen dazu, passen sich an und machen den Handwerker effizienter, ohne dass man den teuren Kern jedes Mal neu erfinden muss.

Es ist wie der Unterschied zwischen einem einzelnen Superhelden, der alles alleine macht, und einem Captain America, der ein Team aus spezialisierten Spezialisten (Iron Man, Hulk, Black Widow) führt, die sich perfekt aufeinander abstimmen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills" auf Deutsch.

1. Problemstellung

Große Sprachmodelle (LLMs) haben zwar die Grundlage für allgemeine KI-Assistenten gelegt, doch reine Prompting-Strategien reichen für komplexe, mehrstufige Aufgaben oft nicht aus. Aktuelle Agentensysteme leiden unter unzuverlässiger Werkzeugnutzung, oberflächlicher Langzeitplanung, domänenspezifischen Lücken im logischen Schlussfolgern und schlechter Generalisierung in Umgebungen ohne vorherige Interaktionserfahrung.

Das zentrale Problem ist die Fragmentierung der Forschungslandschaft. Bisherige Arbeiten behandeln Post-Training (Nachtrainieren), Speichersysteme (Memory) und Fähigkeiten (Skills) oft isoliert. Es fehlt ein einheitliches Rahmenwerk, das erklärt, wie Agenten, ihre Werkzeuge und deren Interaktion nach dem Pre-Training angepasst werden können, um spezifische Aufgaben zu meistern, ohne die Kernmodelle ständig neu trainieren zu müssen.

2. Methodik: Das Vier-Paradigmen-Rahmenwerk

Die Autoren schlagen ein einheitliches Rahmenwerk vor, das die Anpassung von Agentic AI in vier Paradigmen unterteilt. Diese Klassifizierung basiert auf zwei Achsen:

1. Was wird angepasst? (Der Agent selbst vs. externe Werkzeuge).
2. Woher stammt das Anpassungssignal? (Verifizierbare Werkzeugausführung vs. Bewertung des Agentenausgangs).

Die vier Paradigmen sind:

• A1: Agent-Anpassung durch Werkzeugausführungssignal (Tool Execution Signaled)

  • Fokus: Optimierung des Agenten-Modells selbst.
  • Signal: Verifizierbare Ergebnisse der Werkzeugausführung (z. B. Code-Test-Pass-Rate, Retrieval-Metriken wie Recall@K, API-Ergebnisse).
  • Methoden: Supervised Fine-Tuning (SFT) auf erfolgreichen Werkzeug-Trajektorien oder Reinforcement Learning mit verifizierbaren Belohnungen (RLVR).
  • Beispiel: DeepSeek-R1 (Code), DeepRetrieval (Suche).

• A2: Agent-Anpassung durch Agent-Ausgangssignal (Agent Output Signaled)

  • Fokus: Optimierung des Agenten-Modells selbst.
  • Signal: Bewertung des endgültigen Agentenausgangs (z. B. Korrektheit der Antwort, menschliches Feedback, LLM-as-Judge), unabhängig von den einzelnen Werkzeugaufrufen.
  • Methoden: SFT auf Endantworten oder RL basierend auf der Gesamtqualität der Lösung.
  • Beispiel: Search-R1, ReSearch (optimiert die Strategie, wann und wie gesucht wird).

• T1: Werkzeug-Anpassung, agentenagnostisch (Agent-Agnostic Tool Adaptation)

  • Fokus: Optimierung externer Werkzeuge (Retriever, Subagenten, Modelle), während der Agent fest (frozen) bleibt.
  • Signal: Unabhängig vom spezifischen Agenten (z. B. traditionelle IR-Metriken, allgemeine Genauigkeit).
  • Methoden: Training von Retrieval-Modellen oder Subagenten als Plug-and-Play-Komponenten.
  • Beispiel: Klassische Dense Retriever, AlphaFold2 als Werkzeug.

• T2: Werkzeug-Anpassung durch Agent-Supervision (Agent-Supervised Tool Adaptation)

  • Fokus: Anpassung der Werkzeuge, um einen festen (frozen) Agenten besser zu unterstützen.
  • Signal: Abgeleitet vom Output des festen Agenten (z. B. wenn der Agent mit den zurückgegebenen Daten eine bessere Antwort liefert).
  • Methoden: Training von Such-Subagenten, Speichermanagern oder Rerankern, die auf die spezifischen Bedürfnisse des Host-Agenten zugeschnitten sind.
  • Beispiel: S3 (Such-Subagent), Mem-α (Speicher-Subagent), AgentFlow (Planungs-Subagent).

3. Schlüsselbeiträge

1. Einheitliches 2x2-Framework: Die Autoren strukturieren das gesamte Feld der Agentic-Adaptation durch die Kombination von Optimierungsziel (Agent/Werkzeug) und Signalquelle (Ausführung/Ausgang). Dies ermöglicht einen direkten Vergleich von Kosten, Flexibilität und Generalisierungsfähigkeit.
2. Systematische Behandlung von Memory und Skills: Das Paper zeigt, wie adaptive Speichersysteme (episodische Puffer, Reflexionsdatenbanken) und Skill-Bibliotheken (wiederverwendbare Prozeduren) als T2-Mechanismen fungieren können, um Agenten ohne Gewichts-Updates zu erweitern.
3. Multidimensionale Evaluierungsrahmen: Es wird ein neuer Bewertungsansatz vorgeschlagen, der Benchmarks den Paradigmen zuordnet und zwischen verifizierbaren Ausführungsmetriken (A1/T1) und ganzheitlichen Nutzenmetriken (A2/T2) unterscheidet. Es wird auf Lücken in der aktuellen Evaluierung hingewiesen, insbesondere bei T2 und Cross-Paradigma-Vergleichen.
4. Domänenspezifische Zuordnung: Das Paper analysiert Anwendungen in Deep Research, Softwareentwicklung, Computernutzung und Wirkstoffentwicklung und zeigt auf, welches Paradigma in welchem Kontext dominiert (z. B. A1 bei Code, T2 bei Suche).
5. Identifikation offener Herausforderungen: Das Paper skizziert kritische zukünftige Forschungsrichtungen, darunter Co-Adaptation (gleichzeitiges Lernen von Agent und Werkzeug), kontinuierliche Anpassung (Continual Learning), Sicherheit (Safe Adaptation) und effiziente Bereitstellung.

4. Ergebnisse und Erkenntnisse

• Daten-Effizienz von T2: Ein zentrales Ergebnis ist, dass T2-Methoden oft eine deutlich höhere Daten-Effizienz aufweisen als A2-Methoden.
  • Beispiel: Das T2-System s3 erreicht bei Retrieval-augmentierter QA eine Genauigkeit von 58,9 % mit nur 2.400 Trainingsbeispielen. Im Vergleich dazu benötigt das A2-System Search-R1 für vergleichbare Leistungen etwa 170.000 Beispiele. Der Grund liegt darin, dass bei T2 der feste Agent das Wissen und die Reasoning-Fähigkeiten bereits besitzt; der Subagent muss nur die prozedurale Fähigkeit (z. B. effektive Suche) lernen.
• Trade-offs:
  • A1/A2 (Agent-Anpassung): Bieten hohe parametrische Flexibilität und können tiefgreifende Reasoning-Strategien internalisieren, sind aber rechenintensiv und anfällig für „Catastrophic Forgetting" (Vergessen vorheriger Fähigkeiten).
  • T1/T2 (Werkzeug-Anpassung): Bieten hohe System-Flexibilität und Modularität. Werkzeuge können ausgetauscht oder aktualisiert werden, ohne das Kernmodell neu zu trainieren. T2 ist besonders effizient, da es das teure Training des großen Modells vermeidet.
• Signal-Dichte: In Domänen mit dichten, verifizierbaren Feedback-Schleifen (Code, Theorembeweise) übertrifft A1 (RLVR) oft andere Methoden. In Domänen mit spärlichem Feedback (z. B. komplexe Recherche) ist A2 oder T2 notwendig.
• „Graduation Lifecycle": Es wurde ein Lebenszyklus identifiziert, bei dem Agenten, die durch A1/A2 trainiert wurden, eingefroren und als T1-Werkzeuge (Subagenten) für andere Systeme wiederverwendet werden können.

5. Bedeutung und Ausblick

Dieses Paper ist ein Meilenstein für das Verständnis der nächsten Generation von KI-Agenten. Es verschiebt den Fokus vom reinen „Größer-Training" von Modellen hin zu einer modularen Architektur, bei der stabile, große Reasoning-Kerne (frozen Agents) durch spezialisierte, adaptive Werkzeuge und Speicher erweitert werden.

• Paradigmenwechsel: Die Forschung bewegt sich weg von monolithischen Anpassungen hin zu „Federated Cognition", bei der das Ökosystem der Werkzeuge (T1/T2) dynamisch mitwächst.
• Praktische Relevanz: Für die Industrie bedeutet dies, dass kostspieliges Fine-Tuning großer Modelle vermieden werden kann, indem stattdessen kleine, spezialisierte Subagenten (T2) trainiert werden, die auf existierende APIs oder geschlossene Modelle zugreifen.
• Zukunft: Die größten Herausforderungen liegen in der Co-Adaptation (gleichzeitiges, stabiles Lernen von Agent und Werkzeug), der Sicherheit (Vermeidung von Reward-Hacking und unsicherer Exploration) und der Schaffung von Living Benchmarks, die die dynamische Anpassungsfähigkeit von Agenten über die Zeit messen können.

Zusammenfassend bietet das Paper ein essentielles Taxonomie-Werkzeug, um die komplexe Landschaft der Agentic AI zu navigieren und strategische Entscheidungen darüber zu treffen, ob Agenten, Werkzeuge oder beide angepasst werden sollten, um spezifische Ziele zu erreichen.