🤖 AI

Learning to Configure Agentic AI Systems

Die Arbeit stellt ARC vor, eine leichte hierarchische Richtlinie, die die Agentenkonfiguration als semi-Markov-Entscheidungsprozess formuliert, um agentspezifische Einstellungen dynamisch auszuwählen und dabei statische „One-Size-Fits-All"-Designs in Bezug auf Schlussfolgerung, Werkzeugnutzung und agentenbasierte Benchmarks erheblich zu übertreffen.

Ursprüngliche Autoren: Aditya Taparia, Som Sagar, Ransalu Senanayake

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aditya Taparia, Som Sagar, Ransalu Senanayake

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, aber etwas starren Assistenten (einen KI-Agenten), der Probleme lösen, Werkzeuge wie Rechner oder Suchmaschinen nutzen und Code schreiben kann. Derzeit behandeln die meisten Menschen diesen Assistenten wie einen „Einheitsarbeiter". Wenn Sie eine einfache Frage stellen wie „Was ist 2+2?", könnte der Chef den Assistenten trotzdem in eine Bibliothek schicken, drei Experten anheuern, um die Antwort zu debattieren, und ein Vermögen für die Forschung ausgeben. Wenn Sie eine super schwierige Frage stellen, könnte der Chef den Assistenten trotzdem nur schicken, um eine schnelle, einzeilige Vermutung abzugeben.

Diese Arbeit stellt ein neues System namens ARC (Agentic Resource & Configuration learner) vor, das wie ein intelligenter, adaptiver Manager agiert. Anstatt für jede Frage denselben schwerfälligen Prozess zu verwenden, lernt ARC, eine spezifische Frage zu betrachten und sofort zu entscheiden: „Brauche ich einen Rechner? Muss ich im Web suchen? Soll ich einfach direkt antworten, oder sollte ich das zerlegen und meine Arbeit dreimal überprüfen?"

Hier ist eine Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Alles-in-einen-Topf"-Ansatz

Derzeit sind die meisten KI-Systeme wie eine Küche aufgebaut, in der der Koch alles in den Topf wirft. Sie verwenden dasselbe komplexe Rezept (Workflow) und dieselbe Menge an Zutaten (Rechenleistung), egal ob sie ein einfaches Sandwich oder ein Gourmet-Festmahl zubereiten.

Das Ergebnis: Bei einfachen Aufgaben verschwendet das System Zeit und Geld (Rechenressourcen). Bei schwierigen Aufgaben verwendet es möglicherweise nicht genügend Ressourcen, um die richtige Antwort zu erhalten. Es ist wie der Einsatz eines Vorschlaghammers, um eine Nuss zu knacken, oder eines Buttermessers, um ein Steak zu schneiden.

2. Die Lösung: ARC als „Intelligenter Verkehrsleiter"

Die Autoren haben ARC entwickelt, das wie ein Verkehrsleiter für das Gehirn der KI fungiert.

Der Designraum: Stellen Sie sich einen riesigen Kontrollraum mit Tausenden von Hebeln vor. Sie können verschiedene „Workflows" (wie eine einzelne Person, die antwortet, versus ein Team, das debattiert), verschiedene „Werkzeuge" (Rechner, Websuche) und verschiedene „Budgets" (wie viel Zeit/Geld ausgegeben werden soll) auswählen.
Die Herausforderung: Es gibt so viele Kombinationen (Millionen davon), dass man sie nicht einfach alle manuell ausprobieren kann. Es ist wie der Versuch, das perfekte Outfit zu finden, indem man jedes Hemd und jede Hose im Kaufhaus einzeln anprobiert.
Die Lösung: ARC verwendet ein Lernsystem (Reinforcement Learning), um herauszufinden, welche Kombination für jede spezifische Frage am besten funktioniert.

3. Wie ARC „denkt" (Die SMDP-Analogie)

Die Arbeit verwendet einen ausgefallenen mathematischen Begriff namens „Semi-Markov Decision Process" (SMDP). Lassen Sie uns das übersetzen:

Standard-KI: Denkt normalerweise in Schritten: „Mach das, dann mach das." Sie geht davon aus, dass jeder Schritt die gleiche Zeitdauer benötigt.
Die Sichtweise von ARC: ARC versteht, dass einige Aufgaben länger dauern als andere.
- Analogie: Stellen Sie sich vor, Sie bestellen Essen.
  - Option A: „Ich schnappe mir einfach einen Snack." (Dauert 1 Minute, geringe Kosten).
  - Option B: „Ich bestelle ein komplettes 5-Gänge-Menü mit einem Sommelier." (Dauert 2 Stunden, hohe Kosten).
- ARC lernt, dass für einen schnellen Hunger Option A am besten ist. Für einen besonderen Anlass ist Option B die Wartezeit wert. Es wählt dynamisch die „Dauer" und die „Kosten" der Lösung basierend auf der Schwierigkeit der Frage aus.

4. Das Zwei-Ebenen-Management (Hierarchisches Lernen)

ARC ist wie ein zweistufiges Managementteam aufgebaut:

Der Große Chef (Strategie-Policy): Dieser Teil betrachtet die Frage und entscheidet die Strategie. „Brauchen wir einen Rechner? Müssen wir im Internet suchen? Sollen wir einen ‚Reasoning'-Workflow oder einen ‚Voting'-Workflow verwenden?"
Der Schreiber (Prompt-Policy): Sobald die Strategie gewählt ist, schreibt dieser Teil die spezifischen Anweisungen für die KI. Er verfeinert die Sprache, indem er der KI sagt: „Sei bei der Mathematik sehr vorsichtig" oder „Suche nach aktuellen Nachrichten".

5. Das Training: Versuch, Irrtum und „Elite"-Coaching

Wie lernt ARC?

Phase 1: Reinforcement Learning (Das Fitnessstudio): ARC probiert Tausende verschiedener Strategien an Übungsfragen aus. Wenn es die Antwort mit einer günstigen, schnellen Methode richtig erhält, bekommt es eine hohe Punktzahl. Wenn es bei einer einfachen Frage Geld verschwendet, erhält es eine Strafe. Es lernt durch Versuch und Irrtum.
Phase 2: Supervised Fine-Tuning (Die Coaching-Sitzung): Nach der Fitnessstudio-Sitzung betrachtet das System die „Elite"-Episoden – diejenigen, bei denen ARC die Antwort richtig erhielt und Ressourcen effizient nutzte. Es studiert dann diese perfekten Beispiele, um noch konsistenter zu werden. Dies ist wie ein Coach, der einem Athleten seine besten Spielzüge zeigt, um gute Gewohnheiten zu festigen.

6. Die Ergebnisse: Intelligenter und günstiger

Die Arbeit testete ARC an drei Arten von Herausforderungen:

Reasoning: Mathematik- und Logikrätsel.
Tool Use: Aufgaben, die Suchmaschinen oder Rechner erfordern.
Agentic Tasks: Komplexe Simulationen der realen Welt (wie das Buchen eines Flugtickets).

Das Ergebnis:

Genauigkeit: ARC beantwortete signifikant mehr Fragen richtig als die Standard-„Einheits"-Methoden. Zum Beispiel verbesserte es bei mathematischen Problemen die Genauigkeit um über 30 %. Bei komplexen Flugbuchungsaufgaben verdoppelte es die Erfolgsrate.
Effizienz: Es wurde nicht nur besser; es wurde besser, ohne Geld zu verschwenden. Es lernte, bei einfachen Fragen einen „leichten" Ansatz und bei Bedarf nur einen „schwerfälligen" Ansatz zu verwenden.
Flexibilität: Es funktionierte gut mit verschiedenen KI-Modellen (sowohl Open-Source als auch proprietär) und bewies, dass es ein allgemeiner „Manager" ist, der jeden KI-Assistenten steuern kann.

Zusammenfassung

Die Arbeit argumentiert, dass wir anstatt eines starren, teuren KI-Systems, das versucht, alles auf die gleiche Weise zu tun, ein flexibles System bauen sollten, das lernt, sich anzupassen. ARC ist dieses System: ein intelligenter Manager, der jedes neue Problem betrachtet und sofort die perfekte Mischung aus Werkzeugen, Teamgröße und Aufwand entscheidet, um es effizient und genau zu lösen.

Technische Zusammenfassung: Erlernen der Konfiguration agenter KI-Systeme (ARC)

Problemstellung

Die Konfiguration von Agentensystemen auf Basis großer Sprachmodelle (LLMs) umfasst die Auswahl aus einem riesigen kombinatorischen Gestaltungsraum, der Workflows, Tools, Token-Budgets und Prompts einschließt. Aktuelle Ansätze verlassen sich auf statische Heuristiken oder „Küchenwaschbecken"-Strategien, die eine feste Konfiguration unabhängig von der Schwierigkeit der Anfrage anwenden. Dieser „Einheitslösung"-Ansatz führt zu zwei Hauptproblemen:

Leistungsverschlechterung: Lange Kontexte leiden häufig unter dem Phänomen „Lost-in-the-Middle", bei dem Modelle versagen, relevante Informationen zu beachten.
Ineffizienz: Statische Systeme verschwenden Rechenressourcen, indem sie schwere, iterative Workflows (z. B. Multi-Hop-Reasoning mit Websuche) auf triviale Anfragen anwenden, was zu unnötiger Latenz und Kosten führt.

Die Kernherausforderung besteht darin, dass der Gestaltungsraum für eine Brute-Force-Suche oder manuelle Feinabstimmung zu groß ist. Ein bescheidenes System mit wenigen Workflow-Mustern, Tools und Budgetstufen kann beispielsweise Zehntausende struktureller Konfigurationen hervorbringen, was sich unter Einbeziehung von Prompt-Variationen auf über $10^5$ erweitert. Darüber hinaus sind Agenten-Workflows keine atomaren Aktionen; es handelt sich um zeitlich ausgedehnte Prozesse mit variablen Dauer und Kosten, was Standardformulierungen als Markov-Entscheidungsprozess (MDP) unzureichend macht.

Methodik: ARC (Agentic Resource & Configuration learner)

Die Autoren schlagen ARC vor, ein hierarchisches Reinforcement-Learning-Framework, das die Agentenkonfiguration als Semi-Markov-Entscheidungsprozess (SMDP) formuliert. In dieser Formulierung fungiert jede Konfiguration als zeitlich ausgedehnte „Option", die bestimmt, wie ein Agentensystem eine Anfrage verarbeitet.

1. SMDP-Formulierung

Im Gegensatz zu Standard-MDPs, bei denen Aktionen feste Dauer haben, modelliert ARC Konfigurationen als Optionen mit variabler Ausführungszeit (Anzahl der LLM-Aufrufe) und Kosten.

Zustand ( $S$ ): Eine Verkettung semantischer Embeddings der Anfrage und handgefertigter Merkmale (z. B. Anfragelänge, numerische Dichte).
Optionen ( $O$ ): Jede Option repräsentiert eine vollständige Konfiguration $(\omega, t, b, p)$ , wobei $\omega$ der Workflow, $t$ die Tools, $b$ das Token-Budget und $p$ der Prompt ist.
Belohnung: Eine Nutzenfunktion, die Korrektheit gegen Kosten abwägt: $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$ . Die Belohnung beinhaltet Strafen für Token-Verbrauch, Laufzeit und Dauer (Anzahl der LLM-Aufrufe).

2. Hierarchische Policy-Zerlegung

Um die kombinatorische Komplexität zu bewältigen, wird die Policy $\pi_{arc}$ in zwei Ebenen zerlegt:

Struktur-Policy ( $\pi_{struct}$ ): Wählt die Workflow-Topologie, Tool-Zuweisung und Budgetstufen aus.
Prompt-Policy ( $\pi_{prompt}$ ): Komponiert autoregressiv spezifische Prompt-Anweisungen aus einer Bibliothek semantischer Fragmente basierend auf der strukturellen Wahl.
Action Masking: Um strukturelle Ungültigkeiten zu behandeln (z. B. die Zuweisung von Tools zu einem Single-Agent-„Direct"-Workflow), wendet das System Action Masking an, um ungültige Konfigurationen während des Trainings zu beschneiden.

3. Trainingspipeline

Der Trainingsprozess kombiniert Reinforcement Learning (RL) mit Supervised Fine-Tuning (SFT):

RL-Phase: Verwendet Proximal Policy Optimization (PPO) mit geformten Belohnungen, um den Gestaltungsraum zu erkunden. Die Belohnungsfunktion wird in Terme für Korrektheit, Schrittsstrafen, Token-Strafen und Tool-Formung zerlegt, um die Diskrepanz zwischen Tool-Zuweisung und tatsächlicher Nutzung zu adressieren.
SFT-Verfeinerung: Nach Konvergenz des RL filtert das System den Replay-Puffer nach „Elite"-Trajektorien (korrekte Antworten mit hohen Belohnungen). Eine Phase des überwachtes Feinabstimmens destilliert diese erfolgreichen Strategien dann in die Policy-Netzwerke. Dieser Schritt stabilisiert das Lernen, reduziert die Varianz und bietet eine Leistungsbasis.

4. Theoretische Garantien

Die Arbeit stellt zwei theoretische Ergebnisse auf:

Konvergenz: Die SMDP-Formulierung erlaubt eine eindeutige optimale Wertfunktion $Q^*$ , wodurch das RL-Ziel wohldefiniert ist.
Policy-Konzentration: Die SFT-Phase garantiert, dass sich die finale Policy auf hochbelohnte Konfigurationen konzentriert und somit eine Mindestleistungsschwelle sicherstellt.

Hauptbeiträge

SMDP-Formulierung: Die Autoren fassen die Agentenkonfiguration als SMDP-Problem auf und behandeln Workflows als zeitlich ausgedehnte Optionen, um variable Rechenfootprints natürlich zu handhaben.
ARC-Framework: Einführung einer leichten, hierarchischen Policy, die anfragenspezifische Konfigurationen (Workflow, Tools, Budget, Prompts) dynamisch auswählt, ohne das zugrunde liegende LLM zu aktualisieren.
Hybrides Training: Eine Pipeline, die maskiertes PPO mit SFT auf Elite-Trajektorien kombiniert, um das Lernen bei spärlichen Belohnungen zu stabilisieren und die Konsistenz zu verbessern.
Empirische Validierung: Umfangreiche Experimente zeigen, dass das Erlernen von Konfigurationen pro Anfrage eine überlegene Alternative zu statischen Designs darstellt.

Experimentelle Ergebnisse

Die Autoren evaluierten ARC über Reasoning-, Tool-Use- und Agenten-Benchmarks hinweg unter Verwendung von Qwen 2.5 7B und Gemini 2.5 Flash Lite.

Reasoning-Aufgaben: ARC verbesserte die durchschnittliche Reasoning-Genauigkeit um 31,3 % gegenüber budgetangepassten, tool-erweiterten LLMs. Auf GSM8k erreichte ARC eine Genauigkeit von 88,6 % und übertraf starke Baselines wie GEPA (83,6 %) und RL Episodes (85,2 %).
Tool-Use-Aufgaben: ARC erhöhte die Tool-Use-Genauigkeit um 13,95 %. Auf HotpotQA erreichte es AutoGen (34,1 %) und übertraf die stärkste RL-Baseline um 6,3 %.
Agenten-Aufgaben: Auf $\tau$ -Bench (Airline) verdoppelte ARC die Pass $^1$ -Erfolgsrate von 9,0 % auf 18,0 %, wohingegen die Optimierung fester Prompts (DSPy) die Leistung verschlechterte.
Effizienz: ARC besetzt Pareto-optimale Regionen im Trade-off zwischen Genauigkeit und Kosten und erzielt bei niedrigeren Kosten eine höhere Genauigkeit im Vergleich zu festen oder suchbasierten Baselines.
Generalisierung: Die erlernten Policies zeigten eine moderate Übertragbarkeit über Reasoning-Aufgaben hinweg (z. B. von GSM8k zu DROP) und ein Zero-Shot-Skalieren über Modellgrößen hinweg (von 7B bis 72B), was darauf hindeutet, dass strukturelle Priors weitgehend skaleninvariant sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Erlernen von Agentenkonfigurationen pro Anfrage eine leistungsfähige Alternative zu „Einheitslösungen"-Designs darstellt. Die Bedeutung dieser Arbeit liegt darin, zu demonstrieren, dass:

Anpassungsfähigkeit: Ein Agentensystem seinen Rechenfootprint dynamisch an die Aufgabenschwierigkeit anpassen kann und dabei Genauigkeit und Effizienz ausbalanciert.
Skalierbarkeit: Ein leichter Controller einen massiven kombinatorischen Gestaltungsraum effektiv verwalten kann, ohne das zugrunde liegende LLM neu zu trainieren.
Praktikabilität: Die Kombination aus RL-Erkundung und SFT-Verfeinerung eine handhabbare Methode bietet, um komplexe Agentenarchitekturen zu navigieren, und eine praktische Richtung für den Aufbau flexibler und rechen-effizienter LLM-basierter Agentensysteme eröffnet.

Die Autoren betonen, dass, obwohl Prompt-Semantik in wissensintensiven Domänen dominieren kann, die durch ARC bereitgestellte strukturelle Optimierung für die Ressourcenallokation und die Bewältigung komplexer, mehrstufiger Interaktionen unverzichtbar bleibt.