Multi-View Encoders for Performance Prediction in LLM-Based Agentic Workflows

Die Arbeit stellt Agentic Predictor vor, einen leichten Vorhersagemodell, das durch Multi-View-Codierung und domainsübergreifendes unüberwachtes Pretraining die Leistung von LLM-basierten Agenten-Workflows effizient vorhersagt und so die Suche nach optimalen Konfigurationen ohne kostspielige Trial-and-Error-Evaluierungen ermöglicht.

Das Wesentliche

Stell dir vor, du möchtest ein riesiges, komplexes Team aus KI-Robotern (den sogenannten „Agenten") bauen, um eine schwierige Aufgabe zu lösen – sei es das Schreiben von Software, das Lösen von Matheaufgaben oder das Beantworten von kniffligen Fragen.

Das Problem ist: Es gibt unendlich viele Möglichkeiten, wie man dieses Team aufbauen kann.

• Wer spricht mit wem?
• Welche Werkzeuge benutzt jeder?
• Welche Anweisungen (Prompts) bekommt jeder?

Das alte Problem:
Bisher mussten Forscher jede dieser Millionen von Team-Kombinationen tatsächlich ausprobieren. Sie ließen die KI die Aufgabe lösen, schauten, ob es geklappt hat, und wiederholten das für jede neue Kombination. Das ist wie wenn du versuchst, den perfekten Kuchen zu backen, indem du Tausende von Kuchensorten backst, probierst und dann wegwirfst, nur um zu sehen, welcher am besten schmeckt. Das kostet extrem viel Zeit, Geld (Strom für die KI) und Nerven.

Die neue Lösung: „Agentic Predictor"
Die Autoren dieses Papers haben eine clevere Lösung gefunden: Statt jeden Kuchen backen zu müssen, bauen sie einen super-schnellen „Kuchenduft-Schnüffler".

Hier ist die Erklärung, wie dieser „Schnüffler" funktioniert, mit einfachen Analogien:

1. Der „Multi-Auge"-Blick (Multi-View Encoding)

Stell dir vor, du willst beurteilen, ob ein neues Team gut funktionieren wird. Ein normaler Blick reicht nicht. Du brauchst drei verschiedene Perspektiven gleichzeitig:

• Der Bauplan (Graph): Wie sind die Agenten miteinander verbunden? Wer ist der Chef, wer der Assistent? (Wie ein Straßennetz).
• Der Code (Die Werkzeuge): Welche Werkzeuge hat das Team im Werkzeugkasten? Können sie gut programmieren oder rechnen? (Wie die Spezifikationen eines Autos).
• Die Anweisungen (Prompts): Was genau sagt der Chef den Mitarbeitern? Wie gut sind die Anweisungen formuliert? (Wie die Fahrordnung).

Der neue „Schnüffler" (der Agentic Predictor) schaut sich alle drei Dinge gleichzeitig an. Er kombiniert den Bauplan, die Werkzeuge und die Anweisungen zu einem einzigen, klaren Bild. Das ist wie ein Detektiv, der nicht nur den Tatort betrachtet, sondern auch die Fingerabdrücke und die Aussagen der Zeugen zusammenführt, um sofort zu wissen, ob der Fall gelöst wird.

2. Der „Geheimtipp" aus der Vergangenheit (Unsupervised Pretraining)

Das größte Problem beim Trainieren eines solchen Schnüfflers ist: Man hat kaum Daten darüber, welche Teams wirklich funktionieren, weil das Ausprobieren so teuer ist.

Die Autoren nutzen einen genialen Trick: Vorwissen aus anderen Bereichen.
Stell dir vor, du willst ein Auto bewerten, hast aber nur wenige Testfahrten gemacht. Aber du hast Tausende von Fotos und technischen Zeichnungen von Autos gesehen. Du lernst daraus, wie ein „gutes Auto" aussieht, ohne es jemals gefahren zu haben.

Das macht der „Schnüffler" auch:

• Er wird zuerst mit riesigen Mengen an unmarkierten Daten (vielen verschiedenen Team-Entwürfen ohne Ergebnis) trainiert.
• Er lernt die Muster: „Aha, wenn Agent A so mit Agent B verbunden ist und diese Anweisung bekommt, sieht das nach einem guten Team aus."
• Erst danach wird er mit ein paar wenigen echten Testergebnissen feinjustiert.

Dadurch braucht er viel weniger echte Versuche, um sehr genau zu sein.

3. Der große Gewinn: Schnelligkeit und Geld

Statt Tausende von teuren KI-Läufen zu machen, um das beste Team zu finden, macht der Forscher folgendes:

1. Er generiert viele Team-Ideen.
2. Er lässt den Schnüffler (den Predictor) diese Ideen durchschauen.
3. Der Schnüffler sagt sofort: „Idee A sieht vielversprechend aus, Idee B ist Mist."
4. Der Forscher testet nur noch die Top-Ideen wirklich.

Das Ergebnis:

• Genauigkeit: Der Schnüffler ist besser als alle bisherigen Methoden (die nur auf den Bauplan schauten).
• Kosten: Er spart enorme Mengen an Geld und Zeit, weil er die teuren „Backversuche" (das Ausführen der KI) fast komplett ersetzt.
• Geschwindigkeit: Die Bewertung dauert Millisekunden, nicht Stunden.

Zusammenfassung in einem Satz

Die Autoren haben einen intelligenten Vorhersage-Algorithmus entwickelt, der wie ein erfahrener Architekt aussieht, der sich einen Bauplan, die Werkzeuge und die Anweisungen eines Teams ansieht und sofort weiß, ob das Team erfolgreich sein wird – ohne dass man das Team erst jahrelang arbeiten lassen muss. Das macht die Entwicklung von KI-Systemen viel schneller, billiger und effizienter.

Technische Zusammenfassung

1. Problemstellung

Die Optimierung von Systemen auf Basis von Large Language Models (LLMs), die aus mehreren Agenten bestehen (Agentic Workflows), ist derzeit eine große Herausforderung. Diese Systeme kombinieren Komponenten wie Chain-of-Thought-Reasoning, Tool-Aufrufe und Speichermanagement, um komplexe Aufgaben autonom zu lösen.

• Das Hauptproblem: Der Suchraum für optimale Workflow-Konfigurationen (Agenten-Topologien, Prompts, Kommunikationsmuster) ist enorm. Herkömmliche Methoden zur Optimierung basieren oft auf manueller Heuristik oder exhaustiver Suche (Trial-and-Error).
• Die Kostenfalle: Jede Evaluation eines Kandidaten-Workflows erfordert teure und zeitintensive Interaktionen mit LLM-APIs oder Laufzeitumgebungen. Dies macht die Suche nach optimalen Konfigurationen rechnerisch prohibitiv teuer und ineffizient.
• Datenmangel: Es gibt einen Mangel an gelabelten Daten für das Training von Vorhersagemodellen, da das Erstellen großer Datensätze mit bekannten Erfolgsquoten (Pass/Fail) extrem kostspielig ist. Zudem sind Agentic Workflows hochgradig heterogen (unterschiedliche Strukturen, Domänen, Tools), was das Lernen eines einheitlichen Modells erschwert.

2. Methodik: Agentic Predictor

Das Paper stellt Agentic Predictor vor, einen leichten Vorhersager (Predictor), der die Leistung von Agentic Workflows schätzt, ohne diese vollständig ausführen zu müssen. Das Framework besteht aus drei Kernkomponenten:

A. Multi-View Workflow Encoding (Multi-Ansicht-Kodierung)

Um die Heterogenität der Workflows abzubilden, wird nicht nur eine Graphenstruktur verwendet, sondern eine Multi-View-Repräsentation, die drei komplementäre Perspektiven integriert:

1. Graph-View: Modelliert die strukturellen Abhängigkeiten und direkten Interaktionen zwischen Agenten (DAG-Struktur). Es werden mehrere Graphen verwendet (Prompt-Graph, Code-Graph, Operator-Graph), um verschiedene Aspekte der Agenten-Definitionen zu erfassen.
2. Code-View: Kodiert die semantische Bedeutung des gesamten Workflow-Codes, einschließlich Kontrollflüssen, logischer Sequenzen und Tool-Nutzungsmuster. Dies geschieht durch einen separaten Encoder, der den Code global versteht.
3. Prompt-View: Erfasst die semantischen Embeddings der System- und Instruktions-Prompts, um Rollen, Verhaltensspezifikationen und Kontext zu kodieren.

Diese drei Views werden durch spezialisierte Encoder (GNNs für Graphen, MLPs für Code und Prompts) verarbeitet und in einem gemeinsamen latenten Raum aggregiert.

B. Cross-Domain Unsupervised Pretraining (Agentic Predictor+)

Um das Problem des Mangels an gelabelten Daten zu lösen, wird ein zweiphasiger Ansatz eingeführt:

• Vorab-Training (Pretraining): Der Multi-View-Encoder wird zunächst auf einer großen Menge an unbeschrifteten Workflows aus verschiedenen Domänen trainiert.
• Lernziele: Es werden zwei Verlustfunktionen genutzt:
  • Rekonstruktionsverlust: Der Decoder versucht, die ursprünglichen Eingaben (Graph, Code, Prompt) aus dem latenten Vektor wiederherzustellen.
  • Kontrastiver Verlust: Erzwängt, dass die Repräsentationen desselben Workflows über verschiedene Ansichten (z. B. Graph vs. Code) konsistent sind, während sie sich von anderen Workflows unterscheiden.
• Feinabstimmung (Fine-Tuning): Der vortrainierte Encoder wird dann mit einer kleinen Menge an gelabelten Daten (Workflow-Konfiguration + Erfolg/Misserfolg) für die eigentliche Leistungsvorhersage feinabgestimmt.

C. Performance Predictor & Search

Ein leichter Vorhersagekopf (z. B. ein MLP) wird auf den latenten Repräsentationen trainiert, um die Erfolgswahrscheinlichkeit (Pass/Fail) oder einen Score vorherzusagen. Dieser Predictor steuert dann die Suche nach optimalen Workflows, indem er Kandidaten priorisiert, bevor teure LLM-Aufrufe durchgeführt werden.

3. Wichtige Beiträge

1. Multi-View Encoding: Einführung eines Kodierungsrahmens, der strukturelle (Graph), semantische (Code) und kontextuelle (Prompt) Informationen kombiniert, um die Komplexität agenter Systeme besser abzubilden als rein graphbasierte Ansätze.
2. Cross-Domain Pretraining: Entwicklung einer Strategie zur unsupervised Pretraining über Domänen hinweg, um robuste Repräsentationen zu lernen und die Abhängigkeit von großen Mengen gelabelter Daten zu reduzieren.
3. Agentic Predictor Framework: Ein einheitliches Framework, das diese Komponenten vereint, um die Entwicklung agenter Workflows zu beschleunigen und die Kosten für Trial-and-Error-Verfahren drastisch zu senken.

4. Ergebnisse

Die Evaluation erfolgte auf dem FLORA-Bench, einem Benchmark, der drei Domänen abdeckt: Code-Generierung, Mathematik und logisches Schlussfolgern.

• Vorhersagegenauigkeit: Agentic Predictor übertraf starke Baselines (einschließlich GCN, GAT, Graph Transformer und MLP) konsistent.
  • Die durchschnittliche Genauigkeit verbesserte sich um bis zu 6,90 % gegenüber den besten Baselines.
  • Die durchschnittliche „Utility" (Fähigkeit, die besten Workflows korrekt zu ranken) verbesserte sich um bis zu 5,87 %.
• Datenknappheit: In Szenarien mit wenigen gelabelten Daten (z. B. nur 10 % der Trainingsdaten) zeigte die vortrainierte Variante (Agentic Predictor+) eine deutlich überlegene Stabilität und Genauigkeit im Vergleich zu Modellen ohne Pretraining.
• Out-of-Distribution (OOD): Das Modell zeigte starke Generalisierungsfähigkeiten, wenn es auf Frameworks oder Domänen getestet wurde, die im Training nicht gesehen wurden (z. B. Training auf AFlow, Test auf G-Designer).
• Vergleich mit LLM-Predictoren: Few-Shot LLMs (wie GPT-4 oder Claude), die direkt als Klassifikatoren verwendet wurden, schnitten deutlich schlechter ab (ca. 60-63 % Genauigkeit vs. ~85 % beim Predictor) und waren zudem viel teurer und langsamer.
• Effizienz: Die Inferenzzeit pro Sample beträgt nur ca. 0,054 ms bei einem Speicherverbrauch von 0,49 GB. Dies ist um Größenordnungen schneller und kostengünstiger als das Ausführen von LLM-Interaktionen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Verwendung von Performance Predictors ein vielversprechender Weg ist, um das Design von LLM-basierten Agenten-Systemen zu rationalisieren.

• Paradigmenwechsel: Statt jedes Workflow-Kandidat teuer auszuführen, ermöglicht der Ansatz eine schnelle, skalierbare Bewertung durch ein gelerntes Modell.
• Kosteneffizienz: Die einmaligen Trainingskosten amortisieren sich schnell, da sie die wiederholten, teuren LLM-API-Aufrufe während der Suchphase ersetzen.
• Zukunftsausblick: Obwohl der Fokus aktuell auf binären Erfolgsmetriken liegt, bietet das Framework eine solide Basis für zukünftige Arbeiten zu Multi-Objective-Optimierung (z. B. Genauigkeit vs. Kosten) und der Integration von zeitlichen Abläufen oder Benutzerfeedback.

Zusammenfassend bietet Agentic Predictor einen effizienten, datensparsamen und hochgenauen Weg, um die Suche nach optimalen agentic workflows zu beschleunigen, was für die praktische Skalierung von Multi-Agenten-Systemen entscheidend ist.