Beyond Local Code Optimization: Multi-Agent Reasoning for Software System Optimization

Diese Arbeit stellt ein Multi-Agenten-Framework vor, das durch die Integration von Architektur- und Abhängigkeitsinformationen über die reine Syntax hinausgeht, um in Microservice-Systemen ganzheitliche Performance-Optimierungen zu ermöglichen, was in einem Proof-of-Concept zu einer 36,58%igen Steigerung des Durchsatzes und einer 27,81%igen Verringerung der durchschnittlichen Antwortzeit führte.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen, hochkomplexen Supermarkt. Dieser Supermarkt ist nicht nur ein einzelnes Gebäude, sondern besteht aus vielen verschiedenen Abteilungen: der Gemüseabteilung, der Kasse, dem Lager, der Buchhaltung und der Lieferkette. Alle diese Abteilungen müssen perfekt zusammenarbeiten, damit der Laden reibungslos läuft.

Das Problem: Der "Einzelne-Regal"-Ansatz
Bisher haben KI-Systeme (wie große Sprachmodelle) versucht, diesen Supermarkt zu optimieren, indem sie sich nur auf ein einziges Regal konzentriert haben. Ein KI-System könnte sagen: "Hey, in der Gemüseabteilung liegt die Tomate zu weit hinten, schieben wir sie nach vorne." Das ist gut für die Tomate, aber es ignoriert, dass vielleicht das Lager zu weit weg ist, die Kasse zu langsam arbeitet oder die Lieferwagen zu oft ankommen.

Die alten Methoden schauen also nur auf den lokalen Code (das einzelne Regal) und verstehen nicht, wie sich eine Änderung dort auf den gesamten Laden auswirkt.

Die Lösung: Ein Team von Spezialisten (Multi-Agenten)
Die Forscher in diesem Papier haben eine neue Idee entwickelt: Statt eines einzelnen KI-Systems, das nur auf ein Regal schaut, haben sie ein Team aus vier spezialisierten KI-Assistenten (einen "Multi-Agenten-Rahmen") zusammengestellt, die wie ein gut koordiniertes Management-Team arbeiten.

Hier ist, was jeder dieser Assistenten macht, erklärt mit einfachen Bildern:

1. Der Architekt (Zusammenfassungs-Agent):
   Dieser Assistent geht durch den ganzen Supermarkt und zeichnet eine Landkarte. Er versteht nicht nur, wo die Regale stehen, sondern auch, wie die Kasse mit dem Lager verbunden ist, wo die Lieferwagen einfahren und wie die Mitarbeiter kommunizieren. Er erstellt einen "Bauplan" des gesamten Systems.

   • Analogie: Ein General, der die gesamte Schlachtordnung sieht, nicht nur einen einzelnen Soldaten.

2. Der Detektiv (Analyse-Agent):
   Mit Hilfe der Landkarte sucht dieser Assistent nach Engpässen. Er fragt: "Warum dauert es so lange, bis ein Kunde an der Kasse ist?" Vielleicht liegt es nicht an der Kasse selbst, sondern daran, dass die Lieferwagen zu oft gleichzeitig ankommen und den Weg blockieren. Er findet die wahren Ursachen für die Langsamkeit, die oft zwischen den Abteilungen liegen.

   • Analogie: Ein Arzt, der nicht nur das schmerzende Knie behandelt, sondern herausfindet, ob das Problem eigentlich durch eine falsche Haltung beim Laufen verursacht wird.

3. Der Handwerker (Optimierungs-Agent):
   Sobald der Detektiv das Problem gefunden hat, schlägt dieser Handwerker konkrete Lösungen vor. Aber er ist vorsichtig! Er weiß, dass er nicht einfach eine Wand einreißen darf, wenn dadurch das Dach einstürzt. Er ändert nur das, was sicher ist und das Gesamtsystem verbessert.

   • Analogie: Ein Ingenieur, der einen besseren Motor vorschlägt, ohne das Chassis des Autos zu zerstören.

4. Der Prüfer (Verifikations-Agent):
   Bevor die Änderungen wirklich umgesetzt werden, testet dieser Prüfer alles. Läuft der Laden immer noch sicher? Sind die Kunden zufrieden? Er simuliert den Betrieb unter Stress, um sicherzustellen, dass die neuen Pläne wirklich funktionieren.

   • Analogie: Ein Sicherheitsinspektor, der den neuen Fahrplan testet, bevor der Zug abfährt.

Das Ergebnis: Ein schnellerer Supermarkt
Die Forscher haben dieses Team an einem echten Beispiel getestet (einem kleinen Online-Shop namens "TeaStore"). Das Ergebnis war beeindruckend:

• Der Shop konnte 36 % mehr Bestellungen pro Sekunde abwickeln (wie ein Supermarkt, der plötzlich viel schneller Kunden bedient).
• Die Wartezeit für die Kunden sank um fast 28 %.

Warum ist das wichtig?
Früher mussten Menschen stundenlang durch tausende Zeilen Code schauen, um zu verstehen, warum ein System langsam ist. Diese neue Methode nutzt KI, um nicht nur den Code zu lesen, sondern das ganze System zu verstehen. Sie erkennt, wie die verschiedenen Teile (wie Microservices, Datenbanken und Server) zusammenarbeiten, und optimiert das Ganze, nicht nur die Einzelteile.

Zusammenfassend:
Statt einen einzelnen Soldaten zu trainieren, haben die Forscher eine Elite-Einheit geschaffen, die den gesamten Schlachtfeldplan versteht, die Schwachstellen findet und gemeinsam eine Strategie entwickelt, um den gesamten "Supermarkt" schneller und effizienter zu machen.

Technische Zusammenfassung

Problemstellung

Moderne Softwaresysteme bestehen zunehmend aus interagierenden Komponenten wie Microservices, Datenbanken und gemeinsamer Infrastruktur. Bisherige Ansätze zur automatisierten Performance-Optimierung mittels Large Language Models (LLMs) und KI-Agenten konzentrieren sich jedoch überwiegend auf lokale, syntaxgetriebene Code-Transformationen (z. B. einzelne Funktionen oder Klassen).

Dieser Fokus hat zwei wesentliche Nachteile:

1. Er ignoriert, dass Performance-Engpässe oft aus Interaktionen über Komponenten- und Schichtgrenzen hinweg entstehen (z. B. zwischen Datenbank, Middleware und Shared Infrastructure).
2. Reine Funktions- oder Dateiebene kann das Gesamtverhalten des Systems oder übergreifende Engpässe („cross-cutting bottlenecks") nicht erfassen.

Die zentrale Forschungsfrage lautet daher: Können automatisierte Techniken Performance-Probleme identifizieren und lösen, die aus der Architektur und der Interaktion von Komponenten entstehen, ohne dabei die Korrektheit des Systems zu gefährden?

Methodik: Ein Multi-Agenten-Framework

Die Autoren stellen ein Multi-Agenten-Framework vor, das statische Analyse mit agiler Reasoning-Fähigkeit kombiniert, um von lokalen Code-Änderungen zu einer System-weiten Optimierung überzugehen. Das Framework ist in vier koordinierte Agenten-Rollen unterteilt, die in einem zyklischen Prozess zusammenarbeiten:

1. Zusammenfassungs-Agenten (Summarization Agents):

   • Component Summary Agent: Extrahiert die strukturelle Architektur (Service-Grenzen, Hierarchien, Schnittstellen, statische Abhängigkeiten).
   • Behavior Summary Agent: Analysiert ausführungsrelevante Eigenschaften wie interprozedurale Aufrufgraphen, Kontrollfluss, Synchronisationskonstrukte (Locks) und Datenbankzugriffsmuster.
   • Environment Summary Agent: Erfasst Laufzeit- und Deployment-Kontexte (Compiler-Konfigurationen, Hardware-Ressourcen, Abhängigkeiten).
   • Ziel: Erstellung einer rechnerischen Abstraktion, die sowohl Code-Struktur als auch System-Architektur und Laufzeitkontext vereint.

2. Analyse-Agent (Analysis Agent):

   • Nutzt die aggregierten Signale (Call Graphs, Hotspots, Abhängigkeiten), um Performance-Engpässe zu identifizieren.
   • Priorisiert Optimierungsmöglichkeiten basierend auf geschätztem Impact und Konfidenz.
   • Erstellt einen strukturierten Bericht mit belegten Prioritäten und potenziellen Risikobereichen.

3. Optimierungs-Agent (Optimization Agent):

   • Übersetzt die Analyse-Ergebnisse in konkrete, verifizierbare Code-Änderungen.
   • Einschränkung: Änderungen müssen „non-breaking" sein (keine Änderungen an öffentlichen APIs oder Service-Schnittstellen), um die Systemkorrektheit zu wahren.
   • Generiert strukturierte Reports mit Unified Diffs und technischen Begründungen.

4. Performance-Evaluierungs-Agent (Performance Evaluation Agent):

   • Validiert die Korrektheit durch Test-Suiten (z. B. JUnit).
   • Führt dynamisches Profiling unter repräsentativen Workloads durch und vergleicht Metriken (Latenz, Durchsatz, Ressourcennutzung) mit dem Baseline-System.
   • Das Ergebnis fließt als Feedback in den nächsten Zyklus ein, bis keine weiteren Optimierungen mehr möglich sind.

Technische Implementierung:
Das Prototyp-System wurde in Python mit LangGraph implementiert (29 Dateien, 8.000 Zeilen Code). Als statische Analyse-Engine dient CodeQL, das Quellcode in abfragbare Datenbanken (AST, Control-Flow-Graphs, Call Graphs) umwandelt. Die LLMs (hier GPT-5.2) steuern die Agenten-Logik.

Wesentliche Beiträge

1. Neues Framework: Ein Multi-Agenten-System, das statische Analyse integriert, um übergreifende Interaktionen und Performance-Engpässe auf Systemebene zu reasoningen.
2. Architektur-Integration: Die Kombination von Kontrollfluss-, Datenfluss- und Architektursignalen ermöglicht ein ganzheitliches Verständnis, das über reine Code-Syntax hinausgeht.
3. Proof of Concept: Eine funktionierende Implementierung, die zeigt, dass KI-Agenten komplexe, systemweite Optimierungsstrategien entwickeln und anwenden können.

Ergebnisse (Proof of Concept)

Das Framework wurde am Beispiel von TeaStore (eine Java-basierte Microservice-Anwendung für den Online-Handel) evaluiert.

Identifizierte Optimierungen:

• O1 (HTTP-Client-Wiederverwendung): Umstellung von pro-Request-Erstellung auf Singleton-Patterns zur Vermeidung redundanter Verbindungspool-Initialisierungen.
• O2 (Lock-Konkurrenz-Reduktion): Ersetzung synchronisierter Methoden durch volatile-Flags auf kritischen Pfaden, um Thread-Blocking zu eliminieren.
• O3 (Objekt-Allokation): Nutzung geteilter ObjectMapper-Instanzen statt pro-Request-Erstellung, um GC-Druck und CPU-Overhead zu senken.

Performance-Gewinne:

• Durchsatz (Throughput): Steigerung um 36,58 % (von 1197,79 auf 1635,89 Requests/Sekunde).
• Durchschnittliche Antwortzeit: Reduktion um 27,81 % (von 12,84 ms auf 9,27 ms).
• Latenz-Verbesserungen: Signifikante Reduktion bei P50 (-30,77 %), P90 (-21,74 %) und P99 (-11,54 %).
• Kosten/Effizienz: Der gesamte Optimierungsprozess benötigte ca. 1,6 Millionen Tokens, kostete 1,28 USD und dauerte etwa 24 Minuten.

Bedeutung und Ausblick

Dieses Paper markiert einen Paradigmenwechsel in der KI-gestützten Softwareentwicklung: weg von isolierten Code-Refactorings hin zu ganzheitlichem System-Engineering. Es beweist, dass KI-Agenten in der Lage sind, komplexe Abhängigkeiten in Microservice-Architekturen zu verstehen und systemweite Optimierungen vorzunehmen, die menschliche Experten oft übersehen.

Die Arbeit legt den Grundstein für zukünftige Forschung in Richtung:

• Automatisierte Vorhersage des Performance-Impacts über verschiedene Workloads hinweg.
• Kostenbewusste Priorisierung von Optimierungen (Trade-off zwischen Token-Kosten und Performance-Gewinn).
• Erweiterung auf diverse Architekturen und Programmiersprachen (z. B. DeathStarBench).
• Validierung mit Open-Source-Modellen zur Sicherstellung der Reproduzierbarkeit.

Zusammenfassend zeigt die Studie, dass Multi-Agenten-Systeme das Potenzial haben, das traditionell manuelle und expertengetriebene Feld des Performance-Engineerings zu automatisieren und skalierbar zu machen.