💬 NLP

CATArena: Evaluating Evolutionary Capabilities of Code Agents via Iterative Tournaments

Dieses Paper stellt CATArena vor, ein neuartiges Framework, das die evolutionären Fähigkeiten von LLM-Code-Agenten durch iterative Turniere und ein duales Metriksystem evaluiert, wobei aufgezeigt wird, dass anfängliche Kompetenz keine Garantie für evolutionäres Potenzial darstellt und die derzeitigen Einschränkungen bei der gleichzeitigen Nutzung von Peer-Learning und Selbstreflexion hervorgehoben werden.

Ursprüngliche Autoren: Lingyue Fu, Xin Ding, Linyue Pan, Yaoming Zhu, Shao Zhang, Lin Qiu, Weiwen Liu, Weinan Zhang, Xuezhi Cao, Xunliang Cai, Jiaxin Ding, Yong Yu

Veröffentlicht 2026-02-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lingyue Fu, Xin Ding, Linyue Pan, Yaoming Zhu, Shao Zhang, Lin Qiu, Weiwen Liu, Weinan Zhang, Xuezhi Cao, Xunliang Cai, Jiaxin Ding, Yong Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu beurteilen, wie gut eine Gruppe neuer Lehrlingsköche beim Kochen ist.

Der alte Weg (Aktuelle Benchmarks):
Im Moment testen die meisten Menschen diese Köche, indem sie ihnen ein Rezept geben und sie bitten, einmalig ein Gericht zuzubereiten. Wenn das Gericht ganz okay schmeckt, bekommen sie eine Bestehensnote. Wenn es verbrannt ist, fallen sie durch.

Das Problem: Das sagt Ihnen nur, ob sie Anweisungen einmalig befolgen können. Es sagt Ihnen nicht, ob sie ihr eigenes Essen schmecken können, merken, dass es zu salzig ist, es korrigieren können oder ob sie einem Meisterkoch beim Kochen desselben Gerichts zusehen und dessen beste Techniken stehlen können, um beim nächsten Mal besser zu werden. Es ist, als würde man einen Marathonläufer danach beurteilen, wie schnell er die ersten 10 Meter läuft.

Der neue Weg (CATArena):
Die Autoren dieser Arbeit haben einen neuen Testplatz namens CATArena (Code Agent Tournament Arena) entwickelt. Anstatt eines einmaligen Kochtests bringen sie die Köche (KI-Code-Agenten) in ein Multi-Runden-Turnier.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die Turnier-Schleife (Tournament Loop)

Stellen Sie sich einen Boxring oder ein Schachturnier vor.

Runde 1: Jeder Agent versucht, ein Problem zu lösen (wie etwa ein Spiel wie Schach zu spielen oder ein Computerprogramm zu optimieren). Sie reichen ihren ersten „Zug“ oder Code ein.
Das Feedback: Das System führt den Code aus. Es sagt nicht einfach nur „Bestanden“ oder „Nicht bestanden“. Es gibt ihnen eine Bestenliste, eine Wiedergabe des Matches und den Code der Gewinner.
Die Evolution: Nun erhalten die Agenten eine zweite Chance. Sie müssen die Bestenliste analysieren, den Code der Gewinner studieren (Peer-Learning/Lernen von Gleichgesinnten) und ihre eigenen Fehler betrachten (Selbstreflexion). Dann schreiben sie ihren Code um, um besser zu werden.
Wiederholung: Dies geschieht über mehrere Runden hinweg. Das Ziel ist nicht nur, zu Beginn gut zu sein; das Ziel ist zu sehen, wie sehr sie sich im Laufe der Zeit verbessern können.

2. Zwei Arten von Herausforderungen

Die Arbeit testet die Agenten in zwei verschiedenen „Arenen“:

Die objektive Arena (Der Sololäufer): Stellen Sie sich ein Rennen vor, bei dem das Ziel darin besteht, so schnell wie möglich gegen eine Stoppuhr zu laufen. Die Agenten versuchen, ihren Code schneller laufen zu lassen und weniger Speicher zu verbrauchen. Sie konkurrieren gegen ein festes Ziel, aber sie können sehen, wie schnell alle anderen laufen, und versuchen, diese Geschwindigkeit zu übertreffen.
Die kompetitive Arena (Das Strategiespiel): Stellen Sie sich einen Pokertisch oder ein Spiel wie Go vor. Hier gibt es keine feste „perfekte“ Geschwindigkeit. Der einzige Weg zu gewinnen, ist, besser als die anderen Spieler zu sein. Wenn die anderen Spieler klüger werden, wird das Spiel schwieriger. Die Agenten müssen ihre Strategien anpassen, um die neuen, klügeren Gegner zu besiegen.

3. Die große Entdeckung

Die Forscher fanden etwas Überraschendes heraus: Gut zu beginnen bedeutet nicht zwangsläufig, gut im Lernen zu sein.

Der „Star“ vs. der „Wachstumsprozess“: Einige Agenten starteten als „Starspieler“ (sie schrieben sofort großartigen Code). Aber als das Turnier begann, blieben sie auf der Strecke. Sie konnten nicht verstehen, wie sie das Feedback nutzen sollten, um besser zu werden.
Der „Underdog“: Andere Agenten starteten als „Underdogs“ (ihr erster Code war chaotisch). Aber im Laufe des Turniers studierten sie die Gewinner, korrigierten ihre Fehler und wurden schließlich zu den Champions.
Die Lektion: Die Arbeit beweist, dass „Evolutionäre Kapazität“ (die Fähigkeit zu lernen und sich anzupassen) eine völlig andere Fähigkeit ist als „Statische Kapazität“ (die Fähigkeit, einfach nur einmalig Code zu schreiben).

4. Die „Black Box“ des Lernens

Die Autoren schauten in die Agenten hinein, um zu sehen, wie sie lernten. Sie fanden zwei Hauptwerkzeuge:

Selbstreflexion: In den Spiegel schauen und sagen: „Ich habe hier einen Fehler gemacht, ich muss das korrigieren.“
Peer-Learning: Den Gewinner beobachten und sagen: „Oh, die haben das so gemacht. Das werde ich auch versuchen.“

Der Haken: Die meisten aktuellen KI-Agenten sind schlecht darin, beide Werkzeuge gleichzeitig zu nutzen. Sie neigen entweder dazu, die Gewinner zu ignorieren und stattdessen immer wieder zu versuchen, ihre eigenen Fehler zu beheben (was sie oft nur verschlimmert), oder sie kopieren die Gewinner blind, ohne zu verstehen, warum. Nur einige wenige Top-Agenten schafften es, beide Strategien zu kombinieren, um sich wirklich zu entwickeln.

Zusammenfassung

CATArena ist ein neues Fitnessstudio für KI-Code-Agenten. Anstatt nur zu testen, ob sie einmalig ein Gewicht heben können, bringt es sie in eine saisonale Liga, in der sie ihre Gegner beobachten, ihre eigene Leistung analysieren und jede Woche stärker werden müssen. Die Arbeit zeigt, dass die Agenten, die im Laufe der Zeit lernen und sich anpassen können, andere sind als jene, die zu Beginn einfach nur natürlich talentiert sind, und dass die aktuelle KI immer noch Schwierigkeiten hat, die Kunst der kontinuierlichen Verbesserung zu meistern.

Technisches Resümee: CATArena

Problemstellung

Aktuelle Evaluierungsframeworks für LLM-Code-Agenten stützen sich überwiegend auf statische Single-Turn-Benchmarks, die die funktionale Korrektheit (z. B. Pass@k) innerhalb isolierter Entwicklungsszenarien messen. Die Autoren argumentieren, dass diese Metriken zwei kritische Dimensionen der realen Softwareentwicklung nicht erfassen können: iterative Evolution und kontinuierliche Optimierung. Reale Softwareentwicklung ist von Natur aus inkrementell und kollaborativ und beinhaltet Selbstreflexion über Ausführungsprotokolle sowie das Lernen von überlegenen Implementierungen durch Peers. Bestehende Benchmarks isolieren Agenten von den dynamischen Feedbackschleifen, die für eine Optimierung notwendig sind, indem sie Brute-Force-Lösungen als gleichwertig mit Experten-Optimierungen behandeln und somit die Fähigkeit eines Agenten zur Verfeinerung von Strategien über die Zeit hinweg nicht bewerten.

Methodik: Das CATArena-Framework

Um diese Einschränkungen zu adressieren, führen die Autoren CATArena (Code Agent Tournament Arena) ein, ein dynamisches Evaluierungsframework, das darauf ausgelegt ist, die evolutionären Fähigkeiten von Code-Agenten durch iterative Turniere zu bewerten.

1. Struktur des iterativen Turniers

Im Gegensatz zu statischen Benchmarks versetzt CATArena die Agenten in eine Multi-Turn-Entwicklungsschleife, die aus drei Phasen besteht:

Initialentwicklung (Runde 1): Agenten generieren eine initiale Lösung $C^{(1)}$ basierend auf Spezifikationen ohne externe Anleitung.
Ausführungs-Feedback: Der eingereichte Code wird in einer Sandboxed-Arena ausgeführt. Das System aggregiert die Ergebnisse in einem strukturierten Feedback-Set, das Ausführungsprotokolle, eine globale Bestenliste und Peer-Lösungen enthält.
Iterative Evolution (Runde $n > 1$ ): Agenten analysieren das Feedback, um ihren Code zu $C^{(n)}$ $C^{(n)}$ zu verfeinern. Dieser Prozess nutzt zwei Mechanismen:
- Selbstreflexion: Analyse von Ausführungsprotokollen, um Bugs oder Logikfehler zu identifizieren und zu beheben.
- Peer-Learning: Analyse überlegener Lösungen anderer Agenten, um bessere Strategien oder Algorithmen zu übernehmen.

2. Aufgabenkategorisierung

Das Framework instanziiert sechs diverse Aufgaben, die nach ihren Feedback-Signalen kategorisiert sind:

Kompetitive Aufgaben (Dynamisches Feedback): Agenten treten in einem Round-Robin-Turnier gegeneinander an. Der Schwierigkeitsgrad ist nicht stationär, da sich die „Gegner“-Population entwickelt. Zu den Aufgaben gehören Gomoku, Texas Hold'em, Schach und Bridge. Das Feedback umfasst vollständige Turnierprotokolle und Peer-Strategien.
Objektive Optimierungsaufgaben (Quasi-statische Feedback): Agenten optimieren gegen feste Metriken (z. B. Zeitkomplexität, Durchsatz), wobei der kompetitive Standard durch die Bestleistung der Population angehoben wird. Zu den Aufgaben gehören OIBench (algorithmische Effizienz) und SWE-Perf (repositoriale Leistungssteigerung).

3. Evaluierungsmetriken

Die Autoren schlagen ein duales Metriksystem vor, um statische Kompetenz von evolutionärem Potenzial zu entkoppeln:

Basis-Performance ( $S_{base}$ ): Misst die statische Kodierfähigkeit des Agenten in einem Zero-Shot-Setting (Runde-1-Performance relativ zur initialen Population).
Evolutionäre Kapazität ( $S_{evo}$ ): Quantifiziert die Verbesserungsrate, die durch Feedback getrieben wird. Sie wird als Steigung ( $k_i$ ) der linearen Anpassung der globalen Performance-Score ( $G^n_i$ ) eines Agenten über $N$ Runden mittels Ordinary Least Squares (OLS) berechnet. Diese Metrik erfasst den Trend der Adaptation und mildert gleichzeitig die Auswirkungen transienter Fehler oder Ausreißer ab.

Kernergebnisse

Umfangreiche Experimente wurden mit minimalen Agenten (betrieben durch verschiedene LLMs via Google ADK) und State-of-the-Art (SoTA) kommerziellen Code-Agenten durchgeführt.

Orthogonalität der Fähigkeiten: Die Studie zeigt eine schwache Korrelation zwischen $S_{base}$ und $S_{evo}$ . Hohe initiale Fertigkeit garantiert keine starken evolutionären Fähigkeiten. Während beispielsweise Claude-4 die erste Runde in Schach dominierte, erlebte es während der Evolution eine signifikante Regression, wohingegen Gemini-2.5-Pro eine „Low-Start, High-Growth“-Trajektorie in Gomoku zeigte.
Aufgabenspezifische Dynamiken: Evolutionäre Muster variieren signifikant je nach Aufgabe. Kompetitive Aufgaben (z. B. Hold'em) fördern tendenziell Konvergenz (Agenten imitieren erfolgreiche Strategien), während objektive Aufgaben (z. B. OIBench) Divergenz vorantreiben (Agenten drängen in Richtung theoretischer Limits). In hochkomplexen Umgebungen wie Schach zeigten viele Agenten negative evolutionäre Trends, was auf eine Reasoning-Lücke hindeutet, die durch Feedback nicht überbrückt werden konnte.
Mechanismus-Limitierungen: Ablationsstudien zeigen, dass aktuelle Agenten Schwierigkeiten haben, Selbstreflexion und Peer-Learning zu synergetisch zu kombinieren. Die meisten Agenten verlassen sich primär auf einen Mechanismus (oft Selbstreflexion) und behandeln den anderen als Rauschen. Nur ausgewählte hochfähige Agenten (z. B. Claude, Qwen) konnten Peer-Lösungen effektiv nutzen, um Performance-Durchbrüche zu erzielen.
Robustheit: Das Framework demonstriert eine hohe Erweiterbarkeit und Resistenz gegenüber Aufgabenvarianten. Als Regeln verändert wurden (z. B. Invertierung der Hand-Rankings in Hold'em), variierten die $S_{base}$ -Scores erheblich, aber $S_{evo}$ behielt seine diskriminative Kraft bei, was bestätigt, dass es die intrinsische adaptive Fähigkeit misst und nicht lediglich auswendig gelernte Lösungen.

Bedeutung und Ansprüche

Das Paper beansprucht, das erste zu sein, das die evolutionäre Kapazität von Code-Agenten als eine distinkte Dimension der Intelligenz identifiziert und formalisiert, die von der statischen Generierungskompetenz getrennt ist.

Paradigmenwechsel: CATArena verschiebt den Evaluierungsstandard von statischer Korrektheit hin zu dynamischer evolutionärer Kapazität und richtet sich damit an der iterativen Natur der realen Ingenieurstechnik aus.
Neue Grenze: Die Ergebnisse legen nahe, dass das evolutionäre Potenzial eine kritische Grenze für die zukünftige Forschung an agentischen Systemen darstellt, da aktuelle kommerzielle Scaffolds zwar die statische Generierung verbessern, aber die Mechanismen für kontinuierliche Selbstverbesserung nicht adressieren.
Zuverlässigkeit: Durch die Validierung des Frameworks gegen ungesehene Aufgabenvarianten und diverse Umgebungen (einschließlich multilingualer und ML-Tracks) etablieren die Autoren CATArena als einen kontinuierlichen und zuverlässigen Standard zur Bewertung der nächsten Generation intelligenter Agenten.

Die Autoren kommen zu dem Schluss, dass iteratives Feedback Agenten zwar befähigt, die typischen Plateaus der Single-Round-Entwicklung zu überwinden, jedoch weiterhin erhebliche Herausforderungen in komplexen Domänen bestehen, in denen Agenten Schwierigkeiten haben, robuste Ausgangspunkte für die Evolution zu generieren.