Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning
Dieses Paper präsentiert einen turnierbasierten Benchmark, der Large Language Models im Vergleich zu Doktoranden bei einem komplexen, marktorientierten Logistikproblem evaluiert und aufzeigt, dass von Menschen kodierte Agenten die von LLMs generierten Lösungen signifikant übertreffen, wobei die meisten LLM-Agenten daran scheitern, einfache Baselines zu übertreffen, und sogar optimale menschliche Strategien verschlechtern, wenn sie dazu aufgefordert werden, diese zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: Kann „Vibe Coding“ ein Graduiertenstudenten schlagen?
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Assistenten (ein Large Language Model, oder LLM), der Code schreiben kann, indem Sie einfach nur mit ihm sprechen. Sie sagen: „Baue mir eine Liefer-App“, und er tippt den Code in Sekundenschnelle fertig. Das nennt man „Vibe Coding“.
Die große Frage, die diese Arbeit stellt, ist: Ist dieser Roboter tatsächlich intelligent genug, um echte, chaotische und hochriskante Geschäftsprobleme zu lösen, oder ist er nur gut darin, Code zu schreiben, der richtig aussieht, aber versagt, wenn es kompliziert wird?
Um das herauszufinden, ließen die Forscher ein riesiges Coding-Turnier stattfinden.
Die Arena: Das „Auction, Pickup, and Delivery“-Spiel
Anstatt die Roboter einfache Matheaufgaben lösen zu lassen (wie „Was ist 2+2?“), brachten sie sie in eine komplexe Simulation namens Auction, Pickup, and Delivery Problem (APDP).
Stellen Sie sich das wie eine hochriskante Runde Logistik-Schach vor:
- Die Auktion: Mehrere Unternehmen (Agenten) bieten auf Lieferaufträge. Die Aufträge werden nacheinander verkauft. Man muss schätzen, wie hoch man bieten muss. Wenn man zu hoch bietet, verliert man Geld. Wenn man zu niedrig bietet, gewinnt man zwar den Auftrag, macht aber bei der Lieferung Verlust. Man muss erahnen, was die Konkurrenten tun werden.
- Die Planung: Sob es einen Auftrag gewonnen hat, muss man die beste Route für die LKWs planen, um Pakete abzuholen und zuzustellen. Man hat begrenzten Platz im LKW und darf die Regeln nicht brechen.
- Das Ziel: Der Gewinner ist das Unternehmen, das den meisten Gewinn erzielt (Einnahmen aus Geboten abzüglich der Fahrkosten).
Hier geht es nicht nur darum, Code zu schreiben, der nicht abstürzt; es geht darum, Code zu schreiben, der strategisch denkt, die Zukunft vorhersagt und die Gegner überlistet.
Die Kontrahenten
Die Forscher stellamen zwei Teams gegeneinander auf:
- Team Mensch: 17 Agenten, geschrieben von Graduiertenstudenten einer Universität (EPFL), noch bevor KI-Coding-Tools existierten. Diese Studenten verbrachten Wochen damit, nachzudenken, zu planen und von Hand zu coden.
- Team KI: 40 Agenten, geschrieben von den weltweit fortschrittlichsten KI-Modellen (wie GPT-5, Claude, Gemini) mittels „Vibe Coding“. Die Forscher gaben der KI exakt dieselben Anweisungen, die auch die Studenten erhielten.
Die Ergebnisse: Die Menschen gewinnen haushoch
Die Ergebnisse waren überraschend und eindeutig:
- Die Top 5 sind Menschen: In jedem einzelnen Turnier wurden die fünf besten Plätze von den menschlichen Studenten belegt. Die KI-Agenten konnten die Top 5 nicht knacken.
- KI vs. der „No-Brainer“-Baseline: Die Forscher erstellten einen sehr einfachen, dummen KI-Agenten (im Grunde ein Zufallsrater). 33 der 40 KI-Agenten verloren gegen diesen simplen Agenten. Die KI war strategisch so schlecht, dass ein einfacher Taschenrechner sie schlug.
- Das „Fix-It“-Desaster: In einem Abschlusstest nahmen die Forscher den Gewinner-Code der Menschen und fragten die beste KI, diesen zu „verbessern“. Die KI versuchte, den Code anzupassen, aber anstatt ihn besser zu machen, machte sie ihn schlechter. Die verbesserte Version fiel vom 1. Platz auf den 10. Platz zurück.
Warum scheiterte die KI?
Die Arbeit erklärt, dass KIs zwar hervorragend in der Syntax sind (Code schreiben, ohne Rechtschreibfehler zu machen), aber Schwierigkeiten beim Reasoning haben (verstehen, warum und wie komplexe Strategien funktionieren).
- Das Versagen der „Admissible Heuristic“: In einem einfacheren Test wurde die KI gebeten, einen speziellen mathematischen Trick (A*-Suche) anzuwenden, um den besten Pfad zu finden. Die KI vergaß immer wieder die grundlegendste Regel dieses Tricks, selbst als die Forscher sie explizit darauf hinwiesen. Es ist, als würde man einen Koch bitten, einen Kuchen zu backen, aber er vergisst, dass Eier eine wichtige Zutat sind, obwohl man es ihm gesagt hat.
- Der „Time-Out“-Bug: Die KI-Agenten gerieten oft in Endlosschleifen oder brauchten zu lange zum Nachdenken, wodurch sie die Auktionen verloren, weil ihnen die Zeit ablief. Der menschliche Code tat dies nicht.
- Mangel an Strategie: Die KI-Agenten boten oft blind oder planten Routen, die unnötig Treibstoff verschwendeten. Sie konnten den „Raum nicht lesen“ oder nicht vorhersagen, was ihre Konkurrenten taten.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass LLMs noch keine „Graduierten-Level-Coder“ sind.
Sie sind exzellent darin, Code zu schreiben, der läuft (keine Syntaxfehler), aber sie sind derzeit unfähig, Code zu schreiben, der in komplexen, realen Szenarien, die langfristige Planung und Strategie erfordern, tatsächlich gewinnt.
Die Analogie:
Stellen Sie sich vor, Sie haben einen Roboter, der ein perfektes Rezept für einen Kuchen schreiben kann. Er weiß genau, wie viele Tassen Mehl benötigt werden. Aber wenn Sie ihn bitten, eine Bäckerei in einer Stadt zu führen, in der sich die Preise minütlich ändern, die Konkurrenten versuchen, Ihre Kunden zu stehlen und Sie ein begrenztes Budget haben, wird der Roboter wahrscheinlich bankrott gehen. Er kann das Rezept schreiben, aber er kann kein Geschäft führen.
Die Forscher sagen, es ist an der Zeit, nicht mehr nur zu prüfen, ob Code „funktioniert“ (einen Test besteht), sondern zu prüfen, ob Code in der realen Welt tatsächlich gewinnen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.