The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

Die unsichtbare Hand hinter dem Roboter-Coder

Stellen Sie sich vor, Sie schauen einen Kochwettbewerb. Sie sehen zwei brillante Köche, Chef A und Chef B, die beide versuchen, den perfekten Schokoladenkuchen zu backen. Die Juroren bewerten normalerweise nur den fertigen Kuchen und sagen: „Chef A hat einen besseren Kuchen gemacht!“ Aber was wäre, wenn die Juroren vergessen hätten zu erwähnen, dass Chef A eine hochmoderne, automatisierte Küche benutzte, die jede Zutat vorverarbeitete und den Ofen auf die Sekunde genau vorheizte, während Chef B in einem staubigen Schuppen mit einem rostigen Messer und einem kaputten Herd arbeitete? Das Ergebnis hängt nicht nur vom Talent der Köche ab; es geht um die Küche, die ihnen zur Verfügung gestellt wurde.

In der Welt der künstlichen Intelligenz, speziell bei den „Coding Agents“ (KI-Programmen, die Software schreiben), haben wir genau das getan. Wir haben KI-Modelle danach bewertet, wie viele Programmieraufgaben sie lösen, während wir die „Küche“, in der sie arbeiten, ignoriert haben. Diese Küche wird als Harness bezeichnet. Betrachten Sie ein Harness als den unsichtbaren Assistenten, der der KI ihre Werkzeuge reicht, ihr Gedächtnis verwaltet und entscheidet, wann sie mit der Arbeit aufhören soll. Einige Harnesses sind wie ein hocheffizienter Roboter-Butler, der alles perfekt organisiert; andere sind wie ein chaotischer Praktikant, der ständig dieselbe Frage immer wieder stellt und dadurch Zeit und Energie verschwendet. Die große Frage, die Forscher stellen, lautet: Zählt das Gehirn der KI mehr oder die Qualität ihres Assistenten?

Das große „Küchen“-Experiment

Ein Forscherteam beschloss, nicht länger zu raten, sondern zu messen. Sie bauten ein massives Experiment auf, um zu sehen, was passiert, wenn man die „Küche“ (das Harness) austauscht, während der „Koch“ (das KI-Modell) exakt derselbe bleibt. Sie wählten zwei sehr intelligente KI-Coding-Modelle, Qwen 3.6 Plus und MiniMax M2.5, und baten sie, 50 verschiedene Programmierrätsel zu lösen. Aber hier ist der Clou: Sie ließen diese identischen Modelle durch drei verschiedene Open-Source-Harnesses laufen, genannt Goose, OpenCode und OpenHands-SDK.

Die Ergebnisse waren, gelinde gesagt, schockierend.

Als die Forscher untersuchten, wie viele Rätsel die KI löste (die „Pass Rate“ bzw. Erfolgsquote), war der Unterschied zwischen den Harnesses minimal. Unabhängig davon, ob die KI Goose, OpenCode oder OpenHands-SDK nutzte, löste sie etwa die gleiche Anzahl an Problemen – meist zwischen 38 % und 50 %. Das Wechseln des Harnesses machte die KI nicht plötzlich zum Genie oder zum Versager; die Erfolgsquote blieb weitgehend stabil.

Wenn sie jedoch untersuchten, wie hoch die Kosten für das Lösen dieser Probleme waren, änderte sich das Bild komplett. Die Forscher maßen dies in „Tokens“, was im Grunde die Dateneinheiten sind, die die KI verarbeitet (wie Wörter oder Codefragmente). Sie fanden heraus, dass die Wahl des Harnesses die Kosten um den astronomischen Faktor von 40 veränderte.

Um das in Perspektive zu setzen: Wenn das Goose-Harness der KI half, ein Rätsel mit etwa 28.000 Tokens zu lösen, brachte das OpenCode-Harness exakt dieselbe KI dazu, über 1,1 Millionen Tokens zu verbrauchen, um dasselbe Rätsel zu lösen. Das ist ein 40-facher Unterschied in den Kosten für das exakt gleiche Ergebnis! Es ist, als würde ein Koch ein einzelnes Ei verwenden, um einen Kuchen zu backen, während der andere Koch für denselben Kuchen 40 Eier verbraucht, einfach weil seine Küchenwerkzeuge ineffizient sind.

Die „Idle Turn“-Steuer

Warum stiegen die Kosten so stark an? Die Forscher entdeckten einen verborgenen Übeltäter: Idle Turns (Leerlauf-Schritte).

Stellen Sie sich vor, Sie unterhalten sich mit einem Freund, der versucht, Ihren Computer zu reparieren. Manchmal sitzt er einfach nur da und denkt: „Hm, lass mich mal nachsehen...“, ohne tatsächlich etwas zu tippen oder etwas auf dem Bildschirm zu verändern. In der Welt der KI werden dies als „No-Action Turns“ bezeichnet. Das OpenCode-Harness ließ die KI etwa 2 Mal pro Aufgabe in solchen Denk-Schleifen verharren, während das Goose-Harness dies nur etwa 0,2 Mal tat.

Jedes Mal, wenn die KI in einer dieser Schleifen verweilt, muss sie den gesamten Gesprächsverlauf zurück an den Server senden, um zu verfolgen, wo sie sich befindet. Das ist so, als würde man jedes Mal, wenn man kurz innehält, um nachzudenken, ein 100-seitiges Tagebuch verschicken. Da OpenCode die KI viel häufiger zum Innehalten und Nachdenken zwang, verbrannte sie Tokens in einem massiven Tempo. Die Forscher nennen dies die „Per-Task Wait Tax“ (Warte-Steuer pro Aufgabe). Es ist nicht nur ein Kostenfaktor in Geld; es ist ein Kostenfaktor in Zeit. Ein menschlicher Entwickler, der die KI beobachtet, muss diese Leerlauf-Schleifen aussitzen und auf einen Bildschirm starren, auf dem nichts passiert, während gleichzeitig Geld und Geduld verbrannt werden.

Der „Fingerabdruck“ des Scheiterns

Die Studie fand auch heraus, dass jedes Harness seinen eigenen einzigartigen Weg des Scheiterns hatte, wie ein Fingerabdruck. Diese Muster änderten sich nicht basierend auf dem verwendeten KI-Modell; sie wurden durch das jeweilige Harness verursacht.

• Goose war der Vorsichtige. Wenn es feststeckte, stoppte es und sagte: „Das kann ich nicht tun“, anstatt zu raten. Es verschwendete selten Zeit damit, eine schlechte Idee zu verifizieren.
• OpenHands-SDK war der Beharrliche. Es versuchte immer wieder, seine Antworten zu verifizieren oder weiterzuarbeiten, bis es ein hartes Limit erreichte (das „Max Turns“-Limit).
• OpenCode war derjenige, der in Schleifen stecken blieb. Es lief entweder in das Zeitlimit („Wall-Time“-Limit) oder blieb in einem „Hang“-Zustand hängen, wobei es sich im Kreis drehte, ohne jemals fertig zu werden.

Das bedeutet: Wenn Sie ein Entwickler sind, wählen Sie nicht nur eine KI; Sie wählen einen Stil des Scheiterns. Wollen Sie eine KI, die schnell und ehrlich aufgibt, oder eine, die so lange im Kreis dreht, bis Ihnen die Geduld ausgeht?

Das wichtigste Fazit

Die zentrale Lehre aus dieser Arbeit ist, dass wir KI-Coding-Benchmarks bisher völlig falsch betrachtet haben. Wir haben Modelle wie Qwen oder MiniMax so bewertet, als sei nur deren Name entscheidend. Doch diese Studie zeigt, dass das Harness (die Küche) genauso wichtig ist wie das Modell (der Koch).

Wenn Sie wissen wollen, wie viel eine KI Sie tatsächlich kosten wird oder wie lange sie braucht, um eine Aufgabe zu erledigen, können Sie nicht nur auf den Namen des Modells schauen. Sie müssen das Paar betrachten: das Modell und das Harness, in dem es läuft. Eine intelligente KI in einem schlechten Harness kann 40 Mal teurer sein als eine intelligente KI in einem guten Harness.

Die Forscher schlagen vor, dass wir in Zukunft nicht nur die „Pass Rate“ melden sollten. Wir müssen die Kosten pro gelöster Aufgabe, die Anzahl der Idle Turns und die Fehlermuster angeben. Denn für einen echten menschlichen Entwickler ist der Unterschied zwischen einer 50 %igen Erfolgsquote, die 1 Dollar kostet, und einer 50 %igen Erfolgsquote, die 40 Dollar kostet, der Unterschied zwischen einem nützlichen Werkzeug und einem Geldgrab. Der „Scaffold Effect“ (Gerüst-Effekt) ist real, und es ist an der Zeit, dass wir aufhören, die unsichtbare Hand zu ignorieren, die den Roboter leitet.