The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task
Diese Studie zeigt, dass die Wahl des Agent-Scaffoldings einen weitaus größeren Einfluss auf die Kosten und die Zuverlässigkeit von KI-Coding-Agenten hat als die zugrunde liegende Tool-Schnittstelle (MCP vs. CLI), was verdeutlicht, dass MCP-Unterstützung oft unnötig ist und signifikant teurer sein kann als die direkte Ausführung über das CLI.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die digitale Werkstatt: Die Bühne bereiten
Stellen Sie sich vor, Sie hätten einen brillanten, aber sehr wörtlich nehmenden Roboter-Assistenten. Dieser Robbot kann Geschichten schreiben, mathematische Probleme lösen und über alles plaudern, aber er lebt in einem versiegelten Raum. Er kann Ihren Computerbildschirm nicht sehen, Ihre Dateien nicht öffnen oder auf Schaltflächen auf einer Website klicken. Um tatsächlich Arbeit zu verrichten, benötigen Sie einen „Vorarbeiter“, der zwischen dem Roboter und der realen Welt steht. Dieser Vorarbeiter wird als Agent Scaffolding bezeichnet. Seine Aufgabe ist es, auf die Ideen des Roboters zu hören, sie in Handlungen zu übersetzen (wie „öffne diese Datei“ oder „sende diese E-Mail“) und dann die Ergebnisse zurückzubringen, damit der Roboter weiterdenken kann.
Lange Zeit haben die Leute darüber gestritten, was der beste Weg ist, diesen Vorarbeiter zu bauen. Eine beliebte Methode, genannt MCP (Model Context Protocol), ist so, als würde man dem Roboter ein riesiges, detailliertes Lexikon für jedes einzelne Werkzeug geben, das er jemals brauchen könnte. Jedes Mal, wenn der Roboter um Hilfe bittet, händigt der Vorarbeiter ihm das ganze Lexikon erneut aus, nur für den Fall. Eine andere Methode, das CLI (Command-Line Interface), ist einfacher: Der Vorarbeiter gibt dem Roboter einfach einen einfachen Werkzeugkasten und sagt: „Du weißt ja, wie man einen Hammer und einen Schraubendreher benutzt, oder? Finde selbst heraus, wie du die spezifischen Werkzeuge benutzt, die du brauchst.“
Die große Frage, die sich alle stellen, lautet: Welche Methode kostet weniger? Da der Roboter jedes Mal, wenn er mit dem Computer kommuniziert, für die Wörter bezahlen muss, die er sendet und empfängt (Tokens), nahmen die Leute an, dass die „riesige Lexikon“-Methode (MCP) unglaublich teuer sein würde, weil sie so viel zusätzlichen Text sendet. Einige Experten schätzten sogar, dass sie 35 Mal teurer sein könnte als die einfache Werkzeugkasten-Methode. Aber niemand hatte dies jemals fair gemessen, und die Zahlen waren überall völlig unterschiedlich.
Das große Werkzeugkasten-Duell
In dieser Studie beschlossen Forscher, die Debatte durch ein massives, kontrolliertes Experiment zu entscheiden. Sie haben nicht nur geraten; sie bauten einen digitalen Hindernisparcours – eine spezifische Aufgabe, die sechs Schritte umfasst, wie etwa einen Fehler im Code finden, ihn beheben und ihn an ein Team senden. Sie ließen diese Aufgabe dann durch sieben verschiedene „Vorarbeiter“ (Agent Scaffoldings) und fünf verschiedene Roboter-Gehirne (KI-Modelle) laufen, um zu sehen, wie viel es tatsächlich kostete, den Job zu erledigen.
Hier ist die Wendung: Die Forscher fanden heraus, dass der Vorarbeiter selbst viel wichtiger war als der Werkzeugkasten.
Die überraschendste Entdeckung war, dass zwei der sieben getesteten Vorarbeiter gar nicht über die „riesige Lexikon“-Fähigkeit (MCP) verfügten. Sie nutzten nur den einfachen Werkzeugkasten (CLI). Dennoch schlossen sie jede Aufgabe perfekt ab. Sie schlossen sie nicht nur ab, sondern sie waren auch 5- bis mal 28-mal günstiger als die schicken Vorarbeiter, die das Lexikon besaßen. Tatsächlich sprang die Kostenbelastung bei einem spezifischen kleinen Roboter-Gehirn um das 139-fache in die Höhe, nur weil es mit einem anderen Vorarbeiter kombiniert wurde, obwohl der Roboter und die Aufgabe exakt dieselben waren.
Was ist also mit dem „riesigen Lexikon“ (MCP) und dessen Teuerkeit?
Die Forscher versuchten, die beiden Methoden direkt innerhalb desselben Vorarbeiters zu vergleichen, aber die Ergebnisse waren chaotisch und inkonsistent. Manchmal kostete das Lexikon mehr, manchmal weniger und manchmal war es gleich viel. Die Daten waren zu instabil, um definitiv zu sagen, dass eine Methode eindeutig günstiger war als die andere. In einem fairen Kampf war die Datenlage zu wackelig. Sie fanden jedoch einen klaren Unterschied: Wenn etwas schiefging, war die Lexikon-Methode (MCP) viel teurer. Etwa 12,9 % des Geldes, das bei den MCP-Läufen ausgegeben wurde, kaufte nichts (weil die Aufgabe fehlschlug), verglichen mit nur 2,2 % bei den einfachen Werkzeugkasten-Läufen. Aber die Roboter scheiterten mit beiden Methoden genauso oft; es war nur so, dass sie, wenn die MCP-Roboter scheiterten, mehr Geld verschwendeten.
Die „Magie“ des Vorarbeiters
Die Studie deckte auch einen hinterhältigen Trick auf. Die Forscher sagten den Robotern genau, welchen Werkzeugkasten sie benutzen sollten. Aber als sie die Protokolle überprüften, stellten sie fest, dass die Roboter die Anweisungen oft ignorierten! Einigen Robotern wurde das „riesige Lexikon“ gegeben, aber sie nutzten stillschweigend den einfachen Werkzeugkasten stattdessen. Andere machten das Gegenteil. Das bedeutet: Wenn man einen Roboter einfach nur fragt „Wie viel hat das gekostet?“, ohne zu prüfen, was er tatsächlich getan hat, misst man eine Mischung aus beiden Methoden, was die Zahlen nutzlos macht.
Das Fazit
Die wichtigste Erkenntnis ist nicht, dass ein Werkzeug magisch und das andere Müll ist. Stattdessen legt die Studie nahe, dass die Art und Weise, wie man den Vorarbeiter des Roboters baut, der entscheidende Faktor dafür ist, wie viel es kostet.
- Für einfache, wiederholbare Aufgaben: Ein kleiner, maßgeschneiderter Vorarbeiter, der nur den Basisteil des Werkzeugkastens (CLI) nutzt, ist weitaus günstiger und zuverlässiger als ein riesiger, allgemeiner Assistent, der ein massives Lexikon mit sich führt.
- Für kleine Roboter-Gehirne: Wenn Sie ein kleineres, günstigeres KI-Modell auf Ihrem eigenen Computer ausführen, können die „Allzweck-Vorarbeiter“ die Kosten für die Aufgabe fast um das 140-fache in die Höhe treiben, nur indem sie zu geschwätzig sind und zu viel unnötiges Gepäck mit sich führen.
Die Forscher kamen zu dem Schluss, dass wir für spezifische, gut definierte Aufgaben nicht den schweren, teuren „Riesiges-Lexikon“-Ansatz benötigen. Wir können schlankere, günstigere Systeme bauen, die die Arbeit erledigen, ohne das zusätzliche Gewicht. Und wenn man den schicken Lexikon-Ansatz verwendet, muss man sicherstellen, dass der Roboter ihn auch tatsächlich benutzt, sonst bezahlt man für ein Werkzeug, das man nie angefasst hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.