Signal or Noise? A Benchmark Study of Agent Skills in Web Development

In der modernen Landschaft der Softwareerstellung hat sich künstliche Intelligenz von einem einfachen Werkzeug, das Fragen beantwortet, zu einem beständigen Partner entwickelt, der Code schreibt. Um diese digitalen Assistenten zuverlässiger zu machen, haben Entwickler begonnen, ihnen „Fähigkeiten“ (Skills) beizufügen. Betrachten Sie eine Fähigkeit nicht als eine einmalige Anweisung, sondern als ein permanentes Regelwerk oder eine Reihe von Gewohnheiten, die die KI während einer gesamten Arbeitssitzung bei sich trägt. Diese Regelwerke enthalten Richtlinien dazu, wie Code für spezifische Technologien zu schreiben ist, Warnungen vor häufigen Fehlern und Beispiele dafür, wie Probleme zu lösen sind. Die Hoffnung ist, dass die KI durch die Gabe dieses zusätzlichen Kontextes eher wie ein erfahrener menschlicher Ingenieur agiert und weniger wie ein Neuling, der bei jedem Schritt nur raten kann. Es gibt jedoch einen verborgenen Preis für diesen Ansatz. Jedes Mal, wenn eine Fähigkeit hinzugefügt wird, wächst die Menge an Text, den die KI lesen muss, bevor sie eine Frage beantwortet. Dies wirft eine kritische, ungeklärte Frage auf: Hilft das zusätzliche Wissen der KI tatsächlich dabei, ihre Arbeit besser zu erledigen, oder verwirrt sie die schiere Menge an Text lediglich, was sie verlangsamt und zu mehr Fehlern führt?

Ein Forscherteam bei Baidu machte sich daran, diese Frage zu beantworten, indem sie das Hinzufügen von Fähigkeiten eher als wissenschaftliches Experiment denn als Standardeinstellung behandelten. Sie konzentrierten sich auf die Webentwicklung, ein riesiges Feld, in dem KI häufig gebeten wird, Websites und Anwendungen unter Verwendung von Sprachen wie JavaScript und HTML zu erstellen. Sie sammelten einunddreißig verschiedene öffentliche Skill-Guides, die von allgemeinen Codierungsratschlägen bis hin zu spezifischen Anweisungen für populäre Software-Frameworks reichten. Um diese zu testen, nutzten sie ein strenges Testfeld, das aus fünfzig realen Webprojekten bestand, wobei jedes Projekt zwanzig aufeinanderfolgende Aufgaben enthielt, die aufeinander aufbauen. Dies ergab insgesamt eintausend verschiedene Herausforderungen, die die KI lösen musste. Die Forscher ließen dieselben Aufgaben anschließend unter vier verschiedenen Bedingungen durchlaufen. Im ersten Szenario erhielt die KI überhaupt keinen zusätzlichen Skill-Guide. Im zweiten Fall erhielt sie den spezifischen Skill-Guide, der für dieses Projekt vorgesehen war. Im dritten Szenario, um den Effekt der Textlänge zu isolieren, erhielt die KI einen Guide der exakt gleichen Größe, der jedoch mit irrelevanten, unsinnigen Inhalten gefüllt war. Schließlich brachen sie die hilfreichen Guides auf, um zu sehen, welche spezifischen Teile – wie etwa Regeln, Warnungen oder Code-Beispiele – tatsächlich die Arbeit leisteten. Sie testeten diese Setups über vier verschiedene große Sprachmodelle hinweg, die von weit verbreiteten kommerziellen Systemen bis hin zu spezialisierten Coding-Modellen reichten.

Die Ergebnisse stellten die gängige Annahme infrage, dass mehr Kontext zwangsläufig zu einer besseren Leistung führt. Über alle vier getesteten Modelle hinweg senkte das Hinzufügen des intendierten Skill-Guides tatsächlich die Erfolgsquote der KI. Im Durchschnitt schloss die KI weniger Aufgaben korrekt ab, wenn die Fähigkeit vorhanden war, im Vergleich zu wenn sie abwesend war. Der Leistungsabfall war nicht trivial; er reichte von einem kleinen Rückgang bis hin zu einem signifikanten Verlust von fast vier Prozentpunkten bei den Erfolgsquoten. Darüber hinaus wurde die KI weniger effizient und verbrauchte deutlich mehr Rechenressourcen, um dieselbe Arbeit zu erledigen. In einigen Fällen sprang die Kosten für die Verarbeitung des zusätzlichen Textes um fast vierhundert Prozent nach oben. Die Forscher fanden heraus, dass die KI ihre Leistung nur in einer kleinen Minderheit der Fälle verbesserte, etwa bei einem von fünf bis einem von drei Paaren aus einem spezifischen Skill und einem spezifischen Projekt. Dies deutet darauf hin, dass die Injektion dieser Fähigkeiten in der großen Mehrheit der Situationen kontraproduktiv war und eher Rauschen als Signal einführte.

Die Studie zeigte auch, dass der Grund für dieses Scheitern vollständig davon abhängt, welches KI-Modell verwendet wird. Bei zwei der Modelle lag das Problem schlichtweg in der Länge des Textes. Wenn diesen Modellen ein Guide der gleichen Länge, aber mit irrelevantem Inhalt gegeben wurde, schnitten sie genauso schlecht ab wie mit dem echten Skill-Guide. Dies deutet darauf hin, dass ihre Aufmerksamkeit durch das schiere Volumen der Wörter verwässert wurde, unabhängig davon, was diese Wörter bedeuteten. Bei den anderen zwei Modellen war die Textlänge nicht das Problem; sie kamen mit dem irrelevanten Text gut zurecht. Stattdessen führte der spezifische Inhalt des Skill-Guides sie aktiv in die Irre und steuerte sie von der korrekten Lösung weg. Diese Unterscheidung ist entscheidig, da sie bedeutet, dass es keine einzige Lösung für das Problem gibt. Für einige Systeme besteht die Lösung darin, den Text zu kürzen; für andere muss der Inhalt selbst umgeschrieben oder gänzlich entfernt werden.

Vielleicht war die überraschendste Erkenntnis, dass eine Fähigkeit, die für ein KI-Modell gut funktioniert, bei einem anderen Modell versagt oder sogar Schaden anrichtet. Die Forscher fanden fast keinen Zusammenhang zwischen der Leistung eines Skills in einem System gegenüber einem anderen. Ein Guide, der einem Modell half, ein Problem zu lösen, konnte dazu führen, dass ein anderes Modell bei ders-elben Aufgabe scheiterte. Dieser Mangel an Konsistenz bedeutet, dass Entwickler nicht einfach einen populären Skill-Guide verwenden und davon ausgehen können, dass er für ihr spezifisches Setup funktionieren wird. Stattdessen muss die Entscheidung, eine Fähigkeit einzusetzen, auf Einzelfallbasis getroffen werden, wobei das spezifische Modell, das spezifische Projekt und die spezifische Aufgabe berücksichtigt werden müssen. Die Studie zeigte auch, dass diese Fähigkeiten bei den einfachsten Aufgaben am schädlichsten waren. Wenn die KI bereits wusste, wie ein Problem zu lösen ist, schienen die zusätzlichen Regeln sie in einer starren Denkweise festzulegen, was sie daran hinderte, kleine Fehler, die sie sonst leicht korrigiert hätte, zu beheben.

Schließlich untersuchten die Forscher die hilfreichen Skills, um zu sehen, was sie zum Erfolg führte. Sie fanden heraus, dass die wertvollsten Teile oft die kurzen Warnungen darüber waren, was man nicht tun sollte, auch bekannt als Anti-Patterns. Diese kurzen Regeln waren durchweg effektiv. Im Gegensatz dazu waren die Abschnitte mit langen Blöcken von Beispielcode ein gemischtes Ergebnis. Während sie schwächeren Modellen manchmal halfen, neigten sie dazu, die fortgeschrittensten Modelle zu verwirren, was darauf hindeutet, dass es für eine KI nachteilig sein kann, ihr zu viele Beispiele zu zeigen. Die Studie kommt zu dem Schluss, dass die Ära des blinden Anfügens von Skill-Guides an KI-Agenten vorbei ist. Stattdessen sollte die Injektion dieser Werkzeuge als eine sorgfältige Routing-Entscheidung behandelt werden, bei der der potenzielle Nutzen gegen die Kosten des zusätzlichen Textes für jede einzelne Bereitstellung abgewogen wird. Die Ergebnisse legen nahe, dass ohne diese sorgfältige Prüfung pro Projekt die sehr Werkzeuge, die die KI intelligenter machen sollten, sie oft langsamer und unzuverlässiger machen.