It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers
Diese Arbeit widerlegt die Annahme, dass die optimale Komplexität von Harnesses mit der Modellfähigkeit monoton abnimmt, und zeigt durch ein Experiment mit 432 Durchläufen, dass die Harness-Sensitivität nicht monoton ist und kritisch vom Modelltyp abhängt, wobei ausführliche Strukturen fortschrittliche Chat-Modelle behindern, während strikte Anleitung fortschrittliche Reasoning-Modelle begünstigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team verschiedener Arbeiter ein, um einen unordentlichen Raum (den „Arbeitsbereich") zu ordnen. Sie haben einen Manager, der ihnen Anweisungen gibt (die „Zügel").
Die verbreitete Überzeugung in der KI-Welt war: „Je intelligenter der Arbeiter, desto weniger detaillierte Anweisungen benötigt er." Mit anderen Worten: Ein Genie braucht eine einfache Notiz, während ein Anfänger ein striktes, schrittweises Handbuch benötigt. Dieses Papier argumentiert, dass diese Überzeugung falsch ist.
Hier ist die Aufschlüsselung dessen, was die Forscher mithilfe einfacher Analogien herausfanden:
1. Das Experiment: Eine Testküche für KI
Die Forscher richteten eine „Testküche" namens HEAT-24 ein.
- Der Raum: Ein digitaler Arbeitsbereich mit 12 Dateien (wie Code, Notizen und Daten).
- Die Aufgaben: 24 spezifische Aufgaben, wie „korrigiere diesen defekten Code", „finde eine bestimmte Datei" oder „verfasse einen Bericht in einem strengen Format".
- Die Arbeiter: Sie testeten 6 verschiedene KI-Modelle, von „Frontier" (superintelligent, teuer) bis „Constrained" (kleiner, günstiger).
- Die Anweisungen: Sie gaben den Arbeitern drei Arten von Anweisungsmanualen:
- Leicht: Eine einfache Notiz mit zwei Sätzen.
- Ausgewogen: Ein vierstufiger Leitfaden mit einer Liste erlaubter Dateien.
- Streng: Ein massives, sechsstufiges Manual mit strengen Regeln zur Überprüfung der Arbeit und exakten Vorgaben für das Ausgabeformat.
Sie führten dieses Experiment 432 Mal durch, um zu sehen, welche Kombination am besten funktionierte.
2. Die große Überraschung: Die „Einheitsgröße"-Regel ist gebrochen
Die Forscher erwarteten eine glatte Kurve: Intelligentere KI = Einfachere Anweisungen. Stattdessen fanden sie ein chaotisches, nicht-lineares Durcheinander. Der „beste" Anweisungsstil hängt vollständig davon ab, welche Art von KI Sie verwenden, nicht nur davon, wie intelligent sie ist.
Der „Überdenker" (Frontier-Chat-Modell)
- Wer es ist: Ein sehr intelligentes Modell, das für Gespräche konzipiert ist (wie ein Gesprächspartner).
- Was passierte: Als es das strenge Manual erhielt, stürzte es ab. Seine Erfolgsrate sank um fast 30 %.
- Die Analogie: Stellen Sie sich vor, Sie bitten einen brillanten Dichter, ein komplexes Steuerformular auszufüllen. Wenn Sie ihm eine einfache Aufforderung geben („Dichten Sie ein Gedicht"), ist er perfekt. Aber wenn Sie ihm einen 10-seitigen Rechtsvertrag darüber geben, wie er das Gedicht schreiben soll, gerät er in Verwirrung, beginnt zu schwafeln und vergisst, tatsächlich das Gedicht zu schreiben.
- Das Ergebnis: Für diese Art von KI gilt: Weniger ist mehr. Einfache Anweisungen funktionieren am besten.
Der „Architekt" (Frontier-Reasoning-Modell)
- Wer es ist: Ein superintelligentes Modell, das für tiefe Logik und Problemlösung konzipiert ist (mit aktivierter „erweiterter Denkweise").
- Was passierte: Als es das strenge Manual erhielt, schnitt es besser ab als mit einfachen Notizen. Es erledigte die Aufgabe auch schneller.
- Die Analogie: Stellen Sie sich einen Meisterarchitekten vor. Wenn Sie sagen: „Bauen Sie ein Haus", könnte er abschweifen und über 100 verschiedene Möglichkeiten nachdenken. Aber wenn Sie ihm einen strengen Bauplan mit genauen Maßen und einer Checkliste geben, geht er sofort an die Arbeit, ignoriert Ablenkungen und baut das Haus perfekt.
- Das Ergebnis: Für diese Art von KI gilt: Mehr Struktur ist besser. Es nutzt die strengen Regeln als Gerüst, um sein Denken zu fokussieren.
Der „Kleine, aber Mächtige" (Constrained-Modell)
- Wer es ist: Ein winziges Modell (nur 2 Milliarden Parameter), das überraschend gut trainiert war.
- Was passierte: Es schnitt bei allen Anweisungsarten genauso gut ab wie die riesigen, teuren Modelle.
- Die Analogie: Das ist wie ein kleiner, hochdisziplinierter Lehrling, der trotz eines kleinen Gehirns so gut darin trainiert wurde, wie man Befehle befolgt, dass er die Aufgabe genauso gut erledigen kann wie ein Professor mit Promotion.
- Das Ergebnis: Man kann den „Zügelbedarf" eines Modells nicht allein an seiner Größe (Parameteranzahl) messen. Die Trainingsqualität ist wichtiger.
Der „Verlorene Anfänger" (Modelle mit geringer Leistungsfähigkeit)
- Wer es ist: Kleinere Modelle mit weniger Training.
- Was passierte: Sie hatten mit allem Schwierigkeiten. Einfache Notizen ließen sie die falschen Dateien auswählen; strenge Notizen überforderten sie.
- Das Ergebnis: Sie benötigen einen „Goldlöckchen"-Ansatz – genau genug Struktur, um sie zu führen, aber nicht so viel, dass sie verwirrt werden.
3. Die zwei Hauptfehler
Die Forscher kategorisierten, warum die KI versagte:
- Der „Schwätzer"-Fehler (Verletzung des Formats): Die intelligenten Modelle verstanden die Aufgabe, konnten aber nicht aufhören zu reden. Statt die erforderlichen Daten (wie eine JSON-Datei) zu liefern, schrieben sie eine lange Geschichte, die erklärte, warum sie es taten. Dies geschah hauptsächlich, wenn die Anweisungen zu komplex waren.
- Der „Falsche Tür"-Fehler (Falsche Datei): Die kleineren Modelle wussten oft nicht, welche Datei sie bearbeiten sollten. Ohne eine klare Liste der „erlaubten Dateien" würden sie das falsche Dokument bearbeiten.
4. Das Fazit: Aufhören zu raten, anfangen zu matchen
Das Papier kommt zu dem Schluss, dass es keine einzige „beste" Methode gibt, um eine KI zu prompten.
- Wenn Sie eine Chat-KI haben, halten Sie die Anweisungen leicht und einfach. Erklären Sie nicht zu viel.
- Wenn Sie eine Reasoning-KI haben, geben Sie ihr strenge, detaillierte Regeln. Sie gedeiht in Struktur.
- Wenn Sie eine kleine, gut trainierte KI haben, kann sie genauso gut sein wie die großen, unabhängig von den Anweisungen.
Kurz gesagt: Sie würden einem Kleinkind keinen komplexen Rechtsvertrag geben, und Sie würden einem Richter am Obersten Gerichtshof keinen Haftnotiz-Zettel geben. Sie müssen den Anweisungsstil an die Art des Arbeiters anpassen, nicht nur an sein Intelligenzniveau.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.