It's Not the Size: Harness Design Determines Operational Stability in Small Language Models

Dieser Artikel zeigt, dass für kleine Sprachmodelle (2–3 Milliarden Parameter) eine strukturierte 4-Stufen-Harness-Pipeline die operative Stabilität und den Erfolg bei Aufgaben im Vergleich zu rotem Prompting oder minimalen Wrappern erheblich verbessert, gleichzeitig jedoch aufdeckt, dass unzureichende Gerüststrukturen bei bestimmten Modellen zu einem Zusammenbruch des strukturellen Formats führen können.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber leicht zerstreuten Assistenten. Dieser Assistent ist klein (er hat nur eine „2B"- oder „3B"-Gehirngröße, was im KI-Bereich bedeutet, dass es sich um „Small Language Models" handelt). Sie möchten, dass er eine Reihe komplexer Aufgaben erledigt, wie etwa das Verfassen von Berichten, das Durchsuchen des Webs oder das Befolgen von mehrstufigen Anweisungen.

Die Studie stellt eine einfache Frage: Kommt es mehr darauf an, wie Sie diesem Assistenten Anweisungen geben, oder darauf, wie „klug" der Assistent ist?

Die Antwort ist ein deutliches Ja. Die Autoren bezeichnen die Art und Weise, wie Sie Anweisungen geben, als „Geschirr". Denken Sie an ein Geschirr wie an die Ausrüstung, die Sie einem Pferd anlegen. Sie können ein schnelles Pferd haben, aber wenn Sie ihm kein Zaumzeug und keine Zügel geben (das Geschirr), läuft es vielleicht im Kreis, wird müde oder ignoriert Ihre Befehle.

Hier ist die Aufschlüsselung ihres Experiments und ihrer Erkenntnisse unter Verwendung alltäglicher Analogien:

1. Die drei Arten, Anweisungen zu geben (Die Geschirre)

Die Forscher testeten drei verschiedene Möglichkeiten, mit diesen KI-Assistenten zu sprechen:

• Der „Roh-Prompt" (Nur das Modell): Dies ist wie das Ausrufen einer Aufgabe zu Ihrem Assistenten, während er zu Mittag isst. „Hey, schreib mir einen Bericht!" Keine Struktur, keine Regeln, nur eine rohe Bitte.
• Die „Minimale Hülle" (Wrapper-Tags): Dies ist wie das Einpacken der Aufgabe in eine schicke Box mit einem Etikett, auf dem „TASK START" und „TASK END" steht. Es sieht organisiert aus, hilft dem Assistenten aber nicht wirklich, die Schritte durchzudenken.
• Die „4-Stufen-Pipeline" (Das volle Geschirr): Dies ist wie das Geben einer detaillierten Checkliste an den Assistenten:
  1. Planen: „Überlegen Sie zuerst, was Sie tun müssen."
  2. Ausführen: „Führen Sie nun die Arbeit aus."
  3. Überprüfen: „Prüfen Sie Ihre Arbeit. Haben Sie einen Fehler gemacht?"
  4. Wiederherstellen: „Wenn Sie einen Fehler gemacht haben, beheben Sie ihn und versuchen Sie es erneut."

2. Die große Überraschung: „Mehr Hilfe" kann manchmal „weniger Hilfe" sein

Die Forscher stellten etwas Seltsames und kontraintuitives fest.

Bei zwei der Modelle führte die „Minimale Hülle" (die schicke Box) tatsächlich dazu, dass der Assistent schlechter abschnitt als mit dem „Roh-Prompt".

• Die Analogie: Stellen Sie sich vor, Sie bitten einen Freund, einen Kuchen zu backen. Wenn Sie einfach nur sagen „Backe einen Kuchen", macht er vielleicht einen anständigen Job. Aber wenn Sie ihm ein starres, verwirrendes Formular mit auszufüllenden Feldern in die Hand drücken, bevor er überhaupt das Mehl mischen kann, könnte er überfordert sein, das Rezept vergessen und den Kuchen verbrennen.
• Das Ergebnis: Die zusätzlichen „Wrapper-Tags" erzeugten mentale Unordnung (kognitive Belastung), die die kleinen Modelle verwirrte und dazu führte, dass sie öfter abgelaufen sind oder gescheitert sind, als wenn sie einfach nur einen einfachen Befehl erhalten hätten.

3. Der „Gerüst-Zusammenbruch" (Wenn der Assistent das Format fallen lässt)

Eines der interessantesten Ergebnisse betraf das Modell LLaMA 3.2.

• Die Situation: Wenn dieses Modell aufgefordert wurde, einen Bericht in einem bestimmten Format (wie einer JSON-Liste) zu schreiben, wurde es oft verwirrt und schrieb stattdessen einfach einen normalen Absatz und ignorierte die Regeln.
• Der Begriff: Die Autoren nennen dies „Gerüst-Zusammenbruch".
• Die Analogie: Stellen Sie sich einen Bauarbeiter vor, der großartig darin ist, Ziegel zu legen (Inhalt zu generieren), aber ständig vergisst, die Baupläne (das Format) zu verwenden. Ohne einen Polier (das Geschirr), der über ihnen steht und sagt: „Prüfen Sie den Bauplan, Sie bauen es falsch", bauen sie einfach das, wonach ihnen ist. Das Geschirr machte sie nicht klüger beim Ziegellegen; es zwang sie lediglich, dem Bauplan zu folgen.

4. Warum die „4-Stufen-Pipeline" gewann

Die vollständige Pipeline (Planen → Ausführen → Überprüfen → Wiederherstellen) war der klare Gewinner, insbesondere bei komplexen Aufgaben.

• Planen: Dies wirkte wie ein „mentaler Anker". Bevor das Modell mit dem Schreiben begann, zwang es der Schritt „Planen", sich an Einschränkungen zu erinnern (wie „halten Sie dies unter 200 Zeichen"). Ohne diesen Schritt würde das Modell das Limit vergessen und einen Roman schreiben.
• Wiederherstellen: Dies war das Sicherheitsnetz. Wenn das Modell stecken blieb oder abgelaufen ist, ermöglichte der Schritt „Wiederherstellen", es erneut zu versuchen.
• Das Ergebnis: Mit der vollständigen Pipeline erreichten die Modelle nahezu perfekte Erfolgsquoten (über 95 %), während sie ohne diese erheblich zu kämpfen hatten.

5. Der „Überprüfung"-Haken

Die Forscher maßen auch, wie oft der Schritt „Überprüfen" Fehler entdeckte.

• Die Statistik: Das System fing etwa 62,5 % der Fehler auf und korrigierte sie.
• Der Haken: Manchmal wurde der Schritt „Überprüfen" getäuscht. Wenn das Modell beispielsweise aufgefordert wurde, Zeichen zu zählen, würde das Modell die Zahl falsch raten, und der Überprüfer würde ebenfalls falsch raten und denken, die Arbeit sei erledigt, obwohl sie es nicht war.

6. Das „Werkzeug"-Problem (Ein Fehler im Experiment)

Die Studie enthielt eine Aufgabe, bei der die KI das Web durchsuchen musste.

• Das Problem: Die „Roh"- und „Minimale" Version der KI hatten überhaupt keinen Zugriff auf das Suchwerkzeug, sodass sie automatisch scheiterten. Die „Pipeline"-Version hatte zwar das Werkzeug, scheiterte aber, weil die Suchmaschine (DuckDuckGo) sie blockierte, weil sie zu viele Fragen zu schnell stellte.
• Die Lehre: Die Autoren geben zu, dass dieser Teil des Tests fehlerhaft war, da sie „Werkzeug haben" vs. „kein Werkzeug haben" verglichen, anstatt „gutes Geschirr" vs. „schlechtes Geschirr".

Zusammenfassung: Was bedeutet das?

Die Hauptaussage ist einfach: Für kleine KI-Modelle ist es wichtiger, wie Sie die Aufgabe organisieren, als die Größe des Modells.

• Überkomplizieren Sie es nicht: Das Hinzufügen von schicken Etiketten (minimale Hüllen) kann kleine Modelle manchmal mehr verwirren als ihnen helfen.
• Struktur ist der Schlüssel: Die Aufteilung einer Aufgabe in „Planen, Machen, Prüfen, Fixieren" ermöglicht es sogar einem „kleinen" Gehirn, komplexe Aufgaben zuverlässig zu erledigen.
• Das Geschirr ist der Held: Das „Geschirr" (das System der Anweisungen) fungiert sowohl als Sicherheitsnetz (Fehler beheben) als auch als Leitfaden (Verhindern von Fehlern, bevor sie geschehen).

Die Studie kommt zu dem Schluss, dass Sie, wenn Sie wollen, dass kleine, effiziente KI-Modelle in der realen Welt gut funktionieren, mehr Zeit damit verbringen müssen, das „Geschirr" (den Arbeitsablauf) zu entwerfen, als sich nur Sorgen zu machen, welches Modell Sie auswählen.

Technische Zusammenfassung

Technische Zusammenfassung: Das Harness-Design bestimmt die operative Stabilität bei Small Language Models

Problemstellung

Während Small Language Models (SLMs, 2–3 Milliarden Parameter) eine kosteneffiziente Alternative zu großen Modellen für Edge- und On-Premises-Bereitstellungen bieten, bleibt ihre operative Stabilität bei mehrstufigen Aufgaben untererforscht. Die bestehende Literatur konzentriert sich stark auf statische Benchmark-Genauigkeit (z. B. MMLU, HumanEval), wodurch eine Lücke im Verständnis besteht, wie Ausführungsstrukturen die Vollständigkeit der Ausgabe und die Einhaltung von Formatvorgaben in realen Szenarien beeinflussen. Darüber hinaus deuten Frameworks wie Reflexion und ReAct darauf hin, dass der Ausführungsfluss von Bedeutung ist, doch es gibt nur wenige systematische Belege für die Wirksamkeit solcher Strukturen speziell für Modelle mit 2 bis 3 Milliarden Parametern.

Methodik

Die Autoren führten eine experimentelle Analyse durch, bei der drei Ebenen des „Harness-Engineerings" (Ausführungsstruktur) über drei SLMs verglichen wurden: Gemma4 E2B (2B), Qwen3.5:2B (2B) und LLaMA 3.2 (3B). Die Studie nutzte 24 Aufgaben in sechs Kategorien, darunter strukturierte Wissensextraktion, Suche und Verankerung (Search-and-Grounding), Workflow-Abschluss und auf Einschränkungen sensitive Aufgaben.

Harness-Bedingungen:

1. Nur-Modell: Roh-Prompts mit ausschließlich Aufgabenbeschreibungen.
2. Minimal-Shell: Aufgaben, die in strukturelle Tags ([TASK START], [OUTPUT]) gekleidet sind, ohne Logik für den Ausführungsfluss.
3. 4-Stufen-Pipeline: Ein strukturierter Workflow bestehend aus Planen → Ausführen → Verifizieren → Wiederherstellen. Die Wiederherstellungsstufe erlaubt bis zu zwei Wiederholungsversuche mit Fehlerfeedback bei einem Verifizierungsfehler oder Timeout.

Bewertungsmetriken:

• Task Success Rate (TSR): Prozentsatz der Aufgaben, die einen vollen Erfolg erzielen (Score=2).
• Valid TSR (VTSR): Prozentsatz der Aufgaben, die mindestens einen teilweisen Erfolg erzielen (Score≥1).
• Verification Catch Rate (VCR): Das Verhältnis der von der Verifizierungsstufe erkannten Defekte, die anschließend erneut versucht wurden.
• Schwellenwerte: Operative Stabilität wurde definiert als Erreichen von TSR ≥ 0,65 und VTSR ≥ 0,80.

Ablationsstudie:
Die Studie isolierte spezifische Pipeline-Komponenten (Planung, Verifizierung + Wiederherstellung, Wiederherstellung), um ihren individuellen Beitrag zu Leistungssteigerungen zu quantifizieren.

Wichtige Erkenntnisse und Ergebnisse

1. Operative Stabilität durch Harness-Design

Die Studie zeigt, dass SLMs innerhalb eingeschränkter Aufgabenspektren operative Schwellenwerte erreichen können, der Erfolg jedoch stark vom Harness-Design abhängt und nicht allein von der Parameteranzahl.

• Gemma4 E2B: Erreichte unter der 4-Stufen-Pipeline einen TSR von 0,952 und einen VTSR von 1,000 und übertraf damit die Nur-Modell-Baseline (TSR=0,762) signifikant.
• LLaMA 3.2 (3B): Die Nur-Modell-Bedingung erfüllte die Stabilitätsschwellenwerte nicht (TSR=0,429) aufgrund eines „Scaffold-Collapses", bei dem das Modell JSON-Strukturen unter komplexen Formatanforderungen aufgab. Das Pipeline-Harness stellte die Stabilität wieder her, wenngleich mit geringeren absoluten Gewinnen im Vergleich zu Gemma.

2. Der nicht-monotone Effekt

Ein entscheidendes Ergebnis ist das nicht-monotone Phänomen: Sowohl bei Gemma4 als auch bei Qwen3.5 erzielte die Minimal-Shell-Bedingung einen niedrigeren TSR als die Nur-Modell-Bedingung.

• Beobachtung: Minimal-Shell TSR (0,714) < Nur-Modell TSR (0,762) für Gemma; Minimal-Shell (0,857) < Nur-Modell (0,952) für Qwen.
• Hypothese: Die Autoren vermuten, dass Wrapper-Tags die kognitive Belastung in komplexen Workflows erhöhen und zusätzliche Timeouts auslösen können, was jedoch weiterer kontrollierter Experimente bedarf, um die Kausalität zu beweisen.

3. Komponentenbeiträge (Ablation)

• Planung: Dient als „Formatanker" für quantitative Einschränkungen. Das Entfernen der Planungsstufe führte zu einem Rückgang des TSR, insbesondere bei Aufgaben mit Zeichenlimits (z. B. T1-04), bei denen das Modell ohne explizite Zerlegung die Limits nicht einhielt.
• Wiederherstellung: Der Wiederherstellungsmechanismus war der Hauptbeitrag zur Leistungssteigerung und machte etwa 24,7 % des gesamten Gewinns aus. Er verwandelte Timeouts und Formatverletzungen erfolgreich in Erfolge um.
• Verifizierung: Die Verification Catch Rate (VCR) über alle Pipeline-Läufe betrug 0,625. Bemerkenswerterweise hatte LLaMA 3.2 eine VCR von 1,000 (erkannte alle Defekte), konnte diese jedoch nicht immer beheben, während Qwen eine VCR von 0,000 hatte (erkannte keine Defekte).

4. Klassifizierung von Fehlermodi

Das Papier kategorisiert Fehlermodi basierend auf der Behebbarkeit durch das Harness:

• Behebbar (Reaktiv): Timeouts und regelbasiert erkennbare Einschränkungen (z. B. verbotene Wörter) werden erfolgreich über Wiederholungsversuche der Wiederherstellung behoben.
• Behebbar (Proaktiv): „Scaffold-Collapse" (Aufgabe von Formaten) wird durch die Planungs- und Prompt-Strukturierungsstufen adressiert.
• Unbehebbar: Quantitative Einschränkungen (z. B. exakte Zeichenanzahlen) scheitern oft aufgrund inhärenter Zählbeschränkungen von LLMs, und Halluzinationen bleiben außerhalb des Korrekturbereichs des Harness.

Bedeutung und Behauptungen

Das Papier behauptet, dass Harness-Design ein entscheidender Faktor für die operative Stabilität von SLMs ist und oft die Vorteile der reinen Modellgröße überwiegt.

• Scaffold vs. Retry: Die Autoren unterscheiden zwischen zwei unabhängigen Harness-Funktionen: reaktive Wiederherstellung (Behebung von Fehlern nach ihrem Auftreten) und proaktives Gerüst (Verhinderung von Fehlern durch Strukturierung von Prompt und Ausführungsfluss). Die Studie argumentiert, dass diese Rollen unterschiedlich und nicht austauschbar sind.
• Warnung vor „Weniger ist mehr": Die nicht-monotonen Ergebnisse deuten darauf hin, dass „Halbmaßnahmen" im Harness-Design (z. B. das Hinzufügen von Tags ohne vollständige Pipeline) die Leistung im Vergleich zum rohen Prompting verschlechtern können.
• Einschränkungen: Die Autoren räumen bescheiden Einschränkungen ein, darunter einen kleinen Aufgabensatz (24 Aufgaben), das Fehlen einer Varianzschätzung (einzelne Läufe) und spezifische Designfehler in der Web-Suche-Aufgabe (T6), die tool-ausgestattete gegenüber tool-losen Bedingungen verglich, anstatt die Orchestrierungsqualität.

Zusammenfassend geht das Papier davon aus, dass für eine zuverlässige Bereitstellung von SLMs in operativen Umgebungen die Ingenieurskunst des Ausführungs-Harnesses ebenso kritisch ist wie die Modellauswahl selbst. Zukünftige Arbeiten sollten sich auf regelbasierte Verifizierung konzentrieren, um die Erkennungsraten zu verbessern, und Aufgaben neu gestalten, um Orchestrierungseffekte vom Tool-Zugang zu isolieren.