← Neueste Arbeiten
💻 computer science

Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation

Dieses Paper führt einen Benchmark ein, der zeigt, dass die Leistung beim Befolgen von Anweisungen in großen Sprachmodellen nichtlinear abnimmt, wenn sich aufgrund paarweiser Konflikte Einschränkungen häufen, und zeigt auf, dass ein trainingsfreier Prompt-Compiler dieses Problem für schwächere Modelle effektiv mildert, während stärkere Modelle weitgehend unbeeinflusst lässt.

Ursprüngliche Autoren: Atul Anand, Sourav Chattaraj

Veröffentlicht 2026-08-05
📖 6 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Atul Anand, Sourav Chattaraj

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas buchstäblich denkenden Roboterassistenten eine Reihe von Anweisungen zu geben. Sie wissen, dass er eine großartige Arbeit leisten wird, wenn Sie ihm eine Sache sagen, wie zum Beispiel „Schreibe eine Geschichte“. Aber was passiert, wenn Sie ihm zwanzig verschiedene Regeln auf einmal aufzutürmen? „Verwende exakt 50 Wörter“, „Formatiere es als eine JSON-Datei“, „Füge drei Zitate hinzu“, „Benutze nicht den Buchstaben 'e'“, „Beginne mit einer Zusammenfassung“ und „Schreibe wie ein Pirat“. Dies ist die Welt der Large Language Models (LLMs). Dies sind die KI-Gehirne hinter vielen Chatbots und Tools, die wir heute verwenden. Sie sind darauf trainiert, menschlichen Befehlen zu folgen, aber sie sind nicht perfekt. Wissenschaftler wissen schon lange, dass sie anfangen zu patzen, wenn man ihnen zu viele Regeln gibt. Aber niemand wusste wirklich, wie schlimm sie scheitern würden, welche Regeln gegeneinander arbeiten oder ob es einen Weg gäbe, es zu beheben, ohne das Gehirn des Roboters von Grund auf neu zu trainieren. Dieses Paper taucht in diesen chaotischen Haufen von Regeln ein, um genau zu sehen, wo der Roboter verwirrt wird und wie wir ihm helfen können, Ordnung zu schaffen.


Der große Kollaps der Anweisungsstapel

Stellen Sie sich vor, Sie geben einer KI eine Anweisung, indem Sie einem Koch ein Rezeptkärtchen überreichen. Wenn auf dem Kärtchen steht „Mache ein Sandwich“, ist der Koch glücklich. Aber stellen Sie sich vor, auf dem Kärtchen klebt plötzlich ein Post-it mit der Aufschrift „Verwende nur rote Zutaten“, ein weiteres mit „Kein Brot erlaubt“, ein drittes mit „Es muss in einer blauen Schüssel serviert werden“ und ein viertes, das schreit: „Benutze deine Hände nicht!“ Wenn Sie zwanzig dieser widersprüchlichen Notizen auf das Rezept stapeln, wird der Koch nicht nur verwirrt; er gibt oft die Hälfte der Regeln einfach auf. Er macht vielleicht ein Sandwich, aber er vergisst die roten Zutaten. Er benutzt vielleicht die blaue Schüssel, ignoriert aber die Regel „kein Brot erlaubt“. Und das Beängstigende daran? Der Koch sagt Ihnen nicht, dass er gescheitert ist. Er serviert Ihnen einfach ein seltsames Sandwich und sagt: „Hier, bitte sehr.“

Dieses Paper mit dem Titel „Instruction Stacking Collapse“ ist eine tiefgehende Untersuchung dessen, wie genau das passiert. Die Forscher bauten einen riesigen Spielplatz, auf dem sie testeten, wie gut drei verschiedene Top-KI-Modelle (Claude Sonnet 4.6, GPT-5-mini und Gemini 2.5 Flash) mit einem wachsenden Stapel von Anweisungen umgehen konnten. Sie begannen mit nur einer Regel und fügten nach und nach mehr hinzu, bis zu zwanzig Regeln gleichzeitig.

Der Crash: Wenn Regeln gegeneinander kämpfen

Die Ergebnisse waren dramatisch. Wenn die KI nur eine Anweisung zu befolgen hatte, war sie ein Superstar und erledigte sie in etwa 96 % der Fälle korrekt. Aber als der Stapel der Regeln auf zwanzig anwuchs, stürzte die Leistung ab.

  • Das stärkste Modell (Claude Sonnet) fiel auf etwa 60 % Erfolg zurück.
  • Das mittlere Modell (Gemini) sank auf 43 %.
  • Das schwächste Modell (GPT-5-mini) stieß an eine Wand und schaffte nur 20 % der Anweisungen korrekt.

Es war kein langsamer, langweiliger Rückgang. Es war ein „Kollaps“. Die Forscher fanden heraus, dass die Regeln nicht einfach nur verloren gingen; sie kämpften aktiv gegeneinander. Sie entdeckten eine „Konfliktkarte“. Wenn Sie der KI beispielsweise sagen, sie solle „gültiges JSON ausgeben“ (ein spezifisches Computer-Codeformat) und ihr gleichzeitig sagen, sie solle „Markdown-Überschriften verwenden“ (wie ##Titel), gerät die KI in die Klemme. Sie kann nicht beides tun. Wenn sie sich für JSON entscheidet, bricht sie die Markdown-Regel stillschweigend. Wenn sie sich für Markdown entscheidet, bricht sie die JSON-Regel. Das Paper fand heraus, dass die Anweisung „Gib JSON aus“ der größte Unruhestifter war und Konflikte mit neun anderen häufigen Regeln verursachte.

Die magische Lösung: Der Instruction Compiler

Ist die Lösung also, der KI einfach weniger Regeln zu geben? Nicht unbedingt. Die Forscher fragten: „Können wir den Prompt korrigieren, bevor die KI ihn sieht, ohne der KI etwas Neues beizubringen?“

Sie erfanden ein Werkzeug namens Instruction Compiler. Stellen Sie sich diesen Compiler wie einen super organisierten Assistenten vor, der sich Ihren chaotischen Stapel aus zwanzig Post-its ansieht, bevor Sie ihn dem Koch übergeben. Der Compiler tut drei Dinge:

  1. Er gruppiert sie: Er legt alle „Format“-Regeln zusammen und alle „Längen“-Regeln zusammen.
  2. Er verschmilzt sie: Wenn zwei Regeln dasselbe sagen, kombiniert er sie zu einem klaren Satz.
  3. Er priorisiert sie: Wenn zwei Regeln kämpfen (wie „verwende JSON“ vs. „verwende Markdown“), fügt der Compiler eine Notiz hinzu: „Hey, falls diese beiden kollidieren, mache zuerst die JSON-Regel.“

Dieser Compiler läuft einmal durch, erstellt eine saubere, organisierte Checkliste, und dieselbe Checkliste wird dann für jede einzelne Frage verwendet, die die KI beantwortet. Es ist, als würde man dem Koch eine einzige, perfekt geschriebene Rezeptkarte geben anstatt eines chaotischen Stapels von Notizen.

Die Überraschung: Wer wird geholfen?

Hier ist der interessanteste Teil der Geschichte. Die Forscher erwarteten, dass diese „saubere Rezeptkarte“ jedem gleichermaßen helfen würde. Aber das tat sie nicht. Der Nutzen hing vollständig davon ab, wie „schlau“ der Koch (das KI-Modell) war.

  • Für die schwächeren Modelle (wie GPT-5-mini): Der Compiler war ein Lebensretter. Er steigerte ihre Erfolgsquote um +11 Prozentpunkte. Er verwandelte ein Modell, das in 80 % der Fälle scheiterte, in eines, das nur noch in 69 % der Fälle scheiterte. Das ist enorm wichtig, da diese schwächeren Modelle in der realen Welt am häufigsten verwendet werden, weil sie schneller und günstiger sind.
  • Für die stärksten Modelle (wie Claude Sonnet): Der Compiler bewirkte fast gar nichts. Tatsächlich verschlechterte er ihre Leistung sogar leicht (um etwa -1,2 Punkte).

Warum? Das Paper legt nahe, dass die stärksten Modelle so intelligent sind, dass sie bereits einen chaotischen Stapel von zwanzig Regeln betrachten und die Struktur, die Konflikte und die Prioritäten ganz allein erkennen können. Sie brauchen den Compiler nicht, um die Notizen für sie zu organisieren; tatsächlich stören die zusätzlichen Notizen ihr Denken nur. Die schwächeren Modelle hingegen werden von dem Chaos überwältigt. Sie brauchen den Compiler als Übersetzer, der das Chaos in einen klaren, schrittweisen Plan verwandelt.

Was das für Sie bedeutet

Diese Forschung sagt uns zwei große Dinge. Erstens: Wenn wir eine KI bitten, komplexe Dinge mit vielen Regeln zu tun, können wir ihr nicht einfach eine Wand aus Text vorwerfen und erwarten, dass es funktioniert. Die Regeln werden kollabieren, und die KI wird stillschweigend versagen. Zweitens: Wir müssen keine größeren, klügeren Roboter bauen, um das zu lösen. Manchmal ist die Lösung einfach eine bessere Organisation.

Das Paper beweist, dass ein einfendes, kostenloses Tool, das Anweisungen neu organisiert, schwächere KI-Modelle retten kann, indem es sie für die Aufgaben, die wir täglich mit ihnen erledigen, viel zuverlässiger macht. Es ist eine Erinnerung daran, dass in der Welt der KI die klügste Sache, die man tun kann, nicht unbedingt, den Roboter klüger zu machen, sondern die Anweisungen klarer zu gestalten. Und für die super-intelligenten Roboter? Die ziehen es vielleicht vor, die Dinge einfach selbst herauszufinden.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →