Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
Diese Arbeit zeigt auf, dass System-Prompts zwar im Allgemeinen die sicherste Standardeinstellung für die Platzierung von Instruktionen bleiben, Schema-Beschreibungen jedoch ein wirkungsvoller und modellabhängiger Instruktionskanal sein können, der Prompts überschreiben kann, was ein einheitliches Schema-Design und eine empirische Validierung entscheidend macht, um die Leistung bei strukturierten Ausgaben zu optimieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas wörtlich nehmenden Roboter beizubringen, einen Haufen gemischter Spielsachen zu sortieren. Sie haben zwei Möglichkeiten, ihm Anweisungen zu geben: Entweder Sie sprechen direkt mit ihm (wie ein Lehrer, der einen Vortrag hält), oder Sie überreichen ihm ein spezielles Formular mit Kästchen zum Ausfüllen, bei dem die Anweisungen direkt neben den Kästchen stehen. Dies ist die Welt der „Large Language Models“ (LLMs), die das Gehirn hinter vielen modernen KI-Werkzeugen sind. Normalerweise denken die Leute, dass im „Gespräch“ (dem Prompt) die eigentlichen Regeln liegen und das „Formular“ (das strukturierte Output-Schema) nur eine langweilige Vorlage ist, der der Roboter folgen soll. Aber in letzter Zeit fragen sich Entwickler: Liest der Roboter die Notizen auf dem Formular tatsächlich, oder ignoriert er sie einfach und hört nur auf den Lehrer? Diese Frage ist wichtig, denn wenn wir unsere wichtigsten Regeln an den falschen Ort setzen, könnte der Roboter die Spielsachen völlig falsch sortieren und die Apps und Werkzeuge, auf die wir täglich angewiesen sind, beschädigen.
Eine Forscherin namens Sin-Ying (Alina) Lin beschloss, diese Debatte zu klären. Anstatt darüber zu streiten, richtete sie ein Experiment ein, bei dem ein Roboter kurze Nachrichten in vier geheime Kategorien sortieren musste, wobei sie ausgedachte Namen wie „tomil“ und „varek“ verwendete, damit der Roboter die Antworten nicht basierend auf realweltlichem Wissen erraten konnte. Dann spielte sie eine Art „Stuhlkreis-Spiel“ mit den Anweisungen, indem sie dieselben Definitionen aus dem Vortrag des Lehrers (dem System-Prompt) in die Notizen auf dem Formular (die Schema-Beschreibung) verschob und manchmal sogar in das Chat-Fenster des Nutzers setzte.
Was sie herausfand, war eine kleine Überraschung: Die Ohren der Roboter sind nicht alle gleich groß. Bei einigen Modellen, wie GPT-4.1 und GPT-5.4 (ohne spezielle Denkmodi), war die Stimme des Lehrers das Maß aller Dinge. Als die Definitionen auf das Formular verschoben wurden, wurden diese Roboter verwirrt und ihre Genauigkeit sank um etwa 11 bis 13 Prozentpunkte. Sie schienen zu denken: „Das Formular ist nur zum Ausfüllen da; die echten Regeln liegen im Gespräch!“ Für andere Modelle jedoch, wie Claude Haiku 4.5, war das Formular tatsächlich der Chef. Als die Anweisungen auf dem Formular geändert wurden, um falsch zu sein, stürzte die Genauigkeit dieses Roboters von 52,5 % auf erbärmliche 7 % ab. Es stellte sich heraus, dass bei einigen Robotern die Notizen auf dem Formular so laut sind, dass sie die korrekten Anweisungen des Lehrers übertönen.
Das Paper entdeckte auch einen „Zaubertrick“, um die Roboter zu reparieren, die das Formular ignorierten. Indem man einen obligatorischen Schritt hinzufügte, bei dem der Roboter seine Begründung in einem Kästchen aufschreiben musste, bevor er die endgültige Antwort wählen konnte, sprang die Leistung um 15 bis 24 Prozentpunkte nach oben. Es war, als ob das Zwingen des Roboters, seinen „Rechenweg aufzuzeigen“, ihn dazu brachte, den Regeln auf dem Formular Aufmerksamkeit zu schenken.
Die große Lehre daraus ist nicht, dass ein Ort immer besser ist als der andere. Stattdessen legt das Paper nahe, dass jedes Roboter-Modell seine eigene Persönlichkeit hat und auf unterschiedliche Kanäle mit unterschiedlicher Lautstärke hört. Die sicherste Wahl ist es derzeit, die wichtigsten Regeln im System-Prompt (der Stimme des Lehrers) zu behalten, aber man muss vorsichtig sein, keine widersprüchlichen Regeln auf dem Formular zu schreiben, da sonst einige Roboter den falschen Regeln folgen werden. Die wahre Lektion ist, dass man nicht einfach raten kann; man muss jeden Roboter testen, um zu sehen, wo er am besten zuhört, und manchmal ist es eine mächtigere Lösung, einfach die Form des Formulars zu ändern, um einen „Denkschritt“ einzuschließen, als die Anweisungen komplett neu zu schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.