Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models
Dieses Paper präsentiert eine kontrollierte Evaluierung unter Verwendung des synthetischen „Book of Veyra“-Korpus über fünf Modelle hinweg, die aufzeigt, dass die Befolgung von Instruktionen zusammenbricht, sobald die Anzahl der Regeln 80 überschreitet, unabhängig vom Format, während die Long-Context-Performance durch einen scharfen Rückgang der Recall-Raten und Verweigerungsraten anstatt durch Halluzinationen charakterisiert ist, wobei es keinen konsistenten Vorteil für Markdown gegenüber Plain Text gibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie man einen Job erledigt. Sie haben ein paar Hebel, an denen Sie ziehen können, um ihn besser arbeiten zu lassen. Ein Hebel ist das Format: Sie können Ihre Anweisungen als ordentliche Liste, als langweiligen Absatz, als schicke Tabelle oder einfach als reinen Text schreiben. Ein weiterer Hebel ist die Skalierung: Wie viele Anweisungen Sie auf einmal geben und wie viel Hintergrundinformation (wie ein riesiges Buch) der Roboter sich merken soll, während er arbeitet. Lange Zeit stritten die Leute darüber, welcher Schreibstil der beste sei, unter der Annahme, dass der Roboter sie perfekt verstehen würde, egal wie viele Regeln man hinzufügte oder wie dick das Buch war. Doch in der Welt der Künstlichen Intelligenz, speziell bei den Large Language Models (der Art von KI, die Geschichten schreibt und Fragen beantwortet), wächst der Verdacht, dass diese Hebel nicht isoliert funktionieren. Wenn Sie dem Roboter zu viele Regeln geben oder ihn bitten, sich zu viel zu merken, kann es plötzlich passieren, dass der Stil Ihrer Schreibweise nicht mehr wichtig ist oder, schlimmer noch, dass er auf seltsame Weise zu brechen beginnt. Diese Arbeit stellt eine einfache, aber knifflige Frage: Hilft die Art und Weise, wie Sie Ihre Anweisungen formatieren, tatsächlich, oder geht sie im Rauschen unter, wenn die Aufgabe riesig wird?
Die Forscher hinter dieser Studie, Netanel Eliav vom Machine Human Intelligence Lab, beschlossen, nicht länger zu raten, sondern zu testen. Sie erschufen ein riesiges, künstliches Universum namens „Das Buch von Veyra“. Stellen Sie sich dies als eine massive, ausgedachte Enzyklopädie vor, die 8.780 einzigartige fiktive Dinge enthält – wie Sonnensysteme, Gilden und seltsame Kreaturen – jeweils mit spezifischen Fakten über sie. Da das Buch von einem Computerprogramm und nicht durch das Lesen des Internets erstellt wurde, konnte die KI es nicht vorab auswendig gelernt haben; sie musste die bereitgestellten Seiten tatsächlich lesen, um die Antworten zu finden. Sie nahmen dasselbe Buch und schrieben es auf vier verschiedene Arten auf: als Markdown-Liste (mit fettgedruckten Überschriften und Aufzählungspunkten), als reinen Text (nur die Wörter), als fließenden Prosa (wie eine Geschichte) und als Tabelle. Dann legten sie dieses Buch fünf verschiedenen KI-Modellen vor und führten zwei massive Experimente durch.
Zuer Sie testeten das Befolgen von Anweisungen (Instruction Following). Sie gaben der KI eine Liste von Regeln, denen sie beim Schreiben eines kurzen Essays folgen sollte. Sie begannen mit 10 Regeln und fügten immer mehr hinzu, bis zu 160 Regeln auf einmal. Sie wollten sehen, ob die KI immer noch in der Lage war, alle Regeln perfekt zu befolgen, wenn die Liste länger wurde, und ob das Schreiben dieser Regeln in einem schicken Listenformat mehr half als das Schreiben in einem Absatz. Das Ergebnis war ein harter Absturz. Unabhängig davon, wie die Regeln geschrieben waren: Sobald die Liste etwa 80 Regeln erreichte, sank die Fähigkeit der KI, jede einzelne Regel perfekt zu befolgen, auf Null. Es spielte keine Rolle, ob die Regeln in einer Tabelle oder einer Liste standen; die KI gab einfach auf, alles richtig zu machen. Überraschenderweise war entscheidend, wo die Regeln platziert wurden: Das Platzieren der Regeln im „System Prompt“ (den versteckten Gehirnanweisungen des Roboters) gegenüber dem „User Turn“ (der Chat-Nachricht) veränderte die Ergebnisse signifikant, jedoch auf unterschiedliche Weise für verschiedene Roboter. Bei einigen Modellen half es, die Regeln in den Chat zu setzen; bei anderen schadete es. Es gab keinen universellen „besten“ Ort für sie.
Zweitens testeten sie Gedächtnis und Ehrlichkeit (Memory and Failure) mit dem Buch von Veyra. Sie fütterten die KI mit Textabschnitten aus dem Buch, die von 2.000 Wörtern bis hin zu massiven 512.000 Wörtern reichten. Sie baten die KI, spezifische Fakten abzurufen, zu prüfen, ob die KI lügen würde, um einer falschen Aussage zuzustimmen (Sycophancy/Einschmeichelei), oder ob sie Fakten erfinden würde, die nicht vorhanden waren (Halluzination). Die Ergebnisse waren faszinierend. Bis zu etwa 64.000 bis 128.000 Wörtern erinnerte sich die KI perfekt an alles, unabhängig vom Format. Aber sobald sie diese Schwelle überschritten, wurde es chaotisch. Die Genauigkeit nahm nicht einfach nur langsam ab; sie stürzte ab, und wie sie abstürzte, hing völlig vom Format und dem spezifischen KI-Modell ab. Bei einem Modell war reiner Text bei 128k Wörtern schrecklich, während Listen und Tabellen super funktionierten. Bei einem anderen Modell war das Gegenteil der Fall. Es gab kein einzelnes „bestes“ Format.
Hier war die größte Überraschung: Die KI begann nicht häufiger Lügen zu verbreiten oder falschen Aussagen zuzustimmen, wenn das Buch länger wurde. Tatsächlich blieb die Rate des Erfindens von Fakten bei null, und das Zustimmen zu Lügen blieb sehr niedrig. Stattdessen tat die KI etwas ganz anderes: Sie weigerte sich zu antworten. Als das Buch sich seinem Gedächtnislimit näherte, sagte die KI einfach: „Ich weiß es nicht“ oder „Ich kann das nicht beantworten“, wobei sie manchmal bis zu 90 % der Zeit die Antwort verweigerte. Sie war nicht verwirrt und lügt; sie war überfordert und schaltete sich ab.
Die Arbeit untersuchte auch die Kosten. Einige Formate, wie Tabellen, verbrauchen mehr „Token“ (die Währung, mit der die KI die Textlänge misst) als reiner Text. Als die Forscher die Ergebnisse anpassten, um zu sehen, welches Format die beste Genauigkeit pro ausgegebenem Token lieferte, änderten sich die Gewinner erneut. Manchmal war ein Format, das optisch etwas weniger genau wirkte, tatsächlich das bessere Geschäft, weil es kostengünstiger zu lesen war.
Die wichtigste Erkenntnis ist, dass man nicht einfach ein „bestes“ Format wie Markdown oder eine Tabelle wählen und davon ausgehen kann, dass es immer funktionieren wird. Die Arbeit beweist, dass das Format nutzlos ist, wenn man nicht auch die Skalierung berücksichtigt. Wenn man zu viele Anweisungen hat (etwa 80 oder mehr), spielt das Format keine Rolle mehr, weil die KI gegen eine Wand stößt. Wenn man einen riesigen Kontext hat (über 128k Wörter), ist das Format sehr wichtig, aber das „beste“ Format ändert sich je nach verwendetem KI-Modell. Die Autoren kommen zu dem Schluss, dass das Versagensmodell, vor dem wir uns sorgen sollten, nicht das Lügen der KI ist, sondern dass die KI aufgibt und die Antwort verweigert, wenn die Aufgabe zu groß wird. Sie haben all ihre Werkzeuge und das fiktive „Buch von Veyra“ veröffentlicht, damit jeder diese Grenzen selbst testen kann, denn die Regeln des Spiels scheinen sich für jeden neuen Roboter zu ändern, dem man begegnet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.