Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
Drei prospektive Studien zu Claude Opus 5 zeigen, dass Tool-Resultat-Metadaten anfangs zwar die Übernahme falscher Behauptungen im Vergleich zu bloßen Behauptungen zu erhöhen schienen, nachfolgende präregistrierte Replikationen jedoch demonstrierten, dass dieser Effekt weder konsistent noch überlegen gegenüber dem Einfluss von explizit angekündigtem Inline-Text war.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt der künstlichen Intelligenz agieren Computerprogramme, die als Sprachmodelle bekannt sind, zunehmend als Agenten, die Dinge sich merken, Informationen nachschlagen und sich selbst Notizen schreiben können. Stellen Sie sich einen digitalen Assistenten vor, der ein Tagebuch seiner Arbeit führt. Er könnte eine Notiz lesen, die er früher selbst geschrieben hat, diese Notiz als Fakt behandeln und sie später nutzen, um eine Entscheidung zu treffen. Diese Fähigkeit, aus einem Speicher zu lesen, in den er auch selbst schreibt, erzeugt eine einzigartige Schleife: Eine Behauptung, die lediglich ohne Beweis aufgeschrieben wurde, kann später als verifizierter Datensatz zurückkehren. Die Frage, die Forscher nun stellt, ist, ob die Art und Weise, wie diese Information verpackt ist, die Art und Weise verändert, wie der Computer sie behandelt. Trägt eine Notiz, die innerhalb eines formellen, strukturierten „Tool-Results“ – eines spezifischen digitalen Formats, das für die Datenabfrage verwendet wird – mehr Gewicht als dieselbe Notiz, die als einfacher Text ankommt? Wenn das Format allein den Computer dazu bringt, eine falsche Behauptung eher zu glauben, deutet dies darauf hin, dass das System durch den Anschein von Autorität getäuscht werden könnte, statt durch die tatsächlichen Beweise.
Um dies zu untersuchen, richtete ein Forscher namens Justin Bronder eine Reihe kontrollierter Experimente mit einer spezifischen Version eines KI-Modells namens Claude Opus 5 ein. Das Ziel war es zu sehen, ob das Modell eine falsche Information einfach deshalb übernehmen würde, weil sie in einem bestimmten Format ankommt. Der Aufbau war eine synthetische Aufgabe, bei der das Modell gebeten wurde, einen spezifischen Code für einen benannten Gegenstand zu identifizieren. Der korrekte Code wurde dem Modell vorenthalten, aber ein falscher Code wurde heimlich in den Gesprächsverlauf eingeschleust. Das Modell musste zwischen dem falschen Code, einem anderen korrekten Code oder dem Eingeständnis, es nicht zu wissen, wählen. Der Forscher testete, ob das Modell den eingeschleusten falschen Code blind akzeptieren würde, wenn er im Format eines „Tool-Results“ erscheint, im Vergleich dazu, wenn er als einfache Aussage des Assistenten erscheint.
In der ersten Phase der Studie wurde dem Modell ein Verlauf gezeigt, in dem ein vorheriger Assistent eine Behauptung aufgestellt hatte und ein separates „Tool-Result“ einen Datensatz enthielt. Als der falsche Code in der einfachen Textaussage des Assistenten erschien, akzeptierte das Modell ihn fast nie; es ignorierte die falsche Information korrekt oder gab an, es nicht zu wissen. Wenn dieser gleiche falsche Code jedoch innerhalb des strukturierten Tool-Results erschien, akzeptierte das Modell ihn in vierzehn von vierundzwanzig Versuchen als Wahrheit. Dieser erste Befund deutete darauf hin, dass das Tool-Result-Format tatsächlich eine besondere Art von Autorität besitzen könnte, die der reine Text nicht besitzt. Das Modell schien den strukturierten Datensatz als eine verifizierte Abfrage zu behandeln, obwohl es sich nur um einen platzierten Fehler handelte.
Um sicherzustellen, dass dies kein Zufall war, wiederholte der Forscher den Vergleich in einem zweiten, streng geplanten Experiment. Dieses Mal ignorierte das Modell die falsche Behauptung erneut, wenn sie aus dem Text des Assistenten stammte, akzeptierte die falsche Behauptung jedoch im Tool-Result-Format in sieben von vierundzwanzig Fällen. Dies bestätigte, dass der Unterschied real und unter diesen spezifischen Bedingungen reproduzierbar war. Das Tool-Result-Paket schien eine stärkere Wirkung auf die Entscheidungsfindung des Modells zu haben als die Plain-Text-Aussage.
Die Geschichte nahm jedoch in der dritten und letzten Studie eine bedeutende Wendung. Der Forscher stellte fest, dass die vorherigen Tests unfair gewesen sein könnten, weil der Plain Text und das Tool-Result auf unterschiedliche Weise und zu unterschiedlichen Zeiten präsentiert wurden. In diesem neuen Aufbau wurde dem Modell im Voraus gesagt, dass es zwei Datensätze sehen würde: einen im Tool-Result-Format und einen als Plain Text. Beide wurden zusammen in der finalen Frage präsentiert. Der Forscher vertauschte dann, welcher Datensatz den falschen Code enthielt. Wenn der falsche Code im Plain Text war, akzeptierte das Modell ihn in jedem einzelnen Durchgang, sechzig von sechzig. Wenn der falsche Code im Tool-Result war, akzeptierte das Modell ihn in siebenundfünfzig von sechzig Fällen.
Dieses Endergebnis machte die ursprüngliche Idee unwiderlegbar, dass das Tool-Result-Format inhärent mächtiger sei. Es zeigte, dass der Plain Text, wenn das Modell explizit angewiesen wurde, beide Datensätze zu betrachten, genauso überzeugend ist wie das Tool-Result. Der frühere Unterschied lag nicht darin, dass das Tool-Result-Format eine magische Autorität besaß, sondern darin, dass die Art und Weise, wie die Information in den ersten beiden Studien präsentiert wurde, das Tool-Result wie die einzige gültige Antwort auf eine Suchaufgabe aussehen ließ. Das Modell folgte den Anweisungen der Aufgabenstruktur statt die Quelle der Information zu bewerten.
Die Studie kommt zu dem Schluss, dass das Modell keine eingebaute Regel hat, die besagt: „Tool-Results sind immer wahr“. Stattdessen reagiert das Modell sensibel darauf, wie eine Aufgabe gerahmt ist. Wenn die Aufgabe wie eine Abfrage aussieht, bei der ein Tool-Result die erwartete Antwort ist, wird das Modell diesem Format vertrauen. Wenn die Aufgabe zwei Optionen nebeneinander präsentiert, behandelt das Modell sie als gleichwertig und wird falsche Informationen glauben, unabhängig davon, ob sie in einem Tool-Result oder im Plain Text stehen. Die Ergebnisse legen nahe, dass die Gefahr falscher Informationen nicht nur davon abhängt, in welchem Format sie ankommen, sondern davon, wie die gesamte Konversation strukturiert ist, um dem Modell einen Grund zu geben, dieser Information zu vertrauen. Die Forschung hebt hervor, dass der Anschein eines verifizierten Datensatzes einfach dadurch erzeugt werden kann, dass man die Verpackung ändert, aber dass dieser Effekt verschwindet, wenn das Modell gebeten wird, Quellen direkt miteinander zu vergleichen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.