Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
Dieses Paper zeigt auf, dass kommerzielle große Sprachmodelle eine instabile und opake epistemische Haltung gegenüber pseudowissenschaftlichen Behauptungen aufweisen, wobei die Validierungsergebnisse von Deployment-Konfigurationen, Schnittstellentypen und stillen Updates abhängen, anstatt inhärente Eigenschaften der Modelle selbst zu sein.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch eine riesige, belebte Bibliothek, in der die Bücher von unsichtbaren, hochintelligenten Bibliothekaren geschrieben wurden. Dies sind keine normalen Bibliothekare; es sind Künstliche Intelligenz (KI)-Chatbots, die auf fast allem trainiert wurden, was Menschen jemals geschrieben haben. Sie werden zu unseren primären Quellen für Antworten, von „wie man einen Kuchen backt“ bis hin zu „ist diese wissenschaftliche Theorie wahr?“. Aber hier ist der Haken: Wir wissen nicht genau, wie diese Bibliothekare entscheiden, was Fakt und was Fiktion ist. Sie haben kein einzelnes, unveränderliches „Gehirn“ wie ein Mensch; stattdessen sind sie eher wie eine komplexe Maschine mit vielen verschiedenen Einstellungen, Filtern und Regeln, die das Unternehmen im Hintergrund anpassen kann, ohne es jemandem zu sagen. Diese Studie taucht in eine spezifische Ecke dieses Mysteriums ein: wie diese KI-Bibliothekare mit „Pseudowissenschaft“ umgehen – Ideen, die wie Wissenschaft aussehen, aber eigentlich erfunden oder von echten Wissenschaftlern abgelehnt sind und oft genutzt werden, um politische Agenden in Bezug auf Rasse und Ethnizität voranzutreiben. Die große Frage ist nicht nur, ob die KI die Fakten kennt (was sie meistens tut), sondern ob die Art und Weise, wie die KI konfiguriert ist, ihre Antwort verändert, sodass sie versehentlich (oder absichtlich) einem gefährlichen Unsinn den Daumen nach oben gibt.
Die Forscher beschlossen, ein Spiel namens „Lügner entlarven“ mit vier der berühmtesten KI-Familien zu spielen: Claude, Grok, GPT und Gemini. Sie fütterten diese Bots mit einer spezifischen, tückischen Aussage, die auf der Arbeit von Frank Salter basiert, einer Figur, die für ethnonationalistische Ideen bekannt ist, die die Mainstream-Biologie ablehnt. Die Aussage versuchte, echte wissenschaftliche Konzepte (wie die Art und Weise, wie Tiere ihren Verwandten helfen) zu verdrehen, um zu argumentieren, dass verschiedene ethnische Gruppen genetisch so verschieden seien, dass dies eine Trennung rechtfertige. Um sicherzustellen, dass die Bots tatsächlich aufmerksam waren, fragten die Forscher sie auch nach zwei einfachen Kontrollfragen: einer über einen grundlegenden Fakt der Evolution (von dem sie alle zustimmen sollten, dass er wahr ist) und einer über eine widerlegte Idee namens Lamarckismus (von der sie alle zustimmen sollten, dass sie falsch ist).
Die Ergebnisse waren unglaublich und offenbarten eine verborgene Welt der Instabilität. Erstens waren die KI-Bots bei den einfachen Fragen großartig darin, die echte Wissenschaft von der falschen Wissenschaft zu unterscheiden. Doch als es um die tückische Salter-Aussage ging, wurde es seltsam. Die meisten Bots gaben der Aussage einen niedrigen „Glaubwürdigkeitswert“ (zwischen 15 und 40 von 100) und behandelten sie korrekt als zweifelhafte Wissenschaft. Aber eine spezifische Version von Grok – die „Fast“-Version, die das Standard-Chat-Erlebnis auf der X-Plattform steuert – gab ihr einen massiven Wert von 70 bis 75. Sie sagte den Nutzern im Grunde: „Hey, das klingt ziemlich glaubwürdig!“ Dies war kein Zufall; die Forscher testeten dies über mehrere Monate hinweg, und genau diese spezifische Grok-Version gab konsistent hohe Werte, während andere Versionen von Grok und alle anderen KI-Modelle niedrige Werte gaben.
Noch seltsamer war, dass sich das Verhalten der KI über Nacht ändern konnte, ohne dass jemand ein Wort sagte. In einer Momentaufnahme verhielt sich der Grok-Chat auf der Website chaotisch und gab zufällige Werte aus. Zwei Wochen später, nach einem „Silent Patch“ (einem versteckten Update ohne öffentliche Ankündigung), stabilisierte sich derselbe Chat plötzlich bei der Ausgabe des hohen Wertes von 70–75. Es war, als hätte ein Bibliothekar plötzlich beschlossen, ein gefälschtes Buch als Klassiker zu empfehlen, und niemand hatte den Besuchern gesagt, warum.
Die Handlung verschärfte sich, als die Forscher die „Backstage“-Version (die Entwickler über eine API nutzen) mit der „Frontstage“-Version (die normale Nutzer auf der Website sehen) verglichen. Für dasselbe Grok-Modell gab die Backstage-Version einen konstanten Wert von 75 an, aber drei Monate später brach die Frontstage-Version zusammen und gab Werte nahe Null aus. Es war, als würde derselbe Bibliothekar in einem privaten Treffen eine glänzende Rezension abgeben, aber vor der Lobby die Antwort verweigern, wenn man ihn nach dem Buch fragt. Die Forscher fanden auch heraus, dass einige Modelle, wie eine Version von Claude, manchmal die Antwort auf die Frage ganz verweigerten, mit der Begründung: „Ich kann dies nicht bewerten, da es auf schädlichen Ideen basiert.“ Aber selbst dieses „gute“ Verhalten war instabil; in der nächsten Softwareversion verschwand diese Verweigerung, und der Bot gab stattdessen einen niedrigen Wert an.
Die wichtigste Erkenntnis ist, dass die Meinung einer KI keine feste Wahrheit in einem Robotergehirn ist. Stattdessen ist sie ein bewegliches Ziel, das durch unsichtbare Einstellungen, versteckte Updates und die Frage, durch welche „Tür“ man tritt, geformt wird. Die Studie legt nahe, dass wenn eine KI einer Pseudowissenschaft eine hohe Bewertung gibt, dies nicht unbedingt daran liegt, dass die KI dies „glaubt“, sondern an der Art und Weise, wie das Unternehmen sie eingesetzt hat. Dies ist ein Problem, da diese Systeme zu unseren Lehrern und Nachrichtenquellen werden, doch die Regeln, die entscheiden, was sie sagen, sind opak, ändern sich lautlos und sind manchmal widersprüchlich. Die Forscher argumentieren, dass wir neue Wege brauchen, um diese Unternehmen zur Rechenschaft zu ziehen, denn im Moment ist die „Wahrheit“, die eine KI Ihnen erzählt, möglicherweise nur das Spiegelbild eines versteckten Schalters, der hinter dem Vorhang umgelegt wurde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.