Wenn wir ein großes Sprachmodell eine Frage stellen, stellen wir uns oft ein direktes Gespräch zwischen einem Menschen und einer Maschine vor. Wir nehmen an, dass die Antwort direkt aus dem „Gehirn“ des Computers kommt, geformt nur durch die Daten, mit denen er trainiert wurde, und die Wörter, die wir getippt haben. Diese Sichtweise behandelt das Modell wie eine statische Bibliothek, in der die Bücher im Inneren feststehen und die einzige Variable darin besteht, welches Buch der Bibliothekar aus dem Regal zieht. Die Realität dessen, wie diese Systeme in der realen Welt funktionieren, ist jedoch komplexer. Die Technologie hinter diesen Modellen hat sich so weit entwickelt, dass der Computer mehr tun kann, als nur Informationen abzurufen; er kann die Wahrscheinlichkeiten dessen, was er als Nächstes sagt, subtil umschreiben, noch bevor er einen einzigen Satz beendet hat. Dies geschieht in einer verborgenen Software-Schicht, die zwischen dem Kernwissen des Modells und dem endgültigen Text liegt, den Sie auf Ihrem Bildschirm sehen. Es ist ein Raum, in dem der Rohoutput der Maschine gedrückt, angepasst oder gesteuert werden kann, ohne das zugrunde liegende Gedächtnis der Maschine zu verändern.

Ein neues Paper von Augusto Camargo untersucht die Konsequenzen dieser verborgenen Schicht und argumentiert, dass wir auf den falschen Teil des Systems schauen, wenn wir uns nur für das Modell selbst interessieren. Der Autor legt nahe, dass der bedeutendste Einfluss darauf, was eine KI sagt, möglicherweise nicht in ihren Trainingsdaten oder ihrem internen Code liegt, sondern in den unsichtbaren Regeln, die angewendet werden, in dem Moment, in dem sie bereit ist zu sprechen. Diese Forschung verschiebt den Fokus von der Frage „Was weiß das Modell?“ hin zu „Wer kontrolliert, was das Modell sagen darf?“. Das Paper behauptet nicht, dass diese Systeme derzeit in einer spezifischen, bewiesenen Weise dazu verwendet werden, die Welt zu manipulieren, sondern vielmehr, dass die technischen Werkzeuge dazu existieren, bereits für andere Zwecke eingesetzt werden und für die Menschen, die sie nutzen, weitgehend unsichtbar bleiben. Es ist ein Aufruf, anzuerkennen, dass die Antwort, die Sie erhalten, nicht nur ein Spiegelbild des Modells ist, sondern das Produkt eines Systems, das aus politischen, kommerziellen oder ideologischen Gründen abgestimmt werden kann, ohne dass es jemand weiß.

Der Kern dieses Arguments beruht auf einer einfachen, aber kraftvollen Beobachtung: Das Modell ist nicht dasselbe wie das System, das seine Antworten liefert. In einem Standard-Setup gibt ein Benutzer einen Prompt ein, das Modell generiert eine Liste möglicher nächster Wörter mit unterschiedlichen Wahrscheinlichkeiten, und dann wählt ein Computer eines davon aus. Das Paper weist darauf hin, dass es in modernen, realen Anwendungen oft einen zusätzlichen Schritt dazwischen gibt. Bevor der Computer seine endgültige Wahl trifft, kann eine separate Software diese Wahrscheinlichkeiten betrachten und anpassen. Sie kann bestimmte Wörter etwas wahrscheinlicher machen und andere etwas unwahrscheinlicher, alles ohne die internen Gewichte des Modells oder den Prompt des Benutzers zu ändern. Dieser Prozess ähnelt der Art und Weise, wie ein Radiosender die Lautstärke eines bestimmten Liedes leicht erhöhen kann, um es hervorzuheben, obwohl das Lied selbst nicht verändert wurde. Das Paper formalisiert dies als „Inferenz-Policy“ (Inference Policy), einen Satz von Regeln, die im allerletzten Moment der Generierung operieren.

Der Autor zeigt auf, dass diese Fähigkeit nicht theoretisch ist; es handelt sich um eine bereits bewährte Technologie, die für andere Dinge verwendet wird. Beispielsweise nutzen Unternehmen ähnliche Methoden, um unsichtbare Wasserzeichen in Texte einzubetten, um zu beweisen, dass sie von einer KI geschrieben wurden, oder um ein Modell von toxischer Sprache wegzulenken. Das Paper argumentiert, dass dieselbe technische Maschinerie, die zum Hinzufügen von Wasserzeichen oder zur Gewährleistung von Sicherheit verwendet wird, für etwas viel Subtileres zweckentfremdet werden könnte: das Framing. Framing ist der Akt, ein Thema so darzustellen, dass bestimmte Aspekte hervorgehoben werden, während andere untergeordnet werden, was den Verständnis des Menschen für die Angelegenheit beeinflusst, ohne die Fakten zu verdrehen. Ein System könnte so programmiert werden, dass es konsistent Wörter wählt, die eine Regierungsmaßnahme wie eine Schutzmaßnahme klingen lassen, während eine andere Version desselben Systems so abgestimmt sein könnte, dass dieselbe Maßnahme wie eine bürokratische Belastung wirkt. Beide Antworten könnten faktisch korrekt sein, aber die Wahl der Wörter würde den Nutzer zu einem bestimmten emotionalen oder politischen Schluss führen.

Dies führt zu einem großen Problem, das das Paper das „Attributionsproblem“ nennt. Wenn ein Benutzer eine politische Frage stellt und eine voreingenommene Antwort erhält, ist es nahezu unmöglich zu sagen, woher diese Voreingenommenheit stammt. Liegt es daran, dass das Modell mit voreingenommenen Daten trainiert wurde? Liegt es daran, dass die Entwickler eine versteckte Anweisung in das System eingebaut haben? Oder liegt es daran, dass ein Dritter dafür bezahlt hat, die Wahrscheinlichkeiten in eine bestimmte Richtung zu verschieben? Da die Anpassung in dem Bruchteil einer Sekunde erfolgt, bevor die Antwort generiert wird, hinterlässt sie keine Spur in der Gesprächshistorie. Im Gegensatz zu einer versteckten Anweisung, die versehentlich enthüllt werden könnte, oder einem voreingenommenen Datensatz, der in einem Test auffallen könnte, ist diese Art der Steuerung für jeden, der den Code des Modells oder den fertigen Text betrachtet, unsichtbar. Das Paper legt nahe, dass dies es unglaublich schwierig macht, jemanden für die Meinungen haftbar zu machen, die eine KI äußert, weil die Quelle des Einflusses in der Deployment-Schicht liegt und nicht im Modell selbst.

Der Autor führt zudem ein Konzept namens „Wahrscheinlichkeitsplatzierung“ (Probability Placement) ein, das eine hypothetische neue Form der Werbung beschreibt. Anstatt dass ein Unternehmen dafür bezahlt, dass sein Produkt explizit in einer Antwort erwähnt wird, könnte es dafür bezahlen, dass seine Marke bei der Entscheidung des Modells zwischen Optionen etwas wahrscheinlicher gewählt wird. Stellen Sie sich vor, Sie fragen nach einer Empfehlung, welche Datenbank zu verwenden ist. Das Modell könnte natürlich denken, dass drei Optionen gleichermaßen gut sind, aber eine kommerzielle Richtlinie könnte die Chancen so verschieben, dass das Produkt des zahlenden Unternehmens zur wahrscheinlichsten Wahl wird. Dies würde geschehen, ohne explizite Werbung, ohne dass der Nutzer merkt, dass er beeinflusst wird, und ohne dass das Modell jemals angewiesen wird, etwas zu „verkaufen“. Es ist eine Art, kommerziellen Einfluss direkt in das Gefüge der Empfehlung einzubetten, sodass er sich wie eine natürliche, unvoreingenommene Meinung anfühlt.

Das Paper untersucht, wie diese Dynamiken mit aktuellen Gesetzen und Regulierungen interagieren, wie etwa dem Gesetz über Künstliche Intelligenz der Europäischen Union und Werbestandards. Es stellt fest, dass zwar Gesetze existieren, um subtile Manipulation zu verhindern oder die kommerziellen Verbindungen offenzulegen, diese aber mit älteren Technologien geschrieben wurden. Sie setzen voraus, dass, wenn ein Produkt beworben wird, dies offensichtlich sein wird. Sie berücksichtigen nicht ein System, in dem die Werbung eine winzige, statistische Verschiebung in der Wahrscheinlichkeit des Erscheinens eines Wortes ist. Der Autor argumentiert, dass ein System, das Nutzer systematisch zu einer bestimmten politischen Ansicht oder einer kommerziellen Wahl steuern kann, ohne dass sie es wissen, die Idee der informierten Entscheidungsfindung infrage stellt. Der Schaden ist vielleicht nicht unmittelbar oder offensichtlich in einem einzelnen Gespräch, aber das Paper legt nahe, dass sich diese subtile Steuerung über Millionen von Interaktionen hinweg akkumulieren und die öffentliche Meinung sowie das Marktverhalten auf tiefgreifende Weise prägen könnte.

Letztlich schlägt die Forschungsarbeit ein neues Prinzip der Governance vor, das „Transparenz der Inferenz-Policy“ (Inference Policy Transparency) genannt wird. Dies würde von Unternehmen verlangen, nicht nur offenzulegen, wie ihre Modelle trainiert wurden, sondern auch, wie sie gesteuert werden, wenn sie verwendet werden. Es fordert ein System, in dem die Regeln, die die Wahrscheinlichkeiten modifizieren, sichtbar und prüfbar sind, vergleichbar mit einem Etikett auf einer Lebensmittelverpackung. Das Ziel ist es, die Frage von „Was kodiert das Modell?“ zu „Wer kontrolliert die Wahrscheinlichkeitsverteilung zwischen dem Modell und dem Nutzer?“ zu verschieben. Das Paper schließt mit dem Hinweis, dass wir, während diese Systeme zentraler für den Zugang zu Informationen, für Entscheidungen und für Debatten werden, erkennen müssen, dass das Modell nur ein Teil der Gleichung ist. Die unsichtbare Schicht, die zwischen der Maschine und dem Menschen liegt, ist der Ort, an dem die wahre Macht zur Gestaltung der Realität nun liegen kann – und es ist eine Schicht, die derzeit im Verborgenen operiert.