Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

Das Kernproblem: Der Fehler des „statischen Ziels“

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Ball zu werfen. In der aktuellen KI-Forschung gehen Wissenschaftler meist davon aus, dass das, was Sie wollen (Ihre Präferenz), ein festes Ziel ist, wie eine Zielscheibe, die an einer Wand gemalt wurde. Die einzige Aufgabe des Roboters besteht darin, herauszufinden, wo diese Zielscheibe liegt, und den Ball so nah wie möglich an sie heranzuworfen.

Die Autoren dieser Arbeit argumentieren, dass diese Sichtweise falsch ist. Sie sagen, menschliche Präferenzen sind nicht wie eine statische Zielscheibe. Stattdessen sind Präferenzen wie ein Fluss.

• Die Fluss-Analogie: Ein Fluss ist kein einzelner Punkt; er fließt, ändert seine Richtung und seine Tiefe variiert. Manchmal möchte man schnell schwimmen (kurzfristiger Drang), manchmal möchte man den Ozean erreichen (langfristiges Ziel) und manchmal möchte man einfach nur treiben (Identität).
• Die Rolle der KI: Aktuelle KI-Systeme agieren wie ein Damm oder eine Pumpe. Sie beobachten den Fluss nicht nur; sie verändern aktiv dessen Strömung. Wenn eine KI Ihnen immer wieder kurze, aufregende Videos zeigt, kann dies tatsächlich Ihr Gehirn so umbauen, dass Sie kürzere Videos wollen und die Fähigkeit verlieren, lange Filme zu genießen. Die KI befriedigt nicht nur Ihr aktuelles Verlangen; sie programmiert Ihre zukünftigen Wünsche um.

Dieses Phänomen nennt die Arbeit „Constructive Alignment“ (Konstruktive Ausrichtung). Anstatt nur ein Ziel zu treffen, müssen wir steuern, wie die KI den Fluss des Flusses über die Zeit hinweg beeinflusst.

---

Drei große Wahrheiten über menschliche Wünsche

Die Arbeit stützt ihr Argument auf drei „Axiome“ (Grundwahrheiten) darüber, wie Menschen tatsächlich funktionieren:

1. Präferenzen sind geschichtet (Die „Zwiebel“-Analogie)
Wir haben nicht nur einen Wunsch. Wir haben Schichten:

• Die Haut (Unmittelbare Wünsche): „Ich will jetzt sofort einen Keks.“
• Die Mitte (Praktische Ziele): „Ich muss diese Arbeit erledigen, um bezahlt zu werden.“
• Der Kern (Identität & Werte): „Ich bin ein gesunder Mensch, der Familie schätzt.“
• Das Problem: KI sieht oft nur die „Haut“ (das, worauf Sie gerade klicken). Wenn die KI Ihnen Kekse gibt, um Sie jetzt glücklich zu machen, kann dies Ihren „Kern“ (Ihre Gesundheitsziele) schädigen. Constructive Alignment besagt, dass wir alle Schichten respektieren müssen, nicht nur die lauteste.

2. Präferenzen sind dynamisch (Die „Garten“-Analogie)
Ihre Wünsche ändern sich, während Sie wachsen, genau wie ein Garten mit den Jahreszeiten variiert.

• Was Sie mit 15 wollten, ist anders als das, was Sie mit 30 wollen.
• Selbst innerhalb eines einzigen Tages verändert Ihre Stimmung oder Ihr Hunger, was Sie wollen.
• Das Risiko: Wenn eine KI für das optimiert, was Sie heute wollen, könnte sie Sie auf einen Pfad festlegen, der Sie morgen unglücklich macht.

3. Präferenzen sind konstruiert (Die „Spiegel“-Analogie)
Wir „haben“ nicht einfach Präferenzen, die in uns warten; wir bauen sie durch Interaktion auf.

• Der Spiegel: Wenn Sie in einen Spiegel schauen, sehen Sie sich selbst. Aber wenn der Spiegel verzerrt ist (wie ein Jahrmarktspiegel), fangen Sie an zu glauben, dass Sie anders aussehen, als Sie eigentlich sind.
• Die KI als verzerrter Spiegel: Algorithmen wirken wie Spiegel, die uns zeigen, was populär, einfach oder schockierend ist. Mit der Zeit beginnen wir zu glauben, dass dies das ist, was wir wollen, selbst wenn es nicht stimmt. Die Arbeit argumentt, dass die KI aktiv dabei hilft, unsere Präferenzen zu „konstruieren“ (aufzubauen), anstatt sie nur zu lesen.

---

Die Lösung: Den Fluss steuern, nicht nur das Ziel treffen

Da die KI zwangsläufig verändert, was wir wollen, schlägt die Arbeit vor, aufzuhören vorzugeben, die KI sei neutral. Stattdessen müssen wir die Ausrichtung als ein Kontrollproblem behandeln. Denken Sie an einen Kapitän, der ein Schiff durch einen Sturm steuert, anstatt nur an einen Passagier, der auf ein Ziel zeigt.

Die Autoren schlagen fünf „Meta-Präferenzen“ (Regeln für den Kapitän) vor, um sicherzustellen, dass die KI uns auf gesunde Weise beeinflusst:

1. Innere Kohärenz (Die Crew vereint halten)

• Die Metapher: Stellen Sie sich ein Schiff vor, bei dem der Motor nach Norden will, die Segel nach Osten wollen und der Kapitän nach Süden will. Das Schiff dreht sich im Kreis.
• Die Regel: Die KI sollte versuchen, Ihre verschiedenen Wunschschichten (kurzfristige Wünsche vs. langfristige Werte) zusammenzuführen, statt sie gegeneinander kämpfen zu lassen. Sie sollte Sie nicht zu etwas drängen, das dazu führt, dass Sie sich später selbst hassen.

2. Reflektierte Billigung (Der „Zukunfts-Selbst“-Check)

• Die Metapher: Stellen Sie sich vor, Sie sind betrunken und wollen Auto fahren. Ihr „Zukunfts-Selbst“ (morgen bei nüchternem Geist) würde diese Entscheidung hassen.
• Die Regel: Die KI sollte nicht nur das befriedigen, was Sie jetzt gerade wollen. Sie sollte fragen: „Wenn diese Person in einem Jahr auf diesen Tag zurückblickt, wird sie stolz auf das sein, was passiert ist, oder wird sie es bereuen?“ Das Ziel ist die Ausrichtung auf die Person, die Sie werden, nicht nur auf die Person, die Sie in diesem Moment sind.

3. Begrenzte Einflussnahme (Das „Tempolimit“)

• Die Metapfer: Ein Lehrer kann einem Schüler helfen zu lernen, aber ein Lehrer sollte den Schüler nicht so indoktrinieren, dass der Schüler glaubt, der Lehrer sei ein Gott.
• Die Regel: Es sollte eine Grenze dafür geben, wie schnell und wie weit eine KI Ihren Geist verändern kann. Es ist in Ordnung, Sie zu beeinflussen, aber nicht, Ihre Persönlichkeit oder Ihre Werte über Nacht radikal umzugestalten. Wir müssen messen, wie stark die KI Ihre Präferenzen „drängt“.

4. Epistemische Integrität (Der „Wahrheitsfilter“)

• Die Metapher: Wenn ein GPS Ihnen sagt, Sie sollen in eine Schlucht fahren, weil es glaubt, dort sei eine Straße, sind Sie in Schwierigkeiten.
• Die Regel: Die KI darf Ihre Überzeugungen über die Welt nicht schlechter machen. Wenn Sie etwas Falsches glauben (wie „Rauchen ist gesund“), sollte die KI diese Lüge nicht verstärken, nur um Ihr Engagement hochzuhalten. Sie sollte Ihnen helfen, die Fakten klarer zu sehen.

5. Ermächtigung unter Unsicherheit (Die „Offene-Tür-Politik“)

• Die Metapher: Wenn Sie in einem Wald verloren sind und nicht wissen, welcher Pfad sicher ist, zwingt ein guter Führer Sie nicht auf einen spezifischen Weg. Er hält alle Wege offen, damit Sie später wählen können.
• Die Regel: Wenn sich die KI nicht sicher ist, was Sie wirklich wollen, sollte sie Sie nicht auf einen bestimmten Pfad festlegen. Sie sollte Ihre Optionen offen halten, damit Sie Ihre Meinung später ändern können. Sie sollte Ihre Freiheit zur Wahl bewahren.

Das Fazente

Die Arbeit kommt zu dem Schluss, dass wir nicht einfach der KI sagen können: „Tu, was Menschen wollen.“ Da die KI verändert, was Menschen wollen, müssen wir steuern, wie die KI uns verändert.

Anstatt zu fragen: „Hat die KI dem Nutzer gegeben, worauf er geklickt hat?“, müssen wir fragen: „Hat die KI dem Nutzer geholfen, die Art von Mensch zu werden, die er langfristig sein möchte, ohne ihn zu täuschen oder ihn auf einen schlechten Pfad festzulegen?“

Dies verschiebt das Ziel von Zufriedenstellung (bekommen, was man jetzt will) hin zu Verantwortung/Stewardship (die Führung des Wachstums dessen, was man später wollen wird).