Der Detektiv, der Hinweis und die laute Stimme

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, Ursache und Wirkung zu verstehen. Sie wollen, dass er weiß, dass ein Licht angeht, wenn man einen Knopf drückt, und nicht nur, dass der Knopf und das Licht normalerweise zusammen auftreten. In der Welt der künstlichen Intelligenz gibt es eine berühmte Idee namens „Ladder of Causation“ (Leiter der Kausalität). Sie besagt, dass man, um wirklich zu verstehen, warum Dinge passieren, mehr braucht als nur das bloße Beobachten der Welt (Beobachtung); man muss tatsächlich eingreifen und Dinge verändern (Intervention). Lange Zeit glaubten Forscher, der beste Weg, einer KI diese Fähigkeit beizubringen, bestünde darin, sie mit einer Diät aus „interventionellen Daten“ zu füttern – Geschichten, in denen die KI sieht, wie jemand tatsächlich den Knopf drückt und das Licht angeht.

Die große Frage war simpel: Wenn wir mehr dieser „Aktions“-Geschichten in die Trainingsdaten des Roboters mischen, wird er dann besser darin, Ursache und Wirkung zu erkennen? Diese Arbeit untersucht diese Frage anhand einer sehr kontrollierten, künstlich erschaffenen Welt, in der die Antworten mathematisch bekannt sind. Der Forscher entwarf ein kniffliges Szenario namens „Simpson-Paradoxon“, ein statistisches Rätsel, bei dem zwei Dinge so aussehen, als würden sie sich in entgegengesetzte Richtungen bewegen, wenn man sie nur beobachtet, während sie sich in Wirklichkeit gemeinsam bewegen, wenn man die wahre Ursache betrachtet. Es ist wie die Beobachtung, dass Menschen, die Regenschirme tragen, nasser werden als diejenigen, die es nicht tun, und daraus zu schließen, dass Regenschirme Regen verursachen, obwohl in Wirklichkeit der Regen sowohl die Regenschirme als auch die Nässe verursacht. Die Arbeit testet, ob die Gabe von mehr „Interventions“-Training dem Roboter helfen kann, die irreführenden „Beobachtungs“-Hinweise zu ignorieren und die wahre Ursache zu finden.

Das Experiment: Dem Roboter eine gemischte Diät zu füttern

Der Autor baute einen digitalen Spielplatz mit 50 verschiedenen „Welten“. In jeder Welt erschuf er einen verborgenen Trick: Die natürliche Beobachtung zeigte eine negative Beziehung (wie im Beispiel mit dem Regenschirm), aber der wahre kausale Effekt war positiv. Dann trainierte er Sprachmodelle auf diesen Welten, indem er unterschiedliche Mengen an „interventionellen“ Daten (wo das Modell sah, wie jemand eine Änderung erzwingt) gegenüber „beobachtenden“ Daten (wo das Modell einfach nur zusah) beimischte.

Der Forscher begann mit einer verbreiteten Annahme, die er Hypothese 1 nannte: „Wenn wir die Menge der Interventionsdaten in der Trainingsmischung erhöhen, wird das Modell besser darin, die wahre Ursache zu finden.“ Er testete dies, indem er den Prozentsatz der Interventionsdaten langsam von 0 % bis hin zu 100 % erhöhte.

Hier kam die überraschende Wendung: Die Hypothese war falsch.

Selbst als sie das Modell mit 100 % Interventionsdaten während des Trainings fütterten, wählte das Modell immer noch die falsche Richtung der Ursache, wenn ihm im Moment der Beantwortung einer Frage beobachtende Hinweise gezeigt wurden. Das Modell lernte die Größe des Effekts aus den Interventionsdaten (es wusste, dass das Licht heller werden würde), aber es kopierte die Richtung (positiv oder negativ) von den beobachtenden Hinweisen, die es im Kontext sah. Es war wie ein Schüler, der die mathematischen Formeln perfekt auswendig gelernt hat, aber bei einer Prüfung die Formeln ignoriert und stattdessen einfach basierend auf dem Muster der vorherigen Fragen rät.

Der wahre Übeltäter: Der Kontextwechsel

Wenn also die Trainingsmischung nicht entscheidend war, was dann? Die Arbeit entdeckte, dass der entscheidende Faktor die Art der im Kontext vorhandenen Evidenz im Moment der Beantwortung der Frage war.

Der Forscher führte einen „Vier-Wege-Vergleich“ durch, um zu sehen, wie verschiedene Arten von Hinweisen das Modell beeinflussten:

1. Reine Beobachtung: Wenn der Kontext nur aus Beobachtungsaufzeichnungen bestand, lag das Modell in 29 von 50 Fällen falsch.
2. Gemischte Evidenz: Wenn der Kontext eine Mischung aus Beobachtung und Intervention enthielt, lag es in 19 von 50 Fällen falsch.
3. Reine Intervention (Sonden): Wenn der Kontext nur aus Interventionsaufzeichnungen bestand (Sonden), lag das Modell in 41 von 50 Fällen richtig.

Die spannendste Erkenntnis kam durch einen „Zaubertrick“, der während des Tests durchgeführt wurde. Der Forscher nahm ein Modell, das mit einer Mischung aus Daten trainiert worden war und aufgrund der beobachtenden Hinweise in seinem Kontext versagte. Er löschte die beobachtenden Hinweise unmittelbar vor der Antwort des Modells aus dem Kontext. Augenblicklich schaltete sich die Fähigkeit des Modells, die wahre Ursache zu finden, „ein“. Seine Genauigkeit sprang von einem negativen Wert auf einen positiven Wert und entsprach damit der Leistung eines Modells, das nur Interventionsdaten gesehen hatte.

Dies bewies, dass das Modell die kausale Argumentation die ganze Zeit über gelernt hatte; sie wurde lediglich durch die Anwesenheit von Beobachtungsdaten „stummgeschaltet“. Die Fähigkeit lag im Gehirn des Modells (in seinen Gewichten), aber der Kontext wirkte wie eine Fernbedienung, die die richtige Antwort stumm schaltete.

Wie der Schalter funktioniert: Ein stufenloser Regler

Die Arbeit untersuchte auch, wie dieser Schalter funktioniert. Es ist kein einfacher Ein/Aus-Schalter; es ist eher wie ein Lautstärkeregler.

• Ein Beobachtungsdatensatz: Unterdrückte das Modell kaum.
• Zwei Datensätze: Verwässerten das Signal und machten das Modell verwirrt.
• Vier Datensätze: Ergriffen die volle Aufmerksamkeit des Modells und zwangen es, der falschen beobachtenden Richtung zu folgen.

Noch interessanter war, dass der Inhalt der Beobachtung entscheidend war. Wenn die Beobachtungsdatensätze nur zufällige Zahlen waren, die nicht zur aktuellen Welt passten, war die Unterdrückung schwächer. Aber wenn die Datensätze kohärent waren und den spezifischen Korrelationen der aktuellen Welt entsprachen, war die Unterdrückung am stärksten. Dies deutet darauf hin, dass das Modell aktiv der „Geschichte“ im Kontext zuhört und die kohärenteste Erzählung über die gelernten Regeln priorisiert.

Skalierung und der „Positive Bias“

Der Forscher prüfte auch, ob dieses Problem besser oder schlechter wird, wenn die Modelle größer werden. Er testete ein Modell mit fast 1 Milliarde Parametern (viel größer als die ursprünglichen 25 Millionen). Das Problem blieb bestehen: Das Modell mit gemischtem Kontext kehrte die Richtung der Ursache immer noch in etwa 32 % der Fälle um, während das reine Interventionsmodell dies nur in 6 % der Fälle tat.

Schließlich betrachtete er einen anderen Datensatz (CLadder), um zu sehen, ob das Modell eine allgemeine Regel wie „Ursachen sind immer positiv“ gelernt hatte. Er fand heraus, dass das Modell tatsächlich einen „positiven Bias“ (eine positive Voreingenommenheit) entwickelt hatte, da alle verwendeten Trainingsbeispiele positive Effekte aufwiesen. Als er versuchte, dies durch ein erneutes Training mit sowohl positiven als auch negativen Beispielen zu korrigieren, wurde das Modell zwar besser darin, Vorzeichen innerhalb der Trainingswelt zu lesen, aber es fiel dennoch auf eine positive Antwort zurück, wenn es mit verwirrenden externen Daten konfrontiert wurde. Dies deutet darauf hin, dass das Modell ein „Sicherheitsnetz“ besitzt, das aktiviert wird, wenn es unsicher ist, und dass dieses Sicherheitsnetz schwer zu entfernen ist.

Das Fazament

Diese Arbeit lehrt uns eine lebenswichtige Lektion über das Lehren von KI: Es reicht nicht aus, sie nur mit den richtigen Daten zu füttern. Das Modell mag die Fähigkeit erlernen, aber wenn die Umgebung, in der es operiert (der Kontext), mit irreführenden Hinweisen gefüllt ist, wird es das Gelernte ignorieren und stat den Hinweisen folgen. Der „Schalter“, der die wahre Argumentationsfähigkeit des Modells einschaltet, liegt nicht in den Trainingsdaten; er liegt im Kontext, den wir ihm im Moment des Tests geben. Um die besten Ergebnisse zu erzielen, müssen wir den Kontext so gestalten, dass er die richtige Art von Evidenz hervorhebt, anstatt nur darauf zu hoffen, dass die Trainingsdaten allein ausreichen.