When Does Causal Pretraining Beat Direct Small-Data Causal Learning? Towards a causal foundation model

Stellen Sie sich vor, Sie sind ein Detektiv, der herauszufinden versucht, was passiert, wenn man eine Sache in einem komplexen System verändert. Vielleicht möchten Sie wissen, ob ein neues Medikament tatsächlich eine Krankheit heilt, oder ob ein bestimmter Dünger Pflanzen höher wachsen lässt. In der Welt der Wissenschaft nennt man das kausale Inferenz. Es unterscheidet sich davon, nur zu bemerken, dass zwei Dinge zusammen auftreten (Korrelation). Zum Beispiel könnten Sie beobachten, dass Menschen, die Regenschirme tragen, öfter nass werden, aber das bedeutet nicht, dass die Regenschirme den Regen verursacht haben; der Regen hat beides verursacht. Um die wahre Ursache zu finden, müssen Wissenschaftler normalerweise Experimente durchführen, bei denen sie die Variablen kontrollieren, wie zum Beispiel einer Gruppe ein Medikament und einer anderen ein Placebo zu geben.

Es gibt jedoch ein großes Problem: Experimente sind teuer und schwierig durchzuführen. Manchmal hat man nur eine winzige Handvoll Datenpunkte aus einer neuen Situation – vielleicht nur wenige Patienten in einer Studie zu einer seltenen Krankheit oder nur wenige Felder in einer neuen Klimazone. Das ist das „Small Data“-Problem. Andererseits verfügen Wissenschaftler oft über Berge von Daten aus anderen, ähnlichen Situationen. Die große Frage, die dieses Paper behandelt, lautet: Können wir einen Computer lehren, zuerst aus all diesen anderen Situationen zu lernen, damit er zu einem „kausalen Experten“ wird, der unser winziges, schwieriges Problem viel besser lösen kann, als wenn wir bei Null anfangen würden?

Dies ist die Geschichte einer neuen Idee namens SciCFM (Scientific Causal Foundation Model). Denken Sie daran, wie man einen Meisterkoch ausbildet. Anstatt dem Koch beizubringen, ein spezifisches Gericht von Grund auf neu zu kochen, indem man ihm nur drei Zutaten gibt (unser winziger neuer Datensatz), lässt man ihn zuerst tausende verschiedene Mahlzeiten in einer riesigen Küche üben (die Pretraining-Phase). Die Hoffnung ist, dass der Koch die Prinzipien des Kochens lernt – wie Hitze Lebensmittel beeinflusst, wie sich Aromen vermischen, wie man mit verschiedenen Texturen umgeht – damit er das spezifische, schwierige Gericht am Ende perfekt zubereiten kann, auch wenn er nur wenige Zutaten zur Verfügung hat. Das Paper fragt: Funktioniert dieser „Meisterkoch“-Ansatz tatsächlich besser, als einfach einen lokalen Koch einzustellen, der nur die drei Zutaten kennt, die wir gerade vor uns haben?

Das Experiment: Ein digitales Labor

Die Forscher haben dies nicht an echten Menschen oder Pflanzen getestet, denn in der realen Welt können wir die „wahre Antwort“ niemals mit 100-prozentiger Sicherheit kennen. Stattdessen haben sie einen superkomplexen Videospiel-Simulator gebaut. In diesem Spiel haben sie hunderte verschiedene „Welten“ erschaffen, in denen sie genau wussten, wie alles funktioniert. Sie konnten die verborgenen Ursachen, die geheimen Verbindungen und die wahren Ergebnisse jeder Handlung sehen. Dies ermöglichte es ihnen, ihren „Meisterkoch“ (das SciCFM-Modell) gegen einen „lokalen Koch“ (Standard-Mathematikmodelle) antreten zu lassen und zu sehen, wer mit nur einer winzigen Anzahl von Hinweisen die richtige Antwort finden konnte.

Sie stellten drei verschiedene Arten von Herausforderungen auf, um zu sehen, wie die Modelle abschnitten:

1. Die „Fake News“-Herausforderung (Kausal vs. Beobachtend)
Zuer Sie testeten, ob es einen Unterschied macht, wie das Modell seine ersten Lektionen lernt. Sie gaben einem Modell einen Stapel Daten, bei dem die „Behandlung“ (wie ein Medikament) zufällig zugewiesen wurde (der gute Weg). Sie gaben einem anderen Modell einen Stapel Daten, bei dem die Behandlung basierend auf verborgenen Faktoren zugewiesen wurde (der chaotische, reale Weg, bei dem kranke Menschen öfter das Medikament erhalten).

• Das Ergebnis: Das Modell, das mit den „zufälligen“ Daten trainiert wurde (Causal Pretraining), war ein Superheld. Es reduzierte seine Fehler um 42,8 % bis 53,8 % im Vergleich zum Modell, das mit den chaotischen Daten trainiert wurde. Es stellt sich heraus: Wenn man lernen will, wie man Dinge verändert, muss man mit Experimenten üben, nicht nur beobachten, was natürlich geschieht.

2. Die „Einfache Puzzle“-Herausforderung (Wenn Pretraining versagt)
Als Nächstes versuchten sie ein sehr einfaches Szenario. Stellen Sie sich ein Puzzle mit nur vier Teilen und einer geraden Linie vor, die sie verbindet. Sie fragten: „Ist es besser, unseren superintelligenten ‚Meisterkoch‘ zu verwenden, der aus tausenden komplexen Welten gelernt hat, oder einfach einen einfachen, zuverlässigen Taschenrechner, der nur auf die vier Teile schaut, die wir gerade haben?“

• Das Ergebnis: Der einfache Taschenrechner gewann. Der „Meisterkoch“ war tatsächlich schlechter. Die Forscher fanden heraus, dass das Modell bei einem einfachen Problem mit sauberen Daten durch seine eigenen komplexen Erinnerungen verwirrt wird. Es ist, als würde man einen kernbetriebenen Toaster benutzen, um ein Stück Toast zu machen; es ist übertrieben und könnte sogar das Brot verbrennen. Das Paper schließt explizit die Idee aus, dass Pretraining immer besser ist.

3. Die „Monster-Labyrinth“-Herausforderung (Wenn Pretraining glänzt)
Schließlich drehten sie den Schwierigkeitsgrad hoch. Sie erschufen ein Labyrinth mit 30 verschiedenen Variablen, von denen aber nur 6 tatsächlich wichtig waren. Die Regeln waren knifflig: Einige Effekte traten erst nach einem gewissen Punkt auf (Schwellenwerte), einige wurden schwächer, wenn man etwas hinzufügte (Sättigung), und einige funktionierten nur für bestimmte Gruppen von Menschen. Sie gaben den Modellen nur sehr wenige Hinweise: 16, 32 oder 64 Datenpunkte.

• Das Ergebnis: Hier rettete der „Meisterkoch“ den Tag.
  • Mit nur 16 Hinweisen war das SciCFM-Modell um 29,4 % genauer als das beste einfache Modell.
  • Mit 32 Hinweisen war es um 14,6 % besser.
  • Mit 64 Hinweisen war es immer noch um 3,2 % besser, obwohl der Abstand geringer wurde.
  • Die einfachen Modelle verloren sich in der Komplexität der 30 Variablen, während das Pretraining-Modell Muster erkannte, die es schon einmal gesehen hatte, und sich schnell anpasste.

Das große Fazit

Also, besiegt Pretraining das direkte Lernen? Die Antwort ist ein spielerisches „Es kommt darauf an!“

Das Paper legt nahe, dass kausales Pretraining ein mächtiges Werkzeug ist, aber kein Zauberstab, der alles behebt.

• Nutzen Sie den „Meisterkoch“ (Pretraining), wenn Sie vor einem komplexen, hochdimensionalen Problem stehen (wie 30 Variablen) mit sehr wenig Daten, und die zugrunde liegenden Regeln knifflig, aber ähnlich zu Dingen sind, die Sie schon einmal gesehen haben.
• Bleiben Sie beim „lokalen Koch“ (Einfache Modelle), wenn das Problem einfach und niedrigdimensional ist und Sie über ordentliche Daten verfügen. In diesen Fällen fügt das schicke Modell nur unnötiges Rauschen hinzu.

Die Forscher weisen vorsichtig darauf hin, dass diese Ergebnisse aus ihren Simulationen stammen, nicht aus echten Krankenhäusern oder landwirtschaftlichen Betrieben. Aber die Geschichte, die sie erzählen, ist klar: Wenn wir wollen, dass KI uns hilft, Entscheidungen mit sehr wenig Daten zu treffen, müssen wir sie durch vielfältige Experimente die Prinzipien von Ursache und Wirkung lehren. Wir müssen jedoch auch klug genug sein zu wissen, wann wir die schicke KI weglegen und statstring ein einfaches, zuverlässiges Werkzeug verwenden sollten. Die Zukunft der „Causal Foundation Models“ besteht nicht darin, alle alten Methoden zu ersetzen, sondern darin, genau zu wissen, wann man die schweren Geschütze auffährt.