From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers

Die Wissenschaft versucht oft zu verstehen, nicht nur was passiert, sondern warum es passiert. Wenn Forscher versuchen, die Ursachen hinter einem Phänomen zu kartieren – sei es die Ausbreitung eines Virus in einer Bevölkerung oder der Ausfall einer Maschine in einer Fabrik – erstellen sie ein Diagramm von Verbindungen. In diesem Diagramm bedeutet eine direkte Linie von einer Sache zu einer anderen, dass das erste Ding unmittelbar die zweite Sache verursacht. Wenn ein Virus zu einer Infektion führt, die dann zu einem positiven Testergebnis führt, verursacht das Virus das Testergebnis nur indirekt durch die Infektion. Herauszufinden, welche Linien direkt und welche indirekt sind, ist ein schwieriges Rätsel, das als kausale Entdeckung (causal discovery) bekannt ist. Jahrzehntelang haben sich Wissenschaftler auf komplexe mathematische Werkzeuge und große Mengen an Beobachtungen verlassen, um dieses Rätsel zu lösen, aber diese Werkzeuge stoßen manchmal an ihre Grenzen, wenn Daten knapp sind oder wenn verschiedene Muster identisch aussehen.

In den letzten Jahren ist eine neue Art von Werkzeug entstanden: große Sprachmodelle (Large Language Models). Dies sind Computersysteme, die auf riesigen Mengen von Text trainiert wurden und Fragen beantworten, Geschichten schreiben und Probleme durch logisches Denken lösen können. Da sie so viel gelesen haben, scheinen sie über einen tiefen Wissensschatz darüber zu verfügen, wie die Welt funktioniert, einschließlich der Frage, wie Dinge einander verursachen. Forscher haben begonnen zu fragen, ob diese Systeme als Expertenführer fungieren können, die uns sagen, welche Verbindungen in einem Diagramm real und direkt sind. Die Hoffnung war, dass diese Modelle eine Abkürzung bieten könnten, indem sie zuverlässige Urteile über Ursache und Wirkung liefern, ohne dass teure Experimente durchgeführt werden müssen. Eine neue Studie legt jedoch nahe, dass diese Modelle zwar gut darin sind, zu spüren, dass zwei Dinge miteinander in Beziehung stehen, sie aber oft schrecklich darin sind, genau zu wissen, wie sie miteinander verbunden sind, und sie sind häufig viel zu sicher, wenn sie falsch liegen.

Ein Team von Forschern unternahm den Versuch, diese Zuverlässigkeit zu testen, indem sie große Sprachmodelle als Richter über direkte Ursache-Wirkungs-Beziehungen behandelte. Sie sammelten zwölf verschiedene Versionen dieser Modelle, die von kleineren, effizienteren Systemen bis hin zu massiven, leistungsstarken Modellen reichten. Dann präsentierten sie diesen Modellen sechs verschiedene reale Szenarien, die jeweils durch eine bekannte Karte von Ursachen und Wirkungen dargestellt wurden. Diese Szenarien deckten diverse Bereiche ab, von medizinischen Zuständen wie Hepatitis und COVID-19 bis hin zu industriellen Prozessen und ökologischen Systemen. Für jedes Paar von Variablen in diesen Karten stellten die Forscher den Modellen eine einfache Frage: Verursacht das erste Element direkt das zweite? Die Modelle mussten mit „Ja“ oder „Nein“ antworten und einen Konfidenzwert angeben, eine Zahl, die angibt, wie sicher sie sich ihrer Antwort waren.

Die Ergebnisse zeigten ein konsistentes Muster von Übereifer. Die Modelle neigten dazu, viel zu oft mit „Ja“ zu antworten. Anstatt eine spärliche Karte mit nur den notwendigen direkten Verbindungen zu zeichnen, erzeugten die Modelle dichte Geflechte, in denen fast alles direkt mit allem anderen verbunden zu sein schien. Dieses Verhalten war so stark ausgeprägt, dass die Modelle selbst dann nicht leicht darauf trainiert werden konnten, selektiver zu sein, wenn die Forscher verschiedene Wege der Fragestellung ausprobierten. Sie identifizierten zwar korrekt, dass zwei Dinge miteinander in Beziehung stehen, scheiterten aber daran, zwischen einer direkten und einer indirekten Ursache zu unterscheiden. Wenn zum Beispiel ein Virus eine Infektion verursachte, die wiederum ein Fieber verursachte, behauptete das Modell oft, das Virus verursache direkt das Fieber, wobei es den mittleren Schritt ignorierte. Dieser Fehler trat in etwa 40 Prozent der Fälle auf, in denen die Beziehung indirekt war, und in 36 Prozent der Fälle, in denen die Richtung umgekehrt war.

Der vielleicht besorgniserregendste Befund war der Mangel an Selbstbewusstsein der Modelle hinsichtlich ihrer Fehler. Wenn die Modelle diese strukturellen Fehler machten, zögerten sie nicht. In mehr als 80 Prozent der Fälle, in denen sie fälschlicherweise behaupteten, eine direkte Verbindung bestehe zwischen indirekt verwandten Elementen, wiesen sie einen Konfidenzwert von mindestens 80 Prozent zu. Sie raten nicht nur; sie waren selbstbewusst falsch. Die Studie untersuchte auch, ob man den Modellen vertrauen könne, den Unterschied zwischen einer richtigen Vermutung und einer falschen basierend auf ihren Konfidenzwerten zu erkennen. Die Forscher fanden heraus, dass die Konfidenzwerte, die die Modelle sich selbst gaben, oft unzuverlässig waren. Ein Modell konnte behaupten, es sei sich zu 90 Prozent sicher, aber diese Zahl korrelierte tatsächlich nicht damit, ob die Antwort richtig war. Die einzige Methode, die eine leichte Verbesserung zeigte, war, den Modellen dieselbe Frage auf unterschiedliche Weise zu stellen und zu sehen, ob sie untereinander übereinstimmten, aber selbst diese Methode war keine perfekte Lösung.

Die Forscher untersuchten auch, ob die Modelle lediglich die Antworten auf die Testfragen auswendig lernten, die sie zuvor gesehen hatten. Sie fanden heraus, dass mehrere Modelle bei einem spezifischen Datensatz zu einer medizinischen Erkrankung verdächtig gut abschnitten, was darauf hindeutete, dass sie die Daten während ihres Trainings gesehen haben könnten. Diese Vertrautheit erklärte jedoch nicht die schlechte Leistung bei den anderen fünf Datensätzen, bei denen die Modelle weiterhin mit denselben Arten von Fehlern zu kämpfen hatten. Selbst als die Forscher die Modelle dazu zwangen, zwischen drei Optionen zu wählen – direkte Ursache, umgekehrte Ursache oder kein direkter Zusammenhang – anstatt nur zwei –, verbesserten sich die Modelle nicht signifikant. Sie sagten weiterhin direkte Verbindungen voraus, wo keine existierten, was bewies, dass das Problem nicht nur ein Fehler in der Art der Fragestellung war, sondern eine grundlegende Einschränkung in der Art und Weise, wie diese Systeme Kausalität verstehen.

Letztendlich kommt die Studie zu dem Schluss, dass große Sprachmodelle zwar mächtige Werkzeuge zur Generierung von Ideen sind, sie aber nicht als definitiven Beweis dafür behandelt werden sollten, wie die Welt funktioniert. Sie sollten eher als Quellen für weiche Vorschläge betrachtet werden, die einen Ausgangspunkt bieten, der durch andere Methoden überprüft und validiert werden muss. Sie können uns sagen, dass zwei Dinge wahrscheinlich miteinander verbunden sind, aber man kann ihnen nicht vertrauen, die präzisen Linien einer kausalen Karte allein zu zeichnen. Die Konfidenz, die sie ausdrücken, ist oft eher ein Spiegelbild ihrer Trainingsdaten als ein wahres Maß an Wahrheit. Für Wissenschaftler und Ingenieure, die die präzisen Mechanismen von Ursache und Wirkung verstehen müssen, wäre das alleinige Vertrauen auf diese Modelle so, als würde man eine komplexe Stadt mit einer Karte navigieren, die jede Straße mit jeder anderen verbindet; sie mag umfassend aussehen, aber sie würde einen in die Irre führen. Der Weg nach vorn liegt darin, diese Modelle zur Generierung von Hypothesen zu nutzen, die dann rigoros getestet werden müssen, anstatt ihre selbstbewussten Urteile als endgültige Antworten zu akzeptieren.