SocietyBench: Forecasting Counterfactual Social-World Evolution
Dieses Paper führt SocietyBench ein, einen neuartigen Benchmark, der die Fähigkeit großer Sprachmodelle bewertet, die kontrafaktische Entwicklung der sozialen Welt vorherzusagen, indem es reale Ereignis-Zeitlinien in strukturierte Vorhersageaufgaben anonymisiert und aufzeigt, dass selbst Frontier-Modelle sowohl bei der Wahrscheinlichkeitskalibrierung als auch bei der zeitlichen Genauigkeit über verschiedene Ereignisse hinweg Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die Welt zu verstehen. Lange Zeit haben Wissenschaftler diese Roboter getestet, indem sie ihnen Aufgaben gaben: „Repariere diesen fehlerhaften Code“, „Navigiere durch diese Website“ oder „Löse dieses mathematische Problem“. Es ist wie eine Fahrprüfung, bei der der Roboter einfach nur in seiner Spur bleiben und das Ziel erreichen muss. Aber es gibt einen riesigen Teil des Menschseins, den diese Tests ignorieren: das chaotische, unvorhersehbare Drama des echten Lebens. Wie geht ein Roboter mit einem plötzlichen Skandal, einem sich verschiebenden politischen Gerücht oder einem Börsencrash um? Kann er sich die Nachrichten von heute ansehen und erraten, was die Schlagzeilen von morgen sein werden? Dies ist das Reich der sozialen Prognose (Social Forecasting). Es geht nicht darum, einer Landkarte zu folgen; es geht darum, das Wetter des menschlichen Verhaltens vorherzusagen, bei dem sich der Wind basierend auf Klatsch, Wut und Überraschung ändern kann.
Hier kommt SocietyBench ins Spiel, eine neue „Abschlussprüfung“, die darauf ausgelegt ist, zu sehen, ob Künstliche Intelligenz tatsächlich die Zukunft realer gesellschaftlicher Ereignisse vorhersagen kann, anstatt nur Fakten zu rezitieren, die sie aus ihren Trainingsdaten auswendig gelernt hat. Die Forscher hinter dieser Studie erkannten: Wenn man eine KI nach einem berühmten Ereignis fragt, das bereits stattgefunden hat, könnte sie sich lediglich auf „auswendig gelernte Daten“ verlassen, indem sie die Antwort aus ihrer riesigen Bibliothek vergangener Internet-Texte abruft. Um dies zu verhindern, wandten sie einen klugen Trick an: Sie nahmen echte Nachrichtenmeldungen, ersetzten alle Namen (wie „Elon Musk“ durch „Person X“ und „Tesla“ durch „Unternehmen Y“) und verschoben die Daten. Dies verwandelt eine echte Geschichte in eine „kontrafaktische“ Welt – ein Paralleluniversum, das exakt so aussieht und sich genau so anfühlt wie die reale Welt, in der die KI das Skript jedoch noch nie gesehen hat. Die KI muss ihr Gehirn benutzen, um zu verstehen, wie sich die Geschichte entfaltet, anstatt nur ihr Gedächtnis zu nutzen.
Die Ergebnisse dieses Experiments waren ein Realitätscheck für die KI-Welt. Die Forsler testeten sechs der fortschrittlichsten verfügbaren KI-Modelle an fünf verschiedenen Arten von Ereignissen, die von Finanzmarkteinbrüchen bis hin zu geopolitischen Konflikten reichten. Selbst das intelligenteste Modell, das die höchste Punktzahl erreichte, kam nur auf 75,0 von 100 Punkten. Das mag gut klingen, aber denken Sie daran, dass der „trivial Anchor“ (die Punktzahl, die man erhielte, wenn man einfach nur zufällig rät oder zu allem „50 % Wahrscheinlichkeit“ sagt) bei 50 liegt. Das bedeutet, das beste KI-Modell liegt nur etwa halfway zwischen einer zufälligen Vermutung und einer perfekten Vorhersage.
Der entscheidende Punkt ist: Die KI-Modelle sind schrecklich darin, konsistent zu sein. Einige Modelle sind gut darin, die Wahrscheinlichkeit für etwas vorherzusagen (wie etwa zu sagen: „Es besteht eine 70-prozentige Regenwahrscheinlichkeit“), aber schlecht darin, vorherzusagen, wann es passieren wird. Andere sind genau umgekehrt. Es ist wie bei einem Wettervorhersager, der immer richtig liegt, ob es regnen wird, aber immer falsch liegt, ob es am Dienstag oder am Freitag regnen wird. Die Studie ergab, dass die Lücke zwischen dem besten und dem schlechsten Modell bei einem einzelnen Ereignis bis zu 21,4 Punkte groß sein konnte. Dies beweist, dass man eine KI nicht einfach nur an einer einzigen Geschichte testen und dann als fertig betrachten kann; man muss sie an vielen verschiedenen Geschichten testen, um das wahre Bild zu erhalten.
Die vielleicht überraschendste Erkenntnis betraf „KI-Agenten“. Dies sind ausgeklügelte Setups, bei denen mehrere KI-Bots miteinander kommunizieren, debattieren oder gemeinsam planen, in der Hoffnung, eine intelligentere Antwort zu erhalten. Die Forscher probierten drei verschiedene Wege aus, um diese Teams zum Arbeiten zu bringen, aber keiner von ihnen verbesserte die Ergebnisse. Tatsächlich schnitten die Teams von Bots oft schlechter ab als der einzelne, einsame KI-Bot, auf dem sie aufgebaut waren. Es stellt sich heraus, dass es für die Vorhersage des sozialen Chaos nicht half, mehr Stimmen in den Raum zu bringen, um das Gespräch intelligenter zu machen; es machte die Konversation nur geräuschvoller.
Letztendlich zeigt uns SocietyBench, dass unsere KI-Modelle zwar sehr gut darin werden, Anweisungen zu befolgen und Fehler zu beheben, sie aber immer noch Schwierigkeiten haben, die komplexen, wirbelnden Dynamiken der menschlichen Gesellschaft zu verstehen. Sie können die Zukunft nicht einfach auswendig lernen; sie müssen durch sie hindurch logisch kombinieren. Und im Moment sind selbst die besten von ihnen noch weit davon entfernt, wahre Wahrsager zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.