Validating LLMs in social science: Epistemic threats and emerging norms

Stellen Sie sich vor, Sozialwissenschaftler wären wie Detektive, die versuchen, Rätsel über das menschliche Verhalten zu lösen. Jahrelang mussten sie Teams von menschlichen Helfern anheuern, um Tausende von Dokumenten zu lesen, sie in Kategorien zu sorten oder zu erraten, wie Menschen auf Umfragen antworten würden. Das ist langsam, teuer und ermüdend.

Hier kommt das Large Language Model (LLM) ins Spiel: ein superintelligenter, digitaler Roboter-Assistent, der schneller lesen und schreiben kann als jeder andere. Forscher bitten diese Roboter nun, die schwere Arbeit zu erledigen, indem sie unordentlichen Text in ordentliche Zahlen und Diagramme verwandelt wird. Es klingt wie ein Zauberstab, oder? Doch eine neue Studie von Meera Desai, Dallas Card und Abigail Z. Jacobs legt nahe, dass der Zauberstab zwar glänzt, die Magie jedoch etwas komplizierter sein könnte, als wir dachten.

Die große Entdeckung: Das „Black Box“-Problem

Die Autorinnen untersuchten 27 Arbeiten, die zwischen 20zi 2023 und 2025 in den führenden sozialwissenschaftlichen Fachzeitschriften veröffentlicht wurden. Sie fanden 50 spezifische Aufgaben, bei denen Forscher diese KI-Roboter einsetzten, um Dinge wie „Beleidigung“, „politische Ideologie“ oder „Sentiment“ zu messen.

Hier ist die Wendung: In fast allen diesen Fällen waren die Messungen des Roboters das Hauptereignis. Sie waren die Kernbeweise, die verwendet wurden, um große Behauptungen darüber aufzustellen, wie die Gesellschaft funktioniert. Doch als die Autorinnen hinter den Vorhang blickten, um zu sehen, wie die Forscher überprüften, ob die Roboter tatsächlich die Wahrheit sagten, fanden sie ein Chaos.

Stellen Sie sich das wie das Backen eines Kuchens vor. Sie können einen schicken, hochtechnologischen Ofen (das LLM) benutzen, um einen Kuchen zu backen. Aber wenn Sie nicht die Temperatur prüfen, nicht den Teig probieren und nicht genau wissen, welches Rezept Sie verwendet haben, können Sie nicht sicher sein, ob der Kuchen tatsächlich ein Kuchen ist und nicht ein Ziegelstein. Die Studie fand heraus, dass Forscher oft mit diesen hochtechnologischen Öfen backen, aber die Geschmackstests überspringen.

Die drei großen Fehler

Das Papier hebt drei Hauptwege hervor, auf denen sich Forscher im Dickicht verlieren:

1. Das „vage Rezept“ (Konzeptualisierung):
   Stellen Sie sich vor, Sie sagen einem Roboter: „Finde mir einen ‚schlechten‘ Post.“ Aber Sie sagen dem Roboter nie, was „schlecht“ bedeutet. Ist es unhöflich? Ist es traurig? Ist es falsch?
   Die Studie fand heraus, dass in 13 Arbeiten (die 29 Aufgaben abdeckten) die Forscher ihre Konzepte überhaupt nicht definierten. Sie verwendeten einfach ein einzelnes Wort oder eine kurze Phrase. Es ist, als würde man einem Koch sagen: „Bereite mir eine ‚köstliche‘ Mahlzeit zu“, ohne zu sagen, ob man es scharf, süß oder herzhaft möchte. Ohne eine klare Definition misst der Roboter möglicherweise etwas völlig anderes, als der Forscher beabsichtigt hat.

2. Die „zufälligen Einstellungen“ (Operationalisierung):
   Die Verwendung eines LLM ist wie das Fahren eines Autos mit einer Million Knöpfen und Reglern. Man muss das Modell wählen, die „Temperatur“ (wie kreativ oder zufällig die Antworten sind) und wie man die Antwort aus der langen, geschwätzigen Antwort des Roboters extrahiert.
   Die Autorinnen fanden heraus, dass Forscher diese Regler auf sehr unterschiedliche Weise drehten, oft basierend auf einer Ahnung oder einer Vermutung. Einige verwendeten Zero-Shot-Prompts (nur Anweisungen, keine Beispiele), während andere Few-Shot-Prompts verwendeten (Anweisungen plus Beispiele). Einige baten den Roboter, mit einer Zahl zu antworten; andere baten ihn um einen Satz.
   Der beängstigende Teil? Das Papier legt nahe, dass winzige Änderungen in diesen Einstellungen die Ergebnisse komplett verändern können. Es ist, als würde man den Radioregler leicht drehen und plötzlich einen anderen Sender hören. Dennoch erklärten viele Forscher nicht, war Warum sie ihre spezifischen Einstellungen wählten, was es für andere schwierig macht, das Experiment zu wiederholen.

3. Die „einseitige Prüfung“ (Validierung):
   Dies ist das größte Problem. Wenn Sie einen Roboter zur Messung eines Objekts verwenden, müssen Sie dessen Genauigkeit beweisen. Der Goldstandard ist der Vergleich der Arbeit des Roboters mit der Arbeit eines Menschen (der „Goldstandard“).
   Die Studie fand heraus, dass 38 von 50 Aufgaben sich fast ausschließlich auf eine Art der Prüfung verlassen: die konvergente Validität. Das bedeutet, sie fragten lediglich: „Stimmt der Roboter mit dem Menschen überein?“
   Aber das Papier argumentiert, dass dies nicht ausreicht. Es ist, als würde man prüfen, ob ein neues Thermometer funktioniert, indem man es mit einem alten vergleicht, das möglicherweise ebenfalls defekt ist. Die Autorinnen schlagen vor, dass Forscher einen ganzen Werkzeugkasten an Prüfungen nutzen sollten:

• Face Validity (Anscheinende Validität): Sieht die Antwort auf den ersten Blick vernünftig aus?
• Hypothesen-Validität: Hilft der Datensatz dabei, eine echte, interessante Frage zu beantworten?
• Prädiktive Validität (Vorhersagekraft): Sagen die Daten zukünftige Ereignisse korrekt voraus?
• Diskriminante Validität: Misst der Roboter nur das, was wir ihn gefragt haben, oder nimmt er auch andere Dinge wahr?

Schockierend genug: 8 Aufgaben in der Studie hatten gar keine Validierung. Sie nahmen einfach das Wort des Roboters hin.

Was das Papier ausschließt

Die Autorinnen sind sehr deutlich darin, was diese Studie nicht sagt. Sie sagen nicht, dass LLMs nutzlos sind. Sie sagen nicht, dass wir die Nutzung von ihnen stoppen sollten.

Sie schließen jedoch explizit die Idee aus, dass wir diese Modelle einfach „Plug and Play“ verwenden können. Man kann ein LLM nicht wie ein Standardlineal oder ein Thermometer behandeln, das bei jedem Gebrauch das gleiche Ergebnis liefert. Das Papier spricht gegen die Idee, dass diese Modelle „universelle Instrumente“ sind, die automatisch aussagekräftige Messungen liefern. Stattdessen sind sie maßgeschneiderte Werkzeuge, die sorgfältiges Design, präzise Definitionen und strenge Tests erfordern.

Sie schließen auch die Idee aus, dass die derzeitige Vorgehensweise „gut genug“ ist. Die Tatsache, dass Forscher Schritte wie die Definition von Konzepten oder die Überprüfung von Bias (Voreingenommenheit) überspringen, ist nicht nur ein geringfügiger Fehler; es ist eine Bedrohung für das gesamte Fachgebiet. Wenn die Messungen wackelig sind, sind auch die Schlussfolgerungen über die Gesellschaft wackelig.

Wie sicher sind wir uns?

Die Autorinnen sind sehr zuversichtlich in ihren Erkenntnissen, weil sie nicht nur geraten, sondern die Arbeit gemacht haben. Sie sammelten eine umfassende Liste von 2.143 Papieren aus führenden Fachzeitschriften und kodierten manuell 27 Arbeiten mit 50 spezifischen Aufgaben. Sie haben dies nicht simuliert; sie haben reale, veröffentlichte Forschung betrachtet.

Sie fanden heraus, dass, obwohl LLMs immer zentraler für die Sozialwissenschaften werden, die „Normen“ (die Verkehrsregeln) für den sicheren Umgang mit ihnen noch nicht nachgezogen haben. Das Papier legt nahe, dass wir Gefahr laufen, ein Kartenhaus auf einem wackeligen Fundament zu bauen, wenn wir nicht bessere Regeln haben – wie zumwegal immer Ihre Begriffe zu definieren, jede verwendete Einstellung zu berichten und Ihre Arbeit mit mehreren Methoden zu überprüfen.

Das Fazit

Das Papier endet mit einem Aufruf zum Handeln. Es ist kein „Stopp“-Schild, sondern ein „Vorsicht geboten“-Schild. Sozialwissenschaftler müssen beginnen, diese KI-Tools mit demselben Respekt und derselben Strenge zu behandeln wie ihre menschlichen Befragten. Sie müssen genau aufschreiben, was sie den Roboter gefragt haben, wie sie ihn gefragt haben und wie sie das Ergebnis überprüft haben.

Bis dahin mag der Roboter ein mächtiger Assistent sein, aber er ist immer noch ein wenig mysteriös. Und in der Wissenschaft sind Mysterien zwar unterhaltsam, aber sie bilden keine soliden Fakten.