Human-AI Collaboration for Estimating Scientific Replicability
Dieser Beitrag stellt einen hybriden Vorhersagemarkt vor und bewertet ihn, bei dem algorithmische Agenten, die auf historischen Replikationsdaten trainiert wurden, mit menschlichen Experten zusammenarbeiten, um die wissenschaftliche Replizierbarkeit vorherzusagen, und zeigt, dass dieser kombinierte Ansatz im Allgemeinen reine künstliche oder ausschließlich menschliche Baselines bei der Erzeugung genauer und zuverlässiger Vorhersagen entweder übertrifft oder mit ihnen gleichzieht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu erraten, ob eine neue wissenschaftliche Entdeckung „real" oder nur ein glücklicher Zufall ist. In der Vergangenheit haben Wissenschaftler versucht, diese Frage auf zwei Arten zu beantworten:
- Das menschliche Gremium: Sie fragen eine Gruppe von Experten: „Glauben Sie, dass sich diese Studie wiederholen lässt, wenn wir sie erneut durchführen?"
- Das Roboter-Gremium: Sie füttern die Daten und den Text der Studie in ein Computerprogramm, das Zahlen verarbeitet, um eine Vorhersage zu treffen.
Beide Methoden haben Schwachstellen. Menschen können voreingenommen, müde sein oder nur einen winzigen Ausschnitt der wissenschaftlichen Welt kennen. Roboter sind schnell und kennen eine Fülle von Daten, können aber subtile Zusammenhänge oder ein „Bauchgefühl" dafür, warum eine Studie wackelig sein könnte, übersehen.
Die „Hybrid"-Idee
Diese Arbeit fragt: Was wäre, wenn wir Menschen und Roboter in denselben Raum setzen, um gemeinsam die Vorhersage zu treffen?
Die Autoren bauten einen Vorhersagemarkt. Stellen Sie sich dies wie einen Aktienmarkt vor, nur dass die Menschen hier keine Anteile an Apple oder Tesla kaufen, sondern „Anteile" an wissenschaftlichen Studien.
- Wenn Sie glauben, eine Studie wird repliziert (ein weiteres Mal als wahr bestätigt), kaufen Sie einen „Wird repliziert"-Anteil.
- Wenn Sie glauben, sie wird scheitern, kaufen Sie einen „Wird nicht repliziert"-Anteil.
Der Preis des Anteils repräsentiert das Vertrauen der Gruppe. Wenn der Preis 70 Cent beträgt, geht der Markt von einer 70-prozentigen Wahrscheinlichkeit aus, dass die Studie real ist.
Das Experiment
Die Forscher richteten einen digitalen Handelsplatz mit drei Arten von Teams ein:
- Nur-Mensch: Nur echte Wissenschaftler handeln.
- Nur-Roboter: Nur Computer-Algorithmen handeln.
- Das Hybrid-Team: Echte Wissenschaftler handeln neben den Robotern.
Die Roboter wurden an Hunderten früherer Studien trainiert, um Muster zu lernen (wie „Studien mit kleinen Stichprobengrößen scheitern oft"). Die Menschen brachten ihre reale Expertise und Intuition ein. Sie handelten 12 Stunden lang, und der Endpreis war ihre kollektive Vorhersage.
Die Ergebnisse: Wer gewann?
Die Ergebnisse waren ein wenig wie ein Sportturnier, bei dem der Gewinner von der Sportart abhängt:
- Das Hybrid-Team war in den meisten Fällen der MVP: In Bereichen wie Soziologie und Politikwissenschaft war das Team aus Menschen + Robotern am genauesten. Es war, als hätten ein erfahrener Trainer (der Mensch) und ein superschneller Statistik-Analyst (der Roboter) zusammengearbeitet; sie deckten die blinden Flecken des jeweils anderen ab.
- Menschen gewannen in der Psychologie: Im Bereich Psychologie schnitt das rein menschliche Team am besten ab. Die Roboter brachten hier wenig Mehrwert; die Experten kannten das Material einfach besser, als es der Code herausfinden konnte.
- Roboter gewannen in Marketing und Pädagogik: In diesen Bereichen schaffte es das rein robotische Team tatsächlich leicht besser als das Hybrid-Team. Es scheint, dass die Muster in diesen Bereichen für den Computer leichter zu erkennen waren als für Menschen zu interpretieren.
Wie spielten die Menschen?
Die Forscher fragten die menschlichen Händler, wie sie ihre Entscheidungen trafen.
- Meistens „Bauchgefühl": Die meisten Menschen versuchten nicht, den Markt zu überlisten oder komplexe Spiele zu spielen. Sie handelten einfach basierend auf dem, was sie für wahr hielten. Wenn sie eine Studie für solide hielten, kauften sie sie.
- Einige „Folgen der Menge": Einige wenige beobachteten die Preisbewegung und folgten dem Trend.
- Keine „Glücksspieler": Überraschenderweise versuchten sehr wenige Menschen, das System nur aus Geldgier zu „manipulieren". Sie versuchten hauptsächlich, in Bezug auf die Wissenschaft richtig zu liegen.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass die Kombination aus Menschen und KI eine kraftvolle Methode ist, um wissenschaftliche Wahrheit zu beurteilen. Es ist kein Allheilmittel, das jedes Mal perfekt funktioniert, aber in vielen Fällen war der „Hybrid-Markt" zuverlässiger als Menschen oder Roboter allein. Es legt nahe, dass der beste Weg, Wissenschaft zu bewerten, darin besteht, den Computer die schwere Datenarbeit erledigen zu lassen, während der Mensch den Kontext und den gesunden Menschenverstand beisteuert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.