Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates
Dieses Paper führt das „Classification Testing“ ein, ein neues statistisches Framework, das es Forschern ermöglicht, quantitativen Schätzungen für substanziell relevante qualitative Klassen mit kontrollierten Fehlerraten zuzuweisen oder Ergebnisse als unentschieden zu deklarieren, wobei argumentiert wird, dass dieser Ansatz die Standard-Hypothesenprüfung verbessert, indem er konkurrierende Möglichkeiten besser abwägt und Hypothesen der Falsifizierung aussetzt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Sozialwissenschaften verbringen Forscher ihre Zeit damit, Dinge zu messen, die nicht direkt sichtbar sind: wie eine neue politische Maßnahme eine Gemeinschaft verändert, ob eine bestimmte Botschaft die Stimme einer Person beeinflusst oder ob eine Behandlung die Gesundheit eines Patienten verbessert. Sie sammeln Daten und berechnen Zahlen, um die durchschnittliche Wirkung dieser Handlungen zu ermitteln. Die abschließende Geschichte, die sie erzählen, besteht jedoch selten aus einer langen Kette von Dezimalstellen. Stattdessen übersetzen sie diese präzisen Zahlen in einfache, qualitative Urteile. Sie entscheiden, ob ein Effekt real oder nicht existent ist, positiv oder negativ oder so geringfügig, dass er keine Rolle spielt. Um diese Urteile zu stützen, verlassen sich Wissenschaftler auf eine Standardmethode namens Hypothesentestung. Diese Methode fungiert wie ein Torwächter, der darauf ausgelegt ist, die Öffentlichkeit vor Fehlalarmen zu schützen, indem er sicherstellt, dass die Wahrscheinlichkeit eines Irrtums, wenn ein Forscher behauptet, ein Ergebnis sei real, sehr gering gehalten wird.
Jahrzehntelang hat dieses System gut funktioniert, um eine spezifische Vorhersage zu bestätigen, aber es hat einen erheblichen blinden Fleck. Es ist darauf aufgebaut, zu beweisen, dass etwas geschieht, aber es hat Schwierigkeiten zu beweisen, dass nichts geschieht, oder zwischen zwei konkurrierenden Möglichkeiten mit gleicher Fairness zu entscheiden. Wenn ein Forscher beabsichtigt zu beweisen, dass eine Behandlung wirkt, erlaubt das System ihm, den Sieg zu deklarieren, wenn die Beweise stark genug sind. Wenn die Beweise jedoch schwach sind, sagt das System lediglich, dass der Forscher nicht in der Lage war, seinen Punkt zu beweisen; es erlaubt ihm nicht, mit Zuversicht zu erklären, dass die Behandlung tatsächlich gar nichts bewirkt. Dies schafft ein ungleiches Spielfeld, auf dem einige Schlussfolgerungen leicht zu erreichen sind, während andere unerreichbar bleiben, was die gesamte wissenschaftliche Konversation potenziell zugunsten der optimistischsten Befunde verzerrt.
Ein neuer Rahmen, der von den Politikwissenschaftlern Andrew Eggers und Zikai Li vorgeschlagen wurde, bietet einen anderen Weg, um durch diese Unsicherheiten zu navigieren. Sie nennen es „Klassifikationstests“. Anstatt einen Forscher zu zwingen, eine einzige bevorzugte Theorie zu verteidigen, fragt dieser Ansatz ihn, alle möglichen Ergebnisse in distinkte Kategorien einzuteilen, basierend darauf, was für die reale Welt tatsächlich von Bedeutung ist. Beispielsweise könnte ein Forscher die Möglichkeiten in drei Gruppen unterteilen: Der Effekt ist positiv und groß genug, um von Bedeutung zu sein; der Effekt ist negativ und groß genug, um von Bedeutung zu sein; oder der Effekt ist so geringfügig, dass er vernachlässigbar ist. Das Ziel ist nicht nur zu sehen, ob eine Zahl von Null verschieden ist, sondern das Ergebnis in den richtigen „Eimer“ zu sortieren.
Die Stärke dieser neuen Methode liegt in ihrer Fähigkeit, all diese Kategorien mit demselben Maß an statistischer Strenge zu behandeln. Im alten System konnte ein Forscher nur dann mit Zuversicht sagen: „Der Effekt ist positiv“, wenn er die Vorstellung verwirft, dass er null oder negativ ist. Er konnte niemals mit derselben Sicherheit sagen: „Der Effekt ist null“ oder „Der Effekt ist negativ“, es sei als er nicht zuvor einen sehr spezifischen, oft umständlichen Test aufgestellt hatte. Die Klassifikationstests beseitigen diese Voreingenommenheit. Sie ermöglichen es einem Forscher, auf die Daten zu schauen und mit kontrollierten Fehlerraten zu sagen, dass das Ergebnis in die Kategorie „vernachlässigbar“ fällt, oder in die Kategorie „positiv und substanziell“, oder dass die Daten schlichtweg zu unklar sind, um eine Entscheidung zu treffen. Es wandelt die wissenschaftliche Frage von „Kann ich meine Hypothese beweisen?“ zu „Was ist die ehrlichste Beschreibung dieses Ergebnisses?“ um.
Um zu sehen, wie dies in der Praxis funktioniert, wandten die Autoren ihre Methode auf ein bekanntes Feldeperiment an, das den Medienkonsum betrifft. Die Originalstudie untersuchte, was passierte, wenn regelmäßige Zuschauer von Fox News mit CNN konfrontiert wurden. Die Forscher hatten zweiunddreißig verschiedene Ergebnisse gemessen, die von Veränderungen in politischen Präferenzen bis hin zu Verschiebungen im Vertrauen in Nachrichtenquellen reichten. Als sie die herkömmliche Testmethode anwandten, die in den meisten sozialwissenschaftlichen Fachzeitschriften verwendet wird, fanden sie, dass sechzehn dieser Ergebnisse „signifikant“ waren und sechzehn nicht. Dies ließ die Hälfte der Ergebnisse in einem Zustand der Ungewissheit zurück, in dem die Forscher nicht mit Zuversicht sagen konnten, ob der Effekt real oder nicht existent war.
Als die Autoren dieselben Daten unter Verwendung von Klassifikationstests neu analysierten, wurde das Bild viel klarer. Indem sie die Ergebnisse in Kategorien wie „positiv und substanziell“, „negativ und substanziell“ oder „vernachlässigbar“ sortierten, waren sie in der Lage, mit Zuversicht über neunundzwanzig der zweiunddreißig Ergebnisse aussagekräftige, fehlerkontrollierte Aussagen zu treffen. Sie konnten mit Zuversicht sagen, dass bei einigen Messwerten der Effekt groß und positiv war. Bei anderen konnten sie mit Zuversicht sagen, dass der Effekt so klein war, dass er vernachlässigbar war. Selbst für die Ergebnisse, die die alte Methode als „nicht signifikant“ bezeichnet hatte, erlaubte die neue Methode ihnen oft zu schlussfolgern, dass der Effekt tatsächlich vernachlichbar war, anstatt nur unbekannt zu sein. Der einzige Zeitpunkt, an dem sie sagen mussten, es sei „unklar“, war, wenn die Daten tatsächlich zu verrauscht waren, um eine fundierte Behauptung zu stützen.
Dieser Wandel ändert die Anreize dafür, wie Forschung betrieben wird. Unter den alten Regeln wurden Forscher oft dazu gedrängt, ein positives Ergebnis zu finden, um veröffentlicht zu werden, was dazu führte, dass sie Studien entwarfen, die wahrscheinlich ihre Erwartungen bestätigten. Der neue Rahmen fördert einen offeneren Ansatz. Da die Methode es ermöglicht, mit Zuversicht Schlussfolgerungen darüber zu ziehen, dass ein Effekt klein oder nicht existent ist, können Forscher ehrliche, offene Fragen untersuchen, ohne die Angst zu haben, dass ein „Null-Ergebnis“ ein Scheitern darstellt. Er behandelt die Möglichkeit eines kleinen Effekts als ein valides, testbares Ergebnis statt als Sackgasse.
Die Autoren argumentieren, dass dieser Ansatz die Wissenschaft nicht weniger streng macht; tatsächlich behält er dieselbe hohe Qualität bei, um falsche Behauptungen zu vermeiden. Er erweitert lediglich den Bereich der Fragen, die mit Zuversicht beantwortet werden können. Indem er es Wissenschaftlern ermöglicht, zu erklären, dass ein Effekt vernachlässigbar ist, mit derselben Gewissheit, mit der sie erklären, dass er groß ist, reduziert die Methode den Druck, Daten in ein bestimmtes Narrativ zu zwingen. Er legt nahe, dass die wertvollste wissenschaftliche Schlussfolgerung nicht immer eine dramatische Entdeckung ist, sondern manchmal eine klare, ehrliche Einschätzung, dass eine bestimmte Intervention keinen bedeutsamen Unterschied macht. Diese Klarheit, so legen die Autoren nahe, ist der Schlüssel zu einem zuverlässigeren und weniger voreingenommenen Verständnis der Funktionsweise der sozialen Welt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.