Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0
Diese Arbeit führt eine Methode der „inversen Meta-Analyse“ ein, um die vor der Löschung gemessenen Qualitätsstatistiken aus veröffentlichten Studien zu rekonstruieren, wobei aufgezeigt wird, dass die weit verbreitete Praxis des Löschens schwacher Items im Technology Readiness Index 2.0 die Reliabilitätskennwerte künstlich aufbläht und die wahre Schwäche seiner Inhibitor-Dimensionen verschleiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Sozialwissenschaften verlassen sich Forscher oft auf Umfragen, um komplexe menschliche Gefühle zu messen, wie etwa die Bereitschaft einer Person, neue Technologien anzunehmen. Um dies zu erreichen, verwenden sie lange Listen von Fragen, oder „Items“, die Menschen fragen, ob sie Aussagen über ihr Vertrauen, ihre Ängste und ihre Gewohnheiten in Bezug auf Technologie zustimmen oder nicht zustimmen. Bei der Gestaltung dieser Umfragen ist das Ziel, ein ausgewogenes Bild zu schaffen: Einige Fragen messen positive Gefühle wie Begeisterung und den Wunsch nach Innovation, während andere negative Gefühle wie Angst und die Furcht vor Kontrollverlust messen. Damit eine Umfrage als vertrauenswürdig gilt, müssen die Fragen, die ein spezifisches Gefühl messen, eng zusammenhängen – das heißt, Menschen, die eine bestimmte Einstellung zu einem Thema haben, sollten im Allgemeinen auch zu den anderen Fragen zu diesem Thema ähnlich fühlen. Wenn die Fragen nicht gut zusammenpassen, heißt es, die Umfrage fehle es an „Validität“, und die von ihr erzeugten Ergebnisse seien unzuverlässig.
Jahrelang galt eine weit verbreitete Umfrage namens Technology Readiness Index als das Standardinstrument zur Messung dieser Bereitschaft. Eine jüngste Untersuchung deutet jedoch darauf an, dass der veröffentlichte Rekord des Erfolgs dieser Umfrage irreführend sein könnte. Wenn Forscher ihre Umfragedaten analysieren, stellen sie manchmal fest, dass bestimmte Fragen nicht gut in das Muster passen. Die gängige Praxis besteht darin, diese schwachen Fragen einfach zu entfernen und die Ergebnisse nur auf Basis der verbleibenden, stärkeren Fragen zu berichten. Während dies wie ein vernünftiger Weg zur Bereinigung der Daten erscheinen mag, argumentiert eine neue Studie, dass diese routinemäßige Löschung ein erhebliches Problem verschleiert: Die negative Seite der technologischen Bereitschaft wurde in der Literatur systematisch geschwächt, was die Umfrage robuster erscheinen lässt, als sie tatsächlich ist.
Ein Forscher setzte sich zum Ziel, den wahren Zustand dieser Umfrage aufzudecken, indem er in die veröffentlichte Literatur zurückblickte. Er konzentrierte sich auf den Technology Readiness Index 2.0, eine verkürzte Version der ursprünglichen Umfrage, die sechzehn Fragen in vier Kategorien stellt: zwei positive Kategorien namens „Optimismus“ und „Innovationsfähigkeit“ sowie zwei negative Kategorien namens „Unbehagen“ und „Unsicherheit“. In der ursprünglichen Validierung dieser Umfrage waren die negativen Kategorien bereits als die schwächere Verbindung bekannt, da die Fragen dort nicht so eng zusammenpassten wie die positiven. Doch in den tausenden seitdem veröffentlichten Studien erscheinen die negativen Kategorien oft so, als würden sie dieselben hohen Qualitätsstandards erfüllen wie die positiven. Der Forscher vermutete, dass diese Verbesserung eine Illusion war, die durch die selektive Entfernung der schwächsten Fragen erzeugt wurde.
Um dies zu testen, entwickelte der Forscher eine Methode, die er „inverse Meta-Analyse“ nennt. Anstatt einfach die Ergebnisse vieler Studien zu mitteln, arbeitete er sich von den Statistiken rückwärts, die die Autoren bereits veröffentlicht hatten. Er behandelte die fehlenden Fragen – jene, die die Autoren gelöscht hatten – als ob sie versteckte Datenpunkte wären, von denen bekannt war, dass sie schwach waren. Durch die Verwendung der berichteten Zahlen für die verbleibenden Fragen und der bekannten Regeln, die die Autoren bei der Löschung von Items anwandten, konnte der Forscher die Ergebnisse der Umfrage mathematisch rekonstruieren, wie sie ausgesehen hätten, wenn keine Fragen weggeworfen worden wären. Dies ermöglichte es ihm, die wahre Stärke der Umfrage vor jeglicher Bearbeitung abzuschätzen.
Die Untersuchung umfasste vierundneunzig veröffentlichte Studien, die genügend Details für eine Analyse lieferten. Der Forscher fand heraus, dass die negativen Kategorien, insbesondere diejenige, die „Unsicherheit“ misst, tatsächlich Opfer dieser selektiven Löschung wurden. Autoren waren signifikant eher geneigt, Fragen aus den negativen Kategorien zu entfernen als aus den positiven. Tatsächlich war es die negativen Kategorien etwa zwölf Prozent wahrscheinlicher, dass mindestens eine Frage verloren ging. Als der Forscher diese gelöschten Fragen wieder in die Daten einfügte, änderte sich das Bild dramatisch. Die Qualität der negativen Kategorien sank, was offenbarte, dass sie viel schwächer waren, als die veröffentlichten Berichte suggerierten.
Speziell fand der Forscher, dass die Lücke zwischen den positiven und negativen Kategorien, die in den veröffentlichten Berichten klein aussah, fast doppelt so groß wurde, sobald die gelöschten Items berücksichtigt wurden. In der veröffentlichten Literatur schienen die negativen Kategorien den Standardtest für Qualität zu bestehen. Nach der Rekonstruktion jedoch scheiterte mehr als jede fünfte der Studien, die „Unsicherheit“ maßen, an eben diesem Test. Die am häufigsten gelöschte Frage betraf das Vertrauen in das Geschäft mit einem Unternehmen, das nur online existiert. Diese Frage sowie eine weitere zur Abhängigkeit der Gesellschaft von Technologie wurde so oft entfernt, dass sie die Ergebnisse der gesamten Umfrage im veröffentlichten Rekord verzerrte.
Um sicherzustellen, dass seine Methode fundiert war, führte der Forscher eine Computersimulation durch, bei der er fiktive Studien mit bekannten Antworten erstellte. Er programmierte die fiktiven Autoren so, dass sie schwache Fragen genau wie reale Autoren löschten, und wandte dann seine Rekonstruktionsmethode auf die fiktiven Ergebnisse an. Die Simulation bestätigte, dass seine Technik genau und konservativ war; sie erfand keine Probleme, wo keine existierten, sondern stellte erfolgreich die wahre, schwächere Qualität der negativen Kategorien wieder her, die durch die Löschung verborgen worden waren. Die Methode funktionierte selbst dann, wenn die Löschregeln streng waren, was bewies, dass die Kluft zwischen den veröffentlichten Zahlen und den wahren Zahlen real war.
Schließlich testete der Forscher seine Theorie an zwei Rohdatensätzen, in denen überhaupt keine Fragen gelöscht worden waren. In diesen uneditierten Datensätzen erfüllten die negativen Kategorien die Qualitätsstandards für sich genommen nicht, was bestätigte, dass die Schwäche der Umfrage im Design selbst lag und nicht nur das Ergebnis schlechten Glücks in einigen wenigen Studien war. Als der Forscher die typische Löschregel auf diese Rohdatensätze anwandte, sprangen die berichteten Qualitätswerte nach oben und überschritten die Schwelle zum Erfolg. Dies demonstrierte exakt, wie die routinemäßige Praxis des Löschens von Items eine scheiternde Umfrage in eine erfolgreiche verwandeln konnte, indem man einfach die Beweise für ihr Scheitern entfernte.
Die Studie kommt zu dem Schluss, dass die veröffentlichte Literatur über die technologische Bereitschaft mehr durch die Entscheidungen der Autoren als durch die Realität der Daten geformt wurde. Durch das Entfernen der schwächsten Fragen haben Forscher eine Version der Umfrage geschaffen, die ausgewogen und zuverlässig erscheint, während das zugrunde liegende Instrument in der Lage, Angst und Unbehagen gegenüber Technologie zu messen, weiterhin mangelhaft bleibt. Der Forscher argumentiert, dass dies nicht nur ein Problem für diese spezifische Umfrage ist, sondern eine Warnung für das gesamte Fachgebiet. Er fordert Wissenschaftler dazu auf, jede einzelne Frage, die sie stellen, zu melden – einschließlich derer, die sie später löschen –, damit das vollständige Bild der Leistung einer Umfrage sichtbar bleibt. Ohne diese Transparenz wird der wissenschaftliche Rekord weiterhin eine Welt zeigen, in der die technologische Bereitschaft perfekt gemessen wird, während die tatsächlichen Werkzeuge, die zur Messung derselben verwendet werden, unvollständig bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.