ICCDesign: An R Package for the Design and Analysis of ICC-Based Reliability Studies with Continuous Responses
Dieses Paper stellt das R-Paket `ICCDesign` vor, welches einen integrierten Workflow für das Design und die Analyse von ICC-basierten Reliabilitätsstudien mit kontinuierlichen Antworten bereitstellt, indem es die Stichprobengrößenplanung, Punktschätzung, Konfidenzintervallberechnung und automatisierte Reliabilitätsbewertung innerhalb eines einzigen Rahmens vereinheitlicht, der durch die Klassifizierung nach McGraw und Wong (1996) geleitet wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Juror bei einer Talentshow und haben eine Jury aus fünf anderen Preisrichtern. Sie möchten wissen: Wie sehr sind sich diese Preisrichter untereinander einig? Geben sie alle dieselbe Punktzahl für denselben Sänger, oder liebt ein Preisrichter Rock, während ein anderer ihn hasst?
In der Welt der Wissenschaft und Medizin stehen Forscher täglich vor genau diesem Problem. Sie benötigen ein Werkzeug namens Intraclass Correlation Coefficient (ICC), um zu messen, wie zuverlässig ihre „Richter“ (oder Bewerter) sind. Aber bis jetzt war die Verwendung dieses Werkzeugs so, als würde man versuchen, ein Möbelstück nach einer Anleitung zusammenzubauen, die in drei verschiedenen Sprachen geschrieben ist und bei der die Schrauben aus drei verschiedenen Boxen stammen.
Hier ist die Geschichte eines neuen Werkzeugs namens ICCDesign, das dieses Chaos behebt.
Das Problem: Ein Puzzle mit fehlenden Teilen
Seit Jahrzehnten müssen Wissenschaftler zwischen verschiedenen Computerprogrammen hin- und herspringen, um eine einzige Aufgabe zu erledigen:
- Ein Programm sagt Ihnen, wie viele Personen Sie untersuchen müssen (Stichprobengröße).
- Ein anderes Programm berechnet den Übereinstimmungswert.
- Ein drittes Programm prüft, ob der Wert „gut“ oder „schlecht“ ist.
Schlimmer noch: Der „Übereinstimmungswert“ ist nicht einfach nur eine Sache. Je nachdem, wie Ihre Studie aufgebaut ist (Sind die Richter für jeden gleich? Sind sie eine zufällige Gruppe oder ein festes Team?), gibt es 10 verschiedene Möglichkeiten, den Wert zu berechnen. Die falsche Wahl zu treffen, ist so, als würde man versuchen, einen Raum mit einem Lineal zu messen, wenn man eigentlich ein Maßband gebraucht hätte – das Ergebnis sieht zwar wie eine Zahl aus, ist aber die falsche Antwort.
Die Lösung: ICCDesign
Die Autoren dieser Arbeit, ein Team der East China Normal University, haben ein neues R-Paket namens ICCDesign entwickelt. Betrachten Sie es als ein „Schweizer Taschenmesser“ für Reliabilitätsstudien. Anstatt drei verschiedene Werkzeuge zu jonglieren, haben Sie nun eine All-in-One-Station.
Hier ist, was es besonders macht, erklärt durch einfache Analogien:
1. Das „GPS“ zur Auswahl der richtigen Formel
Das größte Kopfzerbrechen in diesem Bereich ist die Frage, welche der 10 Formeln man verwenden soll.
Der alte Weg: Man musste ein dickes Lehrbuch lesen, sein Studiendesign analysieren und hoffen, dass man die richtige Mathematik gewählt hatte.
Der ICCDesign-Weg: Es verfügt über ein integriertes vierstufiges Entscheidungsframework. Es ist wie ein GPS, das Ihnen vier einfache Fragen stellt:
- Bewerten dieselben Richter alle Personen?
- Ist die Gruppe der Richter eine Zufallsstichprobe oder ein festes Team?
- Betrachten wir einen einzelnen Wert oder einen Durchschnitt?
- Müssen sie beim exakten Wert übereinstimmen oder nur beim Muster?
Basierend auf Ihren Antworten wählt das Paket automatisch die korrekte Formel aus. Wenn Sie eine knifflige Kombination wählen, die eine Warnung erfordert, klopft Ihnen das Paket sanft auf die Schulter und sagt: „Hey, seien Sie bei dieser Vorsicht geboten!“
2. Der „Alles aus einer Hand“-Workflow
Früher mussten Forscher zwischen verschiedenen Softwarefenstern wechseln, Zahlen kopieren und einfügen, was ein Rezept für Tippfehler und Fehler ist.
- Der ICCDesign-Weg: Er bewältigt die gesamte Reise an einem Ort. Sie geben Ihre Daten ein, das Programm bereinigt sie (wie ein Koch, der Gemüse wäscht, bevor er es schneidet), berechnet den Wert, prüft die Konfidenzintervalle (die „Fehlermarge“) und erstellt sogar einen Bericht in leicht verständlicher Sprache für Sie.
3. Die „Kristallkugel“ für die Planung
Bevor Sie eine Studie beginnen, müssen Sie wissen, wie viele Personen Sie rekrutieren müssen.
- Der alte Weg: Man hat vielleicht geraten oder einen Rechner verwendet, der nur für ein ganz bestimmtes Szenario funktioniert.
- Der ICCDesign-Weg: Er besitzt eine „Kristallkugel“-Funktion. Sie können ihm sagen: „Ich möchte zu 80 % sicher sein, dass meine Ergebnisse genau sind“ oder „Ich möchte, dass die Fehlermarge so klein ist“, und es sagt Ihnen genau, wie viele Personen Sie benötigen. Es kann auch rückwärts arbeiten: „Ich habe 30 Personen; wie genau können meine Ergebnisse sein?“
4. Der „Ampel“-Bericht
Sob wenn die Mathematik abgeschlossen ist, liefert das Paket nicht einfach nur eine Zahl wie „0,72“. Es übersetzt diese Zahl in eine einfache Note, basierend auf Expertenrichtlinien:
- < 0,50: Schlecht (Rote Ampel)
- 0,50 – 0,75: Moderat (Gelbe Ampel)
- 0,75 – 0,90: Gut (Grüne Ampel)
- > 0,90: Exzellent (High Five)
Wenn das Ergebnis genau an der Grenze liegt (wie ein Wert, der „Gut“ oder „Moderat“ sein könnte), fügt das Paket eine Notiz hinzu: „Wir sind uns noch nicht zu 100 % sicher; Sie benötigen möglicherweise mehr Daten.“
5. Das „No-Code“-Dashboard
Für Menschen, die Angst vor Computercode haben, enthält das Paket eine Shiny Web-App. Dies ist eine farbenfrohe, interaktive Website, die Sie auf Ihrem Computer ausführen können. Sie können Ihre Daten per Drag-and-Drop hineinziehen, Schaltflächen drücken, um Entscheidungen zu treffen, und die Ergebnisse sofort sehen, ohne eine einzige Zeile Code schreiben zu müssen.
Was es tut (und was nicht)
Das Paper beschreibt die Grenzen dieses Werkzeugs sehr deutlich:
- Es kann: Kontinuierliche Zahlen verarbeiten (wie Größe, Gewicht oder Testergebnisse), von einer einzigen Bewertung pro Person ausgehen und den Standardregeln folgen, die von berühmten Statistikern (McGraw, Wong, Shrout, Fleiss) festgelegt wurden.
- Es kann nicht: Fehlende Daten perfekt handhaben (es entfernt lediglich die unvollständigen Zeilen), mit „Ja/Nein“-Antworten arbeiten oder Studien korrigieren, bei denen die Daten unbalanciert sind (wie zum Beispiel bei 5 Preisrichtern für eine Person und nur 2 für eine andere).
Das Fazit
ICCDesign ist ein neues Werkzeug, das die Verwirrung bei der Messung der Reliabilität beseitigt. Es verwandelt einen komplexen, fragmentierten Prozess in eine reibungslose, geführte Erfahrung. Es hilft Forschern, sich weniger Sorgen darüber zu machen, welche Mathematik sie anwenden sollen, und sich staten darauf zu konzentrieren, was ihre Daten tatsächlich bedeuten.
Das Tool ist kostenlos, Open-Source und ab sofort für jeden verfügbar.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.