📊 statistics

ICCDesign: An R Package for the Design and Analysis of ICC-Based Reliability Studies with Continuous Responses

Dit artikel introduceert het R-pakket `ICCDesign`, dat een geïntegreerde workflow biedt voor het ontwerpen en analyseren van op ICC gebaseerde betrouwbaarheidsstudies met continue responsen door steekproefomvangplanning, puntinschatting, berekening van betrouwbaarheidsintervallen en geautomatiseerde betrouwbaarheidsevaluatie te verenigen binnen een enkel kader geleid door de classificatie van McGraw en Wong (1996).

Oorspronkelijke auteurs: Ziyu Liu, Ruilin Ma, Yundan Zhang, Chenge Gao

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziyu Liu, Ruilin Ma, Yundan Zhang, Chenge Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent bij een talentenjacht, en je hebt een panel van vijf andere juryleden. Je wilt weten: In hoeverre zijn deze juryleden het met elkaar eens? Geven ze allemaal dezelfde score aan dezelfde zanger, of houdt de één van rock terwijl de ander het haat?

In de wereld van wetenschap en geneeskunde staan onderzoekers dagelijks voor precies dit probleem. Ze hebben een hulpmiddel nodig dat de Intraclass Correlation Coefficient (ICC) wordt genoemd om te meten hoe betrouwbaar hun "juryleden" (of beoordelaars) zijn. Maar tot nu toe was het gebruiken van dit hulpmiddel alsof je probeert een meubelstuk te monteren met instructies die in drie verschillende talen zijn geschreven, gebruikmakend van schroeven uit drie verschillende dozen.

Hier is het verhaal van een nieuw hulpmiddel genaamd ICCDesign dat deze chaos oplost.

Het Probleem: Een Puzzel met Ontbrekende Stukjes

Decennialang hebben wetenschappers tussen verschillende computerprogramma's moeten schakelen om één taak uit te voeren:

Eén programma vertelt je hoeveel mensen je moet bestuderen (Steekproefomvang).
Een ander programma berekent de overeenstemmingsscore.
Een derde programma controleert of de score "goed" of "slecht" is.

Erger nog, de "overeenstemming" is niet zomaets één ding. Afhankelijk van hoe je studie is opgezet (Zijn de juryleden hetzelfde voor iedereen? Is het een willekeurige groep of een specifere groep?), zijn er 10 verschillende manieren om de score te berekenen. Het kiezen van de verkeerde methode is alsof je een kamer probeert te meten met een liniaal wanneer je eigenlijk een rolmaat had moeten gebruiken — het resultaat ziet er weliswaar uit als een getal, maar het is het verkeerde antwoord.

De Oplossing: ICCDesign

De auteurs van dit artikel, een team van de East China Normal University, hebben een nieuwe R-package gebouwd genaamd ICCDesign. Zie dit als een "Zwitsers zakmes" voor betrouwbaarheidsstudies. In plaats van drie verschillende tools te jongleren, heb je nu één alles-in-één station.

Dit is wat het bijzonder maakt, uitgelegd via eenvoudige analogieën:

1. De "GPS" voor het Kiezen van de Juiste Formule

Het grootste hoofdpijndossier in dit vakgebied is weten welke van de 10 formules je moet gebruiken.

De Oude Manier: Je moest een dik tekstboek lezen, je studieontwerp uitzoeken en hopen dat je de juiste wiskunde koos.
De ICCDesign-manier: Het komt met een ingebouwd vierstaps beslissingskader. Het is als een GPS die je vier simpele vragen stelt:
1. Zijn dezelfde juryleden degene die iedereen beoordelen?
2. Is de groep juryleden een willekeurige steekproef of een vaste groep?
3. Kijken we naar één enkele score of een gemiddelde?
4. Moeten ze het eens zijn over het exacte getal, of alleen over het patroon?
Op basis van jouw antwoorden kiest het pakket automatisch de juiste formule. Als je een lastige combinatie kiest die een waarschuwing vereist, tikt het pakket je voorzichtig op de schouder en zegt: "Hé, wees voorzichtig met deze!"

2. De "Alles-in-één" Workflow

Voorheen moest een onderzoeker tussen verschillende softwarevensters schakelen, cijfers kopiëren en plakken, wat een recept is voor typefouten en fouten.

De ICCDesign-manier: Het handelt het hele traject op één plek af. Je voert je gegevens in, het pakket klaart de gegevens (zoals een chef die groenten wast voordat hij ze snijdt), berekent de score, controleert de betrouwbaarheidsintervallen (de "foutmarge") en schrijft zelfs een rapport in begrijpelijke taal voor je.

3. De "Kristallen Bol" voor de Planning

Voordat je een studie start, moet je weten hoeveel mensen je moet werven.

De Oude Manier: Je zou kunnen gokken, of een rekenmachine gebruiken die alleen werkt voor één specifiek scenario.
De ICCDesign-manier: Het heeft een "Kristallen Bol"-functie. Je kunt tegen het programma zeggen: "Ik wil voor 80% zeker weten dat mijn resultaten accuraat zijn," of "Ik wil dat de foutmarge zo klein is," en het vertelt je precies hoeveel mensen je nodig hebt. Het kan ook achteruit werken: "Ik heb 30 mensen; hoe accuraat kunnen mijn resultaten zijn?"

4. Het "Verkeerslicht"-rapport

Zodra de wiskunde klaar is, geeft het pakket niet alleen een getal zoals "0,72". Het vertaalt dat getal naar een simpel cijfer, gebaseerd op expertrichtlijnen:

< 0,50: Slecht (Rood licht)
0,50 – 0,75: Matig (Geel licht)
0,75 – 0,90: Goed (Groen licht)
> 0,90: Uitstekend (High Five)

Als het resultaat precies op de grens ligt (zoals een score die zowel "Goed" als "Matig" kan zijn), voegt het pakket een briefje toe met de tekst: "We zijn nog niet 100% zeker; je hebt mogelijk meer data nodig."

5. Het "No-Code" Dashboard

Voor mensen die bang zijn voor computercode, bevat het pakket een Shiny web app. Dit is een kleurrijke, interactieve website die je op je computer kunt draaien. Je kunt je gegevens slepen en neerzetten, op knoppen klikken om keuzes te maken en de resultaten direct zien zonder ook maar één regel code te schrijven.

Wat het Wel (en Niet) Doet

Het artikel is zeer duidelijk over de grenzen van dit hulpmiddel:

Het doet: Continue getallen verwerken (zoals lengte, gewicht of testscores), uitgaan van één beoordeling per persoon, en de standaardregels volgen die zijn vastgesteld door beroemde statistici (McGowen, Wong, Shrout, Fleiss).
Het doet niet: Ontbrekende gegevens perfect afhandelen (het verwijdert simpelweg de onvolledige rijen), werken met "Ja/Nee"-antwoorden, of studies corrigeren waarbij de data ongebalanceerd is (zoals het hebben van 5 juryleden voor één persoon en slechts 2 voor een ander).

De Kernboodschap

ICCDesign is een nieuw hulpmiddel dat de verwarring bij het meten van betrouwbaarheid wegneemt. Het verandert een complex, gefragmenteerd proces in een soepele, begeleide ervaring. Het helpt onderzoekers om zich minder zorgen te maken over welke wiskunde ze moeten gebruiken en zich meer te concentreren op wat hun data eigenlijk betekent.

Het hulpmiddel is gratis, open-source en direct beschikbaar voor iedereen die het wil gebruiken.

Technische Samenvatting van ICCDesign: Een R-pakket voor het Ontwerp en de Analyse van ICC-gebaseerde Betrouwbaarheidsstudies

Probleemstelling

De intraclass correlatiecoëfficiënt (ICC) is een hoeksteen in de statistiek voor betrouwbaarheidsonderzoek binnen de medische, psychologische en gedragswetenschappen. De praktische toepassing ervan wordt echter geconfronteerd met twee belangrijke hindernissen. Ten eerste organiseert het theoretische kader van McGraw en Wong (1996) de ICC in tien verschillende ontwerpcombinaties (zes standaardvormen en vier aanvullende combinaties) op basis van modelveronderstellingen (één-weg versus twee-weg, random versus mixed effects) en ontwerpkeuzes (enkelvoudige versus gemiddelde beoordeling, absolute overeenstemming versus consistentie). Het selecteren van de juiste vorm vereist dat onderzoekers complexe ontwerpvragen navigeren, terwijl bestaande richtlijnen vaak niet operationeel zijn gemaakt binnen software-interfaces. Ten tweede is het huidige R-ecosysteem voor ICC-analyse gefragmenteerd. Tools voor puntinschatting (bijv. irr, psych), steekproefomvangberekening (bijv. ICC.Sample.Size) en betrouwbaarheidsbeoordeling zijn verdeeld over afzonderlijke pakketten. Deze fragmentatie dwingt onderzoekers om tussen tools te schakelen, wat het risico op analytische fouten en inconsistente ontwerpspecificaties tussen de plannings- en de analysefase vergroot.

Methodologie

Het ICCDesign pakket (versie 0.1.0) biedt een geïntegreerde workflow voor continue responsdata, uitgaande van één beoordeling per subject-beoordelaar cel. De methodologie is gebaseerd op de Analysis of Variance (ANOVA) framework en houdt zich aan het classificatiesysteem van Shrout en Fleiss (1979) en McGraw en Wong (1996).

1. Statistische Modellen en Schatting:
Het pakket implementeert drie statistische modellen:

Één-weg random effects: Voor ontwerpen waarbij de beoordelaars geen gemeenschappelijke set vormen voor de subjecten.
Twee-weg random effects: Voor ontwerpen waarbij de subjecten worden beoordeeld door dezelfde set beoordelaars die zijn getrokken uit een bredere populatie.
Twee-weg mixed effects: Voor ontwerpen waarbij de beoordelaars een specifieke vaste groep vormen.

Puntinschattingen worden berekend met behulp van ANOVA-gebaseerde formules afgeleid van gemiddelde kwadraten (MSR, MSC, MSE, MSW). Het pakket ondersteunt alle tien de ontwerpcombinaties, inclusclusief "use-with-caution" scenario's waarbij computationele routines gedeeld worden maar de interpretatie van het ontwerp verschilt (bijv. consistentie onder twee-weg random versus mixed modellen).

2. Inferentie en Hypothesetoetsing:

Betrouwbaarheidsintervallen (CI): Het pakket berekent F-distributie-gebaseerde CI's. Voor standaardvormen gebruikt het Type 1 intervallen. Voor absolute overeenstemming in twee-weg modellen wordt een Satterthwaite-type benadering gebruikt om vrijheidsgraden te corrigeren. Alle gerapporteerde grenzen worden afgekapt tot het interpreteerbare bereik $[0, 1]$ .
Hypothesetoetsing: Het implementeert een eenzijdige F-toets voor twee scenario's: een standaard toets tegen nul ( $H_0: ICC = 0$ ) en een optionele drempeltoets tegen een door de gebruiker gespecificeerd minimum betrouwbaarheid ( $H_0: ICC = \rho_0$ ).

3. Steekproefplanning:
Op basis van Zou (2012) biedt het pakket drie planningsmodi:

Lower Bound Assurance: Bepaalt de minimale steekproefomvang ( $n$ ) om te garanderen dat de ondergrens van de CI boven een doelwaarde uitkomt met een opgegeven assurance-waarschijnlijkheid.
Confidence Interval Half-Width: Berekent $n$ om een gewenste precisie van de CI (helftbreedte) te bereiken met een gegeven assurance.
Inverse Assurance: Berekent de assurance-waarschijnlijkheid voor een vaste steekproefomvang.

4. Betrouwbaarheidsbeoordeling:
Geautomatiseerde beoordeling vindt plaats met behulp van de criteria voorgesteld door Koo en Li (2016), toegepast op de ondergrens van het betrouwbaarheidsinterval in plaats van de puntinschatting. Het systeem signaleert onzekerheid als de CI de "goede" betrouwbaarheidsdrempel (0.75) doorkruist.

Belangrijkste Bijdragen

Het ICCDesign pakket introduceert een verenigde interface die de volledige workflow van een betrouwbaarheidsstudie consolideert. De belangrijkste bijdragen zijn:

Uitgebreide Dekking: Het implementeert puntinschatting, ANOVA-gebaseerde CI's en hypotheentoetsen voor alle tien de ICC-ontwerpcombinaties onder het McGraw en Wong (1996) framework, inclusief vier aanvullende "use-with-caution" combinaties.
Vierstaps Beslissingskader: Een gestructureerd parametersysteem begeleidt gebruikers van ontwerpspecificaties (beoordelaarsconsistentie, effecttype, beoordelingseenheid, overeenstemmingstype) naar de juiste ICC-vorm. Het systeem biedt expliciete feedback (NOTES of WARNINGS) voor speciale gevallen, zoals automatische mapping tussen computationele routines of restricties op inferentie voor fixed-rater absolute overeenstemming.
Geïntegreerde Planning en Analyse: Het pakket verenigt steekproefplanning (via de closed-form formules van Zou) en data-analyse, waardoor consistente ontwerpspecificaties gedurende de gehele onderzoekslevenscyclus worden gegarandeerd.
Geautomatiseerde Rapportage en Visualisatie: Het genereert gestandaardiseerde tekstuele analyserapporten en bevat een interactieve Shiny webapplicatie waarmee gebruikers de volledige workflow kunnen uitvoeren zonder R-code te schrijven.
Data Preprocessing Utility: Een speciale functie (icc_preprocess_data) valideert het dataformaat, de dimensies en ontbrekende waarden voordat de analyse begint, wat de transparantie en kwaliteitscontrole van de data verhoogt.

Resultaten en Mogelijkheden

Het artikel demonstreert de functionaliteit van het pakket via illustratieve voorbeelden met behulp van een ingebouwde gesimuleerde dataset. De voorbeelden dekken:

Preprocessing van breed-format data.
Het berekenen van diverse ICC-vormen (bijv. ICC(1,1), ICC(2,1), ICC(3,k)).
Het uitvoeren van aangepaste drempelwaarde hypotheentoetsen.
Het afhandelen van "use-with-caution" combinaties met passende gebruikersmeldingen.
Het uitvoeren van steekproefomvangberekeningen voor lower-bound assurance, CI-breedte en inverse assurance.
Het starten van de Shiny-applicatie voor een workflow zonder code.

Vergelijkingen met bestaande pakketten (irr, psych, ICC.Sample.Size, irrNA) benadrukken dat ICCDesign het enige instrument is dat volledige dekking biedt van de tien ontwerpcombinaties, automatische beslissingsbegeleiding, toegewijde preprocessing en een verenigde interface voor zowel planning als analyse.

Betekenis en Claims

De auteurs positioneren ICCDesign niet als een voorstel voor nieuwe statistische schatters, maar als een consolidatie van gevestigde procedures in een samenhangende, gebruiksvriendelijke interface. De betekenis van het werk ligt in het aanpakken van de fragmentatie van huidige tools en het gebrek aan operationele begeleiding bij het selecteren van de juiste ICC-vorm. Door ontwerpspecificatie, steekproefplanning, inschatting, inferentie en rapportage te integreren in één enkel pakket, beoogt ICCDesign operationele fouten te verminderen en de rigueur van betrouwbaarheidsstudies te verbeteren. Het pakket is beschikbaar op GitHub onder de GPL (>= 3) licentie, met toekomstige plannen om in te dienen bij CRAN en de ondersteuning voor ontbrekende data en bootstrap-intervallen uit te breiden.