📊 statistics

ICCDesign: An R Package for the Design and Analysis of ICC-Based Reliability Studies with Continuous Responses

이 논문은 McGraw와 Wong(1996)의 분류 체계를 따라 표본 크기 계획, 점 추정, 신뢰 구간 계산, 그리고 자동화된 신뢰도 평가를 단일 프레임워크 내로 통합함으로써 연속형 반응을 가진 ICC 기반 신뢰도 연구의 설계 및 분석을 위한 통합된 워크플로우를 제공하는 `ICCDesign` R 패키지를 소개한다.

원저자: Ziyu Liu, Ruilin Ma, Yundan Zhang, Chenge Gao

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyu Liu, Ruilin Ma, Yundan Zhang, Chenge Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 오디션 프로그램의 심사위원이라고 상상해 보세요. 당신에게는 다섯 명의 다른 심사위원 패널이 있습니다. 당신은 알고 싶습니다: 이 심사위원들이 서로 얼마나 동의하고 있는가? 그들은 모든 가수에게 똑같은 점수를 주나요, 아니면 어떤 심사위원은 록 음악을 사랑하고 다른 심사위원은 싫어하나요?

과학과 의학의 세계에서 연구자들은 매일 이와 똑같은 문제에 직면합니다. 그들은 '내적 일치도(Intraclass Correlation Coefficient, ICC)'라고 불리는 도구를 사용해 그들의 "심사위원"(또는 평가자)이 얼마나 신뢰할 수 있는지 측정해야 합니다. 하지만 지금까지 이 도구를 사용하는 것은 마치 세 가지 다른 언어로 쓰인 설명서를 가지고, 세 개의 서로 다른 상자에 담긴 나사를 사용하여 가구를 조립하려는 것과 같았습니다.

다음은 이 혼란을 해결해 주는 ICCDesign이라는 새로운 도구에 대한 이야기입니다.

문제점: 빠진 조각이 있는 퍼즐

수십 년 동안 과학자들은 한 가지 일을 하기 위해 여러 컴퓨터 프로그램을 오가야 했습니다:

한 프로그램은 연구에 몇 명의 인원이 필요한지 알려줍니다 (표본 크기).
다른 프로그램은 일치도 점수를 계산합니다.
세 번째 프로그램은 그 점수가 "좋은"지 "나쁜"지 확인합니다.

설상가상으로, "일치도" 점수는 단 하나가 아닙니다. 연구 설계 방식에 따라 (예: 모든 사람에게 동일한 심사위원이 배정되는가? 심사위원이 무작위 그룹인가 아니면 특정 팀인가?) 계산하는 방법이 10가지나 됩니다. 잘못된 것을 선택하는 것은 방을 재야 하는데 줄자가 아닌 일반 자를 사용하는 것과 같습니다. 결과는 숫자로 나타나겠지만, 틀린 답이 될 것입니다.

해결책: ICCDesign

이 논문의 저자인 동화대학교(East China Normal University) 연구팀은 ICCDesign이라는 새로운 R 패키지를 만들었습니다. 이것을 신뢰도 연구를 위한 **"맥가이버 칼(Swiss Army Knife)"**이라고 생각하세요. 세 가지 도구를 번갈아 사용하는 대신, 이제 하나의 올인원 스테이션을 갖게 된 것입니다.

이것이 왜 특별한지 쉬운 비유를 통해 설명해 보겠습니다.

1. 올바른 공식을 선택하기 위한 "GPS"

이 분야의 가장 큰 골칫거리는 10가지 공식 중 어떤 것을 사용해야 하는지 아는 것입니다.

기존 방식: 두꺼운 교과서를 읽고, 연구 설계를 파악한 뒤, 올바른 수학 공식을 골랐기를 기도해야 했습니다.
ICCDesign 방식: 내장된 4단계 결정 프레임워크가 제공됩니다. 이는 마치 다음과 같은 네 가지 간단한 질문을 던지는 GPS와 같습니다:
1. 동일한 심사위원이 모든 사람을 평가합니까?
2. 심사위원이 무작위 표본입니까, 아니면 고정된 팀입니까?
3. 단일 점수를 보나요, 아니면 평균을 보나요?
4. 정확한 수치에 동의해야 합니까, 아니면 패턴에 동의해야 합니까?
당신의 답변에 따라 패키지가 자동으로 올바른 공식을 선택합니다. 만약 주의가 필요한 까다로운 조합을 선택하면, 패키지는 당신의 어깨를 가볍게 두드리며 "이 부분은 주의하세요!"라고 말해줍니다.

2. "원스톱 숍" 워크플로우

이전에는 연구자가 서로 다른 소프트웨어 창을 전환하며 숫자를 복사하고 붙여넣어야 했으며, 이는 오타와 오류를 만드는 지름길이었습니다.

ICCDesign 방식: 전체 과정을 한 곳에서 처리합니다. 데이터를 입력하면 패키지가 데이터를 정리하고(마치 요리사가 채소를 썰기 전에 씻는 것처럼), 점수를 계산하며, 신뢰 구간("오차 범위")을 확인하고, 심지로 평이한 영어 보고서까지 작성해 줍니다.

3. 계획을 위한 "수정구슬"

연구를 시작하기 전에 얼마나 많은 사람을 모집해야 할지 알아야 합니다.

기존 방식: 추측하거나, 특정 시나리오에서만 작동하는 계산기를 사용해야 했습니다.
ICCDesign 방식: "수정구슬" 기능이 있습니다. "내 결과가 정확할 확률을 80%로 하고 싶다"거나 "오차 범위를 이 정도로 작게 하고 싶다"라고 말하면, 패키지는 정확히 몇 명의 인원이 필요한지 알려줍니다. 반대로도 작동할 수 있습니다. "사람이 30명 있다면, 내 결과의 정확도는 어느 정도가 될까?"

4. "신호등" 보고서

수학적 계산이 끝나면, 패키지는 단순히 "0.72"와 같은 숫자만 주는 것이 아닙니다. 전문가 가이드라인에 따라 그 숫자를 간단한 등급으로 번역합니다:

< 0.50: 미흡 (빨간불)
0.50 – 0.75: 보통 (노란불)
0.75 – 0.90: 좋음 (초록불)
> 0.90: 매우 우수 (하이파이브)

만약 결과가 경계선에 걸쳐 있다면(예: "좋음"과 "보통" 사이), 패키지는 "아직 100% 확신할 수 없습니다. 데이터가 더 필요할 수 있습니다"라는 포스트잇 메모를 붙여줍니다.

5. "노코드(No-Code)" 대시보드

컴퓨터 코드를 무서워하는 사람들을 위해, 이 패키지는 Shiny 웹 앱을 포함하고 있습니다. 이는 당신의 컴퓨터에서 실행할 수 있는 색상 있고 인터랙티브한 웹사이트입니다. 데이터를 드래보 드롭하고, 버튼을 클릭하여 선택을 내리며, 단 한 줄의 코드도 작성하지 않고 즉시 결과를 확인할 수 있습니다.

할 수 있는 것 (그리고 할 수 없는 것)

이 논문은 이 도구의 경계를 매우 명확히 밝히고 있습니다:

할 수 있는 것: 연속형 숫자(키, 몸무게, 시험 점수 등)를 다루고, 1인당 1회의 평가를 가정하며, 유명한 통계학자들(McGraw, Wong, Shrout, Fleiss)이 정한 표준 규칙을 따릅니다.
할 수 없는 것: 누락된 데이터를 완벽하게 처리하지 못하며(불완전한 행을 그냥 삭제함), "예/아니오" 형태의 응답을 다루지 못하며, 데이터가 불균형한 경우(예: 한 사람에게는 5명의 심사위원이 있고 다른 사람에게는 2명뿐인 경우)를 수정하지 못합니다.

결론

ICCDesign은 신뢰도를 측정하는 과정에서 오는 혼란을 제거하는 새로운 도구입니다. 복잡하고 파편화된 과정을 매끄럽고 안내된 경험으로 바꿔줍니다. 이를 통해 연구자들은 어떤 수학을 사용할지 고민하는 대신, 자신들의 데이터가 실제로 무엇을 의미하는지에 더 집중할 수 있게 됩니다.

이 도구는 무료이며 오픈 소스이고, 지금 바로 누구나 사용할 수 있습니다.

ICCDesign의 기술적 요약: ICC 기반 신뢰도 연구의 설계 및 분석을 위한 R 패키지

문제 제기

내급 상관 계수(Intraclass Correlation Coefficient, ICC)는 의학, 심리학, 행동 과학 분야의 신뢰도 연구에서 핵심적인 통계량입니다. 그러나 실제 적용에 있어 두 가지 중요한 장애물에 직면해 있습니다. 첫째, McGraw와 Wong(1996)이 확립한 이론적 프레임워크는 모델 가정(일원/이원, 무작위/혼합 효과)과 설계 선택(단일/평균 평점, 절대 일치/일관성)에 따라 ICC를 10가지의 뚜렷한 설계 조합(6가지 표준 형태 및 4가지 추가 조합)으로 분류합니다. 올바른 형태를 선택하려면 연구자가 복잡한 설계 질문을 탐색해야 하지만, 기존 가이드라인은 소프트웨어 인터페이스 내에서 흔히 구체적으로 구현되지 못하고 있습니다. 둘째, 현재의 R 생태계 내 ICC 분석 도구들은 파편화되어 있습니다. 점 추정(예: irr, psych), 표본 크기 계산(예: ICC.Sample.Size), 신뢰도 평가 도구들이 서로 다른 패키지에 분산되어 있습니다. 이러한 파편화는 연구자들이 도구를 전환하게 만들며, 이는 분석 과정에서의 오류와 계획 단계와 분석 단계 사이의 설계 사양 불일치 위험을 높입니다.

방법론

ICCDesign 패키지(버전 0.1.0)는 피험자-평가자 셀당 하나의 평정을 가정하는 연속형 반응 데이터에 대한 통합된 워크플로우를 제공합니다. 이 방법론은 분산 분석(ANOVA) 프레임워크에 기초하며, Shrout와 Fleiss(1979) 및 McGraw와 Wong(1996)의 분류 체계를 따릅니다.

1. 통계 모델 및 추정:
본 패키지는 세 가지 통계 모델을 구현합니다:

일원 무작위 효과 (One-way random effects): 평가자가 피험자 전반에 걸쳐 공통된 집단이 아닌 경우의 설계.
이원 무작위 효과 (Two-way random effects): 동일한 평가자 집단이 더 넓은 모집단으로부터 추출된 피험자들을 평가하는 경우의 설계.
이원 혼합 효과 (Two-way mixed effects): 평가자가 특정 고정 집단을 구성하는 경우의 설계.

점 추정치는 평균 제곱(MSR, MSC, MSE, MSW)으로부터 유도된 ANOVA 기반 공식들을 사용하여 계산됩니다. 본 패키지는 "주의하여 사용(use-with-caution)" 시나리오(예: 계산 루틴은 공유되지만 해석이 다른 경우, 예: 이원 무한 vs 혼합 모델에서의 일관성)를 포함하여 10가지 모든 설계 조합을 지원합니다.

2. 추론 및 가설 검정:

신뢰 구간 (CIs): 패키지는 F-분포 기반의 신뢰 구간을 계산합니다. 표준 형태의 경우 Type 1 구간을 사용합니다. 이원 모델에서의 절대 일치(absolute agreement)의 경우, 자유도를 보정하기 위해 Satterthwaite 유형의 근사법을 채택합니다. 보고되는 모든 경계값은 해석 가능한 범위인 $[0, 1]$ 내로 절단됩니다.
가설 검정: 두 가지 시나리오에 대해 단측 F-검정을 구현합니다: 기본적으로 0에 대한 검정( $H_0: ICC = 0$ )과 사용자 지정 최소 신뢰도에 대한 선택적 임계값 검정( $H_0: ICC = \rho_0$ )입니다.

3. 표본 크기 계획:
Zou(2012)에 근거하여, 패키지는 세 가지 계획 모드를 제공합니다:

하한 보장 (Lower Bound Assurance): 지정된 보증 확률로 신뢰 구간의 하한이 목표 임계값을 초과하도록 하는 최소 표본 크기( $n$ )를 결정합니다.
신뢰 구간 반폭 (Confidence Interval Half-Width): 주어진 보증 확률 내에서 원하는 CI 정밀도(반폭)를 달성하기 위한 $n$ 을 계산합니다.
역 보증 (Inverse Assurance): 고정된 표본 크기에 대한 보증 확률을 계산합니다.

4. 신뢰도 평가:
자동화된 등급 부여는 Koo와 Li(2016)가 제안한 기준을 사용하여 수행되며, 점 추정치가 아닌 신뢰 구간의 하한에 적용됩니다. 시스템은 CI가 "좋음(good)" 신뢰도 임계값(0.75)을 가로지르는 경우 불확실성을 표시합니다.

주요 기여

ICCDesign 패키지는 전체 신뢰도 연구 워크플로우를 통합하는 단일 인터페이스를 도입합니다. 주요 기여는 다음과 같습니다:

포괄적 범위: McGraw와 Wong(1996) 프레임워크에 따른 10가지 모든 ICC 설계 조합(4가지의 "주의하여 사용" 조합 포함)에 대해 점 추정, ANOVA 기반 CI 및 가설 검정을 구현합니다.
4단계 의사결정 프레임워크: 구조화된 파라미터 시스템을 통해 사용자가 연구 설계 사양(평가자 일관성, 효과 유형, 평정 단위, 일치 유형)으로부터 적절한 ICC 형태를 찾도록 안내합니다. 이 시스템은 특수 사례(예: 계산 루틴 간의 자동 매핑 또는 고정 평가자 절대 일치에 대한 추론 제한)에 대해 명시적인 피드백(NOTES 또는 WARNINGs)을 제공합니다.
통합된 계획 및 분석: 표본 크기 계획(Zou의 폐쇄형 공식 활용)과 데이터 분석을 통합하여 연구 생애 주기 전반에 걸쳐 일관된 설계 사양을 보장합니다.
자동화된 보고 및 시각화: 표준화된 텍스트 형식의 분석 보고서를 생성하며, 사용자가 R 코드를 작성하지 않고도 전체 워크플로우를 수행할 수 있는 대화형 Shiny 웹 애플리케이션을 포함합니다.
데이터 전처리 유틸리티: 전용 함수(icc_preprocess_data)가 분석 전 데이터 형식, 차원 및 결측치를 검증하여 투명성과 데이터 품질 관리를 강화합니다.

결과 및 역량

본 논문은 내장된 시뮬레이션 데이터셋을 사용한 예시를 통해 패키지의 기능을 입증합니다. 예시는 다음을 포함합니다:

와이드 포맷(wide-format) 데이터의 전처리.
다양한 ICC 형태(예: ICC(1,1), ICC(2,1), ICC(3,k))의 계산.
사용자 정의 임계값 가설 검정 수행.
적절한 사용자 알림과 함께 "주의하여 사용" 조합 처리.
하한 보장, CI 폭, 역 보증을 위한 표본 크기 계산 수행.
코드 없는 워크플로우를 위한 Shiny 애플리케이션 실행.

기존 패키지들(irr, psych, ICC.Sample.Size, irrNA)과의 비교를 통해, ICCDesign이 10가지 설계 조합 전체를 커버하고, 자동화된 의사결정 가이드를 제공하며, 전용 전처리와 계획 및 분석을 위한 통합 인터페이스를 갖춘 유일한 도구임을 강조합니다.

의의 및 주장

저자들은 ICCDesign을 새로운 통계적 추정치를 제안하는 것이 아니라, 확립된 절차들을 응집력 있고 사용자 친화적인 인터페이스로 통합하는 것으로 정의합니다. 이 연구의 의의는 현재 도구들의 파편화와 올바른 ICC 형태를 선택하기 위한 운영 가이드의 부재를 해결하는 데 있습니다. 설계 사양, 표본 크기 계획, 추정, 추론 및 보고를 하나의 패키지로 통합함으로써, ICCDesign은 운영상의 오류를 줄이고 신뢰도 연구의 엄격성을 높이는 것을 목표로 합니다. 본 패키지는 GitHub에서 GPL (>= 3) 라이선스로 제공되며, 향후 CRAN 제출 및 결측치 지원과 부트스트랩 구간 확장을 계획하고 있습니다.