Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

기술 요약: 차별적 문항 기능(DIF)을 위한 효과 크기 척도 및 분류 체계의 정교화

문제 제기
차별적 문항 기능(DIF) 분석은 다문항 측정에서 편향을 식별하는 데 매우 중요하며, 동일한 잠재적 특성 수준을 가진 서로 다른 집단의 개인들이 특정 문항에 반응할 확률이 동일하도록 보장한다. 통계적 유의성 검정은 표준적인 방법이지만, 제1종 오류율과 통계적 검정력은 표본 크기에 크게 의존하기 때문에 이것만으로는 불충분하다. 따라서 효과 크기 척도와 분류(통상적으로 "무시할 만한(negligible)", "중간(moderate)", "큰(large)" 범주로 분류)를 통해 DIF의 실질적 유의성을 평가하는 것이 필수적이다.

그러나 현재 이 분야에는 통일된 가이드라인이 부족하다. 기존의 효과 크기 척도들(예: Mantel-Haenszel $\Delta MH$, SIBTEST $\hat{\beta}$, 로지스틱 회귀 $\Delta R^2$, 면적 기반 척도 등)은 동일한 문항에 대해 서로 일관되지 않은 분류 결과를 내놓는 경우가 많다. 기존의 많은 절단값(cut-off values)은 소규모 시뮬레이션 연구에서 도출되었거나 다양한 탐지 방법 간의 체계적인 검증이 결여되어 있다. 이러한 불일치는 특히 사소한 차이가 통계적으로 유의미하게 나타날 수 있는 대규모 데이터셋에서 문항의 유지 또는 제거에 관한 의사결정을 복잡하게 만든다.

연구 방법론
저자들은 기존의 DIF 효과 크기 척도들의 특성을 평가하고 통일된 분류 가이드라인을 제안하기 위해 종합적인 시뮬레이션 연구를 수행하였다. 본 연구는 이분형 문항과 이진 집단 멤버십에 초점을 맞추었으며, 균일(uniform) 및 비균일(non-uniform) DIF를 모두 다루었다.

• 시뮬레이션 설계: 연구는 여섯 가지 설계 요인을 조작하였다: 표본 크기(집단당 100에서 10,000까지), 검사 길이(20 및 40문항), DIF 문항 비율(5% 및 10%), 능력 분포의 변화, 기저에 깔린 DIF의 크기(문항 특성 곡선(ICC) 사이의 부호 없는 면적(Unsigned Area, UA)으로 정의), 그리고 DIF 유형(균일 vs 비균일). 이를 통해 1,008개의 고유한 설정이 생성되었으며, 각 설정은 1,000번씩 반복되었다(총 100만 개 이상의 데이터셋).
• 평가된 방법론: 연구는 전통적 방법(Mantel-Haenszel, SIBTEST, Crossing SIBTEST)과 모델 기반 접근법(로지스틱 회귀, IRT 기반 2PL/3PL/4PL 모델)을 모두 평가하였다.
• 효과 크기 척도: 다음과 같은 광범위한 척도들이 분석되었다:
  • 오즈비(Odds-ratio) 기반: $|\Delta MH|$, $\Delta LR$.
  • 확률 기반: $LR-P-DIF$, $LR-STD-P-DIF$ (다양한 가중치 체계 포함).
  • 분산 기반: $\Delta R^2$.
  • 면적 기반: 부호 있는 면적(Signed Area, SA), 부호 없는 면적(Unsigned Area, UA), 폐쇄된 부호 있는/부호 없는 면적(CSA, CUA), 가중 부호 있는/부호 없는 면적(WSA, WUA), 그리고 새로 제안된 표준화 버전($SA^{STD}$, $UA^{STD}$).
• 분석적 접근: 저자들은 서로 다른 효과 크기 척도들을 공통 앵커(기저의 UA 또는 $|\Delta MH|$)에 연결하기 위해 선형 및 큐빅 회귀 모델을 사용하였다. 또한, 설계 요인(예: 표본 크기)에 따른 척도들의 의존성을 조사하고, 방법론 간 분류를 일치시키는 새로운 절단값을 도출하였다.

주요 기여

1. 통합 분류 가이드라인: 본 논문은 서로 다른 DIF 탐지 방법 간에 일관된 분류(무시할 만함, 중간, 큼)를 보장하기 위해 여러 효과 크기 척도에 대한 수정된 절단값을 제안한다.
   • 균일 DIF의 경우: SIBTEST($|\hat{\beta}|$), 로지스틱 회귀($\Delta R^2$, $LR-STD-P-DIF$), 그리고 면적 기반 척도에 대한 새로운 임계값이 제안된다. 특히, 저자들은 기존의$|\Delta MH|$임계값인 1 및 1.5와 분석적으로 연결되는 표준화된 면적 척도($UA^{STD}$)를 도입하였으며, 그 임계값은 각각 0.426(무시할 만함/중간)과 0.638(중간/큼)이다.
   • 비균일 DIF의 경우: Crossing SIBTEST, 로지스틱 회귀($\Delta R^2$), 면적 기반 척도에 대한 새로운 임계값이 제안되며, 표본 크기에 대한 특정 제한 사항이 포함된다.
2. 표준화된 면적 척도: 저자들은 ICC 사이의 면적을 문항 변별도 매개변수($a_i$)로 스케일링한 $SA^{STD}$와 $UA^{STD}$를 도입하였다. 이를 통해 면적 기반 척도를 오즈비 기반 지표와 직접 비교할 수 있게 하며, 스케일 불변(scale-invariant) 효과 크기를 제공한다.
3. 사용 제한 사항: 연구는 기존 척도들의 구체적인 한계를 식별하고 사용 제한을 권고한다:
   • SIBTEST의 $|\hat{\beta}|$와 면적 기반 척도는 작은 표본에서의 불안정성 때문에 표본 크기 $N \ge 500$(균일) 또는 $N \ge 1,000$(비균일)으로 제한되어야 한다.
   • 분포 가정에 의존하는 척도(예: $LR-P-DIF$, $WUA$)는 능력이 가정된 모델에서 벗어날 경우 사용에 주의가 필요하다.
4. 실제 데이터 검증: 제안된 가이드라인은 두 개의 실제 데이터셋, 즉 대규모 표본인 HBSC 연구($N \approx 180,000$)와 소규모 표본인 MSATB 생물학 데이터셋($N \approx 1,400$)을 통해 테스트되었다.

결과

• 현재 가이드라인의 불일치: 시뮬레이션 결과, 기존의 절단값들은 종종 일관되지 않은 분류를 초래하는 것으로 나타났다. 예를 들어, $\Delta R^2$는 다른 척도들이 "중간" 또는 "큼"을 나타낼 때도 DIF 크기를 과소평가하여 "무시할 만함"으로 분류하는 경우가 빈번했다. 반대로, p-지표인 $LR-P-DIF$는 표본 크기와 능력 분포 변화에 높은 민감도를 보였다.
• 새로운 가이드라인의 성능: 새로 제안된 절단값은 분류 정확도를 유의미하게 향러상시켰다. 균일 DIF의 경우, $\Delta R^2$의 정확한 분류율은 기존 임계값을 사용할 때의 27.41%에서 새로운 임계값을 사용할 때 63.12%로 개선되었다. 표준화된 면적 척도($UA^{STD}$)는 오즈비 기반 척도($|\Delta MH|$, $\Delta LR$)와 높은 일치도를 보였으며, 60% 이상의 전체 일치율을 달s성하였다.
• 표본 크기 효과: 작은 표본 크기($N \le 200$)는 높은 분산과 효과 크기 척도 간의 약한 상관관계를 초래하였으며, 이는 특정 방법론을 더 큰 표본에 제한하라는 권고를 뒷받침한다.
• 실제 데이터 적용: HBSC 데이터셋에서 새로운 가이드라인은 서로 다른 방법론이 상충하는 분류를 제시했던 문제(예: 한 척도에서는 "중간"으로 분류되었으나 다른 척도에서는 "무시할 만함"으로 분류된 경우)를 해결하였다. MSATB 데이터셋에서도 새로운 임계값은 다양한 방법으로 포착된 문항들의 DIF 크기에 대해 더 일관된 결론을 제공하였다.

의의 및 주장
저자들은 본 연구가 면적 기반 DIF 효과 크기 척도에 대해 표준화된 임계값이 결여되었던 기존의 연구 공백을, 분석적으로 도출되고 시뮬레이션으로 검증된 분류 가이드라인을 제공함으로써 메우고 있다고 주장한다. 이러한 척도들을 널리 받아들여지는 Mantel-Haenszel 지표와 연결함으로써, 본 연구는 전통적 방법과 모델 기반 방법 간의 해석력과 비교 가능성을 높이는 "통합된 프레임워크"를 제공한다.

저자들은 모든 척도를 완전히 일치시키는 것은 모델링된 관계의 근사적 특성상 불가능할 수 있음을 인정하면서도, 제안된 프레임워크가 문항 플래깅(flagging) 결정 시 발생하는 모호함을 줄여준다고 강조한다. 또한, 본 가이드라인이 주로 2PL 모델과 이분형 문항에 대해 검증되었으므로, 3PL/4PL 모델이나 다항(polytomous) 문항에 대한 적용 가능성에 대해서는 추가적인 연구가 필요함을 명시하였다. 그럼에도 불구하고, 본 연구는 DIF 분석의 표준화를 진전시키며, 연구자들이 문항 편향의 실질적 유의성을 평가할 때 보다 투명하고 신뢰할 수 있는 근거를 제공한다.