Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

기술 요약: 분류기 성능의 불확실성 추정: 대규모 언어 모델(LLM) 및 중첩 데이터에 대한 적용

문제 제기
연구자들은 자연어 데이터에서 개념을 추출하기 위해 지도 학습 모델이나 대규모 언어 모델(LLM)을 활용한 텍는 분류 작업을 점점 더 많이 사용하고 있다. 모델을 검증하기 위해 재현율(recall), 정밀도(precision), F1 점수와 같은 성능 지표가 일상적으로 보고되지만, 이는 통계적 불확칙성(예: 신뢰 구간 또는 표준 오차)에 대한 측정치 없이 점 추정치로만 제시되는 경우가 많다. 불확실성이 보고될 때 사용되는 방법들은 사회과학적 텍스트 분류의 특수한 조건들, 즉 소규모 내지 중규모의 표본 크기, 드문 개념 출현(이로 인한 양성 사례의 낮은 빈도), 높은 성능 수치(LLM에서 흔히 나타남), 그리고 중첩된 데이터 구조(텍스트가 개인 내에 클러스터링됨)에 부적절한 경우가 많다. Wald 구간과 기본 백분위수 부트스트랩(percentile bootstrap)과 같은 기본 방법들은 정확한 커버리지(coverage)를 제공하지 못하며, 특히 표본 크기가 작거나 비율이 극단적인 경우 명목상의 95% 수준보다 현저히 낮게 나타나는 것으로 밝혀졌다. 또한, 표준 구간 추정 절차는 텍스트가 개인 내에 중첩되어 있어 독립 항등 분포(i.i.d.) 가정이 위배되는 상황을 가정하므로, 불확실성을 과소평가하고 지나치게 좁은 신뢰 구간을 생성하게 된다.

방법론
본 논문은 텍스트 분류의 전형적인 조건 하에서 다양한 신뢰 구간 방법들의 커버리지와 폭을 평가하기 위해 일련의 시뮬레이션 연구를 수행한다.

1. 독립 데이터 시뮬레이션: 저자들은 이항 비율($p$)을 0.5에서 0.95까지, 표본 크기($n$)를 10에서 500까지 변화시키며 시뮬레이션을 진행한다. 이들은 해석적 구간(Wald, Wilson, Agresti-Coull, Clopper-Pearson)과 부트스트랩 구간(percentile, BCa, 그리고 새로운 의사-계수 정규화 부트스트랩)을 비교한다.

   • 새로운 방법: "의사-계수 정규화 부트스트랩(pseudo-count regularized bootstrap)"이 제안된다. 이는 원래의 샘플에 의사 관측치(예: 비율의 경우 성공 1개와 실패 1개를 추가하거나, F1의 경우 혼동 행렬의 각 사분면에 의사 관측치를 추가하는 방식)를 보강한 후 재표집하는 과정을 포함한다. 이는 부트스트랩 프레임워크 내에서 Agresti-Coull 해석적 구간의 동작을 모사한다.
   • F1 평가: 불균형한 모집단(유병률 = 0.10)에서 진정한 정밀도와 재현율을 변화시키며 F1 점수의 커버리지를 평가하는 특정 시뮬레이션을 수행한다.

2. 중첩 데이터 시뮬레이션: 비독립성을 다루기 위해, 저자들은 텍스트가 개인 내에 중첩된 계층적 데이터를 시뮬레이션한다.

   • 설계: 각 개인이 60개의 텍스트를 생성하는 2,000명의 인구 집단을 생성한다. 샘플링 체계는 "소규모 코퍼스"(개인당 평균 약 3개의 텍스트)와 "중규모 코퍼스"(개인당 평균 약 30개의 텍스트) 사이에서 변화한다.
   • 테스트된 방법: 연구는 미조정 해석적 구간, 유효 표본 크기($n_{eff}$) 및 설계 자유도($df_{design}$)에 대해 조정된 해석적 구간, 그리고 부트스트랩 구간(클러스터 부트스트랩 vs. 계층적 부트스트랩)을 비교한다.
   • 조정: 중첩 데이터의 경우, 집단 내 상관계수(ICC)에 기반한 설계 효과(DEFF)를 사용한 조정과 감소된 자유도를 고려하기 위해 $z$-분위수 대신 $t$-분위수를 사용하는 조정을 테스트한다.

주요 기여

1. 체계적 비교: 본 논문은 사회과학적 텍스트 분류에서 흔히 발생하는 고성능, 소표본, 중첩 데이터 조건에 맞춤화된 신뢰 구간 커버리지에 대한 체계적인 평가를 제공한다.
2. 기본 방법의 실패 식별: Wald 구간과 기본 백분위수 부트스트랩이 가장 부정확한 방법임을 입증하며, 표본 크기가 작고 성능이 높을 때(예: $p=0.95$) 커버리지가 0.40–0.66까지 떨어질 수 있음을 보여준다.
3. 새로운 정규화: 저자들은 의사-계수 정규화 부트스트랩을 도입하고 검증한다. 이 방법은 소표본 및 고성능 환경에서 비율 및 비비율 지표(F1 등)에 대한 커버리지를 개선하며, 표준 부트스트랩의 불안정한 동작 문제를 해결한다.
4. 중첩 데이터 가이드라인: 중첩 데이터의 경우, 단순히 텍스트 수를 늘리는 것만으로는 부족하며, 유효 표본 크기와 설계 자유도에 대한 조정이 필요함을 명시한다. 연구는 클러스터 부트스트랩과 계층적 부트스트랩을 비교하며, 계층적 부트스트랩이 일반적으로 더 정확하지만 개인이 생성하는 텍스트 수가 매우 적을 때는 지나치게 보수적일 수 있음을 밝힌다.
5. 표본 크기 계획: 본 논문은 표본 크기, 성능 비율, 신뢰 구간 폭 사이의 관계를 보여주는 표와 시각화 자료를 제공하며, 성능이 높거나 표본 크기가 작을 때 좁은 구간을 얻기 위한 비용이 매우 높음을 강조한다.

결과

• 독립 데이터: Agresti-Coull, Wilson, Clopper-Pearson 해석적 구간은 소표본에서도 명목 수준인 0.95 근처 또는 그 이상의 커버리지를 일관되게 달성한다. 의사-계수 정규화 부트스트랩은 비율에 대해 우수한 성능을 보이며, 소표본에서의 F1 점수를 위한 유일한 견고한 옵션이다. Wald와 기본 백분위수 부트스트랩은 지속적으로 커버리지가 미달된다.
• 중첩 데이터: 텍스트를 독립적인 것으로 취급하는 미조정 구간은 중첩 시 심각한 커버리지 미달(예: 95% 기대 시 약 65% 커버리지)을 보인다.
  • 조정: $n_{eff}$ 및 $df_{design}$에 대해 조정된 구간(특히 이러한 조정을 적용한 Agresti-Coull 또는 Wilson 공식 사용)은 정확한 커버리지를 제공한다.
  • 부트스트랩 성능: 의사-계수 정규화 계층적 부트스트랩은 다양한 조건에서 정확한 커버리지를 제공한다. 클러스터 부트스트랩은 더 정밀하지만(더 좁은 구간), 특히 개인당 텍스트 수가 많고(~30개) 개인 수가 적을 때 커버리지 미달의 위험이 있다.
• 표본 크기 민감도: 중첩 설계에서 신뢰 구간의 폭은 단순히 전체 텍스트 수보다는 개인의 수에 매우 민감하게 반응한다. 개인의 수를 늘리는 것이 개인당 텍스트 수를 늘리는 것보다 더 큰 통계적 정밀도를 얻는 데 유리하다.

의의 및 주장
본 논문은 성능 지표의 크기 자체보다 그 정밀도에 대한 척도가 필수적이라고 주장한다. 정확한 신뢰 구간의 부재는 머신러닝의 사회과학적 적용에 대한 투명성을 위협하며, 잠재적으로 모델 기반 추론에 대한 과도한 확신으로 이어질 수 있다.

저자들은 보고 표준을 개선하기 위한 근거 기반 권장 사항을 제시한다.

• 독립 데이터의 경우, 단순성과 정확성 덕분에 Agresti-Couell 구간을 기본값으로 권장하며, F1과 같은 비비율 지표의 경우 의사-계수 정규화 부트스트랩을 선호되는 대안으로 제시한다.
• 중첩 데이터의 경우, 분석가는 반드시 유효 표본 크기와 자유도를 조정해야 한다. 해석적 조정이 불가능할 때는 의사-계수 정규화 계층적 부트스트랩이 권장된다.
• 본 논문은 연구자들이 설계 단계에서 표본 크기 요구 사항을 고려해야 함을 강조하며, 특히 드문 개념과 높은 성능 수준은 신뢰할 수 있는 추론을 뒷받s기 위해 충분한 "분석적 표본 크기"(예: 단순히 전체 텍스트 수가 아닌 양성 사례의 수)를 확보하도록 세심한 계획이 필요함을 지적한다.

저자들은 중첩 시뮬레이션이 단일 ICC 구조를 가정한다는 점과 본 논문이 지표 자체의 편향되지 않은 추정보다는 불확실성 추정에 초점을 맞추고 있다는 점 등 한계점을 겸허히 언급한다. 또한, 심리학에서의 일반적인 ICC 값과 성능 범위에 대한 벤치마크를 구축하여 연구 설계를 더욱 돕기 위한 후속 연구를 촉구한다.