Universal distribution of the empirical coverage in split conformal prediction

내일의 날씨를 예측하는 것부터 집값을 추정하는 것에 이르기까지, 현대 예측의 세계에서 가장 흔한 출력값은 단 하나의 숫자입니다. 모델은 데이터를 살펴보고 "온도는 72도가 될 것입니다" 또는 "이 집의 가치는 45만 달러입니다"라고 말합니다. 이러한 점 예측(point predictions)은 유용하지만, 모델이 얼마나 확신하고 있는지에 대한 결정적인 정보를 숨기는 경우가 많습니다. 만약 모델이 무모하게 추측하고 있다면, 단 하나의 숫자는 잘못된 정밀성을 부여할 수 있습니다. 이를 해결하기 위해 통계학자들은 '컨포멀 예측(conformal prediction)'이라 불리는 프레임워크를 개발했습니다. 이 방법은 단 하나의 답을 제공하는 대신, 통계적 보증이 동반된 가능성의 범위, 즉 발생 가능한 결과의 집합을 생성합니다. 이는 실제 정답이 특정 백분율, 예를 들어 95%의 확률로 이 집합 안에 포함될 것임을 약속합니다. 이 접근 방식은 거의 모든 기존 예측 도구와 함께 작동하며, 데이터 분포에 대한 특별한 가정을 필요로 하지 않고, 데이터 양이 제한적인 상황에서도 이러한 보증을 제공한다는 점에서 강력합니다.

하지만 이러한 도구를 사용하려는 사람들에게는 실질적인 질문이 남습니다. 바로 보증이 성립하기 위해 얼마나 많은 데이터가 필요한가 하는 점입니다. 전형적인 설정에서는 데이터셋을 두 부분으로 나눕니다. 한 부분은 모델을 학습시키는 데 사용하고, '교정 샘플(calibration sample)'이라고 알려진 다른 부분은 예측 집합의 크기를 조정하는 데 사용됩니다. 만약 교정 샘플이 너무 작으면, 결과적인 예측 집합이 실제 값을 포함하기에 너무 좁아져서 약속된 보증을 깨뜨릴 수 있습니다. 반대로 너무 크면, 예측 집합이 불필요하게 넓어져 유용성이 떨어집니다. 수년 동안 실무자들은 교정 샘플의 적절한 크기를 결정하기 위해 대략적인 규칙이나 보수적인 추정치에 의존하며 추측해 왔으며, 이는 종종 귀중한 데이터를 낭비하는 결과를 초래했습니다.

브라질 인스페르 교육연구소(Insper Institute of Education and Research)의 파울로 C. 마르케스 F.(Paulo C. Marques F.)가 수행한 최근 연구는 이러한 예측 집합의 정확한 수학적 거동을 찾아냄으로써 이 문제를 해결했습니다. 연구자는 배치(batch) 단위로 작동하는 '분할 컨포멀 예측(split conformal prediction)'이라는 특정 버전에 집중했습니다. 모델이 이미 학습 및 교정을 마친 후, 미래의 사건들에 대한 예측을 한꺼번에 대량으로 요청하는 시나리오를 상상해 보십시오. 이 연구는 다음과 같은 단순하지만 심오한 질문을 던집니다. 만약 우리가 미래 예측의 한 배치(batch)를 살펴본다면, 그중 얼마나 많은 예측이 맞는지에 대한 실제 분포는 무엇인가?

논문은 그 답이 보편적이라고 밝힙니다. 그것은 데이터의 구체적인 유형, 모델의 복잡성, 또는 세상의 기저 패턴에 의존하지 않습니다. 대신, 예측 집합의 거동은 오직 두 가지 숫자, 즉 원하는 신뢰 수준(명목 미커버리지 수준)과 시스템을 조정하는 데 사용된 교정 샘플의 크기에 의해 결정됩니다. 연구자는 미래의 관측치가 유한한 배치인 경우, 올바른 예측의 수는 '베타-이항 분포(Beta-Binomial distribution)'로 알려진 정밀한 통계적 패턴을 따른다는 것을 증명했습니다. 나아가, 미래 관측치의 배치가 무한히 커짐에 따라, 올바른 예측의 비율은 '베타 분포(Beta distribution)'라고 알려진 특정 패턴으로 수렴합니다. 이러한 발견은 단순히 컴퓨터 시뮬레이션으로부터 얻은 제안이나 결과가 아닙니다. 이는 데이터 포인트들이 '교환 가능(exchangeable)'하다는 가정, 즉 데이터의 순서가 중요하지 않고 동일한 근원으로부터 나왔다는 가정에서 도출된 엄격한 수학적 증명입니다.

이 연구의 가장 중요한 성과는 교정 샘플 크기를 선택하기 위한 새로운 정밀한 기준을 마련했다는 점입니다. 연구자는 커버리지(coverage)의 정확한 분포를 알고 있기 때문에, 예측 집합이 특정 오차 범위 내에서 정확성을 유지하도록 보장하기 위해 필요한 최소한의 교정 데이터 양을 계산할 수 있습니다. 예를 들어, 사용자가 95%의 확신으로 예측 집합이 5%의 오차 범위 내에 있기를 원한다면, 이 논문은 필요한 정확한 교정 샘플 수를 찾는 직접적인 방법을 제공합니다. 연구는 다양한 신뢰 수준, 오차 범위, 그리고 확실성 요구 사항의 조합에 따른 이러한 최소 샘플 크치를 나열한 종합적인 표를 제시합니다.

이 표를 통해 요구 사항이 엄격해질수록 필요한 샘플 크기가 극적으로 변할 수 있음을 알 수 있습니다. 표준적인 90% 신뢰 수준과 관대한 10% 오차 범위를 기준으로 하면, 약 40~50개의 관측치라는 비교적 작은 교정 샘플로도 충분할 수 있습니다. 그러나 사용자가 99%의 신뢰 수준과 매우 타이트한 1%의 오차 범위를 요구한다면, 필요한 샘플 크기는 40,000개를 넘어 껑충 뛰어오릅니다. 연구는 이 수치들이 임의적인 것이 아니라, 경험적 커버리지의 정확한 분포로부터 도출된 수학적 최소치임을 명시합니다. 이를 통해 실무자들은 추측을 멈추고 계산을 시작할 수 있으며, 과도한 자원을 낭비하지 않으면서도 신뢰성 목표를 달est할 수 있는 충분한 데이터를 사용할 수 있게 됩니다.

또한 논문은 이러한 예측이 어떻게 작동하는지에 대한 미묘하지만 중요한 차이점을 다룹니다. 예측 집합의 평균적인 성능은 목표 신뢰 수준에 가깝다는 것이 잘 알려져 있지만, 단일 배치에서의 실제 성능은 변할 수 있습니다. 연구는 이러한 변동이 무작위적인 노이즈가 아니라 예측 가능한 형태를 따른다는 것을 보여줍니다. 이 형태를 이해함으로써, 사용자들은 완벽한 모델과 적절한 크기의 교정 샘플을 갖추더라도 미래의 예측이 얼마나 맞을지에 대한 자연스러운 변동이 존재할 수 있음을 인지할 수 있습니다. 연구는 이러한 변동이 방법론 자체에 내재되어 있으며, 교정 샘플의 크기와 선택된 신뢰 수준에 의해 완전히 특징지어진다는 점을 확인해 줍니다.

머신러닝 응용 분야의 맥락에서 이 작업은 신뢰성을 위한 기초적인 도구를 제공합니다. 이는 교정 샘플 크기를 선택하는 과정을 예술에서 과학으로 변화시킵. 연구자는 분할 컨포멀 예측의 특성이 예측을 생성하는 데 사용되는 특정 알고리즘과 관계없이 견고하고 보편적임을 입증합니다. 주식 가격과 같은 연속적인 값을 예측하든 질병 진단과 같은 범주형 레이블을 예측하든, 필요한 교정 데이터를 결정하는 규칙은 동일합니다. 이 연구는 근본적인 모델 자체의 정확도를 높이는 데 목적이 있는 것이 아니라, 그 모델을 둘러싼 신뢰 구간이 수학적으로 타당하고 최적의 크기를 갖도록 보장하는 데 목적이 있습니다.

이러한 발견은 데이터가 비싸거나 희귀한 분야에서 특히 유용한데, 사용자가 원하는 수준의 신뢰를 달성하기 위해 필요한 데이터의 정확한 하한선을 결정할 수 있게 해주기 때문입니다. 반대로 데이터가 풍부한 시나리오에서, 이 연구는 불필요하게 큰 교정 세트를 사용하는 것이 지나치게 보수적이고 정보 가치가 낮은 예측 구간을 초래하여 비효율적일 수 있다고 경고합니다. 경험적 커버리지의 분포에 대한 명확하고 보편적인 공식을 제공함으로써, 이 논문은 연구자와 실무자들이 이전에는 불가능했던 정밀도로 예측 시스템을 설계할 수 있는 능력을 갖추게 합니다. 그 결과, 인공지능 시대에 불확실성을 정량화하기 위한 더욱 효율적이고 신뢰할 수 있는 프레임워크를 구축하게 되었습니다.