Confidence intervals for the random forest generalization error

현대 데이터 과학의 세계에서 컴퓨터는 종종 과거에 발견된 패턴을 바탕으로 미래를 예측하도록 요청받습니다. 주택 가격을 예측하거나, 질병을 진단하거나, 고객이 서비스를 해지할지 추측하는 것과 같이, 이러한 시스템은 대규모 정보 세트를 통해 학습된 복잡한 모델에 의존합니다. 이러한 도구를 사용하는 사람들에게 핵심적인 과제는 예측에 대해 어느 정도의 신뢰를 두어야 하는지 아는 것입니다. 모델이 학습에 사용된 데이터에서 우수한 성능을 보인다고 해서, 그것이 새로운 미지의 상황에서도 잘 작동할 것이라는 보장은 없습니다. 이 신뢰도를 측정하기 위해 과학자들은 전통적으로 데이터를 두 덩어리로 나누었습니다. 하나는 모델을 가르치기 위한 용도이고, 다른 하나는 모델을 테스트하기 위한 용도입니다. 이 방식은 유효하지만, 데이터를 절반으로 나누어야 하고 정확한 수치를 얻기 위해 모델을 여러 번 다시 학습시켜야 하는 경우가 많아 느리고 비용이 많이 드는 과정입니다.

랜덤 포레스트(random forest)라고 알려진 특정 유형의 모델은 모델이 얼마나 잘 수행될지를 추정하기 위한 영리한 지름길을 오랫동안 제공해 왔습니다. 각 나무가 데이터의 약간씩 다른 버전을 학습한 결정권자라고 상상해 보십시오. 이 나무들이 자라는 방식 때문에, 개별 나무는 학습 데이터의 작은 무작위 부분을 무시합니다. 이는 데이터셋의 모든 정보에 대해, 학습 중에 해당 정보를 보지 못한 나무 그룹이 존재함을 의미합니다. 그러면 이 나무들에게 특정 정보를 예측하도록 요청함으로써, 데이터를 분할하거나 새로운 시뮬레이션을 실행하지 않고도 내장된 정확도 테스트를 제공할 수 있습니다. '아웃 오브 백(out-of-bag)' 추정치로 알려진 이 방법은 수십 년 동안 표준적인 도구로 활용되어 왔으며, 모델의 예상 오차를 나타내는 단일 숫자를 얻는 빠르고 거의 비용이 들지 않는 방법을 제공했습니다. 그러나 오랫동안 이 방법은 단일 점 추정치만을 제공하여, 사용자들에게 그 숫자 주변의 불확실성 범위를 명확히 알 수 있게 해주지 못했습니다.

2021년 말에 발표된 논문에서, 브라질 인스퍼 교육연구소(Insper Institute of Education and Research)의 연구원 파울로 C. 마르케스 F.(Paulo C. Marques F.)는 이 단일 숫자를 완전한 신뢰 범위로 전환하는 방법을 제안했습니다. 목표는 데이터를 분할하거나 모델을 재학습시키는 과도한 계산 비용 없이, 랜덤 포레스트 학습 과정의 기존 부산물을 사용하여 신뢰 구간(통계적 범위로서 실제 오차율이 위치할 가능성이 높은 구간)을 구축하는 것이었습니다. 연구자의 접근 방식은 학습 데이터와 함께, 어떤 나무가 어떤 데이터를 무시했는지에 대한 기록, 그리고 그 나무들이 무엇을 예측했는지에 대한 기록을 하나의 완전한 패키지로 취급합니다. 이 패키지를 '부트스트래핑(bootstrapping)'이라 불리는 특정 통계 기법을 통해 반복적으로 재샘플링함으로써, 이 방법은 가능한 오차율의 분포를 생성합니다. 이를 통해 모델 성능의 불확실성을 반영하는 신뢰 구간을 구축할 수 있으며, 이 모든 과정은 모델을 학습시킨 데 사용된 동일한 데이터를 사용하면서 이루어집니다.

이 논문은 이 방법이 계산적으로 효율적일 뿐만 아니라 통계적으로도 타당하다는 것을 입증합니다. 연속적인 숫자를 예측하는 것이 목표인 회귀 작업과 항목을 카테고리로 분류하는 것이 목표인 분류 작업을 모두 포함한 광범위한 컴퓨터 시뮬레이션을 통해, 연구원은 이 새로운 신뢰 구간이 실제 오차율을 얼마나 자주 포착하는지 테스트했습니다. 10개의 입력 변수를 가진 복잡한 수학 함수를 포함한 회귀 예시와 20개의 변수를 포함한 분류 예시에서, 시뮬레이션 결과 이 구간들이 의도한 대로 작동함을 보여주었습니다. 연구자가 95% 신뢰 수준을 요구했을 때, 수천 번의 시뮬레이션 실험 전반에 걸쳐 실제 오차는 계산된 범위 내에 약 95%의 확률로 포함되었습니다. 또한, 이 구간의 폭은 학습 데이터의 양이 증가함에 따라 예측 가능한 속도로 줄어들었으며, 이는 데이터셋이 커질수록 방법이 더 정밀해진다는 것을 확인시켜 주었습니다.

이 방법이 실제 문제에서도 작동함을 증명하기 위해, 연구는 네 가지 뚜렷한 데이터셋에 이 기술을 적용했습니다. 첫 번째는 차량 특성에 따른 연비를 예측하는 고전적인 자동차 연료 효율 데이터였습니다. 두 번째는 스팸 메일과 일반 메일을 구분하기 위한 방대한 양의 이메일 데이터셋이었습니다. 세 번째는 주택 가격을 예측하기 위해 사용된 아이오와주 에임스(Ames, Iowa)의 상세한 주택 판매 기록이었으며, 네 번째는 통신사 고객의 행동을 추적하여 해지 가능성이 높은 고객을 식별하는 것이었습니다. 각 데이터셋에 대해 연구자는 다양한 확신 수준에서의 신뢰 구간을 계산했습니다. 예를 들어, 주택 데이터의 경우 예측 오차에 대한 95% 신뢰 구간은 약 23,000달러에서 27,000달러 사이였습니다. 스팸 탐지 작업의 경우, 오차율에 대한 구간은 약 4.1%에서 5.4% 사이의 좁은 범위였습니다. 이러한 결과는 이 방법이 다양하고 실질적인 응용 분야에서 의미 있고 해석 가능한 경계값을 제공할 수 있음을 보여주었습니다.

이 접근 방식의 중요한 장점은 속도와 단순성입니다. 이미 생성된 랜덤 포레스트 학습 데이터를 활용하기 때문에, 데이터를 반복적으로 분할하고 모델을 재학습시키는 번거로운 과정을 피할 수 있습니다. 연구자는 표준 노트북 컴퓨터로 이 절차의 실행 시간을 테스트했으며, 4,0로 개 이상의 이메일을 포함한 가장 큰 데이터셋에 대해서도 신뢰 구간을 생성하는 전체 과정이 단 1초 남짓 걸린다는 것을 발견했습니다. 이러한 효율성은 이 방법을 일상적인 용도로 사용할 수 있게 하여, 데이터 과학자들이 최소한의 추가 노력으로 모델의 신뢰도를 정량화할 수 있게 합니다. 또한 이 작업은 이 방법의 독특한 특성을 강조합니다. 오차 분포 자체를 기반으로 하기 때문에, 결과를 달러(주택 가격)나 마일 퍼 갤런(자동차 연비)과 같이 문제의 자연 단위로 쉽게 변환할 수 있어 비전문가도 불확실성을 이해하기 쉽습니다.

논문은 이 계산을 수행하는 코드가 오픈 소스 라이브러리로 자유롭게 공개되어 있어, 다른 사람들이 즉시 이 기술을 적용할 수 있다고 결론짓습니다. 표준 학습 과정의 숨겨진 부산물을 견고한 불확실성 측정 도구로 전환함으로써, 이 연구는 모델의 일반화 한계를 이해하는 직접적인 경로를 제공합니다. 적절한 통계적 도구가 있다면 랜덤 포레스트의 성능에 대한 신뢰 구간을 학습 데이터로부터 직접 도출할 수 있으며, 이는 예측 모델이 실제 세계에서 얼마나 잘 버틸 수 있는지를 가늠할 수 있는 신뢰할 수 있고 비용이 적게 드는 방법을 제공한다는 것을 확인시켜 줍니다.