What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it
이 논문은 이질적인 앙상블 구성원들의 최적 조합을 선택하는 것이 균일한 혼합 방식보다 미미한 이득을 가져다주기는 하지만, 단순히 가장 우수한 단일 계열을 선택하는 것보다 더 나은 성능을 보여주지는 못한다는 점을 입증하며, 인지된 개선 가능성이 실제 미개척된 성능이라기보다는 주로 선택 편향에 의한 결과물임을 밝히고 있다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터가 패턴을 인식하고 예측을 수행하는 방법을 배우는 머신러닝의 세계에는 앙상블 학습(ensemble learning)이라는 흔한 전략이 있습니다. 어려운 퍼즐을 풀기 위해 노력하는 전문가 팀을 상상해 보십시오. 단 한 명의 전문가에게 의존하는 대신, 팀은 여러 개인의 답변을 결합하여 더 정확한 결론에 도달합니다. 이 접근 방식이 효과적인 이유는 한 사람의 실수가 집단의 지혜에 의해 교정되는 경우가 많기 때문입니다. 때때로 이 팀은 통계학자들처럼 모두 동일한 사고 방식을 사용하는 방법으로 구성되기도 합니다. 다른 경우에는 완전히 다른 도구와 접근 방식을 사용하는 전문가들을 모아 혼합된 팀을 구성하기도 합니다. 이러한 서로 다른 방법의 혼합을 이종 앙상블(heterogeneous ensemble)이라고 합니다. 연구자들의 핵심 질문은 자원이 제한적일 때 어떻게 최적으로 이러한 팀을 구축할 것인가였습니다. 만약 당신에게 300개의 컴퓨터 모델을 훈련시킬 예산이 있다면, 첫 번째 유형의 전문가에게는 몇 개를, 두 번째 유형에는 몇 개를, 그리고 세 번째 유형에는 몇 개를 할당해야 할까요? 완벽한 균형을 찾는 것은 추가적인 성능을 끌어내기 위한 논리적인 방법처럼 보이며, 많은 연구자가 그 이상적인 조합을 찾기 위해 복잡한 알고리즘을 개발하며 수년을 보냈습니다.
트라브존 대학교의 무하메탈 뎀(Muhammetalp Erdem)이 발표한 새로운 연구는 이러한 탐색의 전제 자체에 도전합니다. 연구자는 서로 다른 모델 유형의 완벽한 비율을 찾기 위해 들이는 노력이 실제로 어떤 실질적인 이득을 가져다주는지를 테스트하기 위해 연구를 시작했습니다. 이를 위해 그는 의료 기록부터 금융 데이터에 이르는 30개의 다양한 공개 데이터셋을 사용하여 대규모 실험을 구축했고, 결과가 단순히 우연이 아님을 확인하기 위해 각 데이터셋에 대해 10번씩 테스트를 실행했습니다. 그는 총 컴퓨터 모델의 수를 300개로 고정하고, 이를 랜덤 포레스트(random forests), 극단적 무작위 트리(extremely randomized trees), 배그드 최근접 이웃(bagged nearest neighbors)이라는 세 가지 뚜렷한 학습 알고리즘 계열로 나누었습니다. 이것들은 해당 분야에서 표준적이고 잘 알려진 도구들입니다. 연구는 300개의 모델을 나누는 세 가지 방식의 결정 방법을 비교했습니다. 어떤 방법은 단순하고 고정된 규칙을 사용했고, 다른 방법은 테스트 세트에서의 성과를 바탕으로 최적의 조합을 찾기 위해 정교한 탐색을 사용했습니다.
결과는 명확하고 놀라웠습니다. 연구는 세 가지 유형의 모델을 동일하게 섞은 고정된 혼합 팀이 특정 혼합을 선택하려고 시도한 그 어떤 방법보다 성능이 낮았음을 확인했습니다. 평균적으로, 단순히 혼합을 선택하려고 시도하는 것만으로도 무작위의 균등한 분할에 비해 정확도가 거의 0.7%포인트 향상되었습니다. 이는 팀의 구성이 중요하다는 것을 증명했습니다. 그러나 '완벽한' 구성을 찾는 과정은 막다른 길로 판명되었습니다. 오류를 완화하거나 여러 가지 추측을 평균 내려는 시도를 포함한 그 어떤 정교한 탐색 방법도, 단 하나의 최선인 모델 계열을 선택하여 전체 예산을 그 유형 하나에만 쏟아붓는 훨씬 단순한 전략을 이길 수 없었습니다. 실제로 가장 복잡한 탐색 방법들은 단순히 가장 좋은 모델 계열을 선택하는 것과 통계적으로 차이가 없었습니다. 연구자들은 서로 다른 모델들의 조합을 찾기 위한 추가적인 노력이 측정 가능한 정확도 향상을 제공하지 못한다는 것을 발견했습니다.
논문은 왜 이런 현상이 발생하는지를 더 깊이 설명하며, 개선 가능하다고 여겨졌던 잠재력이 상당 부분 연구자들이 성공을 측정하는 방식에 의해 만들어진 환상임을 밝힙니다. 많은 연구에서 "최상의 가능한" 결과는 모든 후보 혼합물들을 살펴보고 테스트 데이터에서 가장 높은 점수를 받은 것을 선택함으로써 계산됩니다. 이것은 종종 오라클 바운드(oracle bound)라고 불리며, 실제 세계의 방법들이 도달하려고 노력해야 하는 이론적 천장을 나타냅니다. 에르뎀은 이 천장이 인위적으로 높게 설정되어 있음을 보여주었습니다. 서로 다른 모델의 혼합물들은 수백 개 중 단 몇 개의 모델 차이만 있을 뿐 매우 유사하기 때문에, 그들의 성능 점수는 서로 상관관계가 높고 노이즈가 많습니다. 많은 수의 노이즈가 섞인 유사한 추정치 중에서 최대값을 선택하면, 실제 잠재력보다 높은 숫자를 선택하게 될 것이 거의 확실합니다. 연구는 이 잠재력을 측정하는 더 정직한 방법을 도입했습니다. 즉, 테스트 데이터를 절반으로 나누어, 한 쪽 절반으로는 최적의 혼합을 선택하고 나머지 절반으로는 그것이 실제로 어떻게 작동하는지 확인하는 것입니다. 이 더 공정한 테스트를 적용했을 때, 개선될 수 있다는 소위 '여지(headroom)'는 완전히 사라졌습니다. 완벽한 혼합을 찾는 데서 얻는 겉보기의 이점은 순전히 선택 편향(selection bias), 즉 통계적 산물임이 드러났습니다.
연구는 또한 팀에 더 많은 다양성을 추가하는 것이 결과에 변화를 줄 것인지도 탐구했습니다. 연구자들은 더 다양한 그룹이 혼합을 찾는 과정을 더 가치 있게 만들 것인지 확인하기 위해 선형 계열(linear family)이라는 네 번째 유형의 모델을 추가했습니다. 이러한 다양성이 추가되었음에도 불구하고 결과는 변함이 없었습니다. 혼합물 간의 잠재적 차이는 약간 커졌지만, 복잡한 탐색 방법들은 여전히 단일 최선 모델 계열을 선택하는 단순한 전략을 이길 수 없었습니다. 사실, 가능한 혼합물의 수가 증가함에 따라 완벽한 혼합을 찾는 것의 겉보기 이점은 커졌지만, 정직한 현실 세계의 이점은 여전히 음수였습니다. 이는 문제가 모델의 다양성 부족이 아니라, 노이즈가 섞인 데이터 속에서 매우 유사한 옵션들을 구별해내는 근본적인 어려움에 있음을 확인시켜 주었습니다. 성능의 지형은 특정 혼합이 명확하게 돋보이는 날카로운 정점이 아니라, 많은 혼합물이 거의 동일하게 작동하는 넓고 평평한 고원과 같습니다. 그리고 그들 사이의 미세한 차이는 무작위 노이즈에 의해 쉽게 묻혀버립니다.
이 모델들을 구축하는 모든 이들에게 실질적인 조언은 명확합니다. 서로 다른 모델 유형의 완벽한 비율을 계산하기 위해 시간이나 엔지니어링 노력을 낭비하지 마십시오. 대신, 사용 가능한 단 하나의 최선인 모델 계열을 선택하고, 당신의 전체 예산을 오직 그 유형 하나를 구축하는 데 사용하십시오. 정말로 중요한 유일한 선택은 모든 것을 똑같이 섞는 기본값의 혼합을 피하는 것인데, 이는 확실히 가장 좋지 않은 선택입니다. 이 연구는 앙상블 학습 분야가 환상을 쫓아왔음을 시사합니다. 이상적인 구성을 위한 복잡한 탐색이 필요하다는 믿음은 실제 이득을 과장하는 측정 오류에 기반하고 있습니다. 더 엄격한 테스트 방법을 사용함으로써, 이 연구는 더 나은 혼합의 신호가 데이터의 노이즈 위로 드러나기에는 너무 약하다는 것을 보여줍니다. 가장 효과적인 길은 복잡한 조합을 찾는 것이 아니라, 가장 강력한 단일 도구를 선택하여 그것을 온전히 사용하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.