The Sharp Tail of Uniform Stability

머신러닝의 세계에서 컴퓨터는 예시를 살펴보고, 패턴을 찾아내며, 그 후 본 적 없는 새로운 데이터에 대해 예측함으로써 학습합니다. 이 분야의 핵심적인 약속은 만약 컴퓨터가 특정 예시 세트로부터 잘 학습한다면, 실제 세상에서도 똑같이 잘 수행할 것이라는 점입니다. 그러나 여기에는 미묘한 위험이 있습니다. 때때로 컴퓨터는 주어진 예시에 너무 특화된 패턴을 학습하여, 근본적인 규칙을 이해하는 대신 훈련 데이터를 암기해 버릴 수 있습니다. 이를 과적합(overfitting)이라고 하며, 이는 나중에 성능 저하를 초낙합니다. 이를 방지하기 위해 연구자들은 안정성(stability)이라는 개념을 연구합니다. 학습 알고리즘을 민감한 저울이라고 상상해 보십시오. 만약 훈련 데이터 더미에서 단 하나의 예시만 제거하고 컴퓨터를 다시 훈련시킨다면, 안정적인 알고리즘은 이전에 냈던 결과와 거의 동일한 결과를 만들어낼 것입니다. 만약 결과가 급격하게 변한다면, 그 알고리즘은 불안정하며 새로운 데이터에 직면했을 때 실패할 가능성이 높습니다. 수년간 과학자들은 알고리즘이 얼마나 안정적인지와 새로운 데이터로 넘어갈 때 성능이 얼마나 떨어질 수 있는지 사이의 정밀한 경계선을 긋기 위해 노력해 왔습니다. 그들은 이 관계의 일반적인 형태는 알고 있었지만, 최악의 시나리오에 대한 정확한 세부 사항은 미스터리로 남아 있었습니다.

존스 홉킨스 대학교의 한 연구자가 안정성이 무엇을 보장할 수 있는지 그 한계를 증명하는 특정한 최악의 시나리오를 구축함으로써 이 미스터리를 해결했습니다. 그는 알고리즘이 수학적으로 안정적이고 오류가 특정 크기로 엄격하게 제한되어 있을 때조차도, 성능이 놀라울 정도로 크게 떨어질 가능성이 있음을 보여주었습니다. 이 하락은 단순히 작고 무작위적인 변동이 아닙니다. 그것은 실패가 얼마나 일어나기 어려운가에 따라 결정되는 매우 구체적이고 예측 가능한 곡선을 따릅니다. 연구자는 어떤 수준의 안정성에 대해서든, 알고리즘의 성능 격차가 이론적으로 허용되는 만큼 커질 수 있는 학습 문제가 존재하며, 이것이 정밀한 방식으로 감소하는 확률로 발생한다는 것을 입증했습니다. 이 연구 이전에는 수학자들이 도출한 이론적 한계가 고정된 오차 범위를 가진 실제 학습 알고리즘에 의해 실제로 도달 가능한 것인지가 미결 과제였습니다. 이번 연구는 이러한 한계들이 단순한 이론적 가능성이 아니라, 학습 과정의 실재하며 피할 수 없는 특징임을 확인해 주었습니다.

그들이 이 결론에 어떻게 도달했는지 이해하려면, 그들이 구축한 문제의 본질을 살펴보아야 합니다. 연구자는 표면적으로는 기만적일 만큼 단순한 학습 과제를 설계했습니다. 컴퓨터는 항상 0을 예측하도록 요청받습니다. 컴퓨터에는 각 입력마다 헤드와 테일 같은 무작위 부호들의 집합을 포함하는 일련의 입력값이 주어집니다. 알고리즘은 이 입력값들을 바탕으로 무엇을 예측할지 결정해야 합니다. 연구자는 입력값들이 다양한 희귀도의 규모를 가진 무작위 부호들의 여러 그룹을 포함하도록 설계했습니다. 대부분의 경우, 알고리즘은 부호들이 서로 상쇄되는 혼합된 상태를 보게 되어 안전하고 평균적인 예측을 내놓습니다. 그러나 연구자는 매우 드물게, 특정 그룹 내의 특정 부호 하나가 극단적인 이상치(outlier)로서 두드러지게 나타나도록 입력값을 배치했습니다.

이 구조의 영리한 점은 알고-리즘이 이 희귀한 이상치에 어떻게 반응하는가에 있습니다. 연구자는 알고리즘이 안정성의 규칙을 위반하지 않는 방식으로만 이러한 희귀한 사건에 극도로 민감하게 반응하도록 구축했습니다. 만약 훈련 예시 하나를 제거한다면, 알고리즘의 행동은 아주 미세하게만 변하여 안정성의 정의를 충족할 것입니다. 그럼나 실제 세상에서 그 특정한 희귀한 부호 조합을 마주했을 때, 알고로리즘은 실제 0 값으로부터 상당히 벗어난 예측을 내놓습니다. 이는 알고리즘이 그 희귀하고 극단적인 부호를 큰 예측값과 연관시키도록 학습했기 때문입니다. 연구자는 여러 개의 희귀한 가능성을 서로 다른 높이의 경사로(ramps)처럼 쌓아 올리는 메커니즘을 사용했습니다. 각 경사로는 서로 다른 희귀도를 나타냅니다. 어떤 사건이 중간 정도의 희귀도를 가진다면 작은 오류를 유발하고, 어떤 사건이 극도로 희귀하다면 훨씬 더 큰 오류를 유발합니다. 이러한 경사들을 특정 기하학적 패턴으로 배치함으로써, 연구자는 알고리즘이 주어진 신뢰 수준에 대해 최대치의 오류를 낼 수 있도록 보장했습니다.

그 결과, 사건이 얼마나 일어나기 어려운지에 따라 다르게 작동하는 단일 학습 문제가 만들어졌습니다. 만약 "사건이 100번에 한 번꼴로 일어난다면 오류가 얼마나 심해질 수 있는가?"라고 묻는다면, 알고리즘은 특정 오류 크기를 보여줄 것입니다. 만약 "사건이 100만 번에 한 번꼴로 일어난다면 얼마나 심해질 수 있는가?"라고 묻는다면, 오류는 정밀한 수학적 곡선을 따라 더 커질 것입니다. 연구자는 이 곡선이 가장 날카로운 한계임을 증명했습니다. 이는 당신이 아무리 안정적인 학습 알고리즘을 설계하더라도, 이 곡선이 허용하는 것보다 더 나은 성능을 보장할 수 없음을 의미합니다. 또한 이 연구는 그러한 한계를 찾으려는 이전의 시도들이 실제 유한한 오류를 가진 학습 문제에는 적용되지 않는 가정들에 의존했기 때문에 실패했다는 점을 명확히 했습니다. 이전의 시도들은 오류가 다른 방식으로 증가할 것이라고 제안했지만, 새로운 구조는 오류가 가장 낙관적인 이론들이 예측한 방식 그대로, 그러나 그보다 더 나은 수준 없이 성장함을 보여줍니다.

이 연구 결과는 우리가 머신러닝 시스템을 신뢰하는 방식에 대해 조용하지만 심오한 함의를 갖습니다. 이는 안정성만으로는, 심지어 오류가 제한되어 있다는 보장이 결합되어 있더라도, 높은 신뢰도로 완벽한 성능을 보장하기에 충분하지 않다는 것을 말해줍니다. 여기에는 근본적인 트레이드오프(trade-off)가 존재합니다. 만약 당신이 알고리즘이 실패하지 않을 것이라는 극도의 확신을 얻고 싶다면, 실패가 발생했을 때 그 잠재적 크기가 시스템의 안정성과 특정 방식으로 얽혀 있다는 사실을 받아들여야 합니다. 연구자는 기존 알고리즘의 결함을 찾아낸 것이 아니라, 가능한 것의 경계를 찾아낸 것입니다. 그들은 수학적으로 안정적인 알고리즘이라 할지라도, 오류가 제한되어 있을 때 신뢰 수준에 따라 발생하는 성능 격차의 한계가 존재함을 보여주었습니다. 이는 머신러닝이 망가졌다거나 신뢰할 수 있는 시스템을 만들 수 없다는 뜻이 아닙니다. 단지 우리가 감수하고 있는 위험의 정확한 형태를 이제 알게 되었다는 뜻입니다. 우리는 모든 안정성 수준에 대해, 결코 끊어낼 수 없는 위험의 꼬리(tail)가 존재한다는 것을 알게 되었습니다. 이러한 명확성은 연구자와 실무자들이 막연히 예시로부터의 학습 과정에 내재된 위험을 제거하려 노력하기보다는, 데이터의 품질이나 모델 구조와 같은 다른 측면에 집중할 수 있도록 현실적인 기대치를 설정할 수 있게 해줍니다.

연구자가 사용한 구조는 결정론적(deterministic)입니다. 즉, 학습 단계 중에 어떠한 무작위적인 추측 없이 고정된 규칙을 따릅니다. 이는 오류를 측정하는 표준적인 방법, 즉 예측값과 실제 값 사이의 절대 차이를 사용합니다. 이토록 단순하고 표준적인 설정이 이러한 복잡한 최악의 동작을 만들어낼 수 있다는 사실은 머신러닝 이론의 깊이를 강조합니다. 연구자는 비현실적이거나 이색적인 조건을 사용하지 않았습니다. 그들은 유한한 입력 세트와 고정된 수의 훈련 예시를 사용하여, 제한된 데이터가 존재하는 실제 상황에도 적용 가능한 결과를 냈습니다. 성공의 핵심은 수많은 독립적인 특징들을 사용함으로써, 희귀한 사건이 적어도 한 번은 반드시 일어나되 통제된 확률로 발생하도록 만드는 상황을 조성한 데 있었습니다. 이를 통해 연구자는 그 희귀한 사건의 효과를 분리하고, 알고리즘의 성능에 미치는 영향을 정밀하게 측정할 수 있었습니다.

결국, 이 연구는 학습 알고리즘에 대한 오랜 이해의 간극을 메웠습니다. 이는 안정성과 일반화 오차 사이의 관계가 가장 정교한 수학적 이론들이 제시한 것만큼이나 날카롭다는 것을 확인시켜 줍니다. 연구자는 수년간 남아있던 질문, 즉 "오류가 제한된 안정적인 알고리즘이 신뢰 수준의 로그 값에 따라 선형적으로 증가하는 일반화 격차를 달성할 수 있는가?"에 대해 확정적인 답을 내놓았습니다. 그 대답은 "그렇다"이며, 이는 피할 수 없는 사실입니다. 이는 머신러닝이 고장 났다는 의미도, 우리가 신뢰할 수 있는 시스템을 구축할 수 없다는 의미도 아닙니다. 단지 우리가 감수하고 있는 위험의 정확한 모양을 이제 알게 되었다는 것을 의미합니다. 모든 안정성 수준에 대해, 결코 잘라낼 수 없는 위험의 꼬리가 존재한다는 것을 우리는 알고 있습니다. 이러한 명확함은 연구자와 실무자들이 예시로부터 학습하는 과정에 수학적으로 내재된 위험을 제거하려 애쓰기보다, 데이터의 질이나 모델 아키텍처와 같은 다른 측면에 역량을 집중할 수 있게 해줍니다.