Statistical learning theory and Occam's razor: Regularization

탐정의 딜레마: 왜 적은 것이 종종 더 많은 것을 의미하는가

당신이 미스터리를 풀기 위해 노력하는 탐정이라고 상상해 보세요. 하지만 당신에게 주어진 것은 단서가 아니라 산더미 같은 데이터입니다. 과학과 컴퓨터의 세계에서 이것을 **머신러닝(기계 학습)**이라고 부릅니다. 머신러닝의 목표는 컴퓨터가 데이터 속에서 패턴을 찾아내어, 이전에 본 적 없는 새로운 것에 대해 똑똑한 추측을 할 수 있도록 가르치는 것입니다. 이것은 마치 개에게 수천 개의 서로 다른 공들을 보여주며 "공"이 무엇인지 가르치는 것과 같습니다. 만약 개가 너무 엄격하게 배운다면, 오직 '그 특정' 빨간 공만을 공이라고 생각하여 파란 공을 놓칠 수도 있습니다. 반대로 너무 느슨하게 배운다면, 둥근 쿠키를 공이라고 생각할 수도 있습니다. 이 균형을 잡는 과정이 바로 문제의 핵심입니다.

수십 년 동안 과학자들은 **오컴의 면도날(Occam's Razor)**이라는 규칙에 대해 논쟁해 왔습니다. 이는 두 가지 설명이 사실에 똑같이 잘 들어맞을 때, 더 단순한 것을 선택해야 한다는 오래된 아이디어입니다. 하지만 왜 그럴까요? 우주는 본래 단순한 것일까요? 아니면 단순히 단순한 것이 다루기 쉬운 것일까요? 이는 철학자들과 컴퓨터 과학자들 모두에게 까다로운 질문이었습니다. 그들은 단순한 모델이 더 낫다는 것을 증명하려 노력했지만, 종종 그 증명은 세상이 단순하다는 것을 전제로 하여 단순한 모델이 작동한다는 것을 증명하는 순환 논리에 빠지곤 했습니다.

논문의 핵심 아이디어: 적합성을 안전망과 맞바꾸기

Tom F. Sterkenburg가 작성한 이 논문은 머신러닝의 수학적 배경을 깊이 파고들어, 오컴의 면도날을 사용해야 하는 견고하고 비순환적인 이유를 찾아냅니다. 저자는 단순히 "단순함이 좋다"라고 말하는 것이 아니라, **통계적 학습 이론(Statistical Learning Theory)**이라는 프레임워크를 사용하여, 약간의 "완벽한 적합성"을 포기하고 대신 많은 "단순함"을 얻는 것이 실제로 컴퓨터를 위한 영리한 생존 전략임을 보여줍니다.

그가 발견한 이야기는 다음과 같습니다.

1. 완벽한 적합성의 함정
그래프 위의 점들이 흩어져 있는 곳에 선을 그리려고 한다고 상상해 보세요. 만약 당신에게 매우 유연한 자(복잡한 모델)가 있다면, 당신은 그 자를 아주 정교하게 구부려서 모든 점에 닿게 만들 수 있습니다. 이는 데이터에 완벽하게 들어맞습니다. 하지만 여기에는 함정이 있습니다. 내일 새로운 점들이 나타난다면, 그 구불구불한 선은 아마 그 점들을 모두 놓칠 것입니다. 그것은 패턴이 아니라 노이즈(무작위적인 꿈틀거림)를 암기해 버린 것입니다. 논문의 언어로, 이것을 **과적합(overfitting)**이라고 부릅니다.

이 논문은 만약 당신이 가능한 가장 복잡한 모델(무엇이든 맞출 수 있는 모델)을 사용하려 한다면, 당신의 결과에 대한 신뢰를 잃게 된다고 설명합니다. 당신은 "데이터가 무한하다면 맞을 수도 있다"라는 보장을 얻겠지만, 데이터가 제한적인 현실 세계에서 그 보장은 아무런 쓸모가 없습니다.

2. "보는 대로 얻는다"는 약속
저자는 **균등 수렴(Uniform Convergence)**이라는 개념을 소개합니다. 이것은 당신의 모델에 대한 "정직한 광고" 라벨과 같습니다. 이는 당신의 모델이 가진 데이터(훈련 세트)에서 잘 작동한다면, 새로운 데이터(테스트 세트)에서도 잘 작동할 것이라는 약속입니다.

하지만 논문은 엄격한 규칙을 증명합니다: 당신은 모델이 얼마나 복잡해질 수 있는지를 제한해야만 이 "정직한 광고" 약속을 얻을 수 있습니다. 만약 모델이 너무 유연하다면(너무 복잡하다면), 그 약속은 깨집니다. 당신은 당신이 보는 것이 실제 결과와 일치할 것이라고 믿을 수 없게 됩니다. 따라서 첫 번째 교훈은 이것입니다: 결과를 신뢰할 수 있도록 모델을 충분히 단순하게 유지하라.

3. 진짜 마법: 구조적 위험 최소화 (SRM)
하지만 진실이 정말 복잡하다면 어떨까요? 만약 실제 패턴이 정말로 구불구불한 선이고, 직선(단순한 모델)으로는 도저히 감당할 수 없다면 어떨까요? 우리가 단순한 모델만 고집한다면, 정답을 완전히 놓칠 수도 있습니다. 이것이 바로 "편향-복잡도 트레이드오프(bias-complexity trade-off)"입니다.

이 논문의 주요 발견은 **구조적 위험 최소화(Structural Risk Minimization, SRM)**라고 불리는 방법입니다. 이것은 컴퓨터가 영리하게 대처하는 방식입니다. 하나의 모델을 골라 고수하는 대신, SRM은 매우 단순한 것부터 매우 복잡한 것까지 아우르는 전체 모델의 가족을 살펴봅니다.

여기에는 영리한 기술이 있습니다. SRM은 단순히 데이터에 가장 잘 맞는 모델만을 찾는 것이 아닙니다. SRM은 데이터를 충분히 잘 맞추면서도 최대한 단순함을 유지하는 모델을 찾습니다. 즉, 복잡성에 대한 "벌칙(penalty)"을 부여합니다.

• 만약 복잡한 모델이 단순한 모델보다 데이터를 약간 더 잘 맞추더라도, 복잡성 벌칙이 매우 크다면, SRM은 "사양하겠습니다. 단순한 것을 유지하세요"라고 말합니다.
• 만약 복절한 모델이 데이터를 훨씬 더 잘 맞춘다면, 그 벌칙을 감수할 가치가 있다고 판단하여 SRM은 "좋습니다, 복잡하게 가봅시다"라고 말합니다.

4. 이것이 단순한 추측이 아닌 이유
논문은 이것이 단순한 운 좋은 추측이나 철학적 짐작이 아니라고 주장합니다. 이것은 **방법론적 정당화(methodological justification)**입니다. 저자는 우리가 세상이 단순한지 복잡한지 알지 못하더라도, 이 "트레이드오프" 전략을 사용하는 것이 학습하는 가장 똑똑한 방법임을 보여줍니다.

그는 **"운(Luckiness)"**이라는 개념을 사용합니다. 경마에 돈을 건다고 상상해 보세요.

• 만약 당신이 단순한 말에 걸었고 경기가 실제로 단순했다면, 큰 승리를 거둘 것입니다.
• 만약 당신이 단순한 말에 걸었는데 경기가 복잡했다면, 손해를 보겠지만 맹목적으로 복잡한 말에 걸었을 때보다는 훨씬 덜 손해를 볼 것입니다.
• 하지만 만약 당신이 복잡한 말에 걸었는데 경기가 단순했다면, 너무 과하게 복잡하게 만든 대가로 큰 손실을 입게 될 것입니다.

SRM(트레이드오프)을 사용함으로써, 당신은 최악의 시나리오로부터 자신을 보호합니다. 당신이 "운이 좋을 때"(진실이 단순할 때)는 큰 이득을 얻고, "운이 나쁠 때"(진실이 복잡할 때)는 손해를 최소화합니다.

5. 이 논문이 '아닌 것'에 대하여
저자는 이 논문이 무엇이 아닌지를 매우 신중하게 밝힙니다.

• 이것은 우주가 단순하다는 증명이 아닙니다. 이 방식이 작동하기 위해 세상이 단순하다고 믿을 필요는 없습니다.
• 이것은 단순히 실용적인 규칙(예: "단순한 것이 기록하기 쉽다")이 아닙니다. 이것은 더 나은 정확도를 얻기 위한 것입니다.
• 이것은 모든 현대적 기법에 적용되는 마법의 탄환이 아닙니다. 논문은 최첨단 분야인 "딥러닝"에서는 상황이 묘하게 돌아간다는 점(때로는 초복잡한 모델이 놀라울 정도로 잘 작동함)을 인정하며, 이 특정한 수학적 설명이 아직 그 새로운 현상들을 완전히 설명하지는 못한다고 밝히고 있습니다.

결론
그렇다면 왜 우리는 머신러닝에서 단순함을 선호할까요? 이 논문에 따르면, 그것은 우주가 단순하기 때문이 아닙니다. 단순함은 안전망이기 때문입니다. "완벽한 적합성"을 조금 양보하고 대신 "단순함"을 많이 얻음으로써, 우리는 컴퓨터의 추측이 새로운 데이터에서도 실제로 작동할 것이라는 수학적 보장을 얻게 됩니다. 이것은 대본을 암기하는 것과 이야기를 이해하는 것의 차이입니다. 이 논문은 진실이 단순하든 복잡하든, 이 트레이드오프가 학습하는 가장 신뢰할 수 있는 방법임을 증명합니다.