Benign interpolation and Occam's razor
이 논문은 보간하는 딥러닝 모델의 일반화 성공을 설명하기 위해 오컴의 면도날에 호소하는 최근의 시도들이, 개별 모델의 증명되지 않은 속성과 고전적 학습 이론에서 발견되는 모델 클래스의 단순성과 일반화 사이의 엄밀한 정리 기반 연결을 혼동함으로써 설명적 간극을 만들어낸다고 주장한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 로봇에게 고양이와 강아지 사진을 구별하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 수천 장의 사진을 보여주고, 로봇은 그 차이점을 찾아내는 법을 배웁니다. 과거 컴퓨터 과학 시대에는 "오캄의 면도날(Occam's Razor)"이라는 황금률이 있었습니다. 그것은 기본적으로 "단순함을 유지하라"는 뜻이었습니다. 만약 두 가지 이론이 데이터를 설명한다면, 더 단순한 것을 선택하라는 것이었죠. 왜 그랬을까요? 모델이 너무 복잡해지면, 모델이 실제 고양이가 어떻게 생겼는지 배우는 대신 훈련용 사진들을 앵무새처럼 통째로 암기하기 시작하기 때문입니다. 이것을 "과적합(overfitting)"이라고 부르며, 이는 재앙입니다. 만약 로봇이 새로운 사진을 보게 된다면, 기존의 것들을 암기하느라 너무 바빴던 탓에 실패하게 될 것입니다.
수십 년 동안 과학자들은 안전하고 신뢰할 수 있는 AI를 만들기 위해 이 규칙을 사용했습니다. 그들은 똑똑한 로봇을 만들려면 로봇이 혼란에 빠지지 않도록 지능(brainpower)을 제한해야 한다고 믿었습니다. 하지만 그러던 중 기묘한 일이 일s어났습니다. 현대의 AI, 특히 "딥러닝"이 이 모든 규칙을 깨뜨리기 시작한 것입니다. 이 새로운 로봇들은 뇌가 너무 거대해서, 라벨을 뒤섞고 고양이를 토스터기라고 말해주더라도 모든 훈련 사진을 완벽하게 암기할 수 있습니다. 과거의 모든 규칙에 따르면, 이들은 새로운 사진을 예측할 때 형편없는 성적을 내야 합니다. 그럼에도 불구하고, 이들은 놀라울 정도로 뛰어납니다. 이들은 지저도한 데이터를 완벽하게 맞추면서도 여전히 미래를 정확하게 예측합니다. 이 기이한 현상을 "양의 보간(benign interpolation)"이라고 부르며, 이는 과학자들을 머리를 앓게 만들었습니다. 어떻게 로봇이 완벽한 암기자인 동시에 탁월한 예측자가 될 수 있는지 의문을 갖게 만든 것입니다.
Tom F. Sterkenburg, Daniel A. Herrmann, 그리고 Jan-Willem Romeijn이 작성한 이 논문은 이 미스터리를 파헤치며, 이 기적을 설명하는 새로운 설명들이 과연 타당한지 조사합니다. 저자들은 일종의 탐정이 되어, 왜 이 거대한 AI 모델들이 그토록 잘 작동하는지를 설명하기 위해 등장한 한 가지 인기 있는 새로운 이론을 조사하고 있습니다.
이 새로운 이론은 비록 이 AI 모델들이 거대하고 복잡할지라도, 학습 방식( "확률적 경사 하강법"이라 불리는 방법)이 이들을 모든 완벽한 적합 사례들 중 가장 "단순한" 해결책으로 은밀하게 유도한다는 점을 시사합니다. 이것은 마치 정상에 도달하기 위해 수백만 개의 경로를 선택할 수 있는 등산객이 있는데, 이론에 따르면 등산객의 부츠가 자연스럽게 울퉁불퉁하고 바위가 많은 길 대신 가장 매끄럽고 직선적인 길로 인도한다는 것과 같습니다. 이 아이디어의 지지자들은 이를 "단순성 편향(simplicity bias)"이라고 부르며, 오캄의 면도날이 구원해 주는 현대적 버전이라고 말합니다. 그들은 AI가 데이터를 충족하는 가장 단순한 모델을 선택하기 때문에 일반화 능력이 뛰어난 것이라고 주장합니다.
하지만 이 논문의 저자들은 이 설명에 거대한 구멍이 있다고 주장합니다. 그들은 과거의 "오캄의 면도날"이 모델의 집단(model classes)에 관한 수학적으로 증명된 규칙이었다는 점을 지적합니다. 즉, 작고 단순한 모델 집단을 선택하면 성공할 것이라는 점이 보장된다는 것이었습니다. 그러나 새로운 이론은 개별 모델(individual models)에 대해 이야기하고 있습니다. 이 이론은 "이 특정 모델은 '노름(norm, 크기를 나타내는 수학적 척도)'이 낮거나 '매끄럽기' 때문에 단순하다"라고 말합니다.
저자들이 설명하는 문제는, 단일 모델의 단순함과 미래를 예측하는 능력 사이를 연결하는 수학적 증명이 존재하지 않는다는 점입니다. 과거에는 단순한 '집단'이 효과적이라는 것이 수학적으로 보장되었습니다. 하지만 새로운 이야기에서, 저자들은 과학자들이 그저 이 특정 모델들을 "단순하다"라고 부르고 있으며, "오캄의 면도날"이라는 이름이 그 역할을 대신 해주기를 바라고 있다고 주장합니다. 그것은 마치 "이 돌은 마법의 돌이다. 왜냐하면 내가 마법의 돌이라고 불렀기 때문이다"라고 말하는 것과 같습니다. 마법의 돌이 실제로 존재하는지에 대한 아무런 증거 없이 말이죠.
이 논문은 이러한 새로운 아이디어들이 흥미롭기는 하지만, 공백을 남겨두고 있다고 제안합니다. 그들은 왜 "단순한" 개별 모델을 선택하는 것이 좋은 예측으로 이어지는지를 실제로 증명하지 못했습니다. 저자들은 새로운 이론이 본질적으로 "세상은 이 AI 모델들이 우연히 발견하게 되는 단순한 패턴들로 가득 차 있다"라는 검증되지 않은 큰 가정을 하고 있다고 주장합니다. 그들은 이 가정이 틀렸다고 말하는 것이 아니라, 현재의 설명들이 그저 추측에 불과하다고 강조합니다. 그들은 유명한 원칙(오캄의 면도날)의 이름을 빌려와서, 대담한 가정을 견고한 과학적 사실처럼 보이게 만들고 있다는 것입니다.
그래서 결론은 무엇일까요? 이 논문은 새로운 AI가 고장 났다고 말하는 것이 아니라, 우리가 그것이 왜 작동하는지 아직 완전히 이해하지 못하고 있다고 말합니다. 저자들은 아마도 답이 단순성에 대한 보편적인 규칙이 아니라, 우리가 수집하는 데이터나 우리가 AI에게 요구하는 특정 작업에 더 특화된 무언가일 수도 있다고 제안합니다. 누군가가 "단순한 개별 모델"과 "좋은 예측" 사이의 연결 고리를 증명할 때까지, 양의 보간이라는 미스터리는 여전히 미스터리로 남을 것입니다. 새로운 이론은 유망한 단서이지만, 최종적인 해답은 아닙니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.