Going deep, reaching further: What can Boltzmann machines efficiently represent?

현대 인공지능의 광활한 풍경 속에서, 수십 년 동안 연구자들을 괴롭혀 온 지속적인 미스터리가 있습니다. 왜 심층 신경망이 그 많은 처리 계층을 통해 얕은 신경망보다 일관되게 더 뛰어난 성능을 보이는가 하는 점입니다. 수학적 정리들은 가장 단순한 네트워크라도 이론적으로는 어떤 패턴이든 모방할 수 있음을 오랫동안 확인해 왔지만, 이러한 증명들은 그렇게 하는 데 드는 실질적인 비용을 종종 무시합니다. 이 정리들은 얕은 네트워크가 복잡한 문제를 해결할 수 있다고 제안하지만, 그것이 우주의 원자 수보다 더 많은 파라미터를 필요로 할 만큼 불가능할 정도로 거대하게 성장해야만 가능하다는 전제를 답니다. 이론적 가능성과 실질적 효율성 사이의 이 간극은 머신러닝의 근본적인 한계를 조사하는 새로운 연구를 이끄는 핵심 질문입니다. 이 연구의 배후에 있는 연구자들은 모든 보편적 모델이 동등하게 만들어졌다는 생각을 넘어, 무엇이 모델을 진정으로 효율적으로 만드는지를 이해하고자 했습니다. 그들은 두 가지 특정 구조적 특징에 집중했습니다. 데이터가 통과하는 순차적 계층의 수를 의미하는 네트워크의 '깊이(depth)'와, 단일 처리 유닛이 한 번에 고려할 수 있는 변수의 수를 설명하는 '상호작용 차수(interaction order)'입니다.

인스브루크 대학교의 물리학자들과 바르셀로나의 동료들이 수행한 이 연구는, 비록 동일한 이론적 잠재력을 공유하더라도 모든 머신러닝 모델이 똑같이 유능한 것은 아님을 밝혀냈습니다. 연구팀은 표준적인 계산 복잡성 가정이 성립한다는 전제하에, 더 깊은 깊이를 가진 모델이 복잡한 함수를 효율적으로 표현하는 능력에서 뚜렷한 이점을 가진다는 것을 증명했습니다. 그들은 "효율적 도달 범위(efficient reach)"라고 부르는 개념을 도입했는데, 이는 모델이 내부 설정의 폭발적인 증가를 요구하지 않고 얼마나 다양한 문제를 해결할 수 있는지를 측정합니다. 그들의 연구 결과는 딥 볼츠만 머신(Deep Boltzmann Machines)과 같은 깊은 모델이 얕은 모델이 효율적으로 시뮬레이션할 수 없는 방대한 양의 복잡한 패턴을 효율적으로 표현할 수 있음을 보여줍니다. 단, 이는 다항 계층(polynomial hierarchy)이 붕괴하지 않는다는 조건하에 가능하며, 이는 컴퓨터 과학에서 매우 희박한 시나리오로 간주됩니다. 반면, 널리 사용되는 제한 볼츠만 머신(Restricted Boltzmann Machines)과 같은 얕은 모델은 동일한 가정하에서 훨씬 더 작은 집합의 효율적으로 해결 가능한 문제들에 국한됩니다. 연구진은 이러한 한계가 단순한 불편함이 아니라 근본적인 장벽임을 입증했습니다. 즉, 얕은 모델은 딥 모델이 처리하는 특정 유형의 어려운 계산 과업을 효율적으로 시뮬레이션하는 것이 수학적으로 불가능하며, 이는 해당 문제들의 난이도에 관한 근본적인 가정들이 틀렸다는 것이 증명되지 않는 한 마찬가지입니다.

이러한 결론에 도달하기 위해 저자들은 물리학에서 빌려온 프레임워크를 사용하여 머신러닝 모델을 상호작용하는 입자계로 취급했습니다. 그들은 이 시스템들이 최저 에너지 상태에서 정보를 어떻게 인코딩하는지 분석했습니다. 계산 복잡도 이론에 뿌리를 둔 엄격한 수학적 증명을 적용함으로써, 그들은 함수를 효율적으로 표현하는 능력이 모델의 구조와 직접적으로 연결되어 있음을 보여주었습니다. 구체적으로, 그들은 깊은 모델이 단순한 연산을 복잡한 연산으로 합성(compose)할 수 있는 반면, 얕은 모델은 그렇지 못하다는 것을 발견했습니다. 깊은 모델은 이전의 결과를 재사용하여 새로운 것을 구축하기 위해 계층별로 복잡한 표현을 쌓아 올릴 수 있습니다. 반면 중간 계층이 없는 얕은 모델은 전체 복잡성을 단 한 단계에 설명하려고 시도해야 하며, 이는 지수적인 양의 자원을 사용하도록 강요합니다. 연구팀은 이러한 차이가 엄격한 계층을 만든다는 것을 증명했습니다. 즉, 얕은 모델의 상호작용 차수가 증가하여 한 번에 더 많은 변수를 고려하게 되면 어느 정도의 힘을 얻기는 하지만, 결코 깊은 모델의 효율성을 따라잡을 수는 없다는 것입니다.

연구진은 또한 얕은 모델이 달성할 수 있는 경계에 대해서도 탐구했습니다. 그들은 얕은 모델이 세 개 이상의 변수 간 상호작용을 고려하도록 허용하더라도, 단순한 쌍별(pairwise) 상호작용을 가진 깊은 모델의 역량에는 미치지 못한다는 것을 발견했습니다. 이는 얕은 모델의 효율성에 대한 무한한 사다리를 형성하는데, 상호작용 차수가 한 단계 올라갈 때마다 모델이 조금 더 복잡한 문제를 해결할 수 있게 되지만, 이 사다리의 꼭대기는 여전히 깊은 모델의 도달 범위보다 엄격히 아래에 머물러 있습니다. 이 계층 구조는 두 데이터 집합의 내적(inner product)을 2에 대한 모듈로(modulo 2)로 계산하는 것과 같이 악명 높게 어려운 특정 수학적 함수들을 대상으로 테스트되었습니다. 연구는 깊은 모델은 이 함수를 효율적으로 시뮬레이션할 수 있는 반면, 얕은 모델은 컴퓨터 과학의 특정 문제의 난이도에 관한 근본적인 가정이 틀렸다는 것이 증명되지 않는 한 효율적으로 수행할 수 없음을 보여주었습니다.

이론적 발견이 실제에서도 유효한지 확인하기 위해, 연구팀은 이러한 어려운 함수들로부터 생성된 데이터를 사용하여 얕은 모델과 깊은 모델을 모두 훈련시키는 수치 실험을 수행했습니다. 그들은 특정 시스템 크기에 대해, 특히 3체 상호작용(three-body interactions)을 가진 깊은 모델이 동일한 데이터와 계산 예산을 제공받았음에도 불구하고 얕은 모델보다 훨씬 더 빠르고 정확하게 기저 패턴을 학습한다는 것을 발견했습니다. 그러나 연구진은 명시적으로 이 학습 이점이 점근적 성장(asymptotic growth)에 대해 확립된 것은 아니라고 언급했습니다. 즉, 더 큰 규모의 실험(n=16)에서는 두 모델 모두 타겟 구조를 복구하는 데 실패했습니다. 이는 깊이와 고차 상호작용의 이론적 이점이 추상적인 수학적 호기심이 아니기는 하지만, 이를 실질적인 학습 이점으로 전환하는 것은 특정 조건에 달려 있으며 문제의 크기가 무한히 커짐에 따라 성공을 보장하지는 않는다는 것을 시사합니다. 이 연구는 왜 딥러닝이 일반적으로 더 잘 작동하는지에 대한 경험적 관찰에 견고한 이론적 토대를 제공하며, 이것이 단순히 더 많은 데이터나 더 나은 훈련 알고리즘의 문제가 아니라 모델 내에서 정보가 구조화되고 처리되는 방식의 근본적인 속성임을 설명합니다.

이 연구의 함의는 단순히 딥러닝이 왜 작동하는지를 이해하는 것을 넘어섭니다. 이는 인공지능 시스템을 설계하는 새로운 관점을 제공합니다. 서로 다른 아키텍처의 "효율적 도달 범위"를 규명함으로써, 이 연구는 표준적인 복잡도 가정이 성립하는 한, 얕은 모델이 아무리 튜닝되더라도 근본적으로 적합하지 않은 특정 유형의 문제들이 존재함을 시사합니다. 이는 연구자들이 깊이를 요구하는 문제를 해결하기 위해 얕은 아키텍처에 자원을 낭비하는 일을 피하도록 도와줍니다. 나아가, 이 연구는 상호작용 차수의 역할을 명확히 하여, 유닛이 고려하는 변수의 수를 늘리는 것이 도움이 될 수는 있지만, 깊이가 제공하는 구성적(compositional) 힘의 대체재는 될 수 없음을 보여줍니다. 연구 결과는 딥러닝의 성공이 모델이 가능한 솔루션의 공간을 얕은 친척 모델들보다 훨씬 더 효율적으로 탐색할 수 있게 해주는 구조적 이점에 뿌리를 두고 있음을 확인시켜 줍니다.

결국, 이 논문은 머신러닝 효율성의 본질에 대한 오래된 질문을 해결합니다. 이는 깊은 모델의 우월성이 현재 기술의 우연이 아니라, 널리 받아들여지는 복잡도 가정하에서 얕은 모델은 할 수 없는 방식으로 표현을 구성할 수 있는 능력의 결과임을 확립합니다. 연구진은 이러한 모델들이 효율적으로 할 수 있는 것과 할 수 없는 것의 지형을 그려냈으며, 깊은 아키텍처와 얕은 아키텍처 사이의 명확한 경계를 드러냈습니다. 이 작업은 단순히 딥러닝이 왜 작동하는지를 설명하는 데 그치지 않고, 딥러닝의 힘의 정밀한 경계를 정의함으로써 향에 대한 가이드를 제공합니다. 특정 과업이 표준적인 가정하에서 얕은 모델의 효율적 도달 범위 밖에 있다는 것을 증명함으로써, 이 연구는 인공지능의 한계와 잠재력을 이해하는 새로운 기준을 세우고 있습니다.