당신이 복잡하고 고차원적인 대상—예를 들어 소용돌이치는 은하계나 여러 층으로 된 케이크 같은 것—을, 오직 단순하고 평면적인 그림만을 이해할 수 있는 친구에게 설명하려고 한다고 상상해 보십시오. 컴퓨터 과학과 수학의 세계에서, 이것은 "고차원 근사 문제(high-dimensional approximation problem)"라고 알려져 있습니다. 수십 년 동안 과학자들은 "차원의 저주(curse of dimensionality)"라고 불리는 악명 높은 적과 싸워왔습니다. 그 이름은 무섭게 들리지만, 개념은 간단합니다: 문제의 변수(또는 차원)가 늘어남에 따라, 그것을 정확하게 묘사하는 데 필요한 정보의 양이 폭발적으로 증가한다는 것입니다. 이는 마치 100차원의 물체를 그리려고 하는 것과 같습니다. 필요한 붓질의 횟수가 너무 빠르게 늘어나서 작업을 끝내는 것이 불가능해 보이는 것과 같습니다.

오랫동안, 컴퓨터가 이러한 문제를 얼마나 잘 해결하는지를 측정하는 표준적인 방법은 "파라미터(매개변수)"를 세는 것이었습니다. 파라미터를 기계에 달린 노브(knob), 다이얼, 설정값이라고 생각하십시오. 만약 어떤 방식이 동일한 결과를 얻으면서 더 적은 수의 노브를 사용한다면, 그것은 더 효율적이라고 간주됩니다. 최근에는 신경망(이미지 인식이나 언어 모델 등을 구동하는 AI 시스템)이 이 저주를 깨뜨린 것처럼 보인다는 이유로 찬사를 받아왔습니다. 신경망은 차원이 증가함에 따라 노브의 수가 폭발하지 않으면서도 고차원 문제를 해결하는 것처럼 보이며, 이는 많은 이들로 하여금 신경망이 과학의 가장 복잡한 문제들을 열 수 있는 마법의 열쇠를 찾아냈다고 믿게 만들었습니다.

하지만, 종종 간과되는 함정이 하나 있습니다. 현실 세계에서 컴퓨터는 무한한 정밀도로 숫자를 저장하지 않습니다. 대신 0과 1의 문자열, 즉 "비트(bits)"로 숫자를 저장합니다. 그 기계의 모든 노브는 이를 저장하고 계산하기 위해 특정 수의 비트로 인코딩되어야 합니다. 이 논문은 근본적인 질문을 던집니다: 만약 우리가 단순히 노브의 개수를 세는 것을 멈추고, 그 노브들을 저장하는 데 실제로 필요한 정보의 양인 '비트'를 세기 시작한다면, 신경망은 여전히 마법처럼 보일 것인가? 저자인 통 마오(Tong Mao)와 진차오 쉬(Jinchao Xu)는 이 질문을 깊이 파고들며, "메트릭 엔트로피(metric entropy)"라는 개념(이는 본질적으로 어떤 형태나 함수를 기술하는 데 필요한 최소한의 정보량을 측정하는 것입니다)을 사용하여, 신경망이 정말로 저주를 이겨낸 것인지, 아니면 단지 다른 방식으로 비용을 숨기고 있는 것인지를 조사합니다.

---

거대한 비트 계산 강도 (The Great Bit-Counting Heist)

이 논문의 저자인 통 마오와 진차오 쉬는 탐정 모자를 쓰고 새로운 각도에서 "차원의 저주"를 바라보기로 했습니다. 그들은 단순히 어떤 방법이 얼마나 많은 파라미터(노브)를 사용하는지를 세는 대신, 다음과 같이 질문했습니다. "그 노브들을 저장하고 좋은 답을 얻기 위해 실제로 얼마나 많은 메모리 비트가 필요한가?"

이들의 조사를 이해하기 위해, 당신이 로봇에게 부드럽게 굴곡진 언덕을 설명하려고 한다고 상상해 보십시오.

• 기존 방식 (파라미터 세기): 당신은 "이 언덕을 설명하는 데 100개의 점이 필요해"라고 말할 수 있습니다. 만약 당신이 신경망 같은 새로운 방법을 사용하여 "10개의 점만 있으면 돼"라고 말한다면, 당신은 승리했다고 느낄 것입니다. 당신은 저주를 이겨낸 것입니다!
• 새로운 방식 (비트 세기): 하지만 잠깐, 만약 그 10개의 점이 극도로 민감하다면 어떻게 될까요? 만약 언덕의 모양을 정확하게 설명하기 위해, 그 10개의 점 각각을 1,000비트의 정밀도로 저장해야 한다면 어떨까요? 갑자기 당신은 10 단위의 정보를 사용하는 것이 아니라, 10,000 단위를 사용하게 됩니다. 반면, 기존 방식은 100개의 점을 사용했지만 각 점은 10비트만 필요했습니다. 결국, "기존" 방식이 실제로는 더 적은 총 비트를 사용한 셈이 됩니다.

이 논문은 우리가 오랫동안 "파라미터 수"에 속아 왔다고 주장합니다. 우리는 신경망이 더 적은 노브를 사용하는 것을 보고 그것들이 더 효율적이라고 가정했습니다. 하지만 저자들이 계산의 실제 화폐인 비트의 관점에서 효율성을 측정했을 때, 이야기는 달라졌습니다.

"마법" 같지 않은 "마법"

연구진은 신경망이 유명했던 두 가지 주요 유형의 "마법"을 살펴보았습니다:

1. 차원 독립적 비율 (Dimension-Independent Rates): 일부 연구는 신경망이 차원 수가 증가하더라도 특정 복잡한 함수들을 근사할 수 있다고 주장했습니다. 이는 마치 신경망이 문제의 크기를 완전히 무시할 수 있는 방법을 찾아낸 것처럼 들렸습니다.
2. 초수렴 (Superconvergence): 이것은 심층 신경망(층이 많은 네트워크)이 다항식이나 유한 요소법 같은 전통적인 방식보다 매끄러운 함수를 훨씬 더 빠르게 근사할 수 있다는 개념입니다. 이는 마치 신경망이 경쟁자들을 앞질러 질주하는 것처럼 보였습니다.

저자들의 조사 결과, 이러한 "초능력"들은 대부분 우리가 측정하는 방식에 의해 만들어진 환상임이 드러났습니다.

그들이 메트릭 엔트로피(근사하려는 함수 클래스의 본질적인 복잡성을 뜻하는 멋진 용어)를 분석했을 때, 신경망이 근사하는 데 능숙한 함수들(예를 들어 "배론 공간(Barron spaces)"에 있는 함수들)은 사실 전통적인 방식이 어려워하는 함수들보다 단지 더 단순할 뿐이라는 것을 발견했습니다. 신경 network가 더 뛰어난 화가라서 그런 것이 아닙니다. 그저 네트워크가 복제하도록 요청받은 그림이 전통적인 화가가 복제하려던 그림보다 덜 세밀할 뿐입니다. "차원 독립적"인 속도는 네트워크가 특별해서가 아니라, 대상 자체가 처음부터 쉬웠기 때문입니다.

심층 네트워크의 함정

가장 놀라운 발견은 **심층 신경망(Deep Neural Networks)**에 관한 것입니다. 이들은 많은 층을 가지고 있어 큰 주목을 받아온 네트워크들입니다. 논문은 심층 네트워크가 파라미터(노브)의 수로 측정했을 때 확실히 더 빠른 오차율을 달agi 할 수 있지만, 이 속도에는 숨겨진 세금이 따른다는 것을 보여줍니다.

심층 네트워크는 매우 복잡하고 민감하기 때문에, 그 안의 숫자들(가중치와 편향)은 오류를 피하기 위해 훨씬 더 높은 정밀도로 저장되어야 합니다. 저자들은 이러한 파라미터들을 저장하는 데 필요한 비트의 수가 네트워크가 깊어짐에 따라 폭발적으로 증가한다는 것을 증명했습니다.

이렇게 생각해 보십시오: 얕은 네트워크는 튼튼한 나무 다리와 같습니다. 많은 판자(파라미터)가 필요하지만, 각 판자를 측정하고 저장하기는 쉽습니다. 심층 네트워크는 유리 다리와 같습니다. 더 적은 판자를 사용하지만, 각 판자가 너무나 취약하고 정밀하여 레이저 스캐너로 측정해야만 합니다. 만약 당신이 일반적인 줄자로 유리 다리를 만들려고 한다면, 그 다리는 무너지고 말 것입니다.

이 논문은 그 유리 다리를 건설하는 데 필요한 총 비트를 계산할 때, 그 "효율성"이 사라진다는 것을 보여줍니다. 심층 네트워크를 안정적으로 유지하기 위해 필요한 추가 비트들이 파라미터가 적다는 장점을 상쇄해 버립니다. 실제로 많은 표준적인 문제들에 대해, 심층 네트워크는 다항식이나 유한 요소법 같은 고전적인 방식과 똑같은 양의, 혹은 그보다 더 많은 비트를 필요로 하게 됩니다.

결론: 그것은 약간의 저주입니다

그렇다면, 신경망은 차원의 저주를 이겨냈을까요? 마오와 쉬에 따르면, 답은 아니오입니다. 적어도 우리가 생각했던 방식으로는 말입니다.

"저주"는 실제로 차원의 문제가 아닙니다. 그것은 **비트 복잡성(bit complexity)**의 문제입니다. 함수를 얼마나 잘 근사할 수 있는지에 대한 근본적인 한계는 그 함수가 실제로 포함하고 있는 정보량(비트)에 의해 결정됩니다. 이는 메트릭 엔트로피에 의해 지배됩니다.

• 만약 함수가 복잡하다면, 어떤 도구를 사용하든 그것을 기술하기 위해 많은 비트가 필요합니다.
• 만약 함수가 단순하다면, 더 적은 비트가 필요합니다.

신경망은 게임의 규칙을 바꾸는 것이 아니라, 단지 점수를 세는 방식을 바꿀 뿐입니다. 우리가 파라미터가 아닌 비트의 관점에서 게임을 바라볼 때, 신경망의 "우월성"은 종종 사라집니다. 차원 독립적 비율이나 초수렴과 같은 겉보기에 매력적인 장점들은, 종종 신경망이 전통적인 방식이 테스트되는 것보다 본질적으로 덜 복잡한(메트릭 엔트로피가 낮은) 함수 클래스에서 테스트되었기 때문입니다.

이것이 왜 중요한가

이 논문은 신경망이 쓸모없다고 말하는 것이 아닙니다. 우리가 그것들을 평가하는 방식에 있어 더 똑똑해져야 한다고 말하는 것입니다. 현실 세계에서 컴퓨터는 유한한 메모리를 가집니다. 컴퓨터는 무한한 정밀도를 저장할 수 없습니다. 만약 어떤 방식이 더 적은 파라미터를 사용하기 때문에 서류상으로는 훌륭해 보이지만, 그 파라미터들을 정확하게 저장하기 위해 막대한 양의 메모리가 필요하다면, 그것은 실제 응용 분야에서 최선의 선택이 아닐 수도 있습니다.

저자들은 "차원의 저주"가 사실 "비트 복잡성의 저주"라고 제안합니다. 진정한 한계는 차원이 얼마나 많으냐가 아니라, 문제를 기술하는 데 얼마나 많은 비트가 필요하냐 하는 것입니다. 우리의 초점을 노브를 세는 것에서 비트를 세는 것으로 옮김으로써, 우리는 이 강력한 도구들이 무엇을 할 수 있고 무엇을 할 수 없는지에 대해 훨씬 더 명확하고 현실적인 그림을 얻을 수 있습니다. 이는 고차원 수학의 세계에서, 디테일(세부 사항) 속에 항상 함정이 있으며, 그 디테일은 바로 비트로 측정된다는 사실을 상기시켜 줍니다.