Absolute abstraction: a renormalisation group approach

이 논문은 심층 신경망에서 추상화 수준이 단순히 깊이에만 의존하는 것이 아니라 학습 데이터의 폭에 크게 좌우되며, 재규격화 군 접근법을 통해 데이터 폭과 깊이가 증가함에 따라 계층적 특징 모델에 수렴하는 절대적 추상화가 달성됨을 이론적 분석과 수치 실험을 통해 입증합니다.

핵심

이 논문은 **"우리가 세상을 어떻게 이해하고 추상화하는가?"**라는 깊은 질문에 대해, 인공지능과 통계 물리학을 연결하여 새로운 답을 제시합니다.

간단히 말해, "깊은 사고 (Depth)"만으로는 진정한 추상화가 불가능하며, "넓은 경험 (Breadth)"이 함께해야만 비로소 보편적인 지혜가 생긴다는 것을 증명합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 핵심 아이디어: "깊이"와 "넓이"의 춤

우리는 보통 인공지능 (AI) 이 더 깊은 층 (Layer) 을 가질수록 더 똑똑해지고 추상적인 개념을 배우는다고 생각합니다. 마치 건물을 더 높이 쌓을수록 더 넓은 뷰를 얻는 것처럼요.

하지만 이 논문은 **"아니요, 높이만 쌓는다고 해서 전 세계를 볼 수 있는 것은 아닙니다"**라고 말합니다.

• 깊이 (Depth): 건물을 높이 쌓는 것. (세부적인 디테일을 점점 더 추상화하는 과정)
• 넓이 (Breadth): 건물이 서 있는 땅의 범위. (학습하는 데이터의 다양성)

비유: "동물 도감" 만들기

• 깊이만 있는 경우: 만약 당신이 아프리카 사바나에 사는 동물들만 수천 번 관찰하며 '코끼리', '사자'를 구분하는 법을 깊이 있게 공부했다면, 당신은 아프리카 동물 전문가가 될 뿐입니다. 하지만 북극곰이나 펭귄을 보면 "이건 뭐지?"라고 당황할 것입니다.
• 깊이 + 넓이: 이제 당신이 아프리카뿐만 아니라 남극, 남미, 아시아의 동물까지 모두 관찰했다고 가정해 봅시다. 이때 비로소 당신은 '코끼리'나 '사자'라는 구체적인 이름 대신, **"포유류", "육식동물", "초식동물"**처럼 훨씬 더 추상적이고 보편적인 개념을 깨닫게 됩니다.

이 논문은 **"데이터의 범위 (넓이) 가 넓어질수록, 그리고 신경망의 층 (깊이) 이 깊어질수록 AI 는 구체적인 사물을 잊고, 모든 데이터에 공통된 '보편적인 법칙'을 발견한다"**고 주장합니다.

---

2. 과학적 도구: "렌즈"와 "재조정" (RG 접근법)

저자들은 이 현상을 설명하기 위해 물리학의 **'재규격화 군 (Renormalization Group, RG)'**이라는 도구를 가져왔습니다.

비유: "지도 그리기"

• 세부 지도: 서울의 모든 골목길과 가게를 다 그린 지도가 있습니다. (원본 데이터)
• 재규격화 (Coarse-graining): 이제 우리는 이 지도를 조금씩 축소합니다. 골목길은 지우고, 동 단위, 구 단위로 묶습니다. 이때 **중요한 정보 (예: 강남구, 종로구)**는 남기고, **불필요한 정보 (예: 3 번 골목의 커피숍 위치)**는 버립니다.
• 재조정 (Rescaling): 지도가 너무 작아졌으니, 다시 크기를 키워서 읽기 편하게 만듭니다.

이 과정을 반복하면, 결국 어떤 도시의 지도든 (데이터가 무엇이든) 공통적으로 나타나는 '보편적인 지도'의 형태에 도달하게 됩니다. 이 논문은 AI 가 데이터를 학습할 때, 이 '지도 축소' 과정을 거치며 결국 **모든 데이터에 적용 가능한 '절대적인 추상화 (Absolute Abstraction)'**에 도달한다고 말합니다.

---

3. 발견된 정점: "위계적 특징 모델 (HFM)"

이론적으로 이 '최종 보편 지도'는 **HFM(Hierarchical Feature Model)**이라는 수학적 모델과 정확히 일치합니다.

비유: "나무의 가지"

• HFM 은 마치 거대한 나무처럼 생겼습니다.
• 가장 아래쪽 가지 (세부 데이터) 는 매우 다양하지만, 위로 올라갈수록 가지가 합쳐집니다.
• 꼭대기 (가장 추상적인 층) 에서는 어떤 데이터가 들어오든 상관없이, 그 구조는 항상 동일하게 유지됩니다.
• 즉, AI 가 "고양이"를 보든 "강아지"를 보든, 그 깊고 넓은 경험의 끝에서 도달하는 내부적인 사고의 구조는 똑같아진다는 뜻입니다.

---

4. 실험 결과: 컴퓨터가 증명하다

저자들은 실제로 딥러닝 모델 (DBN, 오토인코더) 을 훈련시켜 이 이론을 검증했습니다.

• 실험 1 (데이터의 넓이): MNIST(손글씨 숫자) 데이터만 학습한 AI 는 구체적인 숫자 모양에 집착했습니다. 하지만 Fashion-MNIST(옷), EMNIST(알파벳), CIFAR-10(자연물) 등 다양한 데이터를 섞어서 학습시키자, AI 는 구체적인 모양을 잊고 더 추상적인 패턴을 잡기 시작했습니다.
• 실험 2 (결과): 데이터가 넓어질수록, 그리고 AI 의 층이 깊어질수록, AI 의 내부 상태는 이론적으로 예측된 **HFM(보편적 모델)**과 거의 똑같은 형태가 되었습니다.

이는 **"AI 가 더 많은 것을 경험할수록, 인간의 뇌가 세상을 이해하는 방식과 유사한 보편적인 지혜에 도달한다"**는 것을 의미합니다.

---

5. 결론: 왜 이것이 중요한가?

이 연구는 우리에게 중요한 통찰을 줍니다.

1. 지능의 본질: 진정한 지능은 단순히 많은 데이터를 외우는 것이 아니라, 다양한 경험 (넓이) 을 바탕으로 불필요한 세부사항을 버리고 공통된 본질 (깊이) 을 찾아내는 능력입니다.
2. 보편성: 서로 다른 데이터 (숫자, 옷, 얼굴) 를 학습한 AI 들이 결국 동일한 내부 구조에 도달한다는 것은, 우리 뇌나 AI 가 세상을 이해하는 방식에 보편적인 법칙이 존재함을 시사합니다.
3. 이해 (Understanding) vs 암기 (Fitting): 단순히 데이터를 맞추는 것 (암기) 과 데이터의 구조를 이해하는 것 (추상화) 은 다릅니다. 이 논문은 AI 가 진정한 '이해'에 도달하려면 깊이와 넓이가 동시에 필요하다고 말합니다.

한 줄 요약:

"세상을 깊이 있게 바라보는 것만으로는 부족합니다. 다양한 세상을 넓게 경험해야만, 비로소 모든 것에 통용되는 '진짜 지혜'를 얻을 수 있습니다."

기술 요약

1. 문제 제기 (Problem)

• 추상화의 정의: 추상화는 원시 데이터에서 본질적인 특징을 추출하고 불필요한 세부 사항을 무시하는 과정입니다.
• 기존의 한계: 신경망 (Deep Neural Networks) 에서 깊은 층 (deep layers) 을 거치면서 데이터의 추상적 특징이 포착되는 것은 잘 알려져 있습니다. 그러나 저자들은 깊이 (depth) 만으로는 진정한 추상적 표현이 생성되지 않는다고 주장합니다.
• 핵심 가설: 추상화의 수준은 학습 데이터의 **폭 (breadth, 다양성)**에 결정적으로 의존합니다. 데이터의 범위가 확장되고 깊이가 깊어지는 과정에서 불필요한 세부 사항이 제거되고 보편적인 구조가 남을 때, 데이터에 독립적인 "절대적 추상화"가 등장합니다.
• 목표: 데이터의 구체적인 내용 (예: 어떤 동물인지, 어떤 글자인지) 에 의존하지 않고, 오직 통계적 속성만으로 추상적 표현을 특징짓는 이론적 틀을 마련하는 것입니다.

2. 방법론 (Methodology)

A. 이론적 프레임워크: 재규격화 군 (RG) 접근

• RG 유추: 통계물리학의 RG 과정 (세부 사항을 통합하고 스케일을 재조정) 을 신경망의 학습 과정에 대입합니다.
  • Coarse-graining (거칠게 만들기): 낮은 수준의 세부 사항을 제거합니다.
  • Rescaling (재스케일링): 시스템의 크기를 원래대로 되돌립니다.
• 학습 과정의 RG 해석:
  • Zooming out (확장): 학습 데이터의 범위가 넓어질 때 (예: 지구 동물 $\rightarrow$ 우주 동물), 새로운 고차원 특징을 추가하고 기존 저차원 세부 사항을 희생하여 표현력을 유지합니다.
  • Zooming in (축소): 특정 하위 집합에 집중하여 세부 사항을 더 세밀하게 파악합니다.
• 고정점 (Fixed Point): RG 변환을 무한히 반복했을 때 도달하는 유일한 고정점을 "절대적 추상화"의 후보로 간주합니다.

B. 수학적 모델: 계층적 특징 모델 (Hierarchical Feature Model, HFM)

• RG 변환의 고정점은 **Hierarchical Feature Model (HFM)**과 일치함이 증명됩니다.
• HFM 의 정의:
  • 이진 변수 $s = (s_1, \dots, s_n)$로 표현되며, $s_i=1$은 $i$번째 특징이 존재함을 의미합니다.
  • 특징은 계층적으로 조직화되어 있으며, $k$단계의 특징이 활성화되면 그보다 낮은 단계의 특징들은 최대한 무작위적이어야 합니다 (최대 엔트로피 원리).
  • 확률 분포는 $p(s) \propto e^{-g m_s}$ 형태를 띠며, 여기서 $m_s$는 활성화된 가장 세부적인 특징의 인덱스 (상세도 수준) 입니다.
• 의미: HFM 은 최대 관련성 (Maximal Relevance) 원리를 만족하는 모델로, 코딩 비용 (coding cost) 이 지수적으로 분포하여 가장 효율적인 정보 표현을 제공합니다.

C. 실험적 검증

• 모델: Deep Belief Networks (DBN) 와 Auto-encoders (AE) 사용.
• 데이터: MNIST(손글씨 숫자), EMNIST(문자), Fashion-MNIST(의류), CIFAR-10(자연 이미지) 등을 점진적으로 결합하여 데이터의 **폭 (breadth)**을 확장.
• 측정 지표:
  • 신경망 내부 표현 (latent representation) 의 분포와 HFM 분포 사이의 Kullback-Leibler (KL) 발산을 계산.
  • KL 발산이 작을수록 표현이 HFM (절대적 추상화) 에 가까움을 의미.
  • HFM 의 파라미터 $g$를 피팅하여 분석.

3. 주요 결과 (Key Results)

A. 이론적 발견

• RG 변환 (데이터 폭 확장 및 깊이 증가) 의 유일한 고정점은 HFM 임이 수학적으로 증명됨.
• 이 고정점은 데이터의 구체적 내용에 무관하며, 오직 **코딩 비용 (정보의 양)**과 상세도 수준에 의해 결정됨.
• HFM 은 최대 관련성 (Maximal Relevance) 원리를 만족하며, 이는 학습된 신경망이 실제로 따르는 통계적 법칙과 일치함.

B. 실험적 결과

1. 깊이와 폭의 상호작용:
   • DBN 과 AE 실험에서, 깊이 (depth) 가 증가하고 데이터의 폭 (breadth) 이 확장될수록 내부 표현의 KL 발산이 감소하여 HFM 에 수렴함.
   • 깊이만 증가하고 데이터 폭이 좁으면 HFM 에 수렴하지 않음 (과적합 또는 구조적 한계).
   • 데이터 폭만 넓고 깊이가 얕으면 역시 수렴하지 않음.
2. 파라미터 $g$의 변화:
   • 데이터 폭이 넓어질수록 HFM 파라미터 $g$가 감소하며, 이는 표현이 더 넓은 데이터 우주를 포괄하기 위해 엔트로피가 증가함을 의미.
   • $g$가 임계값 $g_c = \log 2$에 가까워질수록 분포는 균일 분포에 가까워지지만, 실제 학습된 표현은 균일 분포가 아닌 HFM 구조를 유지함.
3. 보편성 (Universality):
   • 서로 다른 데이터셋 (숫자, 문자, 의류, 자연물) 으로 학습된 신경망의 깊은 층 표현이 모두 동일한 HFM 분포에 수렴하는 경향을 보임. 이는 "플라톤적 표현 가설 (Platonic Representation Hypothesis)"을 지지하는 증거임.

4. 주요 기여 (Key Contributions)

1. 절대적 추상화의 정의: 추상화를 단순히 "세부 사항의 제거"가 아니라, 데이터 폭의 확장과 깊이의 증가가 결합된 RG 과정의 고정점으로 정의함.
2. RG 와 신경망 학습의 통합: 통계물리학의 RG 이론을 기계학습의 표현 학습 (Representation Learning) 에 체계적으로 적용하여, 추상화가 어떻게 발생하는지 이론적 근거를 제시함.
3. HFM 의 실증: 이론적으로 유도된 고정점인 HFM 이 실제 심층 신경망 (DBN, AE) 의 깊은 층에서 관측됨을 수치적으로 증명함.
4. 데이터 폭의 중요성 강조: 기존에 깊이 (Depth) 에만 집중되었던 추상화 연구에, **데이터의 다양성 (Breadth)**이 필수적 요소임을 강조함.

5. 의의 및 결론 (Significance)

• 지능의 본질: 인간과 같은 고차원 지능은 다양한 감각 입력을 통합하여 데이터에 독립적인 보편적 표현 (Universal Representation) 을 형성하는 능력에서 비롯될 수 있음. 이는 Chomsky 의 보편 문법 (Universal Grammar) 가설과 유사하게, 깊은 뇌 영역에서 RG 변환의 고정점으로 나타날 수 있음을 시사함.
• 학습과 이해의 구분: 단순한 데이터 피팅 (파라미터 추정) 을 넘어, 데이터의 변동을 설명하는 **이해 (Understanding)**는 데이터에 무관한 보편적 구조 (HFM) 를 획득하는 과정으로 해석됨.
• 향후 연구 방향: 이 프레임워크는 언어, 복잡한 시계열 데이터 등 더 복잡한 도메인으로 확장 가능함. 특히 다양한 모달리티 (시각, 청각 등) 를 통합할 때 나타나는 추상적 표현의 기제를 규명하는 데 유용한 도구가 될 것임.

요약하자면, 이 논문은 신경망이 깊고 다양한 데이터를 학습할 때, 통계물리학적 RG 과정을 통해 데이터에 무관한 보편적인 "절대적 추상화" 상태 (HFM) 로 수렴한다는 이론을 제시하고, 이를 심층 신경망 실험을 통해 검증했습니다. 이는 기계학습의 표현 학습 이론에 통계물리학적 통찰을 더한 중요한 연구입니다.