Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines

본 논문은 제한된 볼츠만 머신에서 서로 다른 은닉 유닛 활성화 함수가 유도된 상호작용의 통계와 복잡하고 고차원적인 데이터 구조를 학습하는 능력에 미치는 영향을 분석적으로 규명하여, 지수 함수와 같이 급격히 증가하는 비선형성이 이러한 패턴의 표현과 학습을 크게 촉진할 수 있음을 입증한다.

핵심

컴퓨터가 데이터의 복잡한 패턴을 인식하도록 가르치려 한다고 상상해 보세요. 예를 들어 군중 속에서 특정 얼굴을 찾거나 노래의 분위기를 이해하는 것과 같습니다. 이를 위해 컴퓨터는 단순한 단위들의 계층으로 구성된 "뇌"를 사용합니다. 이러한 뇌의 한 인기 있는 유형은 **제한된 볼츠만 머신 (Restricted Boltzmann Machine, RBM)**이라고 불립니다.

RBM 을 2 층 건물의 구조로 생각해보세요:

• 1 층 (가시 단위): 여기에는 데이터 (사진, 소리, 숫자 등) 가 존재합니다.
• 2 층 (은닉 단위): 여기에서 "사고"가 일어납니다. 이 단위들은 1 층을 관찰하며 데이터 포인트들을 연결하는 숨겨진 규칙들을 파악하려 합니다.

이 논문이 제기하는 핵심 질문은 다음과 같습니다: 2 층 단위들의 "성격"이 컴퓨터가 무엇을 학습하는지에 어떤 영향을 미칠까요?

기술적인 용어로 이 "성격"은 활성화 함수라고 불립니다. 이는 단위가 받은 정보에 대해 얼마나 강하게 반응할지를 결정하는 규칙입니다. 저자들은 네 가지 다른 "성격"을 테스트했습니다:

1. 선형 (Linear): 부드럽고 직선적인 반응.
2. 계단 (Step): 켜짐/꺼짐 스위치 (전등 스위치와 유사).
3. ReLU: 음수 입력은 무시하지만 양수 입력은 통과시키는 "정류"된 스위치.
4. 지수 (Exponential): 아주 작은 입력을 받자마자 반응 강도가 폭발적으로 증가하는 단위.

핵심 발견: 단순한 관계 vs 복잡한 관계

이 논문은 이 "성격"의 선택이 컴퓨터가 쉽게 이해할 수 있는 관계의 종류를 변화시킨다는 것을 보여줍니다.

"단순한" 성격 (선형, 계단, ReLU):
이러한 단위들은 오직 **쌍 (pairs)**에만 관심을 가지는 사람들과 같다고 상상해 보세요. 친구 그룹이 있다면, "계단"이나 "ReLU" 단위는 "앨리스와 밥은 항상 함께 어울린다"는 사실을 알아차리는 데 뛰어납니다. 이는 단순한 2 인 연결을 찾는 데 유용합니다. 그러나 "앨리스, 밥, 찰리는 데브도 함께 있을 때만 함께 어울린다"와 같은 복잡한 그룹 역학을 이해하는 데는 어려움을 겪습니다. 이러한 복잡한 다중 인과 규칙 (고차 상호작용이라고 함) 은 컴퓨터의 기억 속에서 사라지거나 매우 약해지기 쉽습니다.

"폭발적인" 성격 (지수):
이제 입력에 격렬하게 반응하는 단위를 상상해 보세요. 저자들은 이 지수 함수를 사용하면 컴퓨터가 이러한 복잡한 그룹 역학을 훨씬 잘 이해하게 된다는 것을 발견했습니다. "앨리스, 밥, 찰리"가 모두 함께 있을 때만 존재하는 특별한 유대감을 쉽게 학습할 수 있습니다.

"단순함의 바다" vs "복잡함의 섬"

저자들은 자신의 발견을 설명하기 위해 광활한 바다를 포함한 교묘한 비유를 사용했습니다:

• 단순한 모델의 바다: 대부분의 활성화 함수 (ReLU 나 계단 등) 에 대해 컴퓨터의 "자연스러운 상태"는 단순하고 감쇠하는 관계들로 이루어진 바다입니다. 무작위 가중치 (무작위 연결) 를 컴퓨터에 던지면, 거의 항상 단순한 쌍을 학습하게 됩니다. 복잡한 규칙은 이 바다에서 희귀한 섬과 같습니다. 찾기가 매우 어렵기 때문에 컴퓨터가 우연히 발견하는 경우는 드뭅니다.
• 복잡함의 섬: 그러나 지수 함수를 사용하면 풍경이 바뀝니다. 컴퓨터의 초기 설정을 특정 방식으로 설정하는 특정 "영역" (파라미터 영역) 이 존재하는데, 여기서는 컴퓨터가 자연스럽게 복잡하고 감쇠하지 않는 관계들의 바다에 떠 있게 됩니다. 이 구역에서는 복잡한 그룹 규칙이 단순한 쌍만큼이나 흔합니다.

컴퓨터를 훈련시킬 때 어떤 일이 일어날까요?

연구자들은 다양한 유형의 데이터로 이러한 컴퓨터를 훈련시켜 어떤 일이 발생하는지 시뮬레이션했습니다.

1. 단순한 데이터 학습: 단순한 규칙 (단순한 쌍) 을 가진 데이터로 컴퓨터를 훈련시켰을 때, 모든 유형의 활성화 함수가 잘 작동했습니다. 모두 단순한 규칙을 효과적으로 학습했습니다.
2. 복잡한 데이터 학습: 복잡한 다중 인과 규칙을 가진 데이터로 컴퓨터를 훈련시켰을 때:
   • 선형, 계단, ReLU: 컴퓨터는 복잡한 규칙을 학습하지 못했습니다. 대신 복잡한 데이터에 단순한 설명을 강제로 적용하려 했습니다. 본질적으로 그룹 역학은 포기하고 개별 부분들만 학습하여 전체 그림을 놓쳤습니다.
   • 지수: 컴퓨터는 성공했습니다. 그 자연스러운 상태가 복잡한 규칙을 허용했기 때문에, 데이터의 정교한 그룹 역학을 학습하고 재현할 수 있었습니다.

"단순함 편향"

이 논문은 신경망에 내재된 "단순함 편향"이 있다고 결론 내립니다. 그들은 본질적으로 단순하고 저수준의 연결을 먼저 학습하는 것을 선호합니다. 이는 일반적으로 좋은 일이지만, 근본적으로 복잡한 데이터에는 어려움을 겪는다는 것을 의미합니다.

핵심 교훈은 지수 활성화 함수를 선택함으로써 이러한 편향을 깨뜨릴 수 있다는 점입니다. 컴퓨터를 조정하여 다른 유형의 네트워크가 단순히 무시하거나 표현하지 못하는 복잡한 고차 패턴을 자연스럽게 학습할 수 있도록 만들 수 있습니다.

간단히 말해: AI 가 단순한 쌍을 이해하게 하려면 거의 어떤 "성격"이든 작동합니다. 하지만 복잡한 그룹 역학을 이해하게 하려면 "지수" 성격이 필요합니다. 이는 컴퓨터가 조각들뿐만 아니라 전체 그림을 자연스럽게 볼 수 있게 만들어 줍니다.

기술 요약

기술적 요약: 제한된 볼츠만 기계에서의 활성화 함수, 통계 및 고차 상호작용 학습

문제 제기
신경망은 수많은 매개변수와 비선형 활성화 함수의 결합을 통해 숨겨진 패턴을 인식하는 능력으로 널리 인정받고 있지만, 은닉 유닛 활성화 함수의 '형태'가 네트워크 성능과 표현 능력에 미치는 구체적인 영향은 이론적으로 충분히 탐구되지 않았습니다. ReLU 와 같은 비선형성이 시그모이드 단위보다 수렴과 성능을 개선한다는 경험적 증거가 있음에도 불구하고, 서로 다른 활성화 함수가 RBM 이 표현할 수 있는 통계적 규칙성에 어떻게 영향을 미치는지에 대한 체계적인 이론적 평가는 부족합니다. 구체적으로, 활성화 함수의 선택이 강한 고차 상호작용 (쌍대 상호작용을 넘어선 상호작용) 으로 특징지어지는 데이터 구조를 학습하고 표현하는 RBM 의 능력에 어떤 영향을 미치는지는 명확하지 않습니다.

방법론
저자들은 제한된 볼츠만 기계 (RBM) 와 상호작용 이진 변수 모델 사이의 이중성을 활용합니다. 은닉 유닛에 대해 주변화 (marginalizing) 함으로써, RBM 은 가시 유닛이 임의 차수 $s$의 항과 직접 상호작용하는 모델로 정확히 매핑될 수 있습니다. 상호작용 항 $I_{i_1, \dots, i_s}$는 은닉층의 비선형성과 은닉 유닛과 가시 유닛을 연결하는 가중치의 함수로 해석적으로 표현됩니다.

연구는 두 가지 주요 분석 단계를 거칩니다:

1. 정확한 통계 분석: 선형 (Linear) 및 지수 (Exponential, 포아송) 활성화 함수의 경우, 저자들은 가중치가 가우스 분포에서 추출될 때 유도된 상호작용 항의 기댓값과 상관관계 (모멘트) 에 대한 정확한 해석적 식을 유도합니다.
2. 작은 요동 전개 (Small Fluctuation Expansion): 계단 (Step, 시그모이드) 및 ReLU 활성화 함수의 경우, 정확한 해가 더 복잡하므로 저자들은 평균 가중치 $w_0$ 주변에서 상호작용 항에 대한 2 차 전개를 사용합니다. 이 근사는 이러한 비선형성에 대한 기댓값과 분산을 계산할 수 있게 합니다.

이러한 해석적 예측은 상호작용 강도가 차수에 따라 감소하는 감쇠 상호작용 모델과 고차 상호작용이 중요한 비감쇠 모델을 포함한 특정 실제 분포에 대한 훈련 과정의 수치 시뮬레이션과 비교하여 검증됩니다.

주요 기여 및 결과

• 상호작용 공간의 특성화: 본 논문은 선형, 계단, ReLU, 지수 등 네 가지 활성화 함수에 대해 표현 가능한 모델의 공간을 해석적으로 특성화합니다.

  • 선형 RBM: 필드와 쌍대 항과 같은 비영 (non-zero) 쌍대 상호작용만 생성하며, 모든 고차 상호작용은 0 입니다.
  • 지수 RBM: 고차 항이 0 이 아닌 풍부한 상호작용 구조를 보입니다. 결정적으로, 상호작용 항의 기댓값은 매개변수 $\gamma_1 > 1$인 경우 (가중치의 평균과 분산에 의해 결정되는 조건) 상호작용 차수 $s$에 따라 기하급수적으로 증가할 수 있습니다.
  • 계단 및 ReLU RBM: 고차 상호작용을 생성하지만, 분석에 따르면 일반적으로 저차 상호작용이 우세하며 상호작용의 크기는 차수에 따라 감소하는 경향이 있습니다.

• 요동 분석: 본 연구는 상호작용 항의 요동이 기댓값을 초과하는 영역을 식별합니다. 지수 활성화의 경우, 저차 상호작용보다 고차 상호작용의 요동이 더 큰 매개변수 영역이 존재하며, 이는 선형, 계단, ReLU 경우에서는 관찰되지 않는 현상입니다.

• 학습 역학 및 "감쇠" 대 "비감쇠" 모델:

  • 저자들은 상호작용의 크기가 차수에 따라 감소하는 모델을 감쇠 모델로, 그렇지 않은 모델을 비감쇠 모델로 정의합니다.
  • 일반적 발견: 약한 결합 영역에서 다양한 데이터로 훈련된 RBM 은 활성화 함수와 관계없이 감쇠 상호작용 모델로 수렴하는 경향이 있습니다. 이는 학습 과정이 저차 특성을 선호하는 "단순성 편향 (simplicity bias)"을 시사합니다.
  • 지수 예외: 특정 매개변수 영역 (큰 평균 가중치 $w_0$ 또는 큰 가중치 분산) 에서 지수 활성화 함수를 가진 RBM 은 비감쇠 영역에 진입합니다. 이 영역에서 앙상블은 고차 상호작용이 저차 상호작용과 비슷하거나 더 큰 모델의 상당 부분을 포함합니다.
  • 훈련 성능: 강한 비감쇠 (예: 순수 3 체) 상호작용을 가진 실제 데이터로 훈련될 때:
    • 계단, ReLU 또는 선형 활성화를 가진 RBM 은 비감쇠 구조를 재구성하지 못하며, 실제로는 데이터를 감쇠 모델로 학습합니다 (고차 항을 저차 항으로 근사).
    • 지수 활성화를 가진 RBM 은 매개변수가 해석적으로 결정된 비감쇠 영역 내에 있는 경우, 비감쇠 상호작용 구조를 성공적으로 재구성하고 훨씬 낮은 켈러블 - 라이블러 (KL) 발산을 달성합니다.

의의 및 주장
본 논문은 활성화 함수의 선택이 RBM 의 "표현 편향 (representational bias)"을 결정하는 중요한 설계 매개변수라고 주장합니다.

• 이론적 통찰: 이 연구는 급격히 증가하는 비선형성, 특히 지수 함수가 큰 고차 상호작용 항을 가진 데이터 구조의 표현과 학습을 촉진할 수 있음을 보여주는 이론적 틀을 제공합니다. 이는 RBM 의 통계적 앙상블을 감쇠 영역에서 비감쇠 영역으로 전환함으로써 달성됩니다.
• 단순성 편향: 신경망에서 관찰되는 "단순성 편향"(저차 특성을 먼저 학습하려는 경향) 은 학습 알고리즘 (예: 확률적 경사 하강법) 뿐만 아니라 활성화 함수가 도입하는 고유한 표현 편향에서도 비롯될 수 있음을 시사합니다. 대부분의 표준 활성화 함수 (ReLU, 계단) 는 본질적으로 저차 상호작용을 선호합니다.
• 실용적 함의: 복잡하고 고차 상관관계를 가진 데이터를 다루는 작업의 경우, 모델 매개변수가 비감쇠 상호작용이 안정적인 특정 영역으로 조정된다면 지수 활성화 함수는 표준 비선형성보다 이론적 이점을 제공합니다.

저자들은 그들의 분석이 무작위 앙상블과 특정 실제 데이터에 의존하지만, 활성화 함수가 RBM 의 표현 지형을 어떻게 형성하는지 이해하기 위한 원칙적인 기초를 제공하며, 고차 통계적 규칙성을 포착해야 하는 작업에 대한 아키텍처 설계에 잠재적으로 지침을 제공할 수 있다고 결론지었습니다.