기술 요약: 일반화된 홀로그래픽 축소 표현 (GHRR)

1. 문제 제기

초차원 컴퓨팅 (HDC) 은 연결주의와 기호주의 AI 를 연결하는 신경 - 기호 패러다임으로, 또한 벡터 기호 아키텍처 (VSA) 라고도 불립니다. HDC 는 강건성, 잡음 허용성, 고정 폭 구성의 특성을 가진 데이터를 표현하기 위해 고차원 초벡터를 활용합니다. 그러나 표준 HDC 구현, 특히 푸리에 홀로그래픽 축소 표현 (FHRR) 은 복잡한 구성 구조를 인코딩하는 데 다음과 같은 중대한 한계에 직면해 있습니다:

• 바인딩의 가환성: FHRR 의 표준 바인딩 연산 (스칼라 위상자의 요소별 곱셈) 은 가환적입니다. 이는 순열이나 위치 인코딩과 같은 외부 기법에 의존하지 않고 비대칭 구조 (예: 시퀀스, 트리) 를 인코딩하는 능력을 제한하며, 이러한 외부 기법은 표현을 복잡하게 만듭니다.
• 제한된 표현력: FHRR 의 바인딩 연산은 저용량 홀로그래픽 투영 (실제로 텐서 곱의 대각선을 취하는 것) 으로 작용합니다. 이는 딥러닝의 어텐션 메커니즘과 같이 복잡한 상호작용에 필요한 충분한 정보를 유지하는 능력을 제한합니다.
• 확장성 대 효율성: 딥러닝이 방대한 데이터와 연산을 통해 일반화를 달성하는 반면, HDC 는 더 효율적인 대안을 제공하지만 현재는 투명성, 강건성, 고정 폭과 같은 바람직한 특성을 희생하지 않고 복잡한 구조적 추론을 처리할 수 있는 표현력을 결여하고 있습니다.

2. 방법론: 일반화된 홀로그래픽 축소 표현 (GHRR)

저자들은 FHRR 을 확장하여 위의 한계를 해결하기 위해 기본 대수 구조를 일반화한 일반화된 홀로그래픽 축소 표현 (GHRR) 을 제안합니다.

핵심 수학적 프레임워크

• 원소의 일반화: FHRR 초벡터는 단위 군 $U(1)$ (단위 크기의 복소수 스칼라) 의 원소로 구성되는 반면, GHRR 은 이러한 원소를 $m \geq 1$에 대해 군 $U(m)$ 의 단위 행렬로 일반화합니다.
• 초벡터 구조: GHRR 초벡터 $H$는 차원 $D \times m \times m$의 텐서로, $H = [A^{(1)}, \dots, A^{(D)}]^\top$로 표현되며, 여기서 각 $A^{(j)} \in U(m)$입니다.
• 연산:
  • 번들링 (+): 요소별 행렬 덧셈.
  • 바인딩 ($*$): 요소별 행렬 곱셈. 이는 $m > 1$인 경우 본질적으로 비가환적이어서 순서와 비대칭 관계를 자연스럽게 인코딩할 수 있게 합니다.
  • 유사도: $\delta(H_1, H_2) = \frac{1}{mD} \text{Re} \left( \text{tr} \left( \sum_{j=1}^D A^{(j)} (B^{(j)})^\dagger \right) \right)$로 정의됩니다.

이론적 특성

본 논문은 GHRR 이 HDC 의 기본 요구 사항을 충족함을 입증합니다:

1. 준직교성: 무작위로 샘플링된 기본 초벡터는 준직교적입니다 (차원 $D \to \infty$일 때 유사도 $\to 0$).
2. 바인딩 불변성: 바인딩 연산의 결과는 그 피연산자와 준직교적이어서, 복합 구조가 그 부분들과 구별되도록 보장합니다.
3. 유사도 보존: 두 개념 간의 유사도는 세 번째 개념과 바인딩될 때 보존됩니다.
4. 커널 연결: GHRR 은 무작위 푸리에 특징 (RFF) 과의 연결을 유지합니다. GHRR 인코딩 간의 유사도는 이동 불변 커널을 근사합니다. 분해 $A = Q\Lambda$의 행렬 성분 $Q$는 적응형 커널을 가능하게 하여, 커널 모양을 입력이나 행렬 구조에 따라 조절할 수 있게 합니다.

바인딩으로서의 어텐션

핵심 이론적 통찰은 GHRR 바인딩이 어텐션 메커니즘을 구현할 수 있다는 점입니다.

• 표준 트랜스포머에서 어텐션은 $\text{softmax}(QK^\top)V$로 계산됩니다.
• GHRR 에서 바인딩 연산 (행렬 곱셈) 과 유사도 함수 (곱의 트레이스) 를 결합하면 수학적으로 어텐션 메커니즘을 반영합니다.
• 행렬 성분 $Q$를 학습 가능하거나 고정된 기저로, $\Lambda$를 데이터 인코딩으로 간주하면, GHRR 바인딩은 쿼리 - 키 유사도에 기반하여 값의 가중 합을 수행하지만, 이는 초차원 대수 내에서 이루어집니다.

3. 주요 기여

1. 프레임워크 도입: 단위 행렬 $U(m)$을 사용한 특정 구현을 갖춘 FHRR 의 유연한 비가환적 확장으로서의 GHRR 제안.
2. 이론적 증명: GHRR 이 HDC 특성 (준직교성, 유사도 보존) 을 만족하고 $m=1$일 때 FHRR 과 동등함을 공식적으로 증명.
3. 커널 및 바인딩 분석: FHRR 바인딩 (대각선 투영) 과 텐서 곱 표현 (전체 텐서 곱) 사이의 보간으로서 GHRR 바인딩 해석. 본 논문은 GHRR 의 바인딩이 어텐션 메커니즘을 구현할 수 있음을 입증합니다.
4. 실증적 검증:
   • 비가환성: FHRR 과 달리 순열 연산 없이 GHRR ($m=3$) 이 중첩된 사전과 트리를 인코딩할 수 있음을 입증.
   • 디코딩 정확도: FHRR 에 비해 깊은 구성 구조 (트리) 에 대해 $m$ (행렬 크기) 을 증가시키면 디코딩 정확도가 향상됨을 보임.
   • 용량: GHRR 이 비가환적 기능을 제공하면서도 FHRR 의 메모리 용량을 유지함을 확인.
   • 언어 모델링: 트랜스포머의 표준 어텐션 메커니즘을 GHRR 기반 동등물로 대체. 이 모델은 Wikitext-2 및 Penn Treebank 데이터셋에서 테스트됨.

4. 실험 결과

• 비가환성: 사전 검색 작업에서 가환적인 FHRR 은 순열된 키를 가진 값들을 구별하지 못했으나, GHRR ($m=3$) 은 올바른 값을 성공적으로 검색함.
• 디코딩 깊이: 트리 구조 데이터의 경우, 더 큰 $m$을 가진 GHRR 이 FHRR 에 비해 더 깊은 깊이에서 높은 디코딩 정확도를 유지함. 흥미롭게도, 순열 기반 FHRR 은 초기에는 100% 정확도를 유지하다가 급격히 떨어지는 반면, GHRR 은 더 우아하게 감소함.
• 용량: GHRR 은 FHRR 과 비교 가능한 번들링 용량을 보임. 특히 바인딩된 초벡터의 순열을 구별할 때, GHRR ($m > 1$) 은 순열을 구별하지 못하는 FHRR ($m=1$) 보다 훨씬 우수한 성능을 보임.
• 언어 모델링: 트랜스포머 어텐션을 GHRR 바인딩으로 대체한 결과 언어 모델링 작업에서 퍼플렉시티 (PPL) 가 개선됨:
  • Wikitext-2: 평균 5.47% 개선.
  • Penn Treebank: 평균 2.75% 개선.
  • 최상의 구성은 쿼리, 키, 값 행렬에 대해 서로 다른 위치 인코딩을 사용함.

5. 중요성과 주장

본 논문은 GHRR 이 HDC 의 단순성과 복잡한 기호 추론 및 딥러닝에 필요한 표현력 사이의 간극을 연결하는 유연한 비가환 바인딩 연산을 제공한다고 주장합니다.

• 표현력: GHRR 바인딩은 다른 HDC 변형들보다 더 표현력이 풍부하여, 표준 VSA 바인딩에는 존재하지 않는 행렬 곱셈을 통해 직접 어텐션 메커니즘을 구현할 수 있습니다.
• 효율성과 강건성: HDC 의 고정 폭, 홀로그래픽, 강건한 특성을 유지함으로써, GHRR 은 표준 딥러닝의 막대한 계산 자원에 의존하지 않는 효율적이고 해석 가능한 AI 시스템으로 가는 길을 제시합니다.
• 신경 - 기호 통합: 이 프레임워크는 연결주의 모델의 학습 능력을 유지하면서 구조를 명시적으로 지정할 수 있는 투명한 신경 - 기호 통합을 지원합니다.
• 실용적 유용성: 트랜스포머 어텐션을 GHRR 바인딩으로 성공적으로 대체한 것은 초차원 컴퓨팅이 최첨단 딥러닝 아키텍처를 직접 향상시켜 언어 모델링 작업의 성능을 개선하면서도 구조적 표현 학습을 위한 계산 및 데이터 요구 사항을 잠재적으로 낮출 수 있음을 보여줍니다.

저자들은 GHRR 이 전통적인 HDC 의 바람직한 특성을 희생하지 않고 복잡한 구성 구조의 정확한 인코딩 및 디코딩을 가능하게 함으로써 효율적이고 해석 가능한 AI 를 위한 새로운 길을 열었다고 결론 내립니다.