기술 요약: 벡터 네트워크를 통한 구성적 잠재 구조 학습

문제 제기

현대 심층 네트워크는 일반적으로 다양한 계산을 구현하기 위해 공유된 조밀한 매개변수 기저에 의존합니다. 오차 역전파를 통해 서로 다른 특징, 기술, 행동은 동일한 가중치 행렬의 중첩된 방향으로 인코딩되는데, 저자들은 이를 가중치 얽힘이라고 명명합니다. 이러한 체제에서 한 행동에 대한 개선은 종종 그라디언트가 출력에서 집계되어 모든 계층을 통해 전파되기 때문에 다른 행동에 부수적으로 영향을 미칩니다. 결과적으로 표준 네트워크는 가중치 공간에서 "주소를 지정할 수 있는 책임성"이 부족합니다. 즉, 학습된 구성 요소를 격리, 재결합 또는 독립적으로 업데이트할 수 있는 영구적이고 재사용 가능한 객체로 자연스럽게 저장하지 못합니다. 사후 해석 가능성 방법이 때로는 기능 회로를 식별할 수는 있지만, 아키텍처 자체가 재사용 가능한 단위로의 분해를 강제하지는 않습니다. 이러한 한계는 익숙한 요인들을 재학습 없이 새로운 구성으로 재결합해야 하는 구성적 일반화를 방해합니다. 전문가 혼합 (Mixture-of-Experts) 이나 객체 중심 모델과 같은 기존 접근법은 라우팅이나 모듈성을 도입하지만, 종종 조밀한 모듈에 대한 순방향 라우팅을 통해 작동하거나 가중치 공간 자체에서 샘플별 책임을 명시적으로 만들지 않습니다.

방법론: 벡터 네트워크 (VN)

벡터 네트워크 (VN) 아키텍처는 고정된 조밀한 가중치 행렬을 재사용 가능한 랭크 -1 가중치 원자 (rank-1 weight atoms) 라이브러리로 대체함으로써 이러한 한계를 해결합니다. 핵심 메커니즘은 입력별 변환을 구성하는 빠른 추론과 기본 사전 (dictionary) 을 업데이트하는 느린 학습이라는 두 단계 프로세스로 이루어집니다.

1. 아키텍처 및 랭크 -1 원자

VN 의 각 계층 $l$은 단일 행렬 $W$가 아닌 $K_l$개의 랭크 -1 가중치 원자 사전으로 매개변수화됩니다. 각 원자 $i$는 학습된 코드 벡터 쌍인 입력 벡터 $s_{l,i}$와 출력 벡터 $u_{l,i}$로 정의됩니다. 이 둘은 랭크 -1 연산자를 형성합니다:
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
임의의 입력 $x_l$에 대해 네트워크는 원자 $i$의 기여도를 스케일링하는 희소 계수 집합 $g_l$ (여기서 $g_{l,i}$) 을 추론합니다. 효과적인 입력별 가중치 행렬 $W^*_l(x_l)$은 이러한 원자들의 선형 결합으로 합성됩니다:
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
이를 통해 네트워크는 단일 고정 행렬을 적용하는 대신 공유 사전의 소규모 부분집합을 사용하여 각 샘플에 맞춘 변환을 구성할 수 있습니다.

2. 에너지 최소화를 통한 빠른 추론

각 샘플에 대해 VN 은 희소 계수 $g_l$을 결정하기 위해 빠른 추론을 수행합니다. 이는 세 가지 항을 균형 있게 조절하는 계층-로컬 에너지 함수 $E_l$을 최소화함으로써 달성됩니다:

1. 입력 재구성: 입력 $x_l$과 재구성 $S_l g_l$ 사이의 오차를 최소화합니다 (여기서 $S_l$에는 입력 측 코드 벡터가 포함됨).
2. 상향 - 하향 일관성: 상위 계층에서 제공된 상향 - 하향 목표 $h_{l,target}$과 인터페이스 메시지 $U_l g_l$ 사이의 오차를 최소화합니다 (여기서 $U_l$에는 출력 측 코드 벡터가 포함됨).
3. 희소성: 희소 활성 집합을 강제하는 $\ell_1$ 페널티 $\lambda_l \|g_l\|_1$.

추론은 근사-기울기 단계 (ISTA/FISTA 스타일) 를 사용하여 인코더 - 디코더 수렴과 유사한 반복적인 상향 및 하향 스윕을 통해 진행됩니다. 이 과정은 소수의 원자만 활성화된 희소 고정점으로 수렴합니다. 최상위 계층은 추가로 하드 톱-$k$ 제약을 부과할 수 있습니다.

3. 느린 학습: 원자 - 헤브 업데이트

빠른 추론이 수렴하면 느린 학습이 가중치 원자를 업데이트합니다. 중요하게도, 업데이트는 비영계수 ($g^*_{l,i} \neq 0$) 를 가진 원자에만 적용됩니다. **원자 - 헤브 (Atomic-Hebb)**라고 명명된 업데이트 규칙은 추정된 책임성에 의해 스케일링된 로컬 잔차 업데이트입니다:
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
여기서 $r^x_l$과 $r^h_l$은 각각 재구성 및 상향 - 하향 잔차입니다. (Danskin 정리를 통한) 이론적 분석은 추론 과정을 블랙박스로 취급함에도 불구하고 이러한 로컬 업데이트가 전역 자유 에너지의 암시적 그라디언트와 정확히 동등함을 증명합니다. 이는 표준 역전파에서 관찰되는 확산적인 가중치 얽힘을 방지하면서 신용 할당을 현재 설명에 책임 있는 특정 가중치 원자로 국소화합니다.

주요 기여

1. 빌딩 블록으로서의 랭크 -1 가중치 원자: 저자들은 계층이 재사용 가능한 랭크 -1 원자로 구성된 계층적 재귀 아키텍처를 제안하며, 이를 통해 네트워크 기능을 주소 지정 가능하고, 검사 가능하며, 구성 가능하게 만듭니다.
2. 추론으로 정의된 효과적 가중치: 샘플에 대한 효과적 가중치 행렬은 고정된 것이 아니라 희소 계수에 대한 에너지 최소화를 통해 추론됩니다. 이는 구성 요소의 빠른 선택과 사전의 느린 학습을 분리합니다.
3. 원자 - 헤브 학습 규칙: 추정된 계수로 스케일링된 로컬 잔차 신호를 사용하여 선택된 가중치 원자만 업데이트하는 학습 규칙입니다. 이는 관련 없는 업데이트 간의 중첩을 제한하고 학습된 구성 요소의 재사용성을 보존합니다.
4. 가중치 업데이트 중첩의 구조적 한계: 업데이트를 희소 활성 집합으로 제한함으로써 아키텍처는 가중치 얽힘을 구조적으로 제한하여 한 행동을 학습하는 것이 반드시 다른 행동을 저하시키지 않도록 보장합니다.

실험 결과

저자들은 1D 신호, 2D 공간 디코딩, N-체 역학, 그리고 구성적 MNIST 를 아우르는 네 가지 벤치마크에서 VN 을 평가했습니다. 모든 경우 모델은 분포 내 (ID) 에서 훈련되었으며 익숙한 요인들의 새로운 조합을 포함하는 분포 외 (OOD) 사례에서 테스트되었습니다.

• 공간 구성: 보이지 않는 위치에서 가우시안 범프를 재구성해야 하는 작업에서 표준 CNN 과 VAE 는 상당한 OOD 오차를 보였습니다. VN 은 공간 영역 전반에 걸쳐 균일하게 낮은 오차를 유지하며 조밀한 베이스라인과 수동으로 분해된 디코더 모두를 능가했습니다.
• 함수 구성: 사인, 코사인, 다항식, 가우시안 함수의 합과 중첩 구성을 포함하는 1D 신호 재구성 및 마스킹 예측 작업에서 VN 은 우수한 안정성을 보여주었습니다. 강력한 시퀀스 모델 (Transformer, Mamba) 은 ID 및 간단한 OOD 재구성에서는 잘 수행되었지만, 재사용 가능한 구조의 복구가 필요한 마스킹 예측 작업에서는 성능이 크게 저하되었습니다. VN 은 이러한 더 엄격한 테스트에서 가장 명확한 우위를 보였습니다.
• N-체 역학: 중력, 항력, 로런츠 힘, 스프링이 혼합된 힘장 (mixed force fields) 과 다양한 개체 수를 포함하는 물리 벤치마크에서 VN 은 복잡한 OOD 변화 (여러 힘, 감소된 개체 수) 하에서도 낮은 오차를 유지했습니다. MLP, GNN, Transformer 와 같은 베이스라인은 힘이 결합되거나 개체 수가 변경될 때 오차가 크게 증가한 반면, VN 은 견고하게 유지되었습니다.
• 이미지 구성: MNIST 숫자 재구성 및 동적 변환 (회전/이동/확대/축소) 작업에서 VN 은 가산 혼합, 최대 투영, 복잡한 변환 구성을 포함하는 OOD 설정에서 오토인코더를 크게 능가했습니다. 가장 강력한 OOD 조건에서 이 우위는 약 한 자릿수 (order of magnitude) 정도였습니다.

모든 벤치마크에서 VN 은 ID 성능에 있어 강력한 베이스라인과 일치했지만, 익숙한 요인들이 새로운 방식으로 재결합되어야 할 때 분포 외 (OOD) 오차를 현저히 낮췄습니다 (종종 한 자릿수 정도).

중요성 및 주장

이 논문은 벡터 네트워크가 구성적 일반화를 아키텍처 및 추론 과정의 구조적 속성으로 만든다고 주장하며, 이는 많은 행동을 공유된 조밀한 기저에 맞추는 취약한 부산물이 아닙니다.

• 명시적 가중치 공간 책임성: 책임성이 암시적이고 얽혀 있는 표준 네트워크와 달리, VN 은 업데이트하기 전에 어떤 가중치 원자가 샘플에 책임이 있는지 명시적으로 추론합니다. 이 "빠른 재결합/느린 저장" 분리는 가소성을 국소화합니다.
• 메커니즘 수준의 구성: 결과는 VN 이 단순히 훈련 분포 내에서 보간하는 것이 아니라, 새로운 입력을 설명하기 위해 재결합될 수 있는 재사용 가능한 메커니즘 수준의 구성 요소 (예: 특정 힘 법칙 또는 공간 요인) 를 학습함을 시사합니다.
• 효율성 및 확장성: 저자들은 잠재 요인의 라이브러리가 학습되면 새로운 입력이 재구성을 통해 처리될 수 있음을 시사하며, 이는 특히 "롱 테일"의 보이지 않는 조합에서 향상된 데이터 효율성을 위한 자연스러운 경로를 제공합니다.
• 한계: 논문은 현재 구현이 단일 순방향 통과보다 느린 재귀적 희소 추론에 의존함을 인정합니다. 저자들은 추론이 향후 작업에서 학습된 순방향 업데이트로 근사될 수 있다고 언급하지만, 현재 형태는 해석 가능성과 모듈성을 우선시합니다.

요약하자면, 벡터 네트워크는 (Transformer 와 같은) 상태 라우팅에서 가중치 공간의 책임성으로의 전환을 제안합니다. 여기서 계산은 먼저 재사용 가능한 가중치 구성 요소에 대한 희소 책임을 추론하고, 학습은 그 추론된 구조에 선택적으로 작용합니다. 이 접근법은 가중치 얽힘 문제를 해결하고 익숙한 요인들의 새로운 구성에 대한 견고한 일반화를 가능하게 하는 것을 목표로 합니다.