기술 요약: MoRe: 순차 데이터에 대한 원칙적 지속적 표현 학습을 위한 모듈식 표현

1. 문제 정의

본 논문은 순차적으로 새로운 데이터에 적응할 때 발생하는 파괴적 망각 (catastrophic forgetting) 문제를 다루는 지속적 학습 (Continual Learning, CL) 의 과제에 초점을 맞춥니다. 저자들은 기존 CL 방법들 (지도 및 비지도 학습 모두) 이 대부분 파라미터 제약, 재생, 증류, 또는 아키텍처 격리 같은 휴리스틱 전략에 의존하여 무엇을 보존하고 무엇을 업데이트할지 결정한다고 주장합니다. 이러한 접근법들은 종종 "무엇을 업데이트할지"에 대한 결정을 작업 수준이나 파라미터 수준의 문제로 취급할 뿐, 표현 (representational) 차원의 문제로 다루지 않습니다.

식별된 핵심 문제는 작업들이 기존 지식을 방해하지 않으면서 선택적으로 업데이트될 수 있는 고유하면서도 구조화된 표현을 필요로 한다는 점입니다. 그러나 현재 방법론들은 표현의 어느 부분을 재사용하고 어느 부분을 교체할지 결정하기 위해 데이터의 고유한 구조에 기반한 원칙적 기준을欠乏하고 있습니다. 본 논문은 순차 데이터의 경우 시간 지연 의존성 (time-delayed dependencies) 이 데이터의 고유한 조직을 드러내는 자연스러운 신호를 제공하여, 근본적인 표현이 어떻게 구체적인 표현으로 이어지는지를 밝힌다고 제시합니다.

2. 방법론: MoRe 프레임워크

저자들은 원칙적 지속적 표현 학습을 위한 MoRe(Modular Representations) 프레임워크를 제안합니다. 작업별 별도의 네트워크와 같은 아키텍처 수준에서 모듈성을 할당하는 방법들과 달리, MoRe 는 표현 내부에서 모듈성을 식별합니다.

2.1 생성 모델 및 가정

MoRe 는 잠재 변수 $Z_t$가 $d$개의 층 ($Z^1_t, \dots, Z^d_t$) 으로 조직된 계층적 과정에 의해 생성된다고 가정합니다:

• 계층 구조: 상위 층은 물리적 원리와 같은 근본적이고 도메인 중립적인 지식을 인코딩하는 반면, 하위 층은 전문적이고 도메인 특화 정보를 포착합니다.
• 단방향 시간 지연 의존성: 층 간 효과는 시간 지연을 두고 근본 층에서 구체 층으로 단방향으로 흐릅니다 (예: $Z^i_t$는 $j < i$일 때 $Z^j_{t-\tau}$에 의존함). 즉각적인 층 간 의존성은 허용되지 않습니다.
• 층 내 의존성: 동일한 층 내의 의존성은 제한이 없습니다.

2.2 이론적 보장 (식별 가능성)

주요 기여 중 하나는 이러한 특정 생성 구조가 잠재 과정의 식별 가능성 (identifiability) 을 허용한다는 증명입니다:

• 정리 1 (잠재 변수 식별 가능성): 매끄러운 밀도와 충분한 변동성 조건 하에서, 즉각적인 관계는 잠재 변수가 층 간에 섞이는 것이 아니라 동일한 층 내에서만 섞일 수 있음을 보장합니다.
• 정리 2 (계층적 순서 식별 가능성): 단방향 시간 지연을 가진 층 간 효과는 층의 허용 가능한 순열을 제한합니다. 계층 구조는 "호환 가능한 순서"(실제 시간 지연 효과를 반전시키지 않는 순서) 까지 식별 가능합니다.
• 귀결 1: 이를 종합하면, 전체 잠재 과정은 층 내 불확실성과 호환 가능한 계층적 순서까지 식별 가능합니다. 이는 모듈을 휴리스틱적 구성에서 잘 정의된 객체로 변환하여 재사용 및 확장에 대한 원칙적 결정을 가능하게 합니다.

2.3 적응 알고리즘

MoRe 는 새로운 데이터셋 $D_k$에 대해 2 단계 적응 절차를 사용합니다:

1. 피팅 및 평가 (추론 전용):

   • 새로운 데이터는 이전 인코더 $f_{k-1}$을 사용하여 기존 좌표계로 투영됩니다.
   • 자기 일관성 점수 매기기: 각 기존 모듈은 그 가정한 생성 구조 (시간적 자기상관 및 다른 모듈 잔차와의 조건부 독립성) 가 새로운 데이터에서 유지되는지에 따라 점수 ($a_j$) 를 받습니다.
   • 잔차 분석: 관측 공간에서의 재구성 잔차를 분석하여 기존 기저에 직교하는 새로운 좌표 후보 ($V_{new}$) 를 식별하고, 누락된 구조를 표면화합니다.

2. 선택적 업데이트:

   • 게이팅 메커니즘: 각 모듈 (기존 및 새로운 후보) 은 하드 콘크리트 게이트 (Hard Concrete gate) ($g_j$) 와 연관됩니다. 자기 일관성 점수 $a_j$는 게이트 사전 분포를 초기화합니다 (높은 $a_j$ $\rightarrow$ 양의 로짓; 낮은 $a_j$ $\rightarrow$ 음의 로짓).
   • 정렬: 학습 가능한 정렬 행렬 $T$(단위 행렬로 초기화) 는 전체 재학습 없이 재사용된 모듈에 대한 작은 좌표 조정을 가능하게 합니다.
   • 목적 함수: 손실 함수는 데이터 적합 (변수 변환 가능도), 정렬 정규화항 ($\|T - I\|_F^2$), 그리고 게이트 ($L_0$) 와 새로운 전이 블록 ($J_{new}$) 에 대한 희소성 패널티를 결합합니다.
   • 확정: 학습 종료 시 게이트는 이진화됩니다. $g_j=0$인 모듈은 비활성화되지만 라이브러리에는 유지되고, $g_j=1$인 새로운 모듈은 추가됩니다.

3. 주요 기여

1. MoRe 프레임워크: 작업 경계가 아닌 데이터 생성 과정을 반영하는 근본 및 구체 모듈의 계층으로 표현을 분해하는 방법.
2. 식별 가능성 보장: 층 간 시간 지연 의존성 하에서 계층적 모듈 구조가 식별 가능함을 보여주는 이론적 증명으로, 어떤 모듈을 재사용하거나 확장할지 결정하기 위한 원칙적 기반 제공.
3. 적응 절차: 기존 모듈을 통해 새로운 데이터를 해석하고 일관성을 점수화하며, 학습 가능한 게이트를 사용하여 선택적으로 정렬, 유지 또는 확장하는 2 단계 알고리즘.
4. 실증적 검증: 합성 벤치마크와 실제 대규모 언어 모델 (LLM) 활성화 데이터에 대한 시연으로 해석 가능한 계층 구조와 향상된 가소성 - 안정성 트레이드오프 입증.

4. 실험 결과

4.1 합성 벤치마크

• 식별 가능성 (S-RQ1): MoRe 는 선형 및 비선형 설정 모두에서 다양한 차원 (최대 128) 과 깊이 (최대 4 층) 에 걸쳐 잠재 요인을 성공적으로 복원하여 높은 평균 상관 계수 (MCC > 0.9) 를 달성했습니다.
• 가소성 - 안정성 (S-RQ2): 새로운 요인이나 누락된 요인이 포함된 전환 시나리오에서 MoRe 는 거의 제로 또는 음수 수준의 망각 (기존 요인 복원 개선) 을 달성하면서 미세 조정과 비교 가능한 가소성을 유지했습니다. 제거 연구는 정렬 행렬 $T$가 기존 표현을 보호하는 데 결정적임을 확인했습니다.
• 요인 할당 (S-RQ3): MoRe 는 요인을 재사용되거나 새로운 모듈로 올바르게 라우팅했습니다. 기존 및 새로운 요인이 부분적으로 겹치는 "어려운" 선택적 사례에서는 게이트 정확도가 0.5 로 떨어졌는데, 이는 고유한 모호성을 반영하지만 올바르게 작동하려면 기존 및 새로운 게이트 모두에 희소성 패널티가 필요했습니다.

4.2 실제 LLM 활성화

• 계층적 등장 (RW-RQ1): ArXiv, AMPS, Wikipedia 등의 데이터셋에서 Pythia-1.4B 및 Gemma-2-9B 의 활성화에 적용한 결과, MoRe 는 "광범위에서 구체로"의 구조를 발견했습니다.
  • 개념 집중: AMPS 데이터셋 (수학 커리큘럼) 에서 하위 층 ($L_0$) 은 상위 층보다 더 높은 개념 집중도 (난이도 계층에 대한 구체성) 를 보였으며, 이는 커리큘럼 계층 구조와 일치했습니다.
  • 층 간 링크: 추출된 B-행렬 링크는 AMPS 에서 산술과 같은 근본 개념에서 선형 대수와 같은 구체 개념으로의 전환을, ArXiv 에서 추상 수학에서 응용 도메인으로의 전환을 보여주었습니다.
• 레이블 효율성 (RW-RQ2): 고정된 MoRe 표현 위에서 훈련된 선형 프로브는 소수 샷 (few-shot) 설정에서 PCA 베이스라인보다 우수한 성능을 보였습니다. 예를 들어, MoRe 는 단일 층의 64 차원과 레이블 데이터의 절반만 사용하여 256 차원의 PCA 와 동등한 성능을 달성했습니다.

5. 중요성 및 주장

본 논문은 지속적 학습의 핵심 과제가 표현적 (representational) 이라고 주장합니다. 데이터의 식별 가능한 구조(특히 시간 지연을 가진 층 간 의존성) 에 적응 과정을 근거로 삼음으로써, MoRe 는 휴리스틱적 작업 기반 또는 파라미터 기반 격리에 대한 원칙적 대안을 제시합니다.

• 원칙적 기반: 이 프레임워크는 지속적 적응이 작업 레이블이 아닌 데이터의 고유한 조직에 의해 주도되어야 함을 시사하며, 근본적인 구성 요소의 재사용과 구체 구성 요소의 확장을 가능하게 합니다.
• 해석 가능성: 학습된 계층 구조는 해석 가능하며, 실제 데이터셋에서 인간이 정의한 계층 구조와의 정렬을 통해 일반 원리에서 구체 적용으로의 전환을 반영합니다.
• 효율성: 이 방법은 한 번 학습된 풍부한 표현이 레이블 효율적인 하위 작업 적응을 가능하게 하여, 새로운 작업에 대한 표현을 구성하는 데 몇 개의 샘플만 필요함을 보여줍니다.

저자들은 현재 구현이 선형 인스턴스화를 사용하며 이론적 가정 (단방향 지연, 희소성) 이 실제로는 근사적으로만 충족될 수 있음을 지적하며 한계를 겸손하게 인정합니다. 그들은 이 작업을 완전한 지속적 학습 시스템으로 나아가는 기초적인 단계로 간주하며, 장기적 안정성과 비선형 확장성은 향후 연구 과제로 남깁니다.