기술 요약: 모듈성이 지속 학습에 도움이 되는 차원 제어

문제 정의

지속 학습(Continual learning)은 새로운 지식을 습득(가소성, plasticity)하는 동시에 이전에 학습된 표현을 보존(안정성, stability)해야 하는 근본적인 "안정성-가소성 딜레마"에 직면한다. 이러한 긴장은 작업들이 구조를 공유할 때 더욱 악화되며, 새로운 학습이 이전 지식을 방해하는 간섭(interference)의 위험을 초래한다. 모듈형 아키텍처는 작업별 계산을 격리함으로써 간섭을 완화하기 위해 자주 제안되지만, 이러한 구조적 편향이 기능적으로 유익한지 아니면 중복적인지는 여전히 불분명하다. 구체적으로, 본 논문은 모듈성의 효용이 표현 레짐(representational regime), 즉 학습된 표현의 기하학적 특성(특히 유효 차원)에 의존하는지 조사한다.

방법론

실험 패러다임

본 연구는 순차적인 A–B–A 전이–간섭 패러다임(Holton et al., 2026에서 영감을 받음)을 활용한다.

• 단계 A1: 네트워크가 작업 A를 학습한다 (계절적 규칙에 기반하여 식물 단서와 다이얼 위치를 매핑).
• 단계 B: 네트워크가 새로운 자극을 통해 작업 B를 학습한다. 작업 B는 A와 동일한 형식적 구조를 공유하지만, 규칙 유사성 측면에서 변형된다: 동일(Same) (동일한 규칙), 근접(Near) (작은 각도 변화), 또는 원격(Far) (큰 각도 변화).
• 단계 A2: 작업 A에 대한 유지력과 간섭을 측정하기 위해 네트워크를 작업 A에 대해 재테스트한다.

아키텍처

두 가지 순환(recurrent) 아키텍처를 비교하였다:

1. 단일 네트워크 베이스라인(Single-Network Baseline): 단일 순환 인구 집단이 모든 입력을 처리하며 공유된 판독기(readout)를 사용한다.
2. 작업 분할 모듈형 네트워크(Task-Partitioned Modular Network): 입력이 작업 정체성에 따라 별도의 순환 모듈($M_A$는 작업 A용, $M_B$는 작업 B용)로 라우팅된다. 모듈 출력은 결합되어 공유된 판독기에 의해 처리된다. 이는 순환 처리 과정에서의 구조적 분리를 강제하지만, 출력 수준에서의 결합은 유지한다.

표현 레짐 제어

네트워크 용량을 변경하지 않고 학습된 표현의 유효 차원을 조작하기 위해, 저자들은 **초기화 가중치 스케일($\gamma$)**을 변화시켰다.

• 고차원("게으른", Lazy) 레짐: 큰 $\gamma$ 값은 표현을 초기화 상태에 가깝게 유지하여, 높은 유효 차원과 덜 특화된 코드를 생성한다.
• 저차원("풍부한", Rich) 레짐: 작은 $\gamma$ 값은 표현을 더 낮은 차원의 매니폴드로 강제하여, 구조화되고 특화된 코드를 유도한다.
• 측정 지표: 유효 차원은 은닉 상태의 분산을 99% 설명하는 데 필요한 주성분의 수로 정량화되었다.

분석

성능은 각도 정확도, 전이(작업 A를 바탕으로 한 작업 B의 개선 정도), 그리고 간섭(작업 A의 행동이 작업 B의 규칙 쪽으로 이동하는 정도)을 통해 측정되었다. 표현 기하학은 주성분 분석(PCA)을 사용하여 유효 차원, 작업별 부공간(subspace) 간의 주각(principal angles), 그리고 3D 시각화를 계산하여 분석되었다.

주요 결과

1. 모듈성은 차원에 따라 조건부적이다

모듈형 아키텍처의 이점은 보편적인 것이 아니라 표현 레짐에 의해 결정된다:

• 고차원("게으른") 레짐: 단일 네트워크와 모듈형 네트워크 모두 유사한 정확도, 전이 및 간섭 수준을 달성했다. 모듈형 네트워크의 명시적인 구조적 분리는 유의미한 이점을 제공하지 못했는데, 이는 고차원 공간이 단일 네트워크가 제한된 기하학적 압박 없이도 작업을 인코딩할 수 있는 충분한 자유도를 허용했기 때문이다.
• 저차원("풍로한") 레짐: 모듈성이 결정적이었다. 모듈형 네트워크는 모든 유사성 조건에서 높은 작업 A 정확도와 낮은 간섭을 유지했다. 반면, 단일 네트워크는 특히 "Far" 조건에서 상당한 간섭을 겪었는데, 이는 기존 지식을 덮어쓰지 않고 제약된 표현 공간을 재구성하는 데 어려움을 겪었기 때문이다.

2. 유사성 의존적 기하학의 출현

저차원 레짐에서 모듈형 네트워크는 단일 네트워크가 달성하지 못한 **단계적이고 구성적인 조직(graded, compositional organization)**의 표현 부공간을 발달시켰다:

• 유사한 작업 (Same): 표현이 밀접하게 정렬됨 (중첩된 부공간).
• 중등도로 이질적인 작업 (Near): 표현이 중간 정도의 각도를 점유함 (부분적 분리).
• 이질적인 작업 (Far): 표현이 강력하게 직교함 (분리된 부공간).
  단일 네트워크는 작업 거리와 관계없이 부공간이 더 얽혀 있는, 구조화가 덜 된 약한 유사성 의존성을 보였다.

3. 결과의 견고성

모듈 크기와 입력 라우팅을 변화시킨 제거(ablation) 연구를 통해 이러한 효과가 중간 정도의 아키텍처 변화에도 견고함을 확인했다. 차원이 모듈성의 기능적 영향을 조절한다는 핵심 발견은 다양한 구성에서도 유지되었다.

주요 기여

1. 게이팅 변수의 식별: 본 논문은 초기화에 의해 유도된 표현 레지임(차원과 공변하는)이 언제 구조적 모듈성이 기능적으로 유익해지는지를 결정하는 핵심 요소임을 밝혀냈다.
2. 구성적 기하학의 특성화: 저차원(제약된) 레짐에서 모듈형 네트워크가 구성적 재사용을 지원하면서도 간섭을 최소화하는 유사성 의존적 기하학적 조직(중첩 $\to$ 부분적 $\to$ 직교)을 자연스럽게 발달시킨다는 것을 입증했다.
3. 지속 학습 목표의 재정립: 이 결과는 지속 학습을 "공유"와 "분리" 사이의 이분법적 선택이 아니라, 최적의 기하학이 작업 유사성에 따라 결정되는 표현 부공간의 적응적 할당으로 보는 관점을 지지한다.

의의 및 주장

본 논문은 표현 차원이 모듈성이 도움이 되는 시점을 제어한다고 주장한다. 구조적 편향(예: 모듈성)은 기하학이 구속 요인이 될 만큼 표현 공간이 충분히 제약될 때만 학습 행동과 내부 기하학을 재형성한다. 고차원 "게으른" 레짐에서는 네트워크가 명시적인 구조적 분단 없이도 작업을 해결할 수 있는 충분한 자유도를 가진다. 그러나 저차원 "풍부한" 레ジ에서는 네트워크가 계산을 별도의 부공간으로 조직하도록 강제되며, 이때 아키텍처적 모듈성이 안정성-가소성 트레이드오프를 관리하는 데 결정적인 이점을 제공한다.

저자들은 견고한 구성적 지속 학습을 위해서는 고정된 아키텍처 분리에만 의존하는 것이 아니라, 변화하는 작업 구조에 대응하여 표현 차원과 부공간 조직을 동적으로 조절하는 메커니즘이 필요하다고 결론짓는다.

참고: 저자들은 PCA를 내재적 차원의 대리 지표로 사용한 점과 짧고 통제된 작업 시퀀스로 제한된 점을 포함한 한계를 명시하며, 이러한 효과가 더 길고 이질적인 지속 학습 벤치마크로 확장되는지 판단하기 위해 추가 연구가 필요함을 인정하고 있다.