Task diversity produces systematic transfer but inhibits continual reinforcement learning

기술 요약: Banyan – 과업 다양성이 전이(Transfer)에 미치는 영향을 연구하기 위한 절차적 생성 환경

1. 문제 정의

지속적 강화 학습(Continual Reinforcement Learning, RL)은 에이전트가 현재의 과업에서 개선될 뿐만 아니라, 과업 분포가 변화함에 따라 적응할 수 있는 능력을 개발하는 것을 목표로 한다. 기존 연구들은 다양한 과업에 대한 학습이 제로샷 일반화(frozen weights로 평가됨)를 유도할 수 있음을 입증했으나, 과업 다양성이 분포 변화에 따른 가중치 업데이트를 통한 '지속적인 학습' 능력까지 향상시키는지에 대해서는 여전히 불분명하다. 기존의 지속적 RL 벤치마크들은 대개 수백 개의 과업에 대한 순차적 학습을 포함하지만, 대규모 절차적 생성 환경(예: XLand, AdA)은 수백만 개의 과업을 포함하면서도, 통제된 분포 변화 속에서 '양'과 '유형'의 다양성이 학습에 어떻게 영향을 미치는지 격리하여 연구할 수 있는 제어력을 갖추고 있지 않다.

2. 방법론: Banyan 환경

저자들은 구성 가능한 과업 공간(compositional task spaces)에 대한 지속적 RL을 연구하기 위해 설계된, GPU 가속 기반의 절차적 생성 도메인인 Banyan을 소개한다. Banyan은 과업 $\tau = \langle L, T, O \rangle$를 세 가지 독립적으로 제어 가능한 축으로 분해한다:

• 레이아웃 (Layout, $L$): 벽의 배치와 초기 객체 배치를 포함한 환경 맵으로, 내비게이션 문제를 정의한다.
• 과업 트리 토폴로지 (Task-Tree Topology, $T$): 목표의 추상적 구조로, 하위 목표(변환 vs 조합)의 깊이, 분기 및 의존 순서를 정의한다.
• 객체 할당 (Object Assignment, $O$): 과업 트리의 노드에 할당되는 구체적인 객체의 정체성.

과업 메커니즘:

• 목표: 에이전트는 그리드를 탐색하고, 과업 트리에 정의된 특정 루트 객체를 생성하기 위해 객체를 집고, 떨어뜨리고, 결합하거나 단일 아이템을 변환해야 한다.
• 관측: 에이전트는 전체 그리드와 목표 객체 설명을 보지만, 과업 트리의 구조와 해결 순서를 추론해야 한다.
• 역학(Dynamics): 객체 결합 및 변환 규칙은 고정되어 있으며, 오직 공간적 레이아웃과 객체의 정체성만이 변한다.
• 커리큘럼: 과업은 깊이 1에서 6까지 펼쳐진다. 깊은 과업은 얕은 과업을 위한 커리큘럼 역할을 하며, 분포는 중첩된다(깊이-6 과업은 모든 얕은 하위 과업을 포함한다).

실험 프로토콜:
저자들은 두 알고리즘인 **PPO(Proximal Policy Optimization)**와 **PQN(Parallelised Q-Network)**을 평가한다. 이들은 다음을 측정한다:

• 순방향 전이 (Forward Transfer): 분포 $d_{i-1}$에서의 최종 성공률과 $d_i$에서의 초기 성공률 사이의 '전이 간극($\Delta_i$)'.
• 역방향 전이 (Backward Transfer): 후속 분포에 대해 학습한 후, 이전 분포 $d_i$에서의 성능 변화.

3. 주요 기여

1. Banyan 벤치마크: 레이아웃, 객체 할당, 토폴로지를 독립적으로 변화시켜 수십억 개의 잠재적 과업에 대한 지속적 RL 연구를 가능하게 하는 제어된 다중 과업 도메인.
2. 체계적 전이의 증거: 레이아웃, 객체 할당 또는 토폴로지 중 어떤 축의 다양성을 높이더라도 체계적인 전이가 유도되어, 에이전트가 이전 성능 수준 근처에서 새로운 분포를 시작할 수 있음을 보여주는 실험적 증거.
3. 다양성에 의한 억제 증거: 적절한 다양성은 전이를 돕지만, 과도한 다양성은 장기적인 지속적 학습을 저해하여 에이전트가 새로운 분포에서 성능이 정체되도록 만든다는 실험적 증거.

4. 주요 결과

A. 다양성이 체계적 전이를 유도함 (단일 변화 시)
$d_1$에서 $d_2$로의 단일 변화를 포함하는 실험에서:

• 순방향 전이: $d_1$ 내의 레이아웃($|L|$), 객체 할당($|O|$), 또는 토폴로지($|T|$)의 수를 늘리면 전이 간극($\Delta_2$)이 0을 향해 감소한다. 고도로 다양한 $d_1$에서 학습된 에이전트는 $d_2$에서 이전 성능 수준에 필적하는 성능으로 시작한다.
• 역방향 전이: $|L|$ 또는 $|O|$를 늘리는 것은 역방향 전이에 거의 영향을 미치지 않았다. 그러나 토폴로지 수($|T|$)를 늘리는 것은 역방향 전이를 크게 개선했는데, 이는 과업의 구조적 의존성을 다양화하는 것이 이전 분포에 대한 지식 유지에 결정적임을 시사한다.
• 메커니즘: $d_1 \to d_2$ 경계에서의 PQN TD-오차 분석 결과, 높은 다양성이 낮은 초기 TD-오차와 더 나은 초기 정책을 생성함을 밝혔다. 이는 다양성이 분포 외(off-distribution)에서도 잘 일반화되는 가치 특징(value features)을 형성함을 시사한다.
• 일반화 가능성: 이러한 효과는 연속 제어 "Point Mass" 도메인에서도 재현되었으며, 이는 이 현상이 이산 그리드 월드 제어의 산물이 아님을 나타낸다.

B. 다양성이 장기적 지속 학습을 저해함 (연쇄적 변화 시)
10개의 분포($d_1 \dots d_{10}$)가 포함된 시퀀스 실험에서:

• 역설: 높은 다양성($n=256$개의 고유 레이아웃/토폴로지)은 모든 경계에서 전이 간극을 성공적으로 좁혔지만(에이전트가 매 새로운 분포를 이전의 정점 성능으로 시작함), 시퀀스 내에서 성능을 개선하는 능력을 **정체(plateau)**시켰다.
• 성능 궤적:
  • 중간 정도의 다양성($n=16$)에서 에이전트는 계속 학습하여, $d_1$에서의 성공률 약 0.74에서 $d_{10}$에서의 약 0.95까지 개선되었다.
  • 높은 다양성($n=256$)에서, 새로운 분포에 대한 성공률은 10개의 분포 전체에 걸쳐 0.80 근처에서 평탄하게 유지되었다. $d_{10}$에서의 최종 성능은 다양성이 $n=16$을 넘어 증가함에 따라 단조 감소했다.
• 간섭 (Interference): 높은 다양성은 강한 역방향 전이(10라운드 후 $d_1$의 성능이 약 0.80에서 약 0.95로 개선됨)를 유도했지만, 새로운 분포에 대한 특화(specialization)를 방해했다. 저자들은 이를 간섭의 결과로 설명한다. 즉, 네트워크는 분포 전반에 걸쳐 공유되는 일반적인 과업 구조는 학습하지만, 새로운 분포에 필요한 구체적인 구조를 학습하는 데는 방해를 받는다는 것이다.

5. 의의 및 주장

본 논문은 과업 다양성이 지속적 RL에 있어 양날의 검이다라는 중요하고도 역설적인 발견을 주장한다.

• 동기: 다양성은 체계적인 전이를 유도하여, 에이전트가 일반적인 과업 구조에 대한 파괴적 망각 없이 새로운 분포 변화에 즉각적으로 적응할 수 있게 하는 데 필수적이다.
• 한계: 그러나 개별 전환을 부드럽게 만드는 바로 그 다양성이 장기적인 시퀀스에서의 학습 축적을 방해한다. 저자들은 "학습과 규모 그 자체만으로는 충분하지 않을 수 있다"고 주장하며, 일반화(전이)와 특화(새로운 구체적 학습) 사이의 트레이드오프가 많은 과업 환경에서의 가중치 공유 함수 근사(weight-sharing function approximation)에 내재된 현상임을 시사한다.

이 연구는 현재의 RL 연구에 존재하는 중요한 간극을 강조한다: 다양성은 제로샷 일반화를 위해 찬양받지만, 지속적으로 학습할 때 에이gent가 새로운 분포에 대한 성능을 최적화하는 능력을 능동적으로 저해할 수 있다. 저자들은 높은 과업 다양성으로 인한 간섭을 완화할 수 있는 알고리즘을 개발하고 이 트레이드오프를 심층 조사할 수 있도록 Banyan을 커뮤니티에 공개한다.