기술 요약: 지속적 강화 학습에서의 파괴적 망각 (Catastrophic Forgetting)

문제 정의

지속적 학습(continual learning), 즉 시스템이 이전 지식을 유지하면서 순차적으로 새로운 과업을 학습하는 능력은 머신러닝에서 여전히 해결되지 않은 중요한 과제로 남아 있다. 이러한 능력의 주요 장벽은 모델이 새로운 정보를 학습할 때 이전에 습득한 지식을 상실하는 **파괴적 망각(catastrophic forgetting)**이다. 지도 학습 및 신경망에서의 망각 완화에 관한 광범위한 연구가 존재하지만, **과업 유사성(task similarity)**과 **강화 학습(RL)**에서의 망와 심각도 사이의 구체적인 관계는 아직 정량화되지 않았다.

본 연구는 지속적 RL 환경에서 새로운 과업의 유사성이 이전 과업의 성능 저하에 미치는 영향을 조사한다. 본 연구의 목적은 과업 차이의 정도와 파괴적 망각의 크기 사이에 정량화 가능한 관계가 존재하는지 결정하는 것이며, 특히 해석 가능한 테이블형(tabular) RL 에이전트를 대상으로 한다.

방법론

실험 프레임워크

본 연구는 그래프 기반 과업에 대한 **테이블형 Q-러닝(tabular Q-learning)**을 채택한다. 에이전트의 목표는 특정 목표 상태(goal state)에 도달하는 데 필요한 단계 수를 최소화하는 것이다. 테이블형 방법을 사용하는 것은 해석 가능성을 보장하며, 그래프 기반 환경은 과업 구조를 정밀하게 제어할 수 있게 한다.

과업 생성

과업은 2D 평면상의 점(sites) 집합으로부터 유도된 **보로노이 다이어그램(Voronoi diagrams)**을 사용하여 생성된다.

• 구조: 그래프의 노드는 보로노이 다이어그램의 꼭짓점에 해당하며, 에지는 인접한 영역 간의 연결을 나타낸다.
• 유사성 제어: 연관된 과업 시퀀스를 생성하기 위해, 보로노이 다이어그램의 내부 점들을 섭동(perturbation)시킨다. 기본 점 집합($x_0$)과 새로운 점 집합 ($x_1$)은 가우시안 분포에서 샘깁다. 새로운 과업 구성($x_\alpha$)은 다음과 같은 선형 보간을 통해 생성된다:
  $$x_\alpha = \cos\left(\frac{\pi}{2}\alpha\right)x_0 + \sin\left(\frac{\pi}{2}\alpha\right)x_1$$
  여기서 $\alpha \in [0, 1]$은 섭동의 정도를 제어한다. $\alpha=0$은 기본 과업을, $\alpha=1$은 완전히 섭동된 과업을 나타낸다.
• 일관성: 에이전트가 과업을 비교할 수 있도록 **회전 시스템(rotation system)**이 구현된다. 이는 절대 좌표가 아닌 노드 주변의 상대적인 시계 방향 순서에 따라 행동(뒤로, 왼쪽으로, 오른쪽으로)을 할당한다. 이를 통해 에이전트는 공간적 왜곡과 독립적으로 위상적 구조를 해석할 수 있다.

과업 유사성 측정

본 연구는 에이전트가 기하학적 거리보다는 단계 수를 최적화하므로, 과업 유사성을 그래프 간의 **위상적 구조 차이(topological structural difference)**로 정의한다.

• 지표: 그래프 편집 거리(Graph Edit Distance)의 계산적 난해함(NP-hard)으로 인해, 본 연구는 계산 가능한 두 가지 지표의 조합을 활용한다:
  1. 와서슈타인 거리 (Wasserstein Distance, $W_2$): 보로노이 셀 면적의 공간적 분포 차이를 측정한다.
  2. 하우스도르프 거리 (Hausdorff Distance, $\delta_H$): 두 그래프의 꼭짓점 집합 사이의 최대 거리를 측정한다.
• 결합 지표: 최종 유사도 측정치 $\Delta(G_1, G_2)$는 정규화된 와서슈타인 거리와 하우스도르프 거리의 평균이다.

평가 프로토콜

1. 단계 1 (기본 학습): 에이전트를 기본 그래프($G_0$)에 대해 수렴할 때까지 학습시킨다. 성능은 목표 도달까지의 단계 수로 측정된다.
2. 단계 2 (새로운 과업 학습): 동일한 에이전트를 다른 위상을 가졌으나 동일한 목표 상태를 가진 새로운 그래프($G_\alpha$)에 대해 학습시킨다.
3. 단계 3 (망각 측정): 에이전트를 원래의 기본 그래프($G_0$)에 대해 다시 테스트한다.
4. 정량화: 망각은 새로운 과업을 학습한 후의 기본 과업 해결 단계 수의 증가분(학습 전 성능 대비)으로 정량화된다.

주요 결과

본 연구는 다양한 수준의 과업 복잡도와 유사성($\alpha$)에 대해 100회의 실험적 시행을 수행하였다.

• 복잡한 역학: 결과는 과업 유사성과 망각 사이의 복잡한 역학 관계를 드러내며, 과업 유사도 및 과업 복잡도의 변화에 따라 망각의 심각도에서 상당한 변동이 관찰되었다.
• 가변성: 데이터는 망각 결과에서 높은 수준의 가변성을 보였으며, 과업 유사도 측정치의 불균등한 분포가 동반되었다.
• 통계적 유의성: 결정적으로, 본 연구는 과업 유사성 그 자체만으로는 지속적 강화 학습에서 망각에 영향을 미친다는 통계적 유의성의 증거를 발견하지 못했다. 두 변수 사이의 관계는 여전히 불분명하며, 어떠한 특정 패턴(선형, 단조성 또는 기타)도 확인되지 않았다.
• 상호 의존성: 관찰된 결과는 망각이 과업의 유사성과 복잡도 모두에 의존한다는 상호 의존성을 시사하지만, 이 관계의 구체적인 성격은 해결되지 않았다.

의의 및 주장

본 논문은 과업의 차이가 어떻게 구체적으로 강화 학습에서의 파괴적 망각을 유도하는지를 정량화하고자 하는 문헌적 공백에 대한 탐색적 조사를 위치시킨다.

• 겸허한 주장: 저자는 관찰 결과가 망각이 유사성과 복잡도 모두에 의존함을 시사한다고 명시적으로 밝히지만, 결정적인 인과 기제나 특정 함수 관계를 입증했다고 주장하지 않는다.
• 부정적 결과로서의 기여: 본 연구의 주요 기여는, 이 특정한 테이블형 그래프 기반 설정 내에서 과업 유사성 단독으로는 망각 심각도를 예측하는 통계적으로 유의미한 예측 변수가 아닌 것처럼 보인다는 발견이다. 이는 유사성이 모든 RL 맥락에서 망각 위험의 직접적인 대리 지표가 될 것이라는 가설에 도전한다.
• 향후 방향: 본 논문은 관찰된 가변성을 해결하기 위해 더 견고한 실험 설계나 대안적인 지표가 필요함을 언급하며, 과업 유사성과 파괴적 망각 사이의 잠재적 상호작용을 포괄적으로 이해하기 위한 추가 연구가 필요하다고 결론짓는다.

본 연구는 새로운 완화 알고리즘이나 특정 응용 분야를 제안하기보다는, 구조적 변수를 격리하기 위해 해석 가능한 모델을 사용하여 문제 공간에 대한 기초적인 분석을 제공한다.