Evidence of an Emergent "Self" in Continual Robot Learning

이 논문은 지속적 학습 (Continual Learning) 환경에서 로봇이 학습 과정에서 어떻게 '자아 (Self)'와 유사한 불변의 구조가 자발적으로 발현되는지를 규명한 연구입니다. Columbia University 의 Creative Machines Lab 연구팀 (Adidev Jhunjhunwala, Judah Goldfeder, Hod Lipson) 이 수행한 이 연구는 인공지능의 자기 인식 (Self-awareness) 을 정량화하고, 로봇 제어 정책 내부에서 '자아'에 해당하는 부분을 분리해내는 새로운 접근법을 제시합니다.

다음은 논문의 상세 기술 요약입니다.

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 질문: 지능형 시스템이 '자아 (Self)'의 개념을 가지고 있는지, 그리고 이를 다른 인지 구조와 어떻게 구분할 수 있는지에 대한 정량적 방법이 부재합니다.
• 가설: 저자들은 '자아'를 경험 전체에 걸쳐 불변 (Invariant) 으로 유지되는 인지 과정의 일부로 정의합니다. 즉, 빠르게 습득되거나 변하는 기술 (Task-specific knowledge) 과 달리, 로봇의 신체 구조와 역학에 대한 내적 모델은 학습이 진행됨에도 불구하고 상대적으로 덜 변하는 '지속적인 부분'으로 남을 것이라고 가정합니다.
• 기존 연구의 한계: 기존 로봇의 자기 모델링 (Self-modeling) 연구는 대부분 명시적으로 자아 모델을 분리하여 학습시키거나, 외부 센서 데이터를 기반으로 신체 구조를 재구성하는 방식에 의존했습니다. 본 연구는 어떤 명시적인 모델링이나 구조적 제약 없이, 단순히 여러 행동을 순차적으로 학습하는 과정에서 자아 구조가 자발적으로 (Spontaneously) 나타나는지 확인하고자 합니다.

2. 방법론 (Methodology)

2.1 실험 설정

• 로봇 환경: 시뮬레이션된 4 발 보행 로봇 (Ant-like quadruped) 을 사용했습니다.
• 학습 조건 비교:
  1. 지속적 학습 (Continual Learning): 하나의 제어기 (Policy) 가 순차적으로 세 가지 다른 보행 행동 (Walk: 걷기, Wiggle: 제자리 회전, Bob: 수직 점프) 을 학습합니다. 행동 간 전환 시 이전 정책의 가중치만 전달합니다.
  2. 통제군 (Control Baseline): 동일한 로봇이 오직 하나의 행동 (예: 걷기만) 을 반복적으로 학습합니다.
• 학습 알고리즘: Soft Actor-Critic (SAC) 을 사용하며, 각 행동마다 별도의 리플레이 버퍼를 갖되 정책 가중치는 공유합니다.

2.2 분석 기법: 불변 서브네트워크 탐지

학습된 신경망 내부에서 '자아'에 해당하는 부분을 찾기 위해 다음과 같은 단계를 거쳤습니다:

1. 공활성화 (Co-activation) 분석: 여러 행동 (Walk, Wiggle, Bob) 에 대한 공통 참조 상태 (Shared reference states) 에서 뉴런들의 활성화 패턴을 수집합니다.
2. 뉴런 군집화: 뉴런 간의 활성화 상관관계 (Cosine similarity) 를 기반으로 **공활성화 행렬 (Co-activation matrix)**을 생성하고, 이를 블록 대각화 (Block diagonalization) 하여 연결된 뉴런 군집 (서브네트워크) 을 식별합니다.
3. 지속성 점수 (Persistence Score) 측정: 행동이 변경될 때 (예: Walk → Wiggle), 동일한 뉴런 군집이 얼마나 유지되는지 측정합니다.
   • 자아 서브네트워크: 행동이 바뀌어도 구조와 활성화 패턴이 유지되는 군집.
   • 작업 서브네트워크: 새로운 행동에 적응하기 위해 재구성되거나 변하는 군집.

3. 주요 결과 (Key Results)

3.1 자아와 유사한 불변 서브네트워크의 발현

• 지속적 학습 그룹: 여러 행동을 학습한 로봇의 신경망에서는 명확하게 분리된 하나의 지배적인 서브네트워크가 발견되었습니다. 이 서브네트워크는 행동이 변경되더라도 (Walk → Wiggle → Bob) 그 구조와 뉴런 연결성이 매우 안정적으로 유지되었습니다.
• 통제군 (단일 작업) 과의 비교: 단일 행동만 학습한 로봇의 경우, 신경망은 전체적으로 분산되어 있으며 명확한 불변 구조가 관찰되지 않았습니다. 즉, 학습 시간이 길어졌다고 해서 자발적으로 자아 구조가 생기는 것이 아니라, 행동 간 전환 (Continual Learning) 이 필수 조건임을 시사합니다.

3.2 정량적 통계적 유의성

• 지속성 점수 차이: 지속적 학습 그룹에서 식별된 '자아 서브네트워크'의 평균 지속성 점수는 '작업 서브네트워크'보다 약 16.9% 포인트 더 높았습니다 (99% 신뢰수준, p ≪ 0.001).
• 층별 특성:
  • 제 1 은닉층 (Layer 1): 자아 서브네트워크가 가장 크게 형성되었으며 (약 80 개 뉴런), 행동 간 불변성이 가장 강력했습니다.
  • 제 2 은닉층 (Layer 2): 자아 코어는 여전히 존재하지만 크기가 작아지고 (약 30 개 뉴런), 행동 의존적인 구조가 더 많이 나타났습니다.
• 재구성 패턴: 새로운 행동을 학습할 때, 신경망의 재구성은 주로 '작업 특화 영역'에서 집중적으로 일어나고, '자아 영역'은 상대적으로 안정적으로 유지되었습니다.

4. 주요 기여 (Key Contributions)

1. 자발적 자아 구조의 발견: 명시적인 자기 모델링 (Self-modeling) 이나 구조적 제약을 두지 않은 표준 심층 강화학습 정책에서도, 지속적인 다중 행동 학습을 통해 **신체 역학에 대한 불변의 내적 표현 (Body-centric representation)**이 자발적으로 형성됨을 증명했습니다.
2. 자아 정량화 방법론 제안: '자아'를 추상적인 철학적 개념이 아닌, **신경망의 불변 서브네트워크 (Invariant Subnetwork)**로 정의하고, 공활성화 분석을 통해 이를 정량적으로 측정하는 새로운 프레임워크를 제시했습니다.
3. 지속적 학습의 메커니즘 규명: 다중 작업 학습이 단순히 지식의 축적이 아니라, **안정적인 핵심 (Self) 과 유연한 부속 (Task)**으로 신경망을 모듈화 (Modularize) 시킨다는 것을 보여주었습니다. 이는 '파괴적 망각 (Catastrophic Forgetting)'을 완화하는 메커니즘으로 작용할 수 있음을 시사합니다.

5. 의의 및 시사점 (Significance)

• 로봇 공학 및 AI: 로봇이 새로운 작업을 배우거나 신체에 손상이 발생했을 때, '자아' 서브네트워크를 재사용하거나 보호함으로써 학습 효율성을 높이고 견고성 (Resilience) 을 확보할 수 있는 새로운 아키텍처 설계에 영감을 줍니다.
• 인지 과학: 인공지능 시스템에서 '자아'가 어떻게 발현될 수 있는지에 대한 실험적 증거를 제공하며, 기계의 자기 인식 (Self-awareness) 연구에 새로운 방향을 제시합니다.
• 실용적 적용: 학습된 정책의 일부를 '자아'로 식별하여, 새로운 행동 학습 시 이 부분을 고정하거나 초기화함으로써 학습 속도를 높일 수 있으며, 로봇의 신체 변화 (수리, 확장) 에 대한 적응력을 높일 수 있습니다.

결론

이 논문은 로봇이 다양한 행동을 지속적으로 학습하는 과정에서, 신체와 역학에 대한 불변의 내적 모델이 신경망의 특정 서브네트워크로 응집되어 '자아'처럼 작동한다는 것을 실험적으로 증명했습니다. 이는 단순한 행동 제어기를 넘어, 로봇이 '자신'을 인식하고 유지하는 메커니즘이 학습 과정에서 자연스럽게 발현될 수 있음을 보여주는 획기적인 연구입니다.