기술 요약: 지속적인 로봇 학습을 위한 메모리 앵커 (Memory Anchors)

문제 정의

실세계 환경에 배치된 로봇 정책은 새로운 행동을 학습할 때 이전 지식이 덮어씌워지는 치명적 망각(catastrophic forgetting) 현상 없이 새로운 과업을 지속적으로 학습할 수 있는 능력을 갖추어야 합니다. 이 분야의 주요 과제는 새로운 과업들이 서로 독립적이지 않다는 점입니다. 즉, 새로운 과업은 과거의 과업과 관측상 유사성(예: 유사한 물체나 장면)을 공유하면서도, 상충하는 행동(예: 병을 시계 방향으로 돌리기 vs 반시계 방향으로 돌리기)을 요구하는 경우가 많습니다.

경험 재생(Experience Replay, ER)—과거 데이터의 버퍼와 함께 새로운 데이터를 학습하는 방식—은 망각을 완화하기 위한 표준적인 접근법이지만, 저자들은 그 효과가 데이터 선택에 매우 민적하다는 점을 관찰했습니다. 무작위로 샘플링된 버퍼는 특정 "고충돌(high-conflict)" 과업 쌍에 대한 성능을 보존하는 데 실패하는 경우가 많으며, 이는 과거 데이터가 존재함에도 불구하고 급격한 성능 저하를 초래합니다. 본 논문은 과거 경험 중 아주 작고 결정적인 부분집합이 과거의 성능을 고정하는 데 불균형적으로 큰 역할을 하지만, 이러한 특정 기억들은 무작위 버퍼에서 반드시 선택된다는 보장이 없다고 주장합니다.

방법론: 메모리 앵커 및 ANCHORER

저자들은 지속적인 학습 과정에서 과거 과업의 성능을 방지하는 데 결정적인 역할을 하는 특정 과거 과업 데이터의 부분집합인 **메모리 앵커(Memory Anchors)**를 도입합니다. 이들은 이 앵커들을 식별하고 추출하기 위한 3단계 알고리즘을 제안하며, 이어서 이 앵커들로 재생 버퍼를 풍부하게 만드는 ANCHORER라는 방법을 제안합니다.

1. 메모리 앵커 식별

추출 과정은 현재 정책의 잠재 공간(latent space)과 예측을 활용하여 새로운 과업이 과거 과업과 충돌하는 데이터 포인트를 찾습니다.

• 1단계: 상태 표현 중첩 탐색. 알고리즘은 새로운 과업의 관측치($D_n$)를 과거 과업에 대해 학습된 정책($\pi_{n-1}$)의 잠재 관측 공간으로 매핑합니다. 이를 통해 과업의 차이에도 불구하고 시각적 또는 의미적 유사성을 나타내는, 과거 과업의 표현과 붕괴(collapse)되어 겹치는 새로운 데이터($D_n^{SID}$)의 부분집합을 식별합니다.
• 2단계: 행동 불일치 격리. 중첩된 데이터로부터 알고‌즘은 상충하는 행동을 요구하는 지점들을 식별합니다. 이를 위해 생성적 접근 방식을 사용합니다: 새로운 데이터의 실제 행동(ground-truth action)에 가우시안 노이즈를 추가하고, 이를 이전 정책($\pi_{n-1}$)을 사용하여 디노이징(denoising)합니다. 만약 디노이징된 행동($\hat{a}$)이 실제 행동($a$)과 크게 다르다면, 해당 지점은 높은 행동 불일치($D_n^{OD}$)를 가진 것으로 표시됩니다. 이 단계는 정책 업데이트가 필요하지 않은 공유된 하위 궤적(sub-trajectories)을 걸러냅니다.
• 3단계: 메모리 앵커 추출. 알고리즘은 잠재 공간 내에서 고불일치 세트($D_n^{OD}$)와 가장 유사한 과거 과업 데이터 포인트를 검색합니다. 이렇게 검색된 과거 샘플들이 메모리 앵커($D_{Anchor}$)를 구성합니다.

2. ANCHORER 알고리즘

이러한 발견을 활용하기 위해, 저자들은 추출된 메모리 앵커만을 위해 특정 비율(예: 10% 또는 20%)을 예약하는 경험 재생 전략인 ANCHORER를 제안합니다. 이는 충돌하는 새로운 과업을 학습하는 동안 가장 중요한 정규화 데이터가 반드시 존재하도록 보장합니다.

주요 기여

1. 메모리 앵커 분석: 본 논문은 과거 데이터의 작은 비율(메모리 앵커)이 과거 과업 유지를 위해 불균형적으로 크게 기여한다는 것을 입증했습니다. 재생 버퍼에서 최적의 앵커 중 단 10%만 제거해도 LIBERO 벤치마크에서 치명적 망각이 4.5배 증가합니다.
2. ANCHORER 알고리즘: ER 버퍼를 메모리 앵커로 풍부하게 만드는 방법으로, 고충돌 과업 쌍에 대한 치명적 망각을 63% 감소시키고 동종 과업 세트에서의 전반적인 과업 유지 성능을 향상시킵니다.
3. 실제 로봇 검증: 저자들은 상반된 전략을 요구하는 시각적으로 유사한 병(OpenJar)과 언어 조건부 스웨터 접기(SweaterFold)를 포함하는 과업 세트를 실제 로봇(ARX 암)에서 구축하고 검증했습니다. ANCHORER는 무작위 샘플링 버퍼에 비해 전체 과업 성공률을 1.7배 높였으며, 가소성(plasticity, 새로운 과업 학습)과 안정성(stability, 기존 과업 유지) 사이의 균형을 성공적으로 맞추었습니다.
4. VLA 민감도: 연구는 시각-언어-행동(VLA) 모델($\pi_{0.5}$)로 연구 범위를 확장하여, 이러한 강력한 모델조차 작은 버퍼에서는 상당한 망각을 보이며 메모리 앵커의 존재에 민감하다는 것을 보여주었습니다.

실험 결과

• LIBERO 벤치마크: LIBERO-Goal 세트(동종 과업)에서 상위 10%의 메모리 앵커를 제거하면 망각이 크게 증가했습니다. 반대로, 10%~20%의 메모리 앵커로 버퍼를 풍부하게 하면 가장 충돌이 심한 과업 쌍에 대한 망각이 63% 감소했습니다.
• 버퍼 크기 민감도: ANCHORER의 이점은 작은 버퍼 크기(예: 과거 데이터의 1%)에서 가장 두드러졌는데, 이는 무작위 샘플링이 결정적인 앵커를 자연스럽게 포착할 가능성이 낮기 때문입니다.
• 실제 세계 성능: OpenJar 및 SweaterFold 실제 로봇 실험에서 ANCHORER는 로봇이 과잉 일반화하거나 가소성을 잃는 것을 방지했습니다. 예를 들어, OpenJar 세트에서 표준 ER 버퍼는 첫 번째 과업(반시계 방향)을 잊지 않고 두 번째 과업(시계 방향)을 배우는 데 실패했지만, ANCHRE는 두 과업을 모두 성공적으로 학습했습니다.
• 베이스라인과의 비교: ANCHORER는 Maximal Interference Retrieval (MIR) 및 Gradient-Based Sample Selection (GSS)와 같은 다른 버퍼 선택 방법들과, 행동 불일치 단계를 생략한 자체 방법의 어블레이션(ablation) 모델보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 로보틱스에서의 치명적 망각 메커니즘이 관측 공간은 겹치지만 행동 전략은 갈라지는 특정 **과업 간 충돌(task-task conflicts)**에 의해 발생한다고 주장합니다. 본 연구의 의의는 경험 재생의 패러다임을 균등한 무작위 샘플링에서 핵심 데이터의 **표적 검색(targeted retrieval)**으로 전환했다는 데 있습니다.

저자들은 다음과 같이 주장합니다:

• 모든 과거 데이터가 지속적 학습에 똑같이 가치 있는 것은 아니며, 작은 부분집합이 충돌하는 새로운 입력으로부터 성능을 안정시키는 "앵커" 역할을 합니다.
• 겹치는 잠재 공간 내에서 행동 불일치를 통해 이러한 앵커를 식별하는 것은 파괴적인 덮어쓰기를 방지하는 견고한 휴리스틱입니다.
• 이 접근 방식은 환경 변화가 자연스럽게 과업 표현을 분리하는 이질적 과업(heterogeneous tasks)이 아닌, 동종 과업(homogeneous tasks)(동일한 환경/물체, 다른 행동)에 필수적입니다.

결론적으로, 메모리 앵커는 크고 다양한 버퍼에 자연스럽게 존재할 수 있지만, 자원이 제한되거나 충돌이 심한 지속적 로봇 학습 시나리오에서 안정성을 보장하기 위해서는 명시적인 식별과 집중이 필요합니다.