🤖 machine learning

TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

본 논문은 TinySubNetworks 와 Decision Transformer 를 활용하여 작업별 파라미터화와 유사성 기반 지식 공유를 가능하게 하는 새로운 지속적 오프라인 강화학습 방법인 TSN-Affinity 를 제안하며, 이는 이산 및 연속 제어 작업 전반에 걸쳐 파국적 망각을 효과적으로 완화하는 재현 기반 전략에 대한 메모리 효율적인 대안을 제공한다.

원저자: Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

게시일 2026-04-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 비디오 게임을 가르치고 로봇 팔을 움직이는 법을 가르친다고 상상해 보세요. 문제는 로봇이 실제 세계에서 연습할 수 없다는 점입니다. 비용이 너무 많이 들거나 위험하기 때문입니다. 대신 인간이 이러한 작업을 수행하는 오래된 비디오 기록 (데이터셋) 라이브러리를 이용해 로봇을 가르쳐야 합니다.

이제 매주 로봇에게 새로운 게임을 가르쳐야 한다고 상상해 보세요. "지속적 오프라인 강화 학습 (Continual Offline Reinforcement Learning, CORL)"의 큰 문제는 망각입니다. 로봇에게 브레이크아웃 (Breakout) 게임을 가르치면 그 게임에 너무 능숙해져서 퐁 (Pong) 게임을 하는 법을 잊어버릴 수 있습니다. 오래된 데이터를 삭제하지 않고 퐁 게임을 가르치려 하면 로봇은 혼란을 겪어 두 게임 모두를 망쳐버립니다.

이 논문은 이러한 문제를 해결하기 위해 TSN-Affinity라는 새로운 방법을 소개합니다. 간단한 비유를 통해 작동 원리를 설명해 보겠습니다.

1. 구식 방식: "하나의 거대한 뇌" 문제

대부분의 이전 방법들은 로봇을 가르칠 때 하나의 거대하고 공유된 뇌를 사용했습니다. 망각을 방지하기 위해 오래된 비디오의 작은 조각들 (리플레이) 을 저장하여 새로운 데이터와 섞었습니다.

결함: 영어를 말하면서 프랑스어를 배우고, 그다음 영어와 프랑스어를 모두 말하면서 스페인어를 배우는 것과 같습니다. 결국 언어들이 뒤섞이거나, 모든 것을 명확하게 유지하기 위해 방대한 양의 오래된 테이프 라이브러리가 필요해져 공간이 너무 많이 차지합니다.

2. 새로운 방식: TSN-Affinity ( "모듈형 공구함")

저자들은 TinySubNetworks (작은 서브네트워크) 를 사용하는 더 지능적인 접근법을 제안합니다. 로봇의 뇌가 하나의 거대한 덩어리가 아니라, 많은 작고 전문화된 서랍이 있는 공구함이라고 상상해 보세요.

전문화된 서랍 (서브네트워크): 로봇이 새로운 작업 (예: 브레이크아웃) 을 배울 때, 전체 뇌를 다시 쓰지 않습니다. 대신 특정 작은 서랍을 열어 해당 게임에 필요한 정확한 도구들로 채웁니다. 그 서랍이 닫히면 그 상태 그대로 유지됩니다. 나중에 새로운 게임을 배우면 다른 서랍을 엽니다.这意味着 로봇은 절대 오래된 게임을 잊지 않습니다. 왜냐하면 오래된 도구들은 잠겨 있고 건드리지 않기 때문입니다.

3. 핵심 비법: "Affinity Routing" (지능형 사서)

모든 새로운 작업이 완전히 새로운 서랍을 얻는다면 공구함은 거대하고 지저분해집니다. 이 논문의 혁신은 어떤 서랍을 사용할지 결정하는 지능형 사서 (라우팅 메커니즘) 입니다.

로봇이 새로운 작업을 배우기 시작하기 전에, 사서는 이렇게 묻습니다. "이 새로운 작업은 우리가 이미 도구를 가지고 있는 오래된 작업 중 어떤 것과 비슷해 보입니까?"

사서는 두 가지를 확인합니다.

동작 친화성 (Action Affinity, 움직임): "이 새로운 게임에 필요한 움직임이 우리가 이미 알고 있는 움직임과 비슷합니까?" (예: 새로운 게임에 점프가 필요하고, 이미 '점프' 서랍이 있다면 그것을 사용할 수 있을지 여부).
잠재 친화성 (Latent Affinity, 느낌): "로봇의 마음속에서 새로운 작업이 오래된 작업과 '느낌'이 비슷합니까?" (예: 그래픽이 다르더라도 게임 패턴이 비슷해 보이는지 여부).

결정:

비슷한 경우: 사서는 "좋습니다! 기존 서랍을 재사용합시다."라고 말합니다. 로봇은 오래된 도구들 (동결되어 안전함) 을 사용하고 그 위에 몇 가지 새로운 작은 도구만 추가합니다. 이는 공간을 절약하고 성능을 향상시킵니다.
다른 경우: 사서는 "아니요, 이는 너무 다릅니다."라고 말합니다. 새로운 작업을 위해 완전히 새롭고 빈 서랍을 엽니다.

4. 결과: 비디오 게임 대 로봇 팔

저자들은 이 방법을 두 가지 매우 다른 도전 과제에서 테스트했습니다.

비디오 게임 (아타리): 이들은 빠른 속도의 픽셀 기반 게임으로, 간단한 버튼 (이산적 동작) 을 사용합니다.
- 결과: 이 방법은 큰 성공을 거두었습니다. "전문화된 서랍" 접근법은 로봇이 오래된 게임을 잊는 것을 완전히 막았습니다. "지능형 사서"는 올바른 도구를 재사용함으로써 로봇의 성능을 더욱 향상시켰으며, 종종 한 번에 하나의 게임만 훈련받은 로봇과 맞먹는 성능을 보였습니다.
로봇 팔 (판다): 이는 컵을 집는 것과 같이 3 차원 공간에서 매끄럽고 연속적인 움직임으로 물리적 팔을 움직이는 것을 포함합니다.
- 결과: 이는 훨씬 더 어려웠습니다. 움직임이 매우 복잡하고 다양하기 때문에 "지능형 사서"는 어떤 도구를 재사용할지 결정하는 데 더 어려움을 겪었습니다. 이 방법은 여전히 구식 "하나의 거대한 뇌" 방법보다 잘 작동했지만, 복잡한 물리적 작업에서 도구를 재사용하는 것은 까다롭다는 것을 보여주었습니다. 로봇은 새로운 어렵고 물리적인 움직임을 배우면서도 오래된 기술을 안전하게 유지해야 하는 균형을 맞춰야 했습니다.

요약

TSN-Affinity는 하나의 거대한 교과서 대신 별도의 라벨이 붙은 공책 세트를 학생에게 주는 것과 같습니다.

새로운 과목을 배울 때, 그들은 새로운 공책을 엽니다.
새로운 과목이 오래된 과목과 비슷하다면, 처음부터 시작하는 대신 기존 노트를 기반으로 사용할 수 있는지 확인합니다 (재사용).
이는 과거에 배운 것을 결코 잊지 않도록 보장하며, 서로 다른 과목들을 혼동하지 않도록 합니다.

이 논문은 과거 데이터를 학습할 때 과거를 망치지 않기 위해서는, 모든 것을 하나의 큰 더미에 외우려 하는 것보다 언제 기존 지식을 재사용할지와 언제 새로 시작할지를 아는 시스템을 갖추는 것이 훨씬 더 낫다는 것을 증명합니다.

다음은 논문 "TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning"에 대한 상세한 기술 요약입니다.

1. 문제 제기

본 논문은 에이전트가 환경과 상호작용하지 않고 정적이며 사전 수집된 데이터셋에서 일련의 작업을 학습해야 하는 **지속적 오프라인 강화 학습 (CORL)**을 다룹니다. 이러한 시나리오는 로봇공학, 의료와 같이 실시간 상호작용이 너무 비용이 많이 들거나, 위험하거나, 불가능한 분야에서 발생합니다.

CORL 은 "이중적 어려움"에 직면해 있습니다:

오프라인 RL 의 과제: 훈련 데이터와 평가 간의 분포 변화를 처리하고, 분포 밖 (OOD) 행동을 방지해야 합니다.
지속적 학습의 과제: 과거 데이터에 명시적으로 접근할 수 없으면서도 새로운 작업을 습득하는 동안 이전에 학습된 작업의 **파괴적 망각 (catastrophic forgetting)**을 방지해야 합니다.

기존 솔루션은 과거 샘플을 저장하고 재사용하는 리플레이 기반 방법에 크게 의존하는데, 이는 메모리 오버헤드를 초래하고 분포 불일치로 고통받습니다. 반면, 작업별로 특정 파라미터를 할당하는 아키텍처 기반 방법은 지도 학습에서 유망한 결과를 보였으나, 순차적 의사결정과 정책으로 인한 분포 변화의 복잡성으로 인해 CORL 에서는 아직 충분히 탐구되지 않았습니다.

2. 방법론: TSN-Affinity

저자들은 **TinySubNetworks(TSN)**와 Decision Transformer(DT) 백본을 결합한 새로운 아키텍처 접근법인 TSN-Affinity를 제안합니다. 핵심 혁신은 "친화도 (affinity)"에 기반하여 작업을 특정 모델 복사본으로 라우팅하는 유사도 기반 파라미터 재사용 전략입니다.

핵심 구성 요소:

Decision Transformer 백본: 이 방법은 RL 을 지도식 시퀀스 모델링 문제로 재형성하기 위해 DT 를 사용합니다. 이는 자연스럽게 예측을 데이터셋의 경험적 분포로 제한하여 OOD 문제를 완화합니다.
- Atari(이산): 행동 로짓 (logits) 에 대한 교차 엔트로피 손실로 훈련.
- Panda(연속): 연속 행동에 대한 마스크된 평균 제곱 오차로 훈련.
희소 작업별 서브네트워크: 단일 밀집 모델을 훈련하는 대신, 시스템은 여러 모델 복사본을 유지합니다. 각 작업에 대해 특정 복사본의 가중치 위에 희소 이진 마스크가 학습됩니다.
- 가중치 보호: 한 번 작업에 할당된 가중치는 "동결"되어 후속 작업 훈련 중 그라디언트로부터 보호됩니다.
- 재사용: 새로운 작업이 이전 작업의 동결된 가중치가 유사하다고 판단되면, 이를 재훈련하는 대신 고정된 기능적 구성 요소로 "재활성화"하여 사용할 수 있습니다.
친화도 라우팅 (혁신점): 새로운 작업 $T_t$ $T_{t}$ 를 훈련하기 전에, 시스템은 기존 모델 복사본을 재사용할지 새로운 복사본을 생성할지 결정합니다. 이 결정은 세 가지 라우팅 모드에 기반합니다:
1. 행동 친화도 ( $d_A$ ): 소스 작업의 정책 (서브네트워크) 이 새로운 작업의 궤적 행동을 얼마나 잘 예측하는지 측정합니다 (Atari 의 경우 교차 엔트로피, Panda 의 경우 MSE 사용).
2. 잠재 친화도 ( $d_L$ ): 내부 표현의 유사성을 측정합니다. 새로운 작업의 관찰 인코딩 통계 (평균 및 분산) 와 소스 작업의 저장된 통계를 대칭 KL 발산을 사용하여 비교합니다.
3. 하이브리드 친화도 ( $d_H$ ): 행동 친화도와 잠재 친화도의 가중치 조합입니다.

새로운 작업과 소스 작업 간의 친화도 점수가 임계값 $\tau$ 보다 낮으면, 새로운 작업은 해당 소스의 복사본에 할당됩니다. 그렇지 않으면 새로운 복사본이 생성됩니다.

연구된 변형:

TSN-Affinity: 친화도 기반 라우팅을 포함한 전체 방법.
TSN-ReplayKL: 친화도 라우팅을 리플레이 메모리 간의 관찰 수준 유사성 (KL 발산) 기반 휴리스틱으로 대체.
TSN-Core: 라우팅을 완전히 제거; 희소 서브네트워크를 사용하는 단일 진화 모델 복사본 사용 (복사본 선택 없음).

3. 주요 기여

TSN-Affinity 프레임워크: RL 인지 유사성에 기반하여 파라미터를 동적으로 선택하고 재사용하는 희소 작업별 서브네트워크에 대한 라우팅 문제로 지식 전이를 공식화한 새로운 CORL 방법.
친화도 라우팅 메커니즘: 단순한 리플레이나 무작위 할당을 넘어, 행동 수준(정책 호환성) 및 표현 수준(잠재 유사성) 지표를 활용하여 파라미터 재사용을 결정하는 구체적인 메커니즘.
포괄적인 벤치마크: 다음을 포함하는 두 가지 지속적 오프라인 RL 벤치마크 도입:
- 시각적 이산 제어: Atari 게임 모음 (Breakout, Alien, Atlantis, Boxing, Centipede).
- 연속 로봇 조작: Franka Emika Panda 팔을 사용한 Panda-gym 환경 (Reach, Push, Pick-and-Place).
실증적 검증: 아키텍처 기반 접근법이 망각을 완전히 완화할 수 있음을 보여주며, 특히 이질적인 연속 제어 설정에서 유사도 기반 재사용이 리플레이 기반 베이스라인을 크게 능가함을 입증한 광범위한 실험.

4. 결과

Atari 벤치마크 (이산 제어)

망각: 희소 서브네트워크 (TSN-Core) 는 모든 작업에서 **망각 제로 (zero forgetting)**를 달성했습니다. 밀집 베이스라인 (Naive, EWC, SI) 은 심각한 파괴적 망각 (정규화된 보상 약 15-18%) 을 겪었습니다.
성능: 희소 서브네트워크만으로도 망각을 제거했지만, 친화도 라우팅은 다중 작업 성능을 더욱 향상시켰습니다.
- TSN-Affinity-A(행동 친화도) 와 TSN-Affinity-L(잠재 친화도) 은 각각 약 89.7% 와 약 89.6% 의 정규화된 성능을 달성했습니다.
- 이는 최상의 밀집 베이스라인 (76.2% 의 누적 리플레이) 을 능가하고 단일 작업 훈련 모델의 성능에 근접했습니다.
결론: 이산 설정에서 희소 서브네트워크는 망각을 방지하기에 충분하며, 친화도 라우팅은 용량 사용을 최적화하여 성능을 향상시킵니다.

Panda 벤치마크 (연속 제어)

과제: 이질적인 행동 공간과 연속 제어 역학으로 인해 이 설정이 훨씬 더 어렵습니다. 모든 TSN 변형에서 망각 제로가 보편적으로 달성되지는 않았습니다.
라우팅 효과성:
- TSN-ReplayKL(관찰 기반 라우팅) 은 TSN-Core 보다 성능이 낮아 연속 제어에서 관찰 유사성이 라우팅에 불충분함을 나타냈습니다.
- TSN-Affinity-L(잠재 친화도) 은 망각 제로와 목표 보상으로부터의 최소 평균 격차 (0.670) 를 기록하여 Cumulative Replay(0.729) 를 능가하는 최상의 결과를 달성했습니다.
트레이드오프: 최상의 성능을 위해서는 여러 모델 복사본 (3 개) 을 생성해야 했으며, 이는 성능 - 용량 트레이드오프를 강조합니다. 그러나 결과는 RL 인지 친화도가 리플레이 휴리스틱이 실패하는 복잡한 연속 도메인에서 라우팅을 위한 신뢰할 수 있는 신호임을 확인시켜 줍니다.

5. 중요성 및 결론

본 논문은 아키텍처 기반 지속적 학습이 오프라인 RL 설정에서 리플레이 기반 전략에 비해 실현 가능하고 종종 우월한 대안임을 보여줍니다.

파괴적 망각 완화: 희소 서브네트워크에 작업별 파라미터를 격리함으로써 파괴적 간섭을 효과적으로 방지합니다.
리플레이 대비 효율성: TSN-Affinity 는 리플레이 버퍼에 내재된 메모리 오버헤드와 분포 불일치 문제를 회피합니다.
우월한 라우팅: 본 연구는 제어 관련 친화도 점수(행동 및 잠재 유사성) 가 단순한 관찰 기반 유사성이나 리플레이 휴리스틱보다 라우팅 결정에 훨씬 효과적임을 증명하며, 특히 연속 제어 작업에서 그렇습니다.
미래 영향: 이 작업은 데이터를 재수집하거나 환경과 상호작용하는 것이 불가능한 안전 필수 분야 (로봇공학 등) 에서 확장 가능하고 메모리 효율적인 지속적 학습을 위한 길을 엽니다.

저자들은 유사도 유도 아키텍처 재사용이 과거 지식 유지와 새로운 관련 작업으로의 전이 사이에서 강력한 균형을 제공하는 CORL 을 위한 견고한 전략이라고 결론지었습니다.