🤖 machine learning

Data Deletion Can Help in Adaptive RL

본 논문은 맥락 강화 학습에서 훈련 데이터의 일부를 무작위로 삭제함으로써 최근의 분포 정렬 샘플을 암묵적으로 가중치하여 맥락 추정과 정책의 견고성을 향상시킨다는 것을 보여주며, 이는 정규화와 신호 대 잡음비가 특정 범위에 있을 때 분포 불일치 하에서 기대 테스트 손실을 감소시킨다는 것을 이론적으로 증명함으로써 설명되는 현상이다.

원저자: Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama

게시일 2026-05-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 걷는 법을 가르친다고 상상해 보세요. 바닥이 때로는 미끄럽고, 때로는 끈적이며, 때로는 중력이 다른 시뮬레이션 환경에서 로봇을 훈련시킵니다. 로봇은 최근의 발걸음을 관찰하며 "아, 지금 바닥이 미끄러운 모양이야"라고 추측한 후 보행 방식을 조정함으로써 이러한 변화에 적응하는 법을 배웁니다.

이 논문은 그 로봇이 더 잘 학습하도록 만드는 놀라운 비법을 소개합니다: 훈련 기억 중 일부를 삭제하는 것.

간단한 비유를 통해 이 방식이 어떻게 작동하는지 살펴봅시다:

1. 문제: 로봇이 오래된 정보에 혼란을 겪음

표준 훈련 방식에서 로봇은 여러 라운드를 거치며 수천 개의 "기억"(데이터 포인트) 을 수집합니다.

초기 라운드: 로봇은 서툴러 실수를 하고, 잘못된 추측을 바탕으로 데이터를 수집합니다.
후기 라운드: 로봇은 더 똑똑해져 더 나은 추측을 바탕으로 데이터를 수집합니다.

문제는 로봇이 환경 (즉, "맥락") 을 추측하는 법을 학습하려 할 때, 모든 기억을 동등하게 고려한다는 점입니다. 이는 비가 오는 날 차를 운전하는 법을 배울 때 다음과 같은 것들을 섞어서 공부하는 것과 같습니다:

완벽한 날씨의 전문 운전사 영상 (훌륭한 데이터).
폭설 속에서 걷는 법을 배우는 유아 영상 (나쁜 데이터).

초기 서툰 라운드에서 나온 "나쁜 데이터"는 로봇이 나중에 마주하게 될 "실제 세계"와 맞지 않습니다. 이는 학습 과정을 혼란스럽게 만듭니다.

2. 해결책: "소멸하는 기억" 비법

저자들은 단순하면서도 직관에 반하는 규칙을 제안합니다: 매 훈련 세션 후, 로봇의 기억 은행에서 무작위로 일부 기억을 버리는 것.

이를 회전식 책장에 비유해 볼 수 있습니다:

새로운 책 (새로운 데이터) 을 추가할 때마다, 책장에서 무작위로 몇 권의 오래된 책을 꺼내 쓰레기통에 버립니다.
이를 매 라운드마다 반복하기 때문에, 가장 오래된 책들(서툴고 초기의 데이터) 이 버려질 가능성이 가장 높습니다.
더 최근의 책들(똑똑하고 최근의 데이터) 은 남을 확률이 더 높습니다.

왜 이것이 마법일까요?

"신선한" 데이터를 유지합니다: 로봇은 현재 상황에 더 관련 깊은 최근 학습 내용에 집중합니다.
"다양성"을 유지합니다: 오직 최신 데이터만 남기는 시스템 (너무 협소할 수 있음) 과 달리, 이 무작위 삭제 방식은 매우 오래되고 쓸모없던 시도들에서 오는 "노이즈"는 줄이면서도 다양한 시나리오의 혼합을 유지합니다.

3. 결과: 작은 두뇌가 큰 두뇌를 이길 수 있음

연구자들은 달 착륙선이나 달리는 개미처럼 걷고 균형을 잡는 로봇의 컴퓨터 시뮬레이션에서 이를 테스트했습니다.

놀라운 사실: 이 "삭제 비법"을 사용한 작고 단순한 두뇌(작은 신경망) 가 비법을 사용하지 않은 거대하고 복잡한 두뇌(큰 신경망) 보다 실제로 더 잘 수행한다는 것이 밝혀졌습니다.
수치: 어떤 경우, 삭제 비법을 적용한 작은 모델은 비법을 적용하지 않은 큰 모델보다 적응 능력이 30% 더 뛰어났습니다. 평균적으로도 성능이 약 6% 향상되었습니다.

이는 최신의 가장 훌륭한 노트만 남긴 작은 공책을 가진 학생이, 구식이고 혼란스러운 교과서로 가득 찬 거대한 도서관을 가진 학생보다 더 뛰어난 성과를 내는 것과 같습니다.

4. 이론: 왜 버리는 것이 도움이 될까?

저자들은 이것이 왜 작동하는지 수학적으로 설명했습니다.

표적의 중심을 찾으려 한다고 상상해 보세요.
훈련 데이터 (당신이 쏜 화살) 가 실제 표적과 약간 다른 각도에서 왔다면 ("분포 불일치"), 모든 화살을 유지하는 것은 당신의 조준을 잘못된 방향으로 끌어당길 수 있습니다.
무작위로 몇 개의 화살을 삭제함으로써, 당신은 우연히 당신의 조준을 가장 크게 벗어나게 만드는 화살들을 제거하게 됩니다.
수학은 데이터의 "노이즈"(화살을 휘어지게 하는 많은 바람과 같은) 가 충분히 높다면, 무작위로 몇 개의 화살을 삭제하는 것이 실제로 더 자주 명중하는 데 도움이 된다는 것을 보여줍니다.

요약

이 논문은 변화하는 환경에 적응해야 하는 AI 의 세계에서 적은 것이 더 많다고 주장합니다. 오래되고 혼란을 줄 수 있는 훈련 데이터를 무작위로 삭제함으로써, AI 는 가장 중요한 것에 집중합니다: 최근의 다양한 경험들. 이를 통해 작고 단순한 AI 모델조차도 매우 적응력이 뛰어나게 되어 훨씬 크고 복잡한 모델들을 능가할 수 있게 됩니다.

다음은 Budhraja 외의 논문 "Data Deletion Can Help in Adaptive RL"에 대한 상세한 기술 요약입니다.

1. 문제 정의

이 논문은 실제 환경 배포에서의 적응형 강화 학습 (Adaptive Reinforcement Learning, RL) 과제의 난제를 다룹니다. 표준 RL 은 훈련 및 테스트 환경이 동일하지만, 적응형 RL 은 에이전트가 보지 못했지만 유사한 환경에 일반화할 수 있어야 합니다.

프레임워크: 저자들은 맥락적 마르코프 결정 과정 (Contextual Markov Decision Process, cMDP) 프레임워크를 활용합니다. cMDP 는 전이 역학에 영향을 미치는 저차원 맥락 (context) $c$ (예: 중력, 질량, 마찰) 로 인덱싱된 MDP 의 집합입니다.
과제: 진정한 맥락 $c$ 는 훈련 중에는 알려져 있지만, 테스트 시에는 알려지지 않습니다.
표준 접근법: 이 문제는 일반적으로 두 부분으로 분해됩니다:
1. 보편적 정책 (Universal Policy, $K$ ): 상태와 진정한 맥락을 기반으로 최적의 행동을 취하도록 훈련됨.
2. 맥락 추정기 (Context Estimator, $\phi$ ): 관찰된 상태 - 행동 궤적을 기반으로 맥락 $\hat{c}$ 를 추정하도록 훈련됨.
3. 적응형 정책: $\pi = K(\hat{c})$ 로 정의됨.
문제점: 다중 라운드 훈련에서 데이터는 점진적으로 개선된 정책을 사용하여 수집됩니다. 이전 궤적은 비최적 정책에 의해 생성되었으며, 추정기가 불완전한 배포 시나리오와 크게 다른 분포에서 나옵니다. 훈련 데이터와 배포 현실 간의 이러한 분포 불일치는 맥락 추정기의 성능을 저하시킵니다.

2. 방법론: 무작위 데이터 삭제

저자들은 맥락 추정기의 성능을 향상시키기 위해 무작위 데이터 삭제 (Random Data Deletion) 라는 간단하고 반직관적인 기법을 제안합니다.

알고리즘:
1. 보편적 정책 $K$ 와 초기 맥락 추정기 $\phi$ 를 훈련합니다.
2. 현재 적응형 정책 $K(\phi)$ 를 사용하여 궤적을 수집합니다.
3. 이러한 궤적을 데이터 버퍼에 추가합니다.
4. 중요 단계: 각 훈련 라운드 후, 버퍼에 현재 있는 궤적의 $(1 - \alpha)$ 비율을 무작위로 삭제합니다.
5. 남은 데이터로 추정기 $\phi$ 를 재훈련합니다.
작동 원리:
- 데이터는 여러 라운드에 걸쳐 수집되므로, 이전 데이터는 초기의 덜 유능한 정책에 해당합니다.
- 무작위 삭제는 이전 데이터에 암시적 지수 감쇠 (implicit exponential decay) 를 생성합니다. 초기 라운드의 궤적은 최근 라운드의 궤적보다 생존 확률이 낮습니다.
- 이는 분포 불일치를 유발하는 "낡은" 데이터를 효과적으로 필터링하면서도 데이터 다양성을 유지합니다 (단순히 최신 데이터만 유지하는 것은 커버리지가 부족할 수 있음).
이론적 근거:
- 저자들은 훈련 분포 ( $P_{train}$ ) 와 테스트 분포 ( $P_{test}$ ) 간의 불일치를 가진 정규화 경험적 위험 최소화 (Regularized Empirical Risk Minimization, ERM) 를 통해 이를 분석합니다.
- 그들은 경미한 조건 하에 (특히 볼록 손실 함수의 경우) 단일 균일 무작위 데이터 포인트를 제거하는 것이 분포 불일치가 유의미할 때 기대 테스트 손실을 감소시킨다고 증명합니다.
- 릿지 회귀 (Ridge Regression) 의 경우, 정량적 조건을 유도합니다: 신호 대 잡음비 (SNR) 가 충분히 낮고 정규화 계수가 적절할 때 삭제가 유익합니다. SNR 임계값은 삭제가 도움이 되기 위해 필요한 분포 불일치의 크기를 직접 측정합니다.

3. 주요 기여

새로운 기법: 적응형 RL 정책을 강화하기 위한 방법으로서 무작위 데이터 삭제의 도입.
실증적 검증: 다층 퍼셉트론 (MLP) 과 순환 신경망 (RNN, LSTM/GRU 등) 을 통한 성능 향상 입증.
효율성: 데이터 삭제를 통해 더 작은 모델(예: 파라미터가 5 배 적은 MLP) 이 삭제 없이 훈련된 더 크고 넓은 모델보다 우수한 성능을 보임을 보여줌.
이론적 분석: 삭제가 왜 도움이 되는지 설명하는 이론적 프레임워크 제공. 볼록 최적화 설정에서 분포 불일치 및 정규화와 이를 연결함.

4. 실험 결과

저자들은 중력, 질량, 마찰과 같은 맥락을 변화시키며 고전적 제어 (Pendulum, LunarLander, Acrobot, MountainCar) 및 Brax 보행 (Ant, HalfCheetah) 벤치마크에서 이 방법을 평가했습니다.

성능 향상:
- MLP: 최적의 "진정한 맥락" 정책까지의 거리인 로버스트성 격차를 최대 30% 까지 감소시킴.
- RNN (LSTM/GRU): 로버스트성 격차를 평균 6% 감소시킴.
모델 효율성:
- 데이터 삭제로 훈련된 좁은 MLP(8,322 개 파라미터) 가 삭제 없이 훈련된 넓은 MLP(47,426 개 파라미터) 보다 우수한 성능을 발휘함.
- RNN(LSTM/GRU) 은 파라미터가 훨씬 적음에도 불구하고 일반적으로 넓은 MLP 보다 우수한 성능을 보임.
애블레이션 연구:
- 낡은 데이터 삭제 (Stale Deletion, 가장 오래된 데이터만 제거) 및 균일 삭제 (Uniform Deletion, 훈련을 위해 무작위 샘플링하지만 모든 데이터를 유지) 와 비교.
- 무작위 삭제가 RNN 에서는 우수했으나, 균일 삭제가 좁은 MLP 에서는 가장 잘 작동함. 낡은 데이터 삭제는 성능이 낮았는데, 이는 다양성을 위해 일부 이전 데이터가 필요함을 확인시켜 줌.
- 최적의 데이터 유지율 ( $\alpha$ ) 은 아키텍처와 환경에 따라 0.8(20% 삭제) 또는 0.5(50% 삭제) 로 나타남.

5. 의의 및 결론

이 연구는 RL 에서 "더 많은 데이터가 항상 더 좋다"는 통념에 도전합니다. 적응형 설정에서는 진화하는 정책으로 인한 분포 변화로 인해 이전 데이터가 해로울 수 있음을 보여줍니다.

실용적 영향: 이 방법은 기본 아키텍처나 보상 함수를 변경하지 않고도 RL 일반화를 개선하는 계산 비용이 저렴하고 하이퍼파라미터 조정이 가능한 방법을 제공합니다.
이론적 통찰: 실용적 휴리스틱과 이론적 이해 사이의 간극을 메우며, 데이터 삭제가 분포 불일치에 대한 정규화제로 작용함을 보여줍니다.
광범위한 적용: 훈련 분포가 배포 분포에서 멀어지는 모든 학습 시나리오 (온라인 학습 및 시뮬레이션 - 실제 전이에서 흔함) 에서 낡은 데이터를 선택적으로 제거하면 일반화를 개선할 수 있음을 시사합니다.

요약하자면, 이 논문은 훈련 데이터의 일부를 무작위로 삭제하는 것이 시간 변화 환경에서 적응형 RL 에이전트의 로버스트성과 효율성을 향상시키는 강력하고 간단하며 이론적으로 근거 있는 전략임을 확립합니다.