기술 요약: 배포된 강화 학습은 지속적이어야 한다

문제 정의

본 논문은 실제 세계의 강화 학습(RL) 배포가 갖는 이론적 성격과, **"학습 후 고정(train-then-fix)"**이라 불리는 기존의 공학적 패러다임 사이의 근본적인 불일치를 지적한다. 이 표준 패러다임에서 에이전트는 오프라인(시뮬레이션, 셀프 플레이 또는 데모를 통해)으로 학습된 후 배포 시점에 고정된다. 학습은 성능이 심각하게 저하되어 인간 주도의 재학습 주기를 트리거할 때까지 중단된다.

저자들은 이러한 패러다임이 "측정 가능한 배포(measurable deployment)" 환경에서는 이론적으로 불충분하다고 주장한다. 측정 가능한 배포는 다음과 같은 시나리오로 정의된다:

1. 에이전트가 환경의 복잡성이 에이전트의 표현 능력 및 가용 계산 자원을 초과하는 "빅 월드(Big World)" 체제에서 작동한다.
2. 배포 후에도 **평가적 보상 신호(evaluative reward signal)**가 계속 유지된다 (예: 사용자 참여도, 운행 완료, 제안 수락 등).

이러한 조건 하에서 "학습 후 고정" 방식은 잠재적인 성능 향상의 기회를 놓치게 만든다. 본 논문은 최적의 정책($\pi^*$)을 구현할 수 없거나 도달할 수 없는 비정상 상태(non-stationary)의 환경에서, 평가적 피드백을 받는 모든 에이전트는 본질적으로 지속적 강화 학습(Continual Reinforcement Learning, CRL) 문제에 직면해 있다고 상정한다. 핵심 문제는 정체성(stationarity)과 고정된 최적 정책의 존재를 가정하는 전통적인 마르코프 결정 과정(MDP) 형식론이, 실세계의 "끝나지 않는" 적응적 특성을 포착하지 못한다는 점이다.

방법론 및 이론적 프레임워크

1. 이론적 기초: 히스토리 프로세스 형식론 (History Process Formalism)

문제를 엄밀하게 정의하기 위해, 본 논문은 표준적인 MDP 튜플 $\langle S, A, P, R \rangle$에서 벗어나 히스토리 프로세스 형식론(Bowling et al., 2023; Abel et al., 2023)을 채택한다.

• 환경 ($e$): 유한한 길이의 히스토리($H$)와 행동($A$)을 관측($O$)의 분포로 매핑하는 함수로 정의된다.
• 에이전트 상태 ($S$): MDP 상태와 구별되는, 에이전트가 자신의 히스토리를 압축한 결과물을 나타낸다.
• 학습 규칙 ($\sigma$): 히스토리에서 정책($\Pi$)의 분포로의 매핑이다.
• CRL 정의: "최선의 에이전트"(도달 가능한 정책 집합 내에서 성능 지표를 극대화하는 에이전트)가 학습을 멈추지 않는 경우를 CRL 인스턴스로 정의한다. 히스토리 프로세스에서 에이전트는 환경을 리셋하거나 정확히 과거의 히스토리를 재방문할 수 없고, 환경 자체가 비정상적이기 때문에 최적의 정책을 찾는 과정은 결코 종료되지 않는다.

2. 비정상성(Non-Stationarity)의 특징

논문은 측정 가능한 배포에서 지속적 학습을 필수로 만드는 네 가지 구체적인 비정상성 원인을 식별한다:

1. 행동 유발 비정상성 (Action-Induced Non-Stationarity): 에이전트 자신의 행동이 미래 히스토리의 분포를 변화시킨다 (예: 추천 시스템이 사용자의 선호도를 변화시키는 경우).
2. 환경 역학의 변화 (Changes in Environment Dynamics): 에이전트의 통제 범위를 벗어난 계절적 변동, 하드웨어 노후화, 또는 시장 변화와 같은 외부 요인.
3. 진화하는 목표 (Evolving Goals): 이해관계자의 우선순위 변화, 규제 업데이트, 또는 안전 제약 조건 등으로 인해 보상 함수 자체가 시간에 따라 변화함.
4. 창발적 참신성 (Emergent Novelty): "빅 월드 가설"에 따라, 에이전트는 유한한 학습 단계의 분포를 벗어나는 행동-관측 시퀀스(블랙 스완 이벤트 포함)를 반드시 마주하게 된다.

3. 학습 규칙 분석

저자들은 두 가지 학습 규칙(정책을 업데이트하는 전략)을 대조한다:

• 학습 규칙 A (학습 후 고정): 에이전트는 고성능 정책을 탐색한 뒤, 고정된 $\pi_{final}$에 안착하고 멈춘다. 성능은 새로운 탐색 주기를 트리거하는 임계값에 도달할 때까지 점진적으로 저하되며, 이는 "톱날형(sawtooth)" 성능 패턴을 보인다.
• 학습 규칙 B (지속적 학습자): 에이전트는 도달 가능한 어떤 정책도 전역적으로 최적일 수 없음을 인지한다. 에이전트는 탐색을 종료하지 않고, 가용한 평가적 신호를 사용하여 변화하는 타겟을 추적하며 지속적으로 정책을 적응시킨다.

주요 기여

1. 패러다임 전환 제안: 본 논문은 측정 가능한 배포가 단순히 지속적 학습 알고리즘에 의해 해결되어야 할 문제가 아니라, 그 자체로 본질적으로 CRL 문제라고 주장한다. 이 차이는 알고리즘적 솔루션이 아닌 문제 설정(환경적 특성)에 있다.
2. 이론적 정당화: 히스토리 프로세스 형식론을 활용하여, 네 가지 비정상성 원인으로 인해 실세계 배포에서 고정된 최적 정책을 가정하는 것이 유효하지 않음을 입증한다.
3. 경험적 사례 연구: 지속적 학습을 암묵적 또는 명시적으로 활용하는 세 가지 성공적인 실세계 배포 사례를 분석한다:
   • Cursor Tab: 온라인 정책 경사(online policy gradients)를 사용하는 코드 완성 시스템이다. 이는 창발적 참신성(새로운 코드 패턴)과 환경 역학(진화하는 라이브러리)에 직면한다. 1.5~2시간의 짧은 배포-학습 루프를 통해 이러한 변화에 적응함으로써, 제안 횟수를 21% 줄이고 수락률을 28% 높였다.
   • Lyft: 온라인 RL을 사용하는 승차 공유 매칭 알고리즘이다. 주로 행동 유발 비정상성(운전자의 위치 이동)과 환경 역학(수요 변동)에 직면한다. 이 시스템은 고정된 모델에 의존하는 대신 온라인으로 적응함으로써 연간 3,000만 달러 이상의 추가 수익을 창출한다.
   • Sim-to-Real Gap: 논문은 시뮬레이션과 현실 사이의 간극이 네 가지 비정상성 원인이 모두 발현된 형태라고 주장한다. 도메인 무작위화(domain randomization)를 적용하더라도, 신뢰할 수 있는 성능을 위해서는 실시간 데이터가 필수적이므로 배포 후 학습이 필수적이다.
4. 실무자를 위한 권고 사항:
   • 실무자 대상: 프로덕션 데이터가 곧 학습 데이터가 되는 피드백 루프를 구축하라. 스위치백 실험(switchback experiments) 등을 통해 지속적으로 검증하고, 개발 단계에서 의도적으로 비정상성을 도입하여 적응력을 테스트하라.
   • 연구자 대상: 지속적 환경에서의 기존 옵티마이저(예: Adam, RMSProp)를 재검토하라. 마르코프적 보장을 넘어 히스토리 프로세스에 대한 알고리즘적 특성을 도출하라. 약하게 통신하는 환경(weakly communicating environments)을 가정하지 않는 **편차 회한(deviation regret)**과 같은 평가 지표를 채택하고, 이론적 모델에서 유한한 자원 제약을 명시적으로 고려하라.

결과 및 증거

본 논문은 저자가 직접 생성한 새로운 실험 결과를 제시하는 것이 아니라, 기존 문헌과 산업 보고서를 종합한다:

• Cursor Tab: 지속적인 온-폴리시(on-policy) 업데이트가 정적인 모델 릴리스보다 우수한 성능 지표를 보임을 입증했다.
• Lyft: 온라인 RL 매칭 시스템이 고정된 정책보다 운전자 활용도와 수익 측면에서 우수함을 보여줌으로써, 유도된 비정상성에 적응하는 능력을 검증했다.
• 이론적 증거: 마찰이 누적됨에 따라 '학습 후 고정' 정책은 실패하지만, 지속적 학습자는 성능을 유지하는 "녹슬어가는 진자(Rusting Pendulum)" 환경(부록 A)을 인용한다.
• 문헌 트렌드: CRL에 대한 학술적 관심의 급증(그림 1)과 이를 뒷받침하는 이론적 토대(예: 히스토리 프로세스 형식론)의 성숙을 강조한다.

의의 및 주장

본 논문은 "학습 후 고정" 패러다임이 지속적 학습 문제를 해결하는 것이 아니라, 불가피한 문제를 지연시키는 메커니즘에 불과하다고 주장한다. 그 의의는 다음과 같다:

• 배포의 재정의: 복잡한 세계에서 평가적 피드백을 받는 에이전트를 배포하는 것은 정의상 CRL 문제임을 단언한다. 이 신호를 무시하고 업데이트를 위해 인간의 개입에 의존하는 것은 성능을 희생하는 하위 최적(suboptimal) 전략이다.
• 안전성과 적응성: 고정된 정책이 더 안전하다는 견해와 달리, 본 논문은 비정상적인 환경에서 고정된 정책은 안전하지 않게 성능이 저하된다고 주장한다. 지속적 학습은 안전 제약 조건 내에서 설계될 때, 진화하는 목표 및 규제와 정렬을 유지하기 위해 필수적이다.
• 커뮤니티 방향성: 연구의 초점을 고정된 결과물으로 수렴하는 알고리즘에서, 지속적이고 개방적인 학습이 가능한 에이전트로 전환할 것을 촉구하며, 실무자들이 이미 시스템에 존재하는 피드백 신호를 적극 활용할 것을 권고한다.

결론적으로, 본 논문은 실세계 RL의 더 나은 성능을 향한 길은 더 나은 오프라인 학습이 아니라, 배포의 지속적인 본질을 수용하고 결코 탐색을 멈추지 않는 에이전트를 설계하는 것에 있다고 주장한다.