기술적 요약: 순차적 강화학습에서의 목표 일반화 이해

문제 정의

강화학습 (RL) 에이전트는 종종 분포 외 (OOD) 환경에 배포될 때 의도하지 않은 목표 지향적 행동을 보입니다. 예측 불가능한 OOD 행동은 기계학습 전반에 걸쳐 알려진 문제이지만, RL 에이전트는 **목표 오일반화 (goal misgeneralisation)**라고 불리는 특정 실패 모드를 빈번히 나타냅니다. 이는 에이전트가 유능하게 수행하지만 훈련 환경에서는 높은 보상을 산출하는 목표를 추구하다가 새로운 설정에서는 의도된 목표와 일치하지 않는 경우를 말합니다.

이 문제는 전형적으로 복잡한 다단계 파이프라인 (예: 사전 훈련, 감독 미세 조정, 인간 피드백을 통한 강화학습) 을 통해 훈련되는 현대의 최첨단 AI 시스템에 특히 중요합니다. 현재 문헌은 이러한 순차적 훈련 역사가 에이전트의 가치와 후속 OOD 행동을 어떻게 형성하는지에 대한 원칙적인 이해를 결여하고 있습니다. 다루는 핵심 질문은 다음과 같습니다: 에이전트의 훈련 파이프라인과 분포 내 행동을 기반으로 OOD 샘플에서의 행동을 예측할 수 있는가?

방법론

실험 설정

저자들은 통제된 절차적 생성 미로 환경에서 이 문제를 조사합니다.

• 작업: 에이전트 (CNN 기반 PPO) 는 색상과 모양으로 정의된 목표 객체에 도달하기 위해 8x8 미로를 항해합니다.
• 훈련 파이프라인: 이 연구는 단일 단계 훈련부터 2 단계 순차적 훈련까지 100 개 이상의 서로 다른 훈련 파이프라인을 활용합니다. 2 단계 파이프라인에서는 에이전트가 첫 번째 목표 객체로 훈련된 후 두 번째 목표 객체로 미세 조정됩니다.
• 평가: 에이전트는 훈련 중에는 보지 못한 새로운 색상과 모양을 포함한 객체 쌍이 포함된 OOD 환경에서 평가됩니다. 주요 지표는 276 개의 평가 환경 전반에 걸쳐 에이전트가 한 객체를 다른 객체 (또는 둘 다 아님) 보다 선택하는 빈도로 정의된 **경험적 선호 함수 ($\hat{\Pi}_\Omega$)**입니다.
• 규모: 분석은 298 개 이상의 에이전트와 250 개 이상의 OOD 환경을 포괄합니다.

잠재 정책 기울기 (Latent Policy Gradients, LPG) 방법

관찰된 행동을 설명하고 예측하기 위해 저자들은 훈련 중 저차원 잠재 변수 ($w$) 의 진화를 모델링하는 잠재 정책 기울기를 소개합니다.

1. 잠재 표현: 에이전트의 선호도는 전체 네트워크 매개변수 (480 만 개) 대신 저차원 벡터 $w$ (차원 10, 객체 특징 수와 일치) 로 캡슐화됩니다.
2. 선호 파라미터화: 선호도는 볼츠만-합리적 가정 하에 모델링되며, 여기서 목표 선택 확률은 해당 목표의 가치에 대한 로지스틱 함수입니다. 가치는 목표의 특징 ($\phi(g)$) 과 잠재 변수 모두에 대해 선형입니다: $V(g) = \phi(g) \cdot Sw$.
3. 훈련 시뮬레이션: 이 방법은 선호 함수에 대해 수정된 정책 목적 함수에 대한 기울기 상승을 수행함으로써 훈련 파이프라인을 시뮬레이션합니다. 목적 함수는 하이퍼파라미터 $\tau$로 제어되는 엔트로피 정규화 항을 포함합니다.
   • 목표 $\phi(g)$가 있는 단일 단계의 경우, 목적 함수는 $J(\Pi) = \Pi(\phi(g)|\phi(g), 0) + \tau h(\Pi(\phi(g)|\phi(g), 0))$입니다.
   • 다단계 파이프라인의 경우, 잠재 변수는 순차적으로 업데이트되며, 한 단계의 최종 가중치가 다음 단계의 초기값이 됩니다.
4. 해석 가능성: 이 방법은 특징 학습률과 특징 간 혼란 (한 특징에 대한 훈련이 다른 특징의 가치 평가에 영향을 미치는 현상) 을 포착하는 중요도 행렬 (saliency matrix)($S$) 을 학습합니다.

주요 결과

경험적 현상

경험적 데이터 분석은 목표 일반화에서 세 가지 뚜렷한 패턴을 드러냅니다:

1. 특징 중요도: 모든 특징이 일반화를 동등하게 주도하지는 않습니다. 모양 특징 (특히 십자 모양) 은 색상 특징 (검은색이 가장 중요도가 낮음) 보다 더 중요합니다.
2. 가치 지속성: 다단계 파이프라인의 첫 번째 단계에서 학습된 가치는 두 번째 단계가 새로운 목표를 도입하더라도 지속됩니다. 초기 훈련 역사가 최종 OOD 선호도에 상당한 영향을 미칩니다.
3. 강화와 억제:
   • 강화: 훈련 단계 간에 특징이 공유되면, 해당 특징의 가치는 두 번째 단계에서만 나타났을 때보다 상대적으로 강화됩니다.
   • 억제: 공유된 특징의 존재는 두 번째 단계에서 비공유 특징에 대한 가치 형성을 억제합니다 (기울기 기아 현상과 일관된 현상).
   • 순서 효과: 목표가 특징을 공유할 때, 훈련 단계의 순서는 최종 에이전트 가치를 크게 변화시킵니다.

모델 성능

잠재 정책 기울기 모델은 강력한 예측 정확도를 달성합니다:

• 예측 적합도: 이 모델은 예측된 선호 함수와 경험적 선호 함수 간의 KL-발산을 최소화하여 "기억 없음 (Memoryless, 역사 무시)", "동시 (Simultaneous, 순서 무시)", "대각선 S (Diagonal S, 특징 혼란 무시)"와 같은 기준선보다 우수한 성능을 보입니다.
• 일반화: 단일 단계 파이프라인에만 적합된 모델은 2 단계 파이프라인으로 훈련된 에이전트의 행동을 성공적으로 예측합니다. 마찬가지로 방해물이 없이 훈련된 모델은 방해물이 포함된 파이프라인에도 일반화됩니다.
• 일관성: 경험적 에이전트 선호도는 대략적으로 일관성 (볼츠만-합리적) 을 가지며, 홀드아웃 쌍에서 방향성 정확도 89.73% 의 엘로 점수를 달성합니다.

중요성과 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 경험적 분석: 100 개 이상의 훈련 파이프라인 전반에 걸친 목표 일반화에 대한 대규모 경험적 분석을 제공하여, OOD 행동이 훈련 역사에 의해 일관되고 구조화됨을 입증합니다. 특히 가치 지속성과 특징 중요도와 같은 현상을 강조합니다.
2. 문제 공식화: 목표 일반화 문제를 예측 작업으로 재정의합니다: 훈련 파이프라인을 직접 OOD 선호 함수에 매핑합니다.
3. 잠재 정책 기울기: 이 예측 문제를 해결하기 위한 새로운 해석 가능한 방법을 소개합니다. 이 방법은 다음과 같은 특징을 가집니다:
   • 소수의 매개변수로 높은 예측 정확도를 달성합니다.
   • 다단계 훈련이 훈련 목표에 의해 정의된 초평면으로의 잠재 가중치의 **반복적 투사 (iterated projection)**에 해당한다는 기계적 해석을 제공합니다.
   • 한 목표에 대한 훈련이 다른 목표의 가치 평가에 어떻게 영향을 미치는지 설명하는 특징 유사성 지표($SS^T$를 통해) 를 정의합니다.

결론

저자들은 OOD RL 에이전트 행동이 전체 훈련 파이프라인에 경로 의존적이지만, 이 의존성은 포착될 수 있는 근본적인 구조를 지닌다고 결론지었습니다. 잠재 정책 기울기 프레임워크는 다단계 훈련이 에이전트 가치를 어떻게 형성하는지 이해하기 위한 원칙적이고 해석 가능한 도구를 제공합니다. 이 작업은 목표 일반화에 대한 발달적 관점을 위한 기초를 마련하며, 훈련 중 잠재 변수의 진화를 이해하는 것이 새로운 환경에 배포된 AI 시스템의 안전성을 예측하고 보장하는 데 핵심임을 시사합니다. 저자들은 현재 프레임워크가 특징에 대한 가치의 선형 분해를 가정하지만, 수학적 구조는 일반적이며 이러한 통찰력을 더 복잡한 시스템으로 확장하기 위한 기초 역할을 한다고 지적합니다.