기술 요약: 다목적 정책 최적화를 위한 적응형 부드러운 체비셰프 어텐션

문제 제기

로봇 공학 분야의 심층 강화 학습 (RL) 은 종종 속도 대 안전성, 탐색 범위 대 은신과 같은 여러 상충되는 목표 간의 균형을 요구합니다. 기존 RL 은 스칼라 보상에 의존하는 반면, 다목적 강화 학습 (MORL) 은 환경이 보상의 벡터를 반환하는 시나리오를 다룹니다. 목표는 다른 목표를 저하시키지 않고는 어떤 목표도 개선할 수 없는 파레토 프론트 (Pareto front) 상의 정책을 찾는 것입니다.

기존 접근법들은 최적화 안정성과 기하학적 정밀도 사이의 근본적인 트레이드오프에 직면해 있습니다:

1. 선형 스칼라화 (LS): 가중 합을 통해 목표를 결합합니다. 안정적이지만, 이론적으로 파레토 프론트의 비볼록 영역에서 해를 복원할 수 없어 복잡한 동적 환경에서 하위 최적의 정책으로 이어집니다.
2. 체비셰프 (TCH) 스칼라화: 이상적인 '유토피아' 점으로부터의 최대 가중 편차를 최소화함으로써 볼록성과 관계없이 모든 파레토 최적 해를 이론적으로 복원할 수 있습니다. 그러나 미분 불가능한 max 연산자는 심층 RL 에서 기울기 불안정성과 희소 업데이트를 유발합니다.
3. 부드러운 체비셰프 (STCH): max 연산자를 매끄러움 파라미터 $\mu$로 제어되는 로그 - 합 - 지수 (Log-Sum-Exp) 근사로 대체합니다. 이는 기울기 흐름을 가능하게 하지만, 다음과 같은 치명적인 병목 현상을 도입합니다:
   • 작은 $\mu$: 실제 TCH 함수에 근접하지만 **기울기 기아 (gradient starvation)**를 유발하여 지배적인 목표만 업데이트를 받고 다른 목표들은 재앙적 망각을 겪게 됩니다.
   • 큰 $\mu$: 부드러운 기울기를 보장하지만 방법을 선형 스칼라화로 되돌려 비볼록 영역을 탐색하는 능력을 상실하게 합니다.
   • 정적 튜닝: 고정된 $\mu$는 RL '데이터셋' (에이전트 경험) 이 비정상적이기 때문에 튜닝하기 어렵습니다. 정책이 진화함에 따라 이점의 규모와 유토피아 점에 대한 근접성이 변화합니다.

방법론: PASTA

저자들은 안정성과 정밀도 간의 긴장을 해결하기 위해 최적화 지형의 곡률을 동적으로 조절하는 프레임워크인 PASTA(Adaptive Smooth Tchebycheff Attention 을 통한 정책 최적화) 를 제안합니다.

1. 적응형 부드러운 체비셰프 (ASTCH)

PASTA 의 핵심은 실시간 기울기 간섭에 기반하여 매끄러움 파라미터 $\mu$를 동적으로 조정하는 ASTCH 스칼라화입니다.

• 충돌 주도 컨트롤러: 시스템은 부정적인 내적을 나타내는 (파괴적인 간섭을 나타내는) 샘플링된 목표 기울기 쌍의 비율로 정의된 **충돌 비율 ($\kappa$)**을 모니터링합니다.
• 탄력적 적응:
  • 어닐링 (Annealing): 훈련이 진행되고 충돌이 해결됨에 따라 $\mu$는 정밀한 낮은 값으로 감소하여 스칼라화를 선명하게 만들고, 에이전트가 비볼록 파레토 해에 수렴할 수 있도록 합니다.
  • 동적 브레이킹: 충돌 비율이 임계값을 초과하여 (불안정한 최적화를 나타냄) 컨트롤러가 일시적으로 $\mu$를 증가시킵니다. 이는 프로세스를 '브레이크'하여 정책을 안정화하고 기울기 기아를 방지하기 위해 더 부드럽고 선형과 유사한 근사로 되돌립니다.
  • 관성적 매끄러움: 온-폴리시 알고리즘의 정상 분포 가정을 위반할 수 있는 급격한 진동을 방지하기 위해 $\mu$에 지수 이동 평균 (EMA) 을 적용합니다.

2. 어텐션 정렬 분기형 크리틱

가치 함수가 올바른 우선순위를 학습하도록 보장하기 위해 PASTA 는 공유 특징 추출기와 각 목표에 대한 독립적인 가치 헤드를 갖춘 분기형 크리틱 (Branched Critic) 아키텍처를 도입합니다.

• STCH 어텐션 메커니즘: STCH 함수의 기울기는 목표에 대해 정규화된 양의 가중치 ($\delta$) 를 자연스럽게 유도합니다. 유토피아 점으로부터의 편차가 큰 목표는 지수적으로 높은 어텐션을 받습니다.
• 유지율 ($\rho$): 낮은 $\mu$ 영역에서의 기울기 기아를 상쇄하기 위해 유지율이 도입됩니다. 유효 어텐션 가중치는 STCH 에서 파생된 어텐션과 균일 분포의 혼합물이며, 이는 모든 목표가 최소 기울기 예산을 받도록 보장합니다.
• 손실 정렬: 크리틱의 손실은 이러한 어텐션 계수에 의해 가중되어 가치 추정 역량이 현재 병목 현상으로 작용하는 목표에 할당되도록 합니다.

3. 충돌 인지 기울기 투영

파괴적인 간섭을 더욱 완화하기 위해 PASTA 는 **충돌 기울기 투영 (PCGrad)**의 변형을 통합합니다.

• 이진법으로 이점을 즉시 스칼라화하는 대신, 알고리즘은 이점의 벡터를 유지합니다.
• 개별 목표에 대한 정책 기울기는 별도로 계산됩니다.
• 두 목표 기울기 간에 충돌이 감지되면, 하나는 다른 하나의 정규 평면으로 투영됩니다. 이는 에이전트가 비볼록 파레토 프론트 내의 기하학적 충돌을 탐색하면서도 개별 신뢰 영역 제약을 존중할 수 있게 합니다.

주요 기여

1. ASTCH 프레임워크: 온라인 목표 간 기울기 충돌 추정에 기반하여 매끄러움 파라미터 $\mu$를 동적으로 조정하는 새로운 스칼라화 방법으로, 수동 튜닝의 필요성을 없애고 기울기 기아를 방지합니다.
2. PASTA 알고리즘: ASTCH, 충돌 주도 컨트롤러, 어텐션 정렬 크리틱을 통합한 온-폴리시 정책 기울기 방법입니다. 이는 MORL 에서 유토피아 점과 가치 추정의 비정상성을 명시적으로 고려합니다.
3. 실증적 검증: 까다로운 실세계 및 시뮬레이션 작업에 대한 광범위한 평가를 통해, 선형 기준 방법들이 접근할 수 없고 정적 비선형 방법들에 대해 불안정한 비볼록 영역에서 파레토 최적 정책을 견고하게 발견함을 입증했습니다.

실험 결과

저자들은 PASTA 를 세 가지 다른 도메인에서 평가했습니다:

1. 은신 시각적 탐색 (실세계 및 시뮬레이션):

   • 작업: 지상 로봇은 노출을 최소화 (은신) 하고 탐색 속도를 극대화하면서 물체를 탐색해야 합니다.
   • 결과: PASTA 는 0.291의 초체적 (Hypervolume, HV) 을 달성하여 가장 강력한 정적 기준 방법 ($\mu=10.0$인 STCH) 대비 45.5% 향상을 보였습니다. 다양한 선호도 벡터에 걸쳐 100% 승리율을 달성하여 선형, 체비셰프, 고정 파라미터 STCH 기준 방법들을 크게 능가했습니다.
   • 실세계 배포: 고르지 않은 지형과 장애물이 있는 야외 환경에서 Clearpath Jackal UGV 에서 검증되어 탐색, 은신, 안전성을 성공적으로 균형 있게 유지했습니다.

2. 다목적 MuJoCo 벤치마크:

   • 작업: 상충되는 목표를 가진 연속 제어 작업 (HalfCheetah, Humanoid, Ant, Walker2D).
   • 결과: PASTA 는 모든 환경에서 기준 방법들보다 일관되게 더 높은 초체적과 더 나은 파레토 프론트 커버리지를 달성하여 우수한 샘플 효율성과 견고성을 입증했습니다.

3. 쿼드콥터 항해 (Crazyflie):

   • 작업: "Frogger"(동적 장애물 항해) 및 "Formation"(장애물 회피 중 삼각형 형성 유지).
   • 결과: PASTA 는 HV 와 작업 성공률 모두에서 기준 방법들을 능가했습니다. 실제 비행에서 에이전트는 추락 없이 **91.2% 의 작업 성공률 (52/57 목표)**을 달성하여 확률적 동적 장애물이 있는 항공 플랫폼에 대한 방법의 적용 가능성을 입증했습니다.

중요성 및 주장

이 논문은 PASTA 가 모델 프리 MORL 에서 최적화 안정성과 기하학적 정밀도 간의 오랜 긴장 관계에 대한 견고한 해결책을 제공한다고 주장합니다. 기울기 간섭을 피드백 신호로 취급함으로써, 이 방법은 "탄력적인" 최적화 지형을 생성합니다:

• 목표들이 정렬될 때 정밀한 비볼록 스칼라화로 어닐링되어 파레토 프론트의 오목한 영역에서 해를 발견할 수 있게 합니다.
• 파괴적인 기울기 충돌이 발생할 때 안정적이고 부드러운 근사로 탄력적으로 브레이킹하여 재앙적 망각과 훈련 붕괴를 방지합니다.

저자들은 이 접근법이 정적 스칼라화 방법이 요구하는 광범위한 하이퍼파라미터 튜닝 없이 로봇이 비구조화된 실세계 시나리오에서 복잡하고 상충되는 요구 사항을 자율적으로 해결할 수 있게 한다고 강조합니다. 이 작업은 로봇 공학을 위한 신뢰할 수 있고 선호도 특화적 다목적 학습을 향한 한 걸음으로 제시되지만, 저자들은 하이퍼파라미터 간의 상호 의존성 (충돌 비율 대 유지율) 과 선호도 조건부 정책이 아닌 선호도 특화적 정책에 초점을 맞춘다는 한계를 지적합니다.