기술 요약: 인과적 트랜스포머 Q-네트워크를 갖춘 적응형 청크 크기 액터-크리틱 (ACSAC)

문제 정의

장기적이며 희소 보상을 갖는 작업은 강화 학습 (RL) 에 근본적인 도전 과제를 제시합니다. 표준 단일 단계 시간차 (TD) 학습은 부트스트래핑 오차 누적에 시달리는데, 이는 작은 오차들이 연속적인 벨만 업데이트를 통해 증폭되는 현상입니다. 다단계 반환은 가치 전파를 가속화할 수 있지만, 중간 보상이 현재 정책이 아닌 행동 정책 하에서 수집되기 때문에 오프-정책 편향을 자주 유발합니다.

액션 청킹은 액션 시퀀스가 아닌 액션 시퀀스 기반으로 크리틱과 정책을 학습함으로써 해결책으로 등장했습니다. 이는 오프-정책 편향 없이 다단계 가치 백업을 가능하게 하고 시간적으로 일관된 탐색을 촉진합니다. 그러나 기존 액션 청킹 방법은 작업별로 수동으로 튜닝된 고정된 청크 크기에 의존합니다. 이러한 경직성은 반응성과 시간적 일관성 사이의 정적인 트레이드오프를 강제합니다.

• 큰 고정 청크는 새로운 관측에 대한 반응성을 저하시켜, 민감한 상태 (예: 회전) 에서 에이전트가 궤적에 "과도하게 몰입"하게 하여 최적 경로에서 벗어나게 할 수 있습니다.
• 작은 고정 청크는 불일치하는 운동을 생성하고 장기적 계획의 이점을 활용하지 못합니다.

반응성과 일관성 사이의 최적 균형은 본질적으로 상태 의존적이지만, 현재 방법론들은 실행 지평선을 동적으로 적응시킬 수 없습니다.

방법론: ACSAC

저자들은 각 재계획 상태에서 기대 반환을 최대화하기 위해 청크 크기를 적응적으로 선택하는 **적응형 청크 크기 액터-크리틱 (ACSAC)**을 제안합니다.

1. 인과적 트랜스포머 크리틱

ACSAC 은 다양한 길이의 액션 청크를 평가하기 위해 인과적 트랜스포머 크리틱을 사용합니다. 하위 접두사에 가중치를 재사용할 때 인과적 누출을 초래하는 고정 길이 입력을 요구하는 표준 MLP 크리틱과 달리, 트랜스포머는 상태와 전체 길이 후보 청크 $(s_t, a_{t:t+H})$를 토큰 시퀀스로 입력받습니다.

• 접두사 조건부 출력: 네트워크는 $H$개의 값을 동시에 출력합니다: $\{Q_\phi(s_t, a_{t:t+h})\}_{h \in [H]}$. 여기서 각 값은 청크의 첫 $h$개의 액션을 정확히 실행했을 때의 기대 반환에 해당합니다.
• 인과적 마스킹: 인과적 어텐션 마스크는 $h$번째 출력이 청크 내 미래 액션에 의존하지 않고 접두사 $a_{t:t+h}$에만 의존하도록 보장합니다.
• 교차 지평선 비교 가능성: 모든 $H$개의 값이 공통 백본을 공유하고 공통 할인 반환 척도에서 지평선별 타겟에 대해 학습되기 때문에, 서로 다른 접두사 길이에 대한 Q-값은 직접 비교 가능합니다.

2. 다단계 TD 목적 함수

크리틱은 모든 접두사 길이 $h \in [H]$에 걸쳐 제곱 오차를 평균화하는 다단계 TD 손실로 학습됩니다.

• 타겟 정의: 각 접두사 길이 $h$에 대해, 타겟은 데이터셋에서 얻은 $h$개의 온-정책 보상의 합과 상태 $s_{t+h}$에서 타겟 크리틱으로부터의 부트스트랩 값의 합입니다.
• 부트스트랩 메커니즘: 부트스트랩 값 $Q_{\bar{\phi}}(s_{t+h}, \pi^*(s_{t+h}))$은 다음 상태에서 $N$개의 후보 청크를 샘플링하고 $N \times H$개의 모든 후보에 걸쳐 Q-값을 최대화하는 접두사를 선택함으로써 계산됩니다. 이는 EMaQ 연산자를 후보 인덱스와 접두사 길이에 대한 결합 최대값으로 일반화한 것입니다.
• 이론적 보장: 저자들은 이 벨만 연산자가 적응형 정책의 액션-가치 함수에 해당하는 고유한 고정점을 갖는 $\gamma$-축약임을 증명합니다.

3. 적응형 정책 추출

액터는 표현력이 풍부하고 다중 모드인 액션 청크를 생성하기 위해 Flow Matching 행동 복제 (BC) 정책을 활용합니다.

• 후보 생성: 각 재계획 상태 $s_t$에서 정책은 최대 길이 $H$의 $N$개 후보 청크를 샘플링합니다.
• 결합 거부 샘플링: 청크 크기를 고정하는 대신, ACSAC 은 모든 $N$개의 후보와 모든 $H$개의 접두사 길이에 대한 결합 argmax 를 수행합니다:
  $$(n^*, h^*) = \arg\max_{n \in [N], h \in [H]} Q_\phi(s_t, a^{(n)}_{t:t+h})$$
• 실행: 에이전트는 최적 접두사 $a^{(n^*)}_{t:t+h^*}$를 실행하고 다음 경계에서 재계획합니다. 이를 통해 에이전트는 안정 단계 (예: 직선 경로) 에서는 긴 청크를 실행하고 민감한 단계 (예: 회전 또는 그리기) 에서는 짧은 청크를 실행하여 수동 튜닝 없이 반응성과 일관성을 균형 있게 유지할 수 있습니다.

주요 기여

1. 적응형 청크 선택: 인과적 트랜스포머 크리틱과 결합 거부 샘플링을 사용하여 상태별로 청크 크기를 적응적으로 선택하는 최초의 액션 청킹 액터-크리틱인 ACSAC 도입.
2. 이론적 기반: 접두사 조건부 Q-값이 교차 지평선 비교가 가능하며, ACSAC 벨만 연산자가 적응형 정책의 가치 함수에 해당하는 고유한 고정점을 갖는 축약임을 증명.
3. 실증적 성능: 오프라인 및 오프라인 - 온라인 설정 모두에서 장기적 희소 보상 조작 작업 (OGBench) 에서 단일 단계, 다단계, 고정 청크 베이스라인을 능가하는 최첨단 성능 달성 입증.

실험 결과

이 방법은 5 개 도메인 (scene-sparse, puzzle-3x3-sparse, cube-double, cube-triple, cube-quadruple) 에 걸쳐 25 개 작업으로 구성된 OGBench 스위트에서 평가되었습니다.

• 전체 성능: ACSAC 은 오프라인 사전 학습 및 온라인 미세 조정 단계 모두에서 모든 베이스라인 (IQL, ReBRAC, FQL, BFN 및 QC, DEAS 와 같은 고정 청크 방법 포함) 을 일관되게 능가했습니다.
• 장기적 작업: 거친 수송과 정밀 조작이 혼합된 도메인 (예: cube-triple 및 scene-sparse) 에서 개선이 가장 두드러졌으며, 여기서 적응형 청킹은 에이전트가 작업 단계에 따라 실행 지평선을 전환할 수 있게 했습니다.
• 정성적 분석: 실행된 청크 크기의 시각화는 ACSAC 이 자연스럽게 작업 의미론과 정렬되었음을 보여주었습니다. 즉, 거친 접근 단계에서는 더 긴 청크를 선택하고 정밀 배치 단계에서는 점진적으로 더 짧은 청크를 선택했습니다.
• 보정: 실험은 접두사 조건부 Q-값이 실현된 반환에 대해 잘 보정되어 있으며 서로 다른 지평선 길이 간에 비교 가능함을 확인하여 결합 argmax 전략을 검증했습니다.
• 절대 연구:
  • 청크 크기 ($H$): 단일 단계 실행 ($H=1$) 은 희소 보상 작업에서 실패했으며, 지나치게 긴 최대 청크 ($H=7$) 는 일부 도메인에서 성능을 저하시켰습니다.
  • 샘플링 크기 ($N$): 거부 샘플링 크기를 $N=4$ 이상으로 늘리는 것은 체감 효과를 가져왔습니다.
  • 아키텍처: 베이스라인의 MLP 크리틱을 인과적 트랜스포머로만 교체하면 성능이 향상되었으나 ACSAC 에는 미치지 못했습니다. 이는 적응형 선택 메커니즘과 다지평선 목적 함수가 결정적임을 확인시켜 줍니다.

중요성과 주장

이 논문은 ACSAC 이 액션 청킹 RL 에서 고정된 청크 크기의 근본적인 한계를 해결한다고 주장합니다. 교차 지평선 비교 가능한 Q-값을 학습하기 위해 인과적 트랜스포머를 활용함으로써, ACSAC 은 상태 의존적 실행 지평선을 가능하게 합니다. 이를 통해 에이전트는 민감한 상태에서의 정밀 제어에 필요한 반응성을 유지하면서도 긴 청크의 빠른 가치 백업과 시간적 일관성을 유지할 수 있습니다.

저자들은 ACSAC 을 실세계 응용을 위한 더 견고한 RL 로 나아가는 한 걸음으로 위치시키며, 향후 작업은 이러한 상태 의존적 청크 크기를 대규모 비전 - 언어 - 액션 (VLA) 모델과 통합할 수 있다고 언급합니다. 이는 청크화된 가치 학습이 복잡한 다중 모드 설정으로 확장되는 최근 트렌드를 기반으로 합니다. 이 방법은 오프라인 및 오프라인 - 온라인 학습을 위한 통합 접근법으로 제시되며, 데이터셋에 온라인 전이를 추가하는 것 외에 특수한 기술이 필요하지 않습니다.