🤖 machine learning

Learning the Supports for Categorical Critic in Reinforcement Learning

본 논문은 가우시안 히스토그램 손실(Gaussian Histogram Loss)을 위한 지지 범위(support bounds)를 동적으로 학습하는 새로운 액터-크리틱 강화 학습 접근법을 제안하며, 이를 통해 사전 정의된 구간의 필요성을 제거하는 동시에 더 타이트한 이론적 오차 범위를 제공하고 연속 제어 작업에서 기존 방법들과 대등하거나 더 우수한 성능을 달성한다.

원저자: Jen-Yen Chang, Takayuki Osa, Tatsuya Harada

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jen-Yen Chang, Takayuki Osa, Tatsuya Harada

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 걷기, 달리기 또는 균형 잡는 법을 가르치려 한다고 상상해 보십시오. 이를 위해 로봇은 특정 동작이 미래에 얼마나 좋을지를 예측하는 "점수표"(가치 함수, Value Function)를 필요로 합니다.

전통적으로 로봇은 이 점수를 정밀한 온도 측정값(예: "이 동작은 42.5점의 가치가 있다")처럼 단 하나의 숫자로 계산합니다. 하지만 미래는 복잡하고 불확실합니다. 어떤 동작은 40점의 가치가 있을 수도 있고, 운에 따라 80점의 가치가 있을 수도 있습니다.

문제점: "고정된 상자"의 함정

이러한 불확실성을 처리하기 위해, 일부 고급 로봇들은 분포 강화학습(Distributional RL)이라는 방법을 사용합니다. 이들은 단순히 하나의 숫자를 추측하는 대신, 가능한 범위 전체를 추측합니다.

이 논문은 HL-Gauss라고 불리는 특정 기술을 다룹니다. 상상해 보십시오. 당신은 점수를 측정하기 위해 긴 빈 자(support interval)를 가지고 있습니다. 당신은 이 자를 128개의 작은 칸(bin)으로 나눕니다. 로봇은 "점수가 1번 칸에 있을 확률은 10%, 2번 칸에 있을 확률은 20%..."와 같은 방식으로 학습합니다.

문제는: 기존 방식에서는 로봇이 학습을 시작하기 전에 반드시 자의 길이를 미리 정해야 했다는 점입니다.

자가 너무 짧으면: 로봇의 미래 점수가 자의 끝 범위를 벗어나 버릴 수 있습니다. 로봇은 그 정보를 잃게 되는데, 이는 마치 1피트짜리 자로 10피트 길이의 막대기를 측정하려는 것과 같습니다. 정보가 잘려 나가며(truncation), 로봇은 잘못된 교훈을 얻게 됩니다.
자가 너무 길면: 10피트 막대기를 측정하기 위해 1마일 길이의 자를 사용할 수도 있습니다. 하지만 128개의 칸만 사용하여 이 1마일을 채워야 한다면, 각 칸은 거대해질 것입니다. 로봇은 점수 50과 51의 차이를 구분할 수 없게 됩니다. 왜냐하면 둘 다 똑같이 거대한 칸 안에 들어가 버리기 때문입니다. 즉, "해상도"가 너무 흐릿해집니다.

진짜 문제는 현실에서 우리는 자가 얼마나 길어야 하는지 알지 못한다는 점입니다. 로봇의 기술은 학습함에 따라 변하며, 그에 따라 가능한 점수의 범위도 변합니다. 초보자에게 적합한 자가 전문가에게는 쓸모없어질 수도 있습니다.

해결책: "똑똑하고 늘어나는 자" (DySEL)

저자들은 DySEL(Dynamic Support Endpoint Learning)이라는 새로운 알고 alorithm을 제안합니다. 고정된 자 대신, 그들은 로봇에게 늘어나고 스스로 조절되는 자를 줍니다.

이것이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다:

로봇이 모래 더미(가능한 미래 점수들)를 양동이(자)에 담으려고 노력하고 있다고 상상해 보십시오.

목표: 로봇은 모래가 빽빽하게 담기도록(높은 해상도) 양동이를 최대한 작게 만들고 싶어 하지만, 동시에 모래가 옆으로 쏟아지지 않도록 충분히 커야 합니다.
갈등:
- 양동이가 너무 작으면, 모래가 밖으로 쏟아져 나옵니다 (절단 오차, Truncation Error).
- 양동이가 너무 크면, 모래가 너무 넓게 퍼져 버립니다 (낮은 해상도).
게임: 저자들은 로봇의 두뇌 안에서 "줄다리기"(min-max game)를 설정했습니다:
- 플레이어 A (최적화 도구): 측정을 정밀하게 만들기 위해 양동이를 줄이려고 노력합니다.
- 플레이어 B (집행자): 안전 요원 역할을 합니다. 만약 플레이어 A가 양동이를 너무 많이 줄여서 모래가 쏟아지기 시작하면, 플레이어 B는 "멈춰!"라고 외치며 모래를 다 받아낼 수 있을 만큼만 양동이를 확장하도록 강제합니다.

이 줄다리기를 통해 로봇은 학습의 모든 단계에서 최적의 자 크기를 자동으로 찾아냅니다. 로봇이 이제 막 시작하여 점수가 작을 때는 양동이가 작게 유지됩니다. 로봇이 실력이 좋아져 점수가 엄청나게 커지면, 인간 프로그래머가 크기를 추측할 필요 없이도 자가 스스로 늘어나 이를 수용합니다.

무엇을 발견했는가?

연구진은 이 "늘어나는 자"를 가상 치타가 달리게 하거나 휴머노이드가 걷게 하는 등 다양한 로봇 작업에 테스트했습니다.

작동합니다: 늘어나는 자를 가진 로봇은 대부분의 작업에서 고정된 자를 사용하는 최고의 로봇들과 대등한 성능을 보였습니다.
어려운 상황에서 빛을 발합니다: 매우 어려운 작업(예: 휴머노이드 걷기 작업)에서는 늘어나는 자를 가진 로봇이 실제로 더 나은 성능을 보였습니다. 왜냐하면 이러한 작업들은 고정된 자로는 감당할 수 없는 매우 거칠고 예측 불가능한 점수 범위를 가지고 있기 때문입니다.
더 이상의 추측은 없습니다: 가장 큰 승리는 인간이 새로운 로봇을 위해 적절한 자의 크기를 추측하며 시간을 보낼 필요가 없다는 점입니다. 로봇이 스스로 알아서 결정합니다.

요약하자면

이 논문은 AI가 미래 보상의 "범위"를 단순히 짐작하는 것을 멈추고, 그 범위 자체를 학습하는 방법을 소개합니다. 범위를 "타이트하게 유지하는 것"과 "모든 데이터를 잡아내는 것" 사이의 균형을 맞추는 과정을 통해, 로봇은 더 효율적으로 학습하며 자가 너무 짧거나 너무 흐릿해서 발생하는 오류를 피할 수 있게 됩니다.

기술 요약: 강화 학습에서 범주형 비평가(Categorical Critic)를 위한 서포트 학습

문제 정의

액터-크리틱(Actor-Critic) 심층 강화 학습(RL)에서 가치 함수는 전통적으로 부트스트랩된 타겟에 대한 평균 제곱 오차(MSE)를 최소화하는 회귀 작업으로 훈련됩니다. 분포적 강화 학습(Distributional RL)은 반환값(returns)의 전체 확률 분포를 모델링함으로써 대안을 제시합니다. 최근의 접근 방식인 가우시안 히스토그램 손실(Gaussian Histogram Loss, HL-Gauss)은 사전에 정의된 빈(bin) 세트 위에 스칼라 벨만 타겟을 가우시안 평활화된 범주형 타겟으로 인코딩함으로써 가치 추정을 분류 문제로 재구성합니다.

그러나 HL-Gauss 및 유사한 히스토그램 기반 방법들은 고정된 서포트 구간 $[\nu_{min}, \nu_{max}]$ 를 미리 정의해야 한다는 결정적인 한계를 가집니다. 강화 학습에서 타겟 값은 비정상적(non-stationary)이며 확률적입니다. 초기 탐색 정책에 의해 유도된 반환값의 범위는 수렴된 정책의 범위와 크게 다를 수 있습니다. 고정된 구간은 다음과 같은 트레이드오프를 발생시킵니다:

너무 좁을 경우: 경계 절단(boundary truncation)이 발생하여 정보가 담긴 극단적인 반환값을 버리게 되고, 절단 편향(truncation bias)을 유발합니다.
너무 넓을 경우: 고정된 빈의 표현 해상도가 희석되어 학습 신호가 약해지고, 양자화 편향(quantization bias)을 유발합니다.

현재 문헌들은 일반적으로 충분히 넓은 정적 구간을 가정하지만, 이는 특정 태스크나 훈련 단계에 있어 최적이 아닐 수 있습니다. 훈련 과정 중 마주치는 모든 정책에 대해 최적인 단일 고정 구간이란 존재하지 않습니다.

방법론: 동적 서포트 엔드포인트 학습 (Dynamic Support Endpoint Learning, DySEL)

저자들은 서포트 구간의 하한과 상한을 미리 할당하는 대신, 이를 동적으로 학습하는 알고리즘인 **동적 서포트 엔드포인트 학습(DySEL)**을 제안합니다.

이론적 기초

핵심적인 이론적 통찰은 평균 제곱 벨만 오차(Mean-Squared Bellman Error, MSBE)가 HL-Gauss 손실에 의해 상한이 결정된다는 점입니다. 이 상한의 엄밀함(tightness)은 서포트 구간의 절대값과 직접적인 상관관계가 있습니다. 구체적으로, 상한은 $\max(|\nu_{min}|, |\nu_{max}|)^2$ (절대 폭)와 분포 일치 항(KL 발산과 관련됨)에 비례하는 항을 포함합니다.

긴장 관계(Tension): 상한을 엄밀하게 만들기 위해서는 좁은 서포트가 필요하지만(상한을 조이기 위해), 절단 편향을 최소화하기 위해서는 넓은 서포트가 필요합니다(전체 확률 질량 $Z$ 를 포착하기 위해).

제약 최적화로서의 정식화

이 긴장 관계를 해결하기 위해 저자들은 문제를 제약 최적화 과제로 정식화합니다:

목표: 높은 해상도와 엄밀한 이론적 상한을 유지하기 위해 서포트 폭을 최소화합니다.
제약 조건: 타겟 분포의 충분한 확률 질량을 포착하여(누락된 질량 $1-Z$ 를 최소화하여) 절단 편향을 방지합니다.

저자들은 이를 라그랑주 승수 $\lambda$ 를 사용하는 적대적 **민-맥스 게임(min-max game)**으로 변환합니다. 최종 목적 함수 $L(\theta, \phi, \lambda)$ 는 세 가지 구성 요소로 이루어집니다:

폭 페널티(Width Penalty): $\alpha \cdot \max(|\nu_{min}|, |\nu_{max}|)$ 로, 과도한 폭에 대해 페널티를 부여합니다.
교차 엔트로피 손실(Cross-Entropy Loss): 표준 HL-Gauss 분류 손실입니다.
질량 제약(Mass Constraint): $\lambda \cdot ((1 - Z) - \epsilon)$ 이며, 여기서 $Z$ 는 커버링 질량(서포트 상의 절단된 가우시안 적분값)입니다.

파라미터는 다음과 같이 업데이트됩니다:

$\theta, \phi$ (비평가 및 서포트 네트워크): 라그랑지안을 최소화합니다.
$\lambda$ (라그랑주 승수): 커버리지 제약을 강제하기 위해 라그랑지안을 최대화합니다.

이 접근 방식은 신경망이 필요할 때 "누락된" 질량을 포착하기 위해 서포트를 자동으로 확장하는 동시에, 폭 페널티가 무한한 확장을 방지하도록 합니다.

주요 기여

이론적 상한: 저자들은 MSBE가 HL-Gauss 손실에 의해 상한이 결정되며, 이 상한의 엄밀함이 서포트 구간의 절대값과 상관관계가 있음을 입증했습니다. 이는 가장 좁은 가능한 서포트를 찾는 동기를 부여합니다.
동적 서포트 정식화: 고정된 구간에 대한 의존성을 제거하고, 동적 서포트 학습을 확률 질량 커버리지를 고려한 제약 최적화 문제로 정식화했습니다.
적대적 민-맥스 목적 함수: 커버리지 제약을 강제하기 위해 라그랑주 승수를 사용하는 다루기 쉬운 학습 목적 함수를 도출하여, 네트워크가 서포트를 적응적으로 확장하거나 축소할 수 있게 했습니다.
경험적 검증: 이 방법은 연속 제어 태스크에서 평가되었으며, 고정 서포트 HL-Gauss 베이스라인과 경쟁할 만한 성능을 보였고, 특히 특정 태스크(휴머노이드 태스크 등)에서 우수한 성능을 보였습니다. 이는 수동적인 구간 튜닝 없이도 가능했습니다.
적응의 증거: 논문은 동적으로 적응된 서포트가 어떠한 단일 고정 서포트보다 우수하다는 증거를 제공하며, 이는 훈련 중의 모든 정책에 대해 최적인 단일 고한 고정 구간은 존재하지 않음을 보여줍니다.

실험 결과

저자들은 11개의 DeepMind Control Suite 태스크에 대해 TD3+DySEL을 TD3 및 TD3+HL-Gauss(고정 서포트 $[-100, 100]$ 사용)와 비교 평가했습니다.

성능: TD3+DySEL은 대부분의 태스크에서 TD3+HL-Gauss와 경쟁할 만한 수준이었으며, 휴머노이드 태스크(예: humanoid-run, humanoid-stand)에서 상당한 성능 향상을 보였습니다. 저자들은 이를 동적으로 학습된 구간이 제공하는 더 미세한 그래뉴러티(granularity) 덕분이라고 설명하며, 이를 통해 비평가가 고정 서포트에 의해 가려졌던 미세한 반환 변화를 식별할 수 있었다고 분석했습니다.
서포트 진화: 학습된 서포트 구간은 두 가지 양상을 보였습니다:
- 안정적(Stable): 일부 태스크(예: finger-turn_hard)는 빠르게 안정적인 구간으로 수렴했습니다.
- 적응적(Adaptive): 다른 태스크들(예: cheetah-run, humanoid-run)은 훈련이 진행됨에 따라 점진적으로 확장되는 모습을 보였습니다.
어블레이션 연구(Ablation Studies): 폭 페널티를 제거하면 서포트가 무한대로 발산하여(교차 엔트로피 손실을 악용) 발생했고, 질량 제약을 제거하면 확장이 필요한 태스크에서 불충분한 커버리지가 발생했습니다. 두 구성 요소 모두 안정성을 위해 필수적이었습니다.
고정 베이스라인과의 비교: DySEL에서 얻은 최종 학습된 서포트 구간을 바닐라 HL-Gauss의 입력으로 사용했을 때 일부 태스크에서 성능이 개선되었으나, 동적 확장이 필요한 태스크에서는 DySEL을 따라잡지 못했습니다. 이는 적응 메커니즘의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 DySEL이 강화 학습의 분류 기반 가치 학습의 근본적인 한계인 정적이고 수동으로 선택된 서포트 구간에 대한 의존성을 해결한다고 주장합니다. 서포트 폭을 MSBE와 이론적으로 연결하고 제약 최적화 문제를 정식화함으로써, 저자들은 다음을 수행하는 방법을 제공합니다:

하이퍼파라미터 튜닝 자동화: 사용자가 서포트 구간을 수동으로 지정하거나 스케줄링할 필요성을 제거합니다.
안정성 및 성능 향 향상: 고정 서포트 베이스라인과 대등하거나 이를 능가하는 안정적인 서포트 적응을 달면서, 휴머노이드 제어와 같은 복잡하고 고차원적인 환경에서 성능을 높입니다.
이론적 정당성: 동적 적응이 고정 서포트보다 벨만 오차에 대한 더 엄밀한 상한을 제공한다는 이론적 프레임워크를 제시합니다.

저자들은 한계점으로서, 사점(saddle-point) 최적화가 듀얼 학습률(dual learning rate)에 민감하다는 점과 현재 학습된 서포트가 대칭적이라는 점을 언급했습니다. 이들은 향다면 비대칭 서포트, 적응형 가우시안 $\sigma$ , 그리고 DM-Control 이상의 광범위한 벤치마크를 탐구할 수 있을 것이라고 제안했습니다.