🤖 machine learning

Generalised Linear Models in Deep Bayesian RL with Learnable Basis Functions

본 논문은 학습 가능한 기저 함수와 일반화 선형 모델을 활용하여 완전한 계산 가능한 베이지안 추론과 정확한 주변 가능도 평가를 달성함으로써 기존 방법들의 모호한 작업 표현을 극복하고 MuJoCo 및 MetaWorld 벤치마크에서 최첨단 성능을 획기적으로 개선하는 새로운 딥 베이지안 강화 학습 프레임워크인 GLiBRL을 소개합니다.

원저자: Jingyang You, Hanna Kurniawati

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingyang You, Hanna Kurniawati

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 걷거나 물건을 집는 법을 가르친다고 상상해 보세요. 실제 세계에서는 모든 로봇이 약간씩 다르고, 모든 바닥이 약간씩 미끄럽거나 울퉁불퉁합니다. 표준 AI 훈련은 종종 로봇과 바닥을 완벽하고 변하지 않는 것처럼 취급합니다. 그 로봇을 약간 다른 새로운 바닥에 두면, 로봇은 차이점에 적응하는 법을 배우지 못해 자주 넘어지고 실패합니다.

이 논문은 GLiBRL(Deep Bayesian RL 의 일반화 선형 모델과 학습 가능한 기저 함수) 이라는 새로운 방법을 소개합니다. 이를 로봇이 이전에 본 상황과 새로운 상황의 차이점을 정확히 파악하고 즉시 행동을 조정하도록 돕는 "초적응형" 훈련 시스템으로 생각할 수 있습니다.

간단한 비유를 사용하여 작동 원리를 설명하면 다음과 같습니다:

1. 문제: 구식 방법의 "맞추기 게임"

이전 고급 방법들은 "블랙박스" 접근법을 사용하여 이를 해결하려 했습니다. 마치 말뚝만 보고 새로운 보드게임의 규칙을 맞춰보려는 것과 같습니다. 대략적인 아이디어는 얻을 수 있겠지만, 그 추측은 흐릿합니다. 기술적으로 말해, 이러한 방법들은 정답을 근사하기 위해 복잡한 수학 (변분 추론이라고 함) 을 사용합니다.

결함: 단순히 추측 (근사) 하기 때문에 로봇의 새로운 작업에 대한 이해는 종종 "불분명"합니다. 안개 낀 거울 속에서 친구를 알아보려는 것과 같습니다. 사람이라는 것은 알 수 있지만, 친구인지 낯선 사람인지 구별할 수 없는 것입니다. 이로 인해 로봇이 새로운 작업을 마주할 때 성능이 저하됩니다.

2. 해결책: GLiBRL 의 "투명하고 선명한" 접근법

GLiBRL 은 흐릿한 추측 대신 정확한 수학을 사용하여 게임을 바꿉니다.

비유: 당신이 형사라고 상상해 보세요. 구식 방법들은 흐릿한 사진을 보고 범인에 대한 "최선의 추측"을 하며 사건을 해결하려 합니다. 반면, GLiBRL 은 고출력 현미경을 가지고 있습니다. 추측하지 않습니다. 증거를 바탕으로 범인이 누구일지 정확한 확률을 계산합니다.
작동 원리: 로봇은 데이터 (걸음 수나 받은 보상 등) 를 수집합니다. GLiBRL 은 이 데이터를 처리하기 위해 특별한 수학 트릭 (학습 가능한 기저 함수를 갖춘 일반화 선형 모델) 을 사용합니다. 이는 "학습" 부분 (규칙 파악) 과 "결정" 부분 (행동 선택) 을 분리합니다. 이를 통해 추측 없이 수학을 완벽하게 수행할 수 있습니다.

3. 순열 불변성의 "마법"

이 논문의 가장 큰 주장 중 하나는 GLiBRL 이 순열 불변성을 가진다는 것입니다.

비유: 구슬 한 주머니가 있다고 상상해 보세요. 하나씩 꺼낸다면 순서가 중요할까요?
- 구식 방법: 빨간 구슬을 먼저 꺼내고 파란 구슬을 꺼내면, 컴퓨터는 "좋아, 빨강 그다음 파랑"이라고 생각합니다. 파랑을 먼저 꺼내고 빨강을 꺼내면 혼란에 빠집니다. 사건 순서를 비밀 코드로 취급합니다.
- GLiBRL: 구슬 주머니를 봅니다. 빨간 구슬을 먼저 꺼냈든 나중에 꺼냈든 상관없습니다. 단지 "빨간 구슬 하나와 파란 구슬 하나를 가지고 있다"는 것만 알면 됩니다.
중요성: 이는 GLiBRL 이 두 가지 매우 다른 유형의 학습 알고리즘 ("온-정책"과 "오프-정책") 을 매끄럽게 처리할 수 있게 합니다. 어떤 전원 소켓에도 맞는 범용 어댑터와 같아, 이 방법을 훨씬 더 유연하고 효율적으로 만듭니다.

4. "지문" 발견

저자들은 로봇이 작업을 "보는" 방식과 로봇이 수집한 실제 데이터 사이에 아름다운 수학적 연결고리를 발견했습니다.

비유: 모든 작업 (예: "빠르게 걷기" 대 "천천히 걷기") 이 고유한 지문을 가지고 있다고 상상해 보세요. GLiBRL 은 지도상의 두 지문 사이의 거리가 로봇이 본 데이터의 차이와 정확히 일치하는 지도를 만듭니다.
주장: 이는 이러한 유형의 온라인 학습에 대해 직접적인 폐형 (closed-form) 연결을 증명한 첫 사례입니다. 이는 로봇의 작업에 대한 내부 "지도"가 현실과 완벽하게 정렬되어 있음을 의미합니다. 두 작업이 데이터에서 비슷해 보이면 로봇은 그들이 비슷하다는 것을 알고, 다르게 보이면 서로 다르다는 것을 압니다.

5. 결과: 더 빠르고 더 똑똑함

팀은 GLiBRL 을 두 가지 유명한 로봇 훈련 장에서 테스트했습니다:

MuJoCo: 치타나 개미처럼 걷는 법을 배우는 시뮬레이션 로봇.
MetaWorld: 문 열기나 블록 집기처럼 물건을 조작하는 법을 배우는 시뮬레이션 로봇.

결과:
GLiBRL 은 단순히 작동한 것이 아니라 경쟁자를 압도했습니다.

걷기 테스트에서 이전 최고 방법보다 최대 1.8 배 더 좋은 결과를 달성했으며, 종종 훨씬 적은 훈련 단계를 사용했습니다.
물체 조작 테스트에서는 최대 1.1 배 더 높은 성공률을 달성했습니다.
가장 중요한 점은 다른 방법들보다 훨씬 빠르고 정확하게 서로 다른 작업을 구별하는 법을 배웠다는 것입니다. 이는 구식 방법의 "흐릿한 추측"보다 GLiBRL 의 "정확한 수학" 접근법이 우월함을 증명합니다.

요약

간단히 말해, GLiBRL 은 흐릿하고 근사적인 추측을 정밀하고 정확한 수학 계산으로 대체하는 AI 에이전트 훈련의 새로운 방식입니다. 로봇의 학습 과정을 현미경으로 사건을 해결하는 완벽한 형사처럼 취급함으로써, 로봇이 새로운 상황을 즉시 이해하고 행동을 완벽하게 조정하며 걷기와 물체 조작 작업 모두에서 이전 모든 방법보다 뛰어난 성과를 내도록 합니다.

기술 요약: 학습 가능한 기저 함수를 갖춘 딥 베이지안 RL 의 일반화 선형 모델 (GLiBRL)

문제 제기

베이지안 강화 학습 (BRL) 은 전이 및 보상 역학에 대한 불확실성을 명시적으로 모델링함으로써 메타 - 강화 학습 (Meta-RL) 에서의 일반화를 위한 원칙적인 프레임워크를 제공합니다. 그러나 고전적인 BRL 방법은 이러한 모델에 대한 알려진 함수 형태에 의존한다는 한계가 있어 다양한 작업에 적용하는 데 제약을 받습니다. 최근의 딥 BRL 접근법은 신경망을 사용하여 이러한 형태를 학습하려 시도하지만, 상당한 이론적 및 실용적 장애물에 직면합니다:

추론의 비실현성: 데이터와 작업 매개변수의 결합 공간에 신경망을 직접 적용하면 정확한 베이지안 추론이 비실현적이 되어, 변분 추론 (VI) 에 의존하게 됩니다.
VI 의 한계: VI 는 고분산 몬테카를로 추정치, 상각 간극 (amortization gaps), 사후 분포 붕괴 (posterior collapse) 와 같은 문제를 야기하며, 종종 정책 성능을 저하시키는 모호한 작업 표현을 초래합니다.
순열 불변성: 많은 딥 BRL 방법은 작업 이력을 요약하기 위해 순차적 모델 (예: RNN, Transformer) 을 사용합니다. 이러한 모델들은 순열에 따라 변하므로, 심각한 성능 저하 없이 소프트 액터 - 크리틱 (SAC) 과 같은 샘플 효율적인 오프 - 정책 알고리즘과 호환되지 않습니다.
노이즈 가정: 기존 방법들은 종종 알려진 노이즈 분포를 가정하거나 테스트 시 신경망 가중치를 고정합니다 (실질적으로 베이지안 추론이 아닌 최대우도추정을 수행함), 이로 인해 보지 못한 작업에서 예측 오류가 발생합니다.

방법론: GLiBRL

저자들은 딥 러닝의 표현 능력을 유지하면서 완전히 실현 가능한 정확한 베이지안 추론을 가능하게 하는 GLiBRL(학습 가능한 기저 함수를 갖춘 딥 베이지안 RL 의 일반화 선형 모델) 을 제안합니다.

핵심 아키텍처

GLiBRL 은 작업 매개변수와 데이터 특징 간에 일반화된 선형 관계를 강제합니다. 신경망을 결합 매개변수 - 데이터 공간에 직접 적용하는 대신, 이를 분리합니다:

학습 가능한 기저 함수: 신경망 ( $\phi_T, \phi_R$ ) 은 원시 상태 - 행동 데이터를 특징 공간 ( $C_T, C_R$ ) 으로 매핑하는 표현력 있는 학습 가능한 기저 함수로 작용합니다.
선형 파라미터화: 전이 및 보상 모델은 작업 매개변수 ( $\theta_T, \theta_R$ ) 에 대해 학습된 특징에 대해 선형입니다.
켤레 사전 분포: 이 방법은 작업 매개변수 (평균 및 노이즈 공분산) 에 대해 노말 - 위시아트 사전 분포를 사용합니다. 이 선택은 행렬 - 노말 가능도 함수에 켤레이므로, 변분 근사 없이 정확한 사후 업데이트를 가능하게 합니다.

주요 기술 구성 요소

정확한 사후 업데이트:
- 작업 매개변수에 대한 사후 분포는 새로운 샘플이 도착함에 따라 순차적으로 업데이트됩니다.
- 행렬 역행렬 보조정리를 활용함으로써, 온라인 업데이트의 계산 복잡도를 전이의 경우 $O(\max(D_S^2, D_T^2))$ , 보상의 경우 $O(D_R^2)$ 로 줄여 확장성을 보장합니다.
- 특히, GLiBRL 은 고정된 노이즈를 가정했던 이전 연구 (ALPaCA 등) 를 일반화하여 모델 노이즈 (공분산 행렬 $T_\sigma, R_\sigma$ ) 에 대해 정확한 베이지안 추론을 수행합니다.
ELBO-없는 목적 함수:
- 사후 분포가 실현 가능하므로, GLiBRL 은 폐쇄형으로 정확한 주변 로그 가능도를 계산합니다.
- 모델 매개변수 ( $\phi_T, \phi_R$ ) 는 이 주변 가능도를 최대화함으로써 최적화되며 (식 19), 변분 추론과 증거 하한 (ELBO) 의 필요성을 완전히 우회합니다. 이는 사후 분포 붕괴와 같은 문제를 제거합니다.
순열 불변성:
- 정확한 베이지안 업데이트는 데이터의 순서와 무관하게 데이터의 충분 통계량 (특징 행렬 및 목표 값) 만에 의존합니다.
- 이 순열 불변성은 GLiBRL 이 온 - 정책 (예: PPO) 과 오프 - 정책 (예: SAC) RL 알고리즘 모두와 원활하게 통합될 수 있게 하여, 순차적 이력 인코더에 의존하는 방법들에 비해 상당한 장점을 제공합니다.
구조적 대응 관계:
- 이 논문은 작업 표현 (사후 평균에서 유도됨) 간의 L2 거리와 학습된 특징 공간 내 작업 샘플 간의 커널 기반 경험적 대응 관계 (구체적으로 부호 측정 코사인 평균 유사도 및 최대 평균 불일치) 를 연결하는 폐쇄형 항등식을 수립합니다.
- 이는 작업 표현이 임의의 임베딩이 아니라 근본적인 데이터 샘플 간의 차이와 구조적으로 연결되어 있음을 보장합니다.

주요 기여

실현 가능한 딥 BRL: 변분 근사의 필요성을 제거하고 딥 RL 환경에서 작업 매개변수 및 모델 노이즈에 대한 정확한 베이지안 추론을 달성하는 프레임워크의 도입.
학습 가능한 기저 함수: 선형 베이지안 모델의 수학적 실현 가능성을 유지하면서 신경망을 사용하여 특징 기저를 학습하는 새로운 아키텍처.
순열 불변 통합: 고유한 순열 불변성으로 인해 SAC 와 같은 오프 - 정책 알고리즘과 원활하게 통합될 수 있는 최초의 딥 BRL 방법.
이론적 구조적 결과: 작업 표현의 기하학적 거리와 작업 샘플의 커널 기반 유사도를 연결하는 온라인 딥 BRL/메타 -RL 에서의 첫 번째 폐쇄형 관계식 유도.
노이즈 추론: 모델 노이즈에 대한 명시적 베이지안 추론으로, 고정된 노이즈를 가정하는 방법들에 비해 전이 및 보상 모델의 예측 오류를 줄임을 저자들이 입증함.

실험 결과

GLiBRL 은 MuJoCo 이동성 벤치마크와 MetaWorld(ML10 및 ML45) 조작 벤치마크에서 평가되었습니다.

MuJoCo: GLiBRL( SAC 와 결합) 은 최첨단 성능을 달성하여, PPO 기반 베이스라인 (RL2, TrMRL, VariBAD) 보다 최대 1.5 배 높은 수익을 달성하면서도 훈련 단계는 10% 만 사용했습니다 ( $10^6$ 대 $10^7$ ). 또한 SAC 기반 PEARL 방법보다 최대 1.8 배 더 우수한 성능을 보였습니다.
MetaWorld: 까다로운 ML10 및 ML45 설정에서 GLiBRL( PPO 와 결합) 은 MAML, RL2, VariBAD 를 포함한 강력한 베이스라인과 동등하거나 더 높은 성능을 달성했습니다. 구체적으로 MetaWorld 에서 성공률 최대 1.1 배 개선을 달성했습니다.
정성적 분석: PCA 를 통한 작업 표현 시각화는 GLiBRL 이 최소한의 훈련 ( $5 \times 10^5$ 단계) 후에도 연속적인 작업 매개변수 (예: 목표 속도) 를 구조화된 잠재 공간으로 성공적으로 분리함을 보여주었으며, 반면 강력한 베이스라인들은 훨씬 더 큰 훈련 예산을 사용함에도 의미 있는 분리를 달성하지 못했습니다.
절대 연구: 모델 노이즈에 대한 추론을 제거한 경우 (GLiBRL_wo_NI), 전이 및 보상 모두에서 예측 오류가 증가하여 정확한 모델링을 위해 노말 - 위시아트 사전 분포가 필수적임을 검증했습니다.

중요성 및 주장

이 논문은 GLiBRL 이 딥 러닝의 유연성과 베이지안 추론의 엄격함 사이의 긴장을 해결함으로써 딥 베이지안 RL 에서 중요한 발전을 이루었다고 주장합니다.

이론적 엄격성: 온라인 딥 BRL 에서 표현 기하학과 샘플 유사도를 연결하는 첫 번째 구조적 결과를 제공하여 학습된 작업 임베딩이 이론적으로 근거를 갖도록 보장합니다.
실용적 효율성: 변분 추론을 피함으로써 ELBO 최대화와 관련된 불안정성 및 최적화 어려움을 회피하여 더 안정적인 학습과 더 나은 샘플 효율성을 이끌어냅니다.
알고리즘 호환성: 정확한 업데이트의 순열 불변성으로 인해 이전에 딥 BRL 방법과 통합하기 어려웠던 매우 효율적인 오프 - 정책 알고리즘 (SAC) 의 사용을 가능하게 합니다.
일반화: 모델 노이즈를 추론하고 기저 함수를 학습할 수 있는 능력은 에이전트가 알려지지 않은 전이 및 보상 역학을 가진 보지 못한 작업으로 효과적으로 일반화하여 표준 벤치마크에서 현재 최첨단 메타 -RL 방법들을 능가하게 합니다.

저자들은 GLiBRL 이 현재 정책 학습 측면에서 모델 - 프리 (model-free) 이지만, 학습된 전이 및 보상 모델은 고차원 위시아트 분포에서 샘플링하는 계산 병목 현상이 해결된다면 모델 기반 계획과의 미래 통합에 적합하다고 결론지었습니다.