Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning

본 논문은 고정된 직교 투영을 통해 강화학습 표현을 저차원 부분공간으로 제약하는 경량화 및 아키텍처 무관 메커니즘인 직교 병목 (orthogonal bottlenecks) 을 소개하며, 이론적 및 실증적 분석을 통해 최소 차원성으로도 작업 관련 가치 함수가 보존되고 종종 개선되며 특징 기하학이 안정화됨을 보여줍니다.

핵심

로봇에게 비디오 게임을 플레이하거나 방을 가로지르는 법을 가르친다고 상상해 보세요. 보통 우리는 이러한 로봇에게 거대하고 과도하게 설계된 "두뇌"(신경망) 를 부여합니다. 마치 간단한 수학 문제를 풀기 위해 슈퍼컴퓨터를 사용하는 것과 같죠. 실제 작업이 몇 가지 간단한 규칙만 필요할지라도, 이러한 두뇌는 수백만 개의 연결을 가지고 방대한 양의 데이터를 처리합니다.

이 논문은 다음과 같은 간단한 질문을 던집니다: 과연 이러한 로봇이 정말로 이렇게 거대한 두뇌가 필요한 것일까요, 아니면 단순히 불필요한 짐을 많이 들고 다니고 있는 것일까요?

저자들은 로봇이 작업을 해결하는 데 필요한 "생각"(표상) 이 우리가 생각하는 것보다 훨씬 더 단순하고 작다는 사실을 발견했습니다. 그들은 로봇의 두뇌가 학습 능력을 잃지 않으면서도 작고 효율적인 공간에서 생각하도록 강제하는 방법을 발견했습니다.

일상적인 비유를 사용하여 그들의 발견을 다음과 같이 정리해 보겠습니다:

1. 문제: 지나치게 cluttered 된 책상

로봇의 두뇌를 수천 개의 서랍이 있는 거대하고 지저분한 책상이라고 상상해 보세요. 로봇이 무엇을 해야 할지 고민할 때, 이 모든 서랍을 뒤져야 합니다. 로봇이 장난감을 고치기 위해 망치, 드라이버, 렌치라는 세 가지 특정 도구만 필요하다고 하더라도, 책상이 너무 커서 빈 서랍을 뒤지는 데 시간과 에너지를 낭비합니다.

기술적인 용어로 말하자면, 딥러닝 에이전트들은 작업이 본질적으로 단순할지라도 고차원적 표현 (거대한 "책상") 을 사용합니다.

2. 해결책: "직교 병목 (Orthogonal Bottleneck)"

저자들은 **직교 병목 (Orthogonal Bottleneck)**이라고 부르는 교묘한 구조적 트릭을 제안합니다.

이를 로봇의 눈 (세계를 보는 인코더) 과 두뇌 (무엇을 할지 결정하는 부분) 사이에 놓인 특별하고 단단한 깔때기라고 생각하세요.

• 깔때기: 이 깔때기는 고정되어 있으며 움직이거나 모양이 변하지 않습니다. 수학적으로 "직교"되도록 완벽하게 설계되어 통과하는 정보가 찌그러지거나 왜곡되지 않도록 합니다.
• 효과: 이 깔때기는 로봇의 모든 생각을 매우 좁은 통로로 통과하도록 강제합니다. 로봇의 두뇌가 1,000 차원의 방이었다면, 이 깔때기는 이를 2 차원의 복도로 축소시킵니다.

왜 "직교 (Orthogonal)"일까요?
깔때기를 통해 물을 부으려 한다고 상상해 보세요. 깔때기가 비뚤어지거나 울퉁불퉁하면 물이 튀거나 넘치거나 막힙니다. 하지만 깔때기가 완벽하게 매끄럽고 곧은 (직교하는) 상태라면, 물은 부피를 잃거나 모양이 변하지 않고 깨끗하게 통과합니다. 이는 채널이 좁아졌다고 해서 로봇이 중요한 정보를 잃지 않도록 보장합니다.

3. 큰 발견: "작은 것이 충분하다"

이 논문은 두 가지 주요 사실을 증명합니다:

• 이론: 만약 어떤 작업의 "진짜" 복잡도가 예를 들어 5 차원 (즉, 5 가지 특정 도구가 필요함) 이라면, 깔때기의 너비가 적어도 5 단위만 되면 로봇은 여전히 작업을 완벽하게 해결할 수 있습니다. 원래 책상이 얼마나 컸든 상관없이, 로봇은 그 작은 복도 안에서 필요한 모든 일을 해낼 수 있습니다.
• 현실 점검: 저자들은 간단한 균형대부터 복잡한 비디오 게임 (Atari 등) 과 로봇 보행 시뮬레이션에 이르기까지 다양한 게임과 로봇 작업에서 이를 테스트했습니다.
  • 결과: 거의 모든 경우에서 그들은 로봇의 두뇌를 아주 작은 크기 (때로는 단 2 또는 3 차원!) 로 축소할 수 있었고, 로봇은 거대한 두뇌를 가진 버전과 똑같이 성능을 발휘했습니다.
  • "전환점": 각 작업마다 특정 "최소 크기"가 존재합니다. 깔때기가 너무 작으면 (작업의 진짜 복잡도보다 작으면) 로봇은 실패합니다. 하지만 깔때기가 그 최소 크기보다 조금만 커지는 순간, 로봇의 성능은 100% 로 다시 돌아옵니다.

4. 이것이 중요한 이유: 안정성과 명확성

저자들은 또한 이 깔때기를 통해 로봇이 어떻게 생각하는지에 대해 흥미로운 점을 발견했습니다.

• 깔때기가 없을 때: 로봇의 내부 "생각"이 지저분해질 수 있습니다. 두뇌의 일부 부분은 거대하고 시끄러워지는 반면, 다른 부분은 침묵합니다. 이는 한 사람이 비명을 지르고 나머지는 속삭이는 합창단과 같습니다. 이는 불안정합니다.
• 깔때기가 있을 때: 로봇의 생각은 균형을 유지합니다. 작은 복도의 모든 부분이 고르게 사용됩니다. 이는 학습 과정을 더 안정적으로 만들고 로봇이 "고장 나거나" 잊어버리는 것을 방지합니다.

저자들은 또한 깔때기를 학습 가능하게 만들어 (로봇이 스스로 깔때기를 만들도록 가르치는 것) 보기도 했지만, 고정된 미리 만들어진 깔때기가 실제로 더 신뢰할 수 있다는 사실을 발견했습니다. 이는 로봇이 걷는 동안 스스로 길을 만들라고 요구하는 대신, 로봇에게 미리 제작된 완벽한 복도를 주는 것과 같습니다.

요약

이 논문은 딥러닝 에이전트들이 종종 거대하고 불필요한 두뇌를 들고 다닌다는 것을 보여줍니다. 에이전트가 작고 저차원적인 공간에서 생각하도록 강제하는 단순하고 고정된, 수학적으로 완벽한 "깔때기"를 삽입함으로써 우리는 다음을 달성할 수 있습니다:

1. 성능 유지: 로봇은 똑같이 잘 학습합니다.
2. 학습 안정화: 로봇의 내부 생각은 조직화되고 균형을 이룹니다.
3. 진실 규명: 우리가 일반적으로 구축하는 거대한 신경망 안에 숨겨진 많은 작업들의 "진짜" 복잡도가 놀라울 정도로 작다는 것을 증명합니다.

본질적으로 저자들은 로봇에게 다음과 같이 말할 수 있는 방법을 찾았습니다: "살기 위해 저택이 필요하지 않습니다. 완벽하게 설계된 작은 아파트로도 충분합니다."

기술 요약

기술 요약: 저차원 부분공간에서의 학습: 강화학습을 위한 직교 병목

문제 제기
심층 강화학습 (RL) 에이전트는 일반적으로 정책과 가치 함수를 표현하기 위해 과도하게 매개변수화된 신경망을 사용합니다. 그러나 점점 더 많은 증거들이 작업 관련 가치 및 정책 매니폴드의 내재적 구조가 종종 저차원임을 시사하고 있습니다. 이는 주변 상태 공간이나 네트워크 용량이 높을지라도 마찬가지입니다. 네트워크 용량과 작업 복잡성 사이의 이러한 불일치는 표준 심층 RL 아키텍처가 필요한 것보다 훨씬 더 많은 표현 용량을 할당하고 있는지라는 질문을 제기합니다. "매니폴드 가설"은 고차원 데이터가 저차원 매니폴드 근처에 집중된다고 주장하지만, 이러한 구조를 복원하기 위한 기존 접근법들은 종종 사후적으로 이러한 매니폴드를 발견하기 위해 보조 목적 함수, 대비 손실, 또는 생성 모델링에 의존합니다.

방법론
본 연구는 보조 목적 함수나 기본 RL 알고리즘의 변경 없이 저차원 구조를 강제하기 위한 간단한 아키텍처 수준의 귀납적 편향을 제안합니다. 핵심 메커니즘은 인코더와 하위 정책/가치 헤드 사이에 **고정된 직교 사영 (fixed orthonormal projection)**을 삽입하는 것입니다.

• 아키텍처: 상태 $s$를 고차원 특징 $z \in \mathbb{R}^D$로 매핑하는 인코더 $\phi_\theta$가 주어졌을 때, 이 방법은 $B^\top B = I_k$인 행렬 $B \in \mathbb{R}^D \times k$를 사용하여 이러한 특징을 고정된 $k$차원 부분공간으로 사영합니다. 압축된 표현은 $h = B^\top z \in \mathbb{R}^k$이며, 이는 정책 및 가치 헤드로 입력됩니다.
• 고정 대 학습: 사영 행렬 $B$는 가우시안 행렬의 QR 분해를 통해 초기화되며, 훈련 내내 고정됩니다. 저자는 표현의 안정성을 평가하기 위해 학습 가능한 사영과 이를 대비합니다.
• 이론적 프레임워크: 분석은 RL 이론의 표준 개념인 **선형 실현 가능성 가정 (linear realizability assumption)**에 의존합니다 (Du et al., 2020; Weisz et al., 2023). 이는 최적 가치 함수 $V^\star$가 특징 공간에서 선형 매핑으로 표현될 수 있다고 가정합니다: $V^\star(s) = \Theta^\star \phi(s)$, 여기서 $\Theta^\star$는 내재적 순위 $r$을 가집니다.

주요 기여

1. 표현력과 역학에 대한 이론적 보장:
   저자들은 선형 실현 가능성 가정 하에서, 차원 $k \geq r$인 고정 직교 병목 (여기서 $r$은 최적 가치 함수의 순위) 이 원래 특징 공간의 표현력을 보존함을 증명합니다.

   • 표현의 충분성: $k \geq r$이면, 네트워크가 $V^\star$를 정확하게 실현할 수 있는 인코더 및 헤드 매개변수가 존재합니다. 고정된 병목은 최적 가치 함수를 표현할 수 있는 능력을 감소시키지 않습니다.
   • 최적화 동치성: 고정된 병목으로 인코더 및 헤드 매개변수를 훈련할 때의 기울기 역학은 초기화가 동등하다면 직접적인 $k$차원 매개변수화를 훈련하는 것과 동일합니다. 직교 조건 ($B^\top B = I_k$) 은 사영이 기울기 업데이트를 왜곡하는 전처리기로 작용하지 않도록 보장하며, 이는 불안정한 스케일링을 초래할 수 있는 비직교 고정 사영과 대조됩니다.

2. 저차원 압축 가능성의 경험적 검증:
   이 논문은 다양한 벤치마크 (Classic Control, MinAtar, Atari, Brax MuJoCo, Meta-World) 와 알고리즘 (DQN, PPO, PQN) 을 통해 심층 RL 표현이 매우 낮은 차원의 직교 부분공간으로 압축될 수 있음을 경험적으로 보여줍니다.

   • 회복 임계값: 병목 차원 $k$가 작고 작업에 의존하는 임계값을 초과하면 성능이 일반적으로 기준선 수준으로 회복됩니다. 이 임계값을 넘어서면 $k$를 증가시켜도 체감하는 이득은 줄어듭니다.
   • 인코더 폭 무관성: Humanoid 작업에 대한 실험에서 $k$를 고정하고 인코더 폭 $D$를 변화시킨 결과, 병목 차원이 충분하다면 성능은 인코더 용량에 거의 민감하지 않은 것으로 나타났습니다. 이는 표현력을 지배하는 주요 요인이 병목 차원임을 시사합니다.

3. 표현 기하학 분석:

   • 안정성: 고정 직교 병목은 특징 노름을 안정화시키고, 비직교 고정 사영 (예: 무작위 가우시안) 에서 종종 관찰되는 특징 스케일의 "폭발"을 방지합니다.
   • 유효 순위: 고정 직교 사영은 차원에 비해 높은 유효 순위를 유지하여 부분공간의 균일한 사용을 나타냅니다. 반면, 학습 가능한 사영은 특히 더 큰 병목 차원에서 순위 붕괴와 불안정성을 겪을 수 있습니다.
   • 매니폴드 시각화: 작은 도메인 (예: Acrobot, Freeway) 에서 저자들은 병목 활성화를 시각화하여, 표현이 주변 공간을 채우는 것이 아니라 매끄러운 가치 기울기를 가진 얇은 저차원 매니폴드에 집중됨을 보여줍니다.

결과

• 작은 도메인: Classic Control 및 MinAtar의 경우, $k=2$(일부 경우 $k=1$) 크기의 병목으로 기준선 성능을 달성하기에 충분합니다. 시각화는 가치 매니폴드가 실제로 1 차원 또는 2 차원임을 확인시켜 줍니다.
• 대규모 벤치마크: Atari 및 MuJoCo 작업에서 $k$가 적당한 임계값을 초과하면 성능이 회복됩니다 (예: Humanoid 의 경우 $k=8$, Phoenix 의 경우 $k=128$). 최소 충분 차원은 인코더 폭이 아닌 환경 복잡성과 상관관계가 있습니다.
• 다중 작업 학습: Meta-World MT10 벤치마크에서 고정 직교 병목 ($k=24$) 은 기준선보다 성능을 modest하게 향상시켰으며, 이는 에이전트를 공유된 저차원 부분공간으로 제한하는 것이 부정적 전이와 표현 간섭을 완화할 수 있음을 시사합니다.
• 학습 가능 대 고정: 학습 가능한 사영은 특정 작은 병목 영역에서 약간의 이점을 제공했지만, 다른 설정 (예: 큰 $k$를 가진 Phoenix) 에서 불안정성과 성능 붕괴를 보인 반면, 고정 직교 사영은 모든 테스트된 구성에서 견고하게 유지되었습니다.

의의 및 주장
이 논문은 심층 강화학습 표현이 종종 저차원 직교 부분공간으로 충실하게 압축될 수 있다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 간결성: RL 알고리즘을 수정하거나 보조 손실을 추가하지 않고 표현 기하학을 형성하기 위한 경량이고 아키텍처에 구애받지 않는 메커니즘 (고정 선형 레이어) 을 제공합니다.
• 이론 - 실무 연결: 고정 직교 부분공간을 통한 표현 제한에 대한 원칙적인 정당성을 제공하며, 작은 병목의 경험적 성공을 선형 실현 가능성이라는 이론적 개념과 연결합니다. $k$가 내재적 순위를 초과할 때 성능이 보존된다는 사실은 학습된 가치 표현에 저순위 선형 구조가 존재하는지에 대한 경험적 반증 테스트 역할을 합니다.
• 안정성: 직교성이 제한된 부분공간에서의 안정적인 훈련 역학에 중요함을 강조하며, 불안정성이나 순위 붕괴를 초래할 수 있는 다른 차원 축소 기법과 고정 직교 병목을 구분합니다.

저자들은 이러한 발견들이 RL 에서의 매니폴드 가설에 대한 표현 공간 해석을 지지하며, 향후 연구가 이러한 기하학적 저차원 매니폴드를 의미 있는 요인과 정렬하기 위해 객체 중심 학습과의 연결을 탐구할 수 있음을 시사한다고 결론지었습니다.