기술적 요약: Hadamard 표현: 모델 없는 강화학습 전반에 걸친 성능을 위한 발판

문제 제기

심층 강화학습 (RL) 에이전트는 훈련 과정에서 표현 능력의 점진적 손실에 시달립니다. 이는 주로 두 가지 방식으로 나타납니다: 뉴런이 휴면 상태가 되는 것 (가소성 상실) 과 유효 랭크의 붕괴 (생존 뉴런 간의 중복성) 입니다. 기존에는 주기적 리셋이나 특수한 아키텍처와 같은 해결책이 존재하지만, 이들은 종종 알고리즘이나 도메인에 특화되어 있습니다.

중요하게도 아직 충분히 분석되지 않은 실패 모드는 tanh와 같은 매끄러운 활성화 함수와 관련이 있습니다. 휴면 뉴런이 0 을 출력하여 효과적으로 가지치기되는 "dying ReLU" 현상과 달리, 포화 상태에 도달한 tanh 뉴런은 0 이 아닌 상수 ($\pm 1$) 로 붕괴됩니다. 저자들은 이러한 포화 상태의 뉴런이 단순히 학습을 멈추는 것이 아니라, 나가는 가중치를 입력과 무관한 고정된 편향으로 변환함으로써 하위 레이어를 능동적으로 오염시킨다고 입증했습니다. 이러한 "침묵하는" 왜곡은 휴면 뉴런의 수가 ReLU 네트워크보다 적을지라도 성능을 저하시킵니다.

방법론: Hadamard 표현 (HR)

저자들은 **Hadamard 표현 (HR)**이라는 간단하고 바로 적용 가능한 아키텍처 수정을 제안합니다. 표준 은닉층 $z(x) = f(Ax + b)$ 대신, HR 은 두 개의 독립적으로 매개변수화된 브랜치의 요소별 곱으로 이를 대체합니다:

$$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$$

여기서 $f$는 활성화 함수 (예: tanh 또는 ReLU) 이며, $(A_1, b_1)$과 $(A_2, b_2)$는 독립적인 가중치와 편향 집합입니다.

HR 은 두 가지 상보적인 메커니즘을 통해 작동합니다:

1. 포화 저항성 (메커니즘 1):

   • tanh의 경우, 뉴런이 휴면 상태 (포화) 가 되려면 두 독립 브랜치가 동시에 포화되어야 합니다. 독립성을 가정할 때, 단일 브랜치가 포화될 확률이 $p$라면, 붕괴 확률은 $p^2$로 떨어집니다. 이는 휴면 tanh 뉴런의 발생을 크게 줄입니다.
   • 반면, ReLU의 경우, 포화 (0 출력) 는 어느 한쪽 브랜치가 포화되면 발생합니다. 붕괴 확률은 $2p - p^2$로 증가합니다. 따라서 HR 은 고휴면 환경에서 tanh 에는 유익하지만 ReLU 에는 해로울 수 있습니다.
   • 이 메커니즘은 기울기가 쉽게 소멸하지 않고 뉴런이 고정된 편향으로 잠그지 않도록 보장함으로써 하위 레이어의 "침묵하는 오염"을 방지합니다.

2. 승법적 표현력 (메커니즘 2):

   • 휴면과 무관하게, 승법적 구조는 입력에 대한 두 가지 관점 사이의 2 차 상호작용을 포착합니다. 이는 고정된 레이어 폭에서 함수 클래스를 확장하여 은닉 표현의 유효 랭크를 증가시킵니다.
   • 이 메커니즘은 휴면 뉴런이 이미 드문 환경 (예: LayerNorm 을 사용하는 최첨단 연속 제어 방법) 에서도 유효 랭크 증가라는 독립적인 표현 이득으로 작용하여 혜택을 제공합니다.

주요 기여

• 고유한 실패 모드의 식별: 이 논문은 포화된 tanh 뉴런이 가지치기되는 대신 고정된 편향을 도입하기 때문에 휴면 ReLU 뉴런보다 엄격하게 더 해롭다는 점을 규명했습니다.
• 아키텍처적 해결책 (HR): tanh 붕괴 확률을 2 차적으로 줄이면서 유효 랭크를 증가시키는 경량 대칭 승법 레이어를 도입했습니다.
• 메커니즘 분석: HR 의 이점을 "포화 저항성" (고휴면 환경에서 지배적) 과 "승법적 표현력" (저휴면 환경에서 지배적) 으로 이론적 및 경험적으로 분리했습니다.
• 하이퍼파라미터 없는 개선: HR 은 하이퍼파라미터 튜닝 없이 다양한 알고리즘과 도메인에서 성능을 향상시킵니다.

실험 결과

저자들은 다섯 가지 알고리즘과 세 가지 서로 다른 도메인에서 HR 을 평가했습니다:

1. 픽셀 기반 이산 행동 (Atari):

   • DQN 및 PPO: 8 개 Atari 게임에서 HR 을 tanh 활성화에 적용한 결과, 휴면 뉴런 비율이 약 23% 감소하고 유효 랭크가 증가하여 강력한 베이스라인 대비 10% 이상의 성능 향상을 이끌었습니다.
   • PQN: 51 개 Atari 게임에 대한 대규모 평가에서, HR 과 tanh 조합은 표준 tanh 대비 인간 정규화 점수 중앙값을 100% 이상 향상시켰으며, ReLU 와의 성능 격차를 해소하면서도 더 높은 유효 랭크를 유지했습니다.
   • 비교: HR 은 CReLU 및 ReDo 와 같은 다른 가소성 보존 방법보다 우수한 성능을 보였습니다.

2. 상태 기반 연속 제어 (HumanoidBench):

   • 휴면 뉴런 비율이 무시할 수 있을 정도로 낮은 최첨단 방법인 SimbaV2를 사용했을 때에도 HR 은 18% 의 성능 향상을 보였습니다. 이는 휴면이 주요 병목 현상이 아닐 때에도 메커니즘 2(승법적 표현력) 가 이득을 주도한다는 것을 확인시켜 줍니다.

3. 시각적 연속 제어 (DMC-Visual):

   • 시각 작업에서 MR.Q를 사용할 때 HR 은 성능을 17% 향상시켰습니다.
   • 어려운 Humanoid 작업에 대한 확장된 훈련에서 MR.Q + HR 은 최첨단 XQC 방법의 성능과 일치했으며, MR.Q 베이스라인과 DrQ-v2 모두를 능가했습니다.

Ablation 연구:

• 파라미터 수: 저자들은 파라미터 수를 맞춘 "확장된" 베이스라인과 HR 을 비교했습니다. 네트워크를 확장하는 것은 종종 성능을 저하시켰습니다 (예: DQN 에서 -46%) 또는 미미한 이득만 제공한 반면, HR 은 일관되게 결과를 개선했습니다. 이는 파라미터 수를 개선의 유일한 설명으로 배제합니다.
• 적층: 여러 HR 블록 (2HR) 을 적층하는 것은 단일 HR 블록보다 추가적인 이점을 제공하지 않았으며, 이는 첫 번째 레이어가 표현 이득을 포착하기에 충분함을 시사합니다.

중요성 및 주장

이 논문은 Hadamard 표현이 모델 없는 RL 의 표현 능력 손실에 대한 보편적이고 아키텍처 수준의 해결책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 보편성: 가치 기반 (DQN), 정책 경사 (PPO), 벡터화 (PQN) 알고리즘뿐만 아니라 상태 기반 및 시각적 연속 제어 전반에 걸쳐 성능을 향상시킵니다.
• 간결성: 하이퍼파라미터 튜닝이 필요 없으며 기존 코드베이스에 바로 적용 가능한 레이어 교체로 통합할 수 있습니다.
• 이론적 통찰: "휴면" 뉴런에 대한 이해를 재정의하여, 매끄러운 활성화 함수의 경우 휴면이 수동적인 가지치기가 아니라 오류 (편향 주입) 의 능동적 원인임을 강조합니다.
• 미래 잠재력: 저자들은 RL 에서 비선형 조각 선형 (non-piecewise-linear) 활성화 함수의 잠재력이 과소평가되어 왔으며, HR 이 RL 과 더 넓은 기계학습 컨텍스트 모두에서 아키텍처 설계에 대한 새로운 길을 열었다고 제안합니다.

이 연구는 HR 이 최소한의 변경 사항이지만, 심층 RL 훈련 역학의 근본적인 한계를 해결하여 다른 방법들이 실패하거나 특정 도메인 적응을 필요로 하는 곳에서 일관된 이득을 제공한다는 결론을 내립니다.