Apple: Toward General Active Perception via Reinforcement Learning

이 논문은 강화 학습을 활용하여 다양한 능동적 지각 문제를 해결할 수 있는 범용 프레임워크인 APPLE 을 제안하고, 이를 통해 로봇이 불확실한 환경에서 정보를 능동적으로 수집하는 능력을 향상시킬 수 있음을 실험을 통해 입증했습니다.

핵심

1. 문제 상황: 어두운 상자를 만지는 상황

상상해 보세요. 여러분이 눈을 가리고 어두운 상자에 손을 넣었습니다. 상자 안에는 어떤 물건이 들어있는지, 모양은 어떤지 전혀 모릅니다.

• 기존의 로봇들 (수동적 지각): "아, 내가 지금 이 부분을 만졌네. 이 부분만 보고 '이건 원형일 거야'라고 추측해 볼까?"라고 생각하다가, "아니면 저쪽을 봐야 하나?"라고 고민하다가 시간이 다 되어버립니다. 기존 방법들은 대부분 "무작위로 만져보거나", "특정한 규칙 (예: 무조건 왼쪽부터 오른쪽으로)"을 따르도록 미리 프로그래밍되어 있었습니다.
• APPLE 의 접근법 (능동적 지각): APPLE 은 "내가 지금 이 부분을 만졌을 때, 어디로 손을 움직여야 가장 확실한 정보를 얻을 수 있을까?"라고 스스로 생각합니다. 마치 우리가 어두운 방에서 물건을 찾을 때, 단순히 손을 뻗는 게 아니라 "손가락으로 살살 훑어보면서 모양을 파악하고, 의심스러운 부분은 더 자세히 만져보는" 것처럼 행동합니다.

2. APPLE 의 핵심 원리: "만지작거리며 배우기"

이 기술의 핵심은 **강화 학습 (Reinforcement Learning)**과 **트랜스포머 (Transformer, AI 의 두뇌 구조)**를 결합한 것입니다.

• 비유: 요리사 견습생
  APPLE 은 마치 요리를 배우는 견습생과 같습니다.
  1. 시도 (Action): 견습생은 재료를 만져봅니다 (터치).
  2. 오류 확인 (Loss): 요리사 (스승) 가 "아니야, 그건 소금이지 설탕이 아니야"라고 알려줍니다. (정답과 비교하여 오차를 계산)
  3. 학습 (Policy Update): 견습생은 "아, 소금의 질감은 이렇게 느껴지구나. 다음엔 소금인지 확인하려면 이렇게 만져봐야겠다"라고 기억합니다.
  4. 반복: 이 과정을 수만 번 반복하면서, 견습생은 "어떤 재료를 만졌을 때, 어디를 더 만져봐야 정확한지"를 스스로 터득하게 됩니다.

기존 방법들은 "소금일 때는 이렇게 만져라"라고 규칙을 정해줬다면, APPLE 은 규칙 없이 오직 '틀렸을 때의 아픔 (오차)'만 보고 스스로 최적의 탐색 방법을 찾아냅니다.

3. 왜 이것이 중요한가요? (촉각의 중요성)

우리는 주로 **눈 (시각)**으로 세상을 봅니다. 눈은 한 번에 넓은 범위를 볼 수 있지만, **촉각 (만짐)**은 아주 좁은 부분만 알 수 있습니다.

• 눈: 멀리서도 "저건 사과야"라고 알 수 있음.
• 촉각: 사과를 직접 만져봐야 "아, 둥글고 매끄럽구나"라고 알 수 있음.

로봇이 눈을 가리고 (또는 눈이 안 보이는 상황) 물건을 다룰 때, 촉각이 유일한 정보원이 됩니다. 이때 APPLE 은 "무작위로 만지는 것"보다 훨씬 효율적으로 물건의 모양, 질감, 위치를 파악할 수 있습니다.

4. 실험 결과: 다양한 상황에서 성공

저자들은 APPLE 을 여러 가지 시험에 붙여보았습니다.

1. 숫자 맞추기 (Tactile MNIST): 눈을 가리고 손가락으로 숫자 (0~9) 를 만져서 맞히는 게임입니다. APPLE 은 무작위로 만지는 로봇보다 훨씬 빠르게 숫자를 맞췄습니다.
2. 부피 측정: 같은 숫자라도 부피가 다른지 (예: 두꺼운 1 과 얇은 1) 만져서 재는 작업입니다.
3. 도구 찾기 (Toolbox): 어지러운 상자에 있는 '렌치'를 찾아서 그 위치와 방향을 맞추는 작업입니다.
   • 재미있는 점: APPLE 은 렌치를 찾으면, 렌치 손잡이를 따라 미끄러지듯 움직여 방향을 정확히 파악하는 인간처럼 자연스러운 행동을 스스로 배웠습니다.

5. 기존 기술과의 차이점 (HAM vs APPLE)

이전에도 비슷한 기술 (HAM 이라는 것) 이 있었습니다. 하지만 HAM 은 "한 번 시도하고 결과를 보고 바로 버리는" 방식이라, 학습에 많은 시간과 데이터가 필요했습니다.

• 비유: HAM 은 한 번 시험을 보고 답지를 본 뒤, 그 답지를 버리고 다시 처음부터 시험을 보는 학생 같습니다.
• APPLE: APPLE 은 **공부 노트 (기억 장치)**를 만들어서, 틀린 문제를 반복해서 풀고 정리합니다. 그래서 훨씬 적은 노력으로 더 똑똑해집니다.

6. 결론: 로봇의 '직관'을 깨우다

이 논문이 말하는 APPLE 의 가장 큰 의의는 **"특정한 임무마다 따로 코딩할 필요가 없다"**는 점입니다.

• 과거: 물건을 잡는 로봇, 모양을 찾는 로봇, 질감을 구분하는 로봇은 각각 다른 두뇌를 가져야 했습니다.
• APPLE: 하나의 두뇌로, 어떤 물건이든, 어떤 질문이든 (분류할 것인가, 부피를 재는가?) 스스로 적응하여 해결합니다.

한 줄 요약:

APPLE 은 로봇에게 "눈을 가리고 물건을 만질 때, 어디를 어떻게 만져야 가장 빨리 정답을 알 수 있을까?"를 스스로 깨우치게 만든 혁신적인 두뇌입니다. 이제 로봇도 어두운 상자 속에서 물건을 찾을 때, 우리처럼 능동적으로 탐색할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

활발한 지각 (Active Perception) 은 불확실성이 내재된 부분 관측 환경에서 정보를 획득하기 위해 의도적으로 행동을 선택하는 능력입니다. 특히 시각과 달리 촉각 (Touch) 은 정보가 희소하고 국소적 (local) 이기 때문에, 의미 있는 정보를 수집하기 위해 능동적인 탐험이 필수적입니다.

기존 연구들은 다음과 같은 한계를 가집니다:

• 작업 특화 (Task-specific): 특정 작업 (예: 그리핑, 형태 재구성) 에 맞춰 설계되어 다른 작업으로의 전이가 어렵습니다.
• 강한 가정: 물체가 정지해 있다는 가정이나 탐험을 위한 휴리스틱 (heuristic) 을 수동으로 설계해야 합니다.
• 샘플 비효율성: 기존 강화학습 (RL) 기반 방법들 (예: REINFORCE, PPO) 은 온-폴리시 (on-policy) 방식이라 샘플 효율성이 낮고 확장성이 부족합니다.

이 논문은 "작업별 휴리스틱 없이, 오직 정답 레이블과 미분 가능한 손실 함수 (differentiable loss) 만을 사용하여 다양한 활성 지각 문제를 해결할 수 있는 일반적이고 원리 기반의 RL 알고리즘을 설계할 수 있는가?" 라는 질문에 답하고자 합니다.

2. 방법론 (Methodology)

저자들은 APPLE (Active Perception Policy Learning) 이라는 새로운 프레임워크를 제안합니다. 이는 강화학습 (RL) 과 지도학습 (Supervised Learning) 을 결합하여, 에이전트가 환경과 상호작용하며 정보를 수집하고 동시에 속성을 추론하도록 합니다.

2.1 핵심 개념 및 수식

• 문제 설정: 부분 관측 마르코프 결정 과정 (POMDP) 으로 정의됩니다.
  • 에이전트는 관측치 $o_t$를 바탕으로 행동 $a_t$ (센서 이동) 와 환경 속성 예측 $\hat{y}_t$ (예: 물체 클래스, 위치) 을 동시에 출력합니다.
  • 숨겨진 상태 $\tilde{h}_t$에는 정답 $y^*_t$가 포함되지만 에이전트는 이를 직접 알 수 없습니다.
• 목적 함수 (Objective):
  • 에이전트의 목표는 예측 오차 (Loss) 를 최소화하면서 정보를 수집하는 것입니다.
  • 보상 함수 $\tilde{r}$은 다음과 같이 정의됩니다:
    $$\tilde{r} = r_{RL}(h_t, a_t) - \ell(y^*_t, \hat{y}_t)$$
    • $r_{RL}$: 행동 정규화를 위한 RL 보상 (선택 사항).
    • $\ell$: 예측값과 정답 간의 미분 가능한 손실 함수 (분류는 교차 엔트로피, 회귀는 유클리드 거리 등).
• 경사 하강 (Gradient):
  • 목적 함수의 기울기는 정책 경사 (Policy Gradient) 와 지도 학습 예측 손실의 음수 경사로 분해됩니다.
  • 이는 에이전트가 행동을 통해 정보를 수집하는 것 (RL) 과 수집한 정보를 바탕으로 예측을 개선하는 것 (Supervised Learning) 을 동시에 최적화함을 의미합니다.

2.2 APPLE 변형 모델

두 가지 오프-폴리시 (Off-policy) RL 알고리즘을 기반으로 한 변형 모델을 제안합니다:

1. APPLE-SAC: Soft Actor-Critic (SAC) 기반.
2. APPLE-CrossQ: CrossQ 알고리즘 기반 (Target Network 제거 및 BatchRenorm 사용).
   • 공통 구조: Vision Transformer (ViT) 를 사용하여 고차원 촉각 이미지 (Tactile Image) 를 인코딩하고, 이를 시계열 데이터와 함께 Transformer 를 통해 처리합니다.
   • 공유 백본: 행동 정책 (Policy), Q-네트워크, 예측 모델 (Prediction Head) 이 모두 공유된 Transformer 백본을 사용하여 효율성을 높이고 작업 간 전이를 용이하게 합니다.

3. 주요 기여 (Key Contributions)

1. 통합된 공식화 (Unified Formulation): 정책 경사법과 지도학습을 결합하여 상호작용적 지도학습 문제를 해결하는 원리 기반의 프레임워크를 제시했습니다.
2. 범용성 (Generality): 특정 작업에 의존하지 않고, 미분 가능한 손실 함수와 POMDP 환경만 제공되면 분류 (Classification) 와 회귀 (Regression) 등 다양한 작업에 적용 가능한 프레임워크를 구축했습니다.
3. 실증적 검증: SAC 와 CrossQ 기반의 두 변형 모델을 5 가지 벤치마크 (분류, 부피 추정, 위치 추정) 에서 평가하여, 작업별 휴리스틱 없이도 효과적인 탐색 정책을 학습할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Tactile MNIST 벤치마크 및 Toolbox 등 5 가지 작업에서 APPLE 을 평가했습니다.

• 평가 작업:

  1. CircleSquare: 2D 이미지 내 원/사각형 분류 (저차원).
  2. Tactile MNIST: 3D MNIST 숫자 촉각 분류 (고차원 이미지).
  3. Tactile MNIST Volume: 3D MNIST 숫자의 부피 추정 (회귀).
  4. Toolbox: 공구상자 내 렌치 (Wrench) 의 2D 위치 및 방향 추정 (회귀).
  5. MHSB: 기존 HAM 모델과의 비교를 위한 촉각 분류 작업.

• 성능 비교:

  • APPLE-SAC & APPLE-CrossQ: 모든 작업에서 높은 정확도를 달성했습니다. 특히 APPLE-CrossQ 는 하이퍼파라미터 튜닝 없이도 새로운 작업으로 전이될 때 가장 강력한 견고성 (Robustness) 을 보였습니다.
  • HAM (Haptic Attention Model): 기존 SOTA 방법인 HAM 은 MHSB 작업에서는 어느 정도 작동했으나, CircleSquare 나 Tactile MNIST 와 같은 더 복잡한 작업에서는 학습에 실패하거나 무작위 추측 수준에 머물렀습니다. 이는 HAM 의 온-폴리시 방식과 LSTM 구조의 한계를 시사합니다.
  • APPLE-RND (무작위 행동): 행동 정책은 무작위지만 예측 모델만 학습하는 베이스라인은 모든 작업에서 성능이 낮았습니다. 이는 능동적인 정보 수집 (Active Exploration) 이 필수적임을 보여줍니다.

• 학습 효율성:

  • APPLE-CrossQ 는 타겟 네트워크 업데이트를 생략하여 학습 시간을 약 53% 단축하면서도 성능을 유지했습니다.
  • 에이전트는 무작위 탐색보다 훨씬 빠르게 정보를 수집하고 예측 확신을 높이는 전략 (예: 물체 가장자리를 따라 이동하거나, 핸들을 따라 미끄러지는 등) 을 학습했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 일반화된 활성 지각 프레임워크: APPLE 은 작업별 휴리스틱이나 복잡한 모델 설계를 요구하지 않고, 단순히 "무엇을 예측할지 (레이블)"와 "어떻게 예측 오차를 계산할지 (손실 함수)"만 정의하면 다양한 센서와 작업에 적용 가능한 범용적인 솔루션을 제공합니다.
• RL 과 지도학습의 시너지: RL 을 통해 '어디를 볼지 (어떻게 정보를 수집할지)'를 학습하고, 지도학습을 통해 '무엇을 볼지 (수집된 정보의 의미)'를 학습하는 통합 접근법의 유효성을 입증했습니다.
• 향후 과제: 현재는 시뮬레이션 환경에서 주로 검증되었으며, 실제 로봇 시스템 적용을 위한 샘플 효율성 향상 (Pre-trained Transformer 활용 등) 과 더 복잡한 물리 상호작용 (변형 가능한 물체 등) 으로의 확장이 필요하다고 결론지었습니다.

요약하자면, 이 논문은 강화학습과 트랜스포머 아키텍처를 결합하여 로봇이 불확실한 환경에서 스스로 정보를 수집하고 추론하는 범용적인 능력을 학습할 수 있는 새로운 패러다임을 제시했습니다.