🤖 machine learning

Task Tokens: A Flexible Approach to Adapting Behavior Foundation Models

이 논문은 행동 기반 모델 (BFM) 의 유연성을 유지하면서 강화학습을 통해 학습된 '작업 토큰 (Task Tokens)'을 도입하여 특정 작업에 맞춰 모델 성능을 최적화하는 새로운 적응 기법을 제안합니다.

원저자: Ron Vainshtein, Zohar Rimon, Shie Mannor, Chen Tessler

게시일 2026-03-30

📖 3 분 읽기☕ 가벼운 읽기

원저자: Ron Vainshtein, Zohar Rimon, Shie Mannor, Chen Tessler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 "태스크 토큰 (Task Tokens)": 로봇에게 새로운 일을 가르치는 마법의 주문

이 논문은 인공지능 로봇이 인간의 움직임을 흉내 내는 '행동 기초 모델 (BFM)'을 어떻게 더 똑똑하고 유연하게 만들 수 있는지에 대한 이야기를 담고 있습니다.

핵심 아이디어를 쉽게 설명하기 위해 거대한 도서관과 마법사의 비유를 사용해 보겠습니다.

1. 배경: 거대한 도서관과 똑똑한 로봇

상상해 보세요. 거대한 도서관이 있습니다. 이 도서관에는 수만 권의 책이 있는데, 이 책들은 모두 인간이 어떻게 걷고, 뛰고, 물건을 잡는지에 대한 기록입니다.

기존의 로봇 (MaskedMimic): 이 도서관의 모든 책을 읽은 아주 똑똑한 로봇이 있습니다. 이 로봇은 "앞으로 걸어라", "오른손으로 잡아라" 같은 간단한 지시만 받으면, 도서관의 지식을 바탕으로 아주 자연스럽게 움직입니다.
문제점: 하지만 로봇에게 "저기 있는 공을 발로 차서 저기 있는 목표물을 맞추고, 그다음에 뒤로 돌아서 춤을 춰라"처럼 아주 구체적이고 복잡한 미션을 주면, 로봇은 당황합니다.
- 단순히 "공을 차라"라고 말해도, 로봇은 공을 차기는 하지만 목표물을 맞추지 못하거나, 이상하게 뒤로 걷는 실수를 하기도 합니다.
- 로봇에게 새로운 일을 가르치려면 도서관의 책 전체를 다시 써야 하거나 (모델 전체를 수정), 아주 정교한 지시문 (프롬프트) 을 만들어야 하는데, 이 과정이 너무 어렵고 비쌉니다.

2. 해결책: "태스크 토큰 (Task Tokens)"이라는 마법 주문

이 논문은 **"태스크 토큰"**이라는 새로운 방법을 제안합니다.

비유: 도서관의 책 (기존 로봇의 지식) 을 한 줄도 건드리지 않고, 로봇에게 **새로운 마법 주문 (Task Token)**만 붙여주는 것입니다.
어떻게 작동하나요?
1. 기존 지식 유지: 로봇이 이미 알고 있는 '자연스러운 걷기'나 '손 움직임' 같은 기본 지식은 그대로 둡니다. (이게 가장 중요합니다. 로봇이 갑자기 멍청해지지 않게 하죠.)
2. 새로운 주문 추가: 로봇이 해야 할 구체적인 미션 (예: "공을 차서 목표물 맞추기") 에 맞는 작은 **마법 토큰 (Task Token)**을 만들어서 로봇에게 줍니다.
3. 학습: 로봇은 이 새로운 주문을 받으면, "아! 이 주문에 맞춰서 내 기존 걷기 동작을 살짝 변형해서 공을 차야겠구나!"라고 스스로 학습합니다.

3. 왜 이 방법이 대단할까요?

🚀 1. 엄청나게 빠르고 가볍습니다 (효율성)

기존 방법: 로봇에게 새로운 일을 가르치려면 로봇의 두뇌 (모델 전체) 를 다시 훈련시켜야 해서, 컴퓨터가 엄청나게 많은 전기를 쓰고 시간이 오래 걸립니다. (약 2,500 만 개의 파라미터를 수정)
태스크 토큰: 오직 **작은 마법 주문 (약 20 만 개의 파라미터)**만 새로 만들면 됩니다.
결과: 학습 속도가 6 배 더 빠르고, 필요한 자원은 125 배 더 적게 듭니다. 마치 거대한 건물을 다시 짓지 않고, 필요한 방만 리모델링하는 것과 같습니다.

🛡️ 2. 실수해도 안전합니다 (강건성)

로봇이 미끄러운 바닥 (마찰력 변화) 이나 무거운 중력 환경에서도 원래의 자연스러운 움직임을 잃지 않습니다.
기존에 모델을 전체적으로 수정하면, 새로운 환경에 적응하다가 원래의 자연스러운 걸음걸이를 잊어버리는 '망각' 현상이 일어날 수 있는데, 태스크 토큰은 이를 막아줍니다.

🎨 3. 인간의 의도와 로봇의 학습을 합칩니다 (하이브리드)

인간의 의도 (프롬프트): "앞을 보고 걸어라"라고 사람이 직접 지시할 수 있습니다.
로봇의 학습 (보상): 로봇은 "공을 최대한 세게 차라"라는 목표를 스스로 학습합니다.
결합: 태스크 토큰은 이 두 가지를 완벽하게 섞어줍니다. 사람이 "앞을 보고"라고 말하면 로봇은 뒤로 걷는 실수를 하지 않고, 목표물을 맞추기 위해 세게 차는 학습을 동시에 수행합니다.

4. 실제 성과는 어떨까요?

연구진은 다양한 실험을 했습니다.

목표 도달: 손으로 물건을 잡기, 특정 방향으로 걷기, 조종하기 등 다양한 미션에서 기존 방법보다 훨씬 높은 성공률을 보였습니다.
자연스러움: 인간이 보기에 로봇의 움직임이 훨씬 더 인간처럼 보였습니다. (사람들이 투표한 결과, 태스크 토큰을 사용한 로봇이 더 자연스러웠습니다.)
예외 상황: 바닥이 얼음처럼 미끄러워지거나 중력이 강해져도, 다른 방법들은 넘어지지만 태스크 토큰을 쓴 로봇은 잘 견뎌냈습니다.

📝 요약: 한 문장으로 정리하면?

"태스크 토큰"은 거대한 로봇의 두뇌를 건드리지 않고, 아주 작고 똑똑한 '마법 주문'만 붙여주어, 로봇이 복잡한 새로운 일도 빠르고 자연스럽게, 그리고 실수 없이 해내게 해주는 혁신적인 기술입니다.

이 기술은 앞으로 영화 속의 애니메이션 캐릭터를 더 리얼하게 만들거나, 실제 가정용 로봇이 다양한 일을 돕는 데 큰 역할을 할 것으로 기대됩니다.

1. 문제 정의 (Problem)

최근 모방 학습 (Imitation Learning) 의 발전으로 인간형 로봇 (Humanoid) 을 제어하는 행동 기반 모델 (Behavior Foundation Models, BFMs) 이 등장했습니다. 특히 목표 조건부 행동 기반 모델 (GC-BFMs, 예: MaskedMimic) 은 대규모 인간 시연 데이터를 학습하여 다양한 고수준 목표 (프롬프트) 에 기반한 자연스러운 행동을 제로샷 (Zero-shot) 으로 생성할 수 있습니다.

그러나 이러한 모델은 실제 복잡한 작업에 적용할 때 다음과 같은 한계가 존재합니다:

정밀한 제어의 부재: 고수준 프롬프트만으로는 복잡한 작업 (예: 특정 물체를 정확히 치기) 을 수행하기 어렵습니다.
보상 설계의 어려움: 복잡한 장기 작업에서 환경별 보상을 설계하는 것은 오류가 발생하기 쉽고, 최적의 행동을 유도하기 어렵습니다.
전체 모델 파인튜닝의 위험: 특정 작업에 맞춰 전체 모델을 파인튜닝하면 모델이 가진 보편적인 운동 지식 (Prior) 이 손실되어 (Catastrophic Forgetting) 자연스럽지 않거나 불안정한 동작이 생성될 수 있습니다.

따라서, 기존 BFMs 의 강건함과 일반화 능력을 유지하면서, 특정 작업에 맞게 정밀하게 적응 (Adaptation) 할 수 있는 유연한 방법론이 필요합니다.

2. 방법론 (Methodology: Task Tokens)

저자들은 Task Tokens이라는 새로운 접근법을 제안합니다. 이는 GC-BFMs 의 트랜스포머 아키텍처 내부에 자연스럽게 통합되는 하이브리드 제어 패러다임입니다.

핵심 개념:
- 고정된 기반 모델 (Frozen BFM): MaskedMimic 과 같은 사전 학습된 BFMs 의 파라미터는 변경하지 않습니다.
- 작업 특화 인코더 (Task Encoder): 각 작업마다 새로운 Task Token을 생성하는 경량 인코더 (Tokenizer) 만을 학습합니다.
- 하이브리드 입력: 모델의 입력은 세 가지로 구성됩니다.
  1. Prior Tokens: 사용자가 정의한 고수준 행동 사전 지식 (텍스트 프롬프트 또는 관절 조건).
  2. State Tokens: 현재 환경 상태.
  3. Task Tokens: 학습된 Task Encoder 가 현재 목표 관측치 ( $g_t$ ) 를 기반으로 생성한 작업 특화 임베딩.
학습 과정:
- 강화 학습 (PPO): Task Encoder 만을 강화 학습 (PPO) 을 통해 학습시킵니다.
- 그라디언트 흐름: 보상 신호를 기반으로 Task Encoder 의 파라미터를 업데이트할 때, 그라디언드는 고정된 BFM 을 통과하여 역전파됩니다.
- 효율성: 전체 모델을 학습하는 대신, 작업당 약 20 만 개 (200K) 의 파라미터만 학습합니다.

3. 주요 기여 (Key Contributions)

파라미터 효율적인 작업 적응: MaskedMimic 과 같은 GC-BFM 을 전체 파인튜닝하지 않고, Task Tokens 를 통해 특정 작업에 적응시킵니다. 이는 제로샷 능력을 유지하면서도 새로운 작업을 해결할 수 있게 합니다.
압도적인 효율성 및 수렴 속도:
- 기존 방법 대비 학습 파라미터를 최대 125 배 줄였습니다.
- 수렴 속도가 기존 방법 대비 최대 6 배 빠릅니다.
하이브리드 제어 패러다임: 사용자의 고수준 사전 지식 (프롬프트) 과 강화 학습을 통해 학습된 보상 기반 최적화를 자연스럽게 결합합니다.
강건한 일반화: 환경 변화 (마찰력, 중력 등) 에 대한 OOD(Out-of-Distribution) 일반화 능력이 뛰어나며, 인간과 유사한 동작 품질을 유지합니다.

4. 실험 결과 (Results)

저자들은 Isaac Gym 시뮬레이션 환경에서 인간형 로봇 (SMPL) 을 대상으로 Reach, Direction, Steering, Strike, Long Jump 등 다양한 작업을 평가했습니다.

성능 (Success Rate):
- Task Tokens 은 Reach, Direction, Steering, Long Jump 작업에서 MaskedMimic 파인튜닝 및 기타 최신 방법 (PULSE, AMP, PPO) 과 유사하거나 더 높은 성공률을 보였습니다.
- 특히 Strike 작업에서는 파인튜닝 방법과 유사한 성능을 내면서도 더 적은 자원으로 달성했습니다.
수렴 효율성:
- Task Tokens 은 약 5 천만 (50M) 스텝 내에 수렴하는 반면, PULSE 는 약 3 억 (300M) 스텝이 소요되었습니다.
OOD 일반화 (Robustness):
- 마찰력 (Friction) 과 중력 (Gravity) 을 변화시키는 테스트에서 Task Tokens 은 파인튜닝된 모델보다 훨씬 더 높은 강건성을 보였습니다. 파인튜닝은 환경 변화에 민감해지지만, Task Tokens 은 고정된 BFM 의 사전 지식을 유지하여 안정성을 확보했습니다.
인간 평가 (Human Study):
- 약 100 명의 참가자를 대상으로 한 인간성 평가에서 Task Tokens 은 파인튜닝된 모델과 비교하여 더 인간적인 (Human-like) 동작을 생성하는 것으로 평가받았습니다. 특히 방향 전환 (Direction) 작업에서 뒤로 걷는 등의 비직관적인 행동을 방지하고 올바른 자세를 유지하는 데 성공했습니다.
멀티모달 프롬프팅:
- Task Tokens 은 텍스트 프롬프트 ("kick") 와 관절 조건 (Joint conditions) 을 동시에 입력받아 동작 스타일을 제어할 수 있으며, 이는 전체 파인튜닝 시 발생하는 '카타스트릭 포기팅 (Catastrophic Forgetting)' 문제를 해결합니다.

5. 의의 및 결론 (Significance)

이 연구는 Task Tokens을 통해 행동 기반 모델 (BFMs) 을 특정 제어 작업에 적응시키는 새로운 패러다임을 제시합니다.

실용성: 대규모 모델을 매번 파인튜닝할 필요 없이, 경량의 인코더만 학습하여 다양한 하위 작업을 효율적으로 처리할 수 있어 실제 로봇 제어 및 애니메이션 제작에 매우 유용합니다.
균형 잡힌 접근: "프롬프트 엔지니어링"의 직관성과 "보상 설계"의 정밀함을 모두 결합하여, 자연스러움과 작업 수행 능력을 동시에 확보합니다.
미래 방향: 이 방법은 시뮬레이션 환경에서 검증되었으나, 향후 실제 로봇 시스템으로의 전이 (Sim-to-Real) 및 다중 작업/평생 학습 (Lifelong Learning) 으로 확장될 가능성이 큽니다.

결론적으로, Task Tokens 은 BFMs 의 일반화 능력을 훼손하지 않으면서도 정밀한 작업 수행을 가능하게 하는 파라미터 효율적이고 확장 가능한 솔루션으로, 인간형 로봇 및 캐릭터 애니메이션 분야의 중요한 발전으로 평가됩니다.