Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport

이 논문은 인간의 의도를 접촉 안정성과 물리적 제약 하의 전신 운동으로 변환하기 위해, 비전 - 언어 - 행동 (VLA) 기반의 상황 인식, 분산형 다중 에이전트 강화학습을 통한 고차원적 의사결정, 그리고 전신 제어 계층을 통합한 '인지에서 제어 (C2C)' 계층적 프레임워크를 제안하여 인간 - 휴머노이드 협업 운반의 성공률과 견고성을 향상시킵니다.

핵심

🏐 비유: 로봇과 사람이 함께 하는 '배구 경기'

기존의 로봇은 상대방이 공을 치면 그 자리에서 반사적으로 받아치는 **'반응형 플레이어'**였습니다. 하지만 이 논문이 제안하는 로봇은 경기 상황을 보고 전략을 짜고, 팀원과 눈맞춤을 하며 움직이는 **'스마트한 팀원'**입니다.

이 시스템은 크게 **3 단계 (3 층 구조)**로 나뉩니다.

1. 두뇌 (Cognition Layer): "어디로 가야 할까?"

• 역할: 경기의 전체적인 흐름을 보고 전략을 세우는 코치입니다.
• 작동 원리: 로봇은 사람의 눈 (카메라) 으로 주변을 봅니다. "저기 문이 좁네", "저기 장애물이 있네"라고 생각합니다. 이때 **VLM(시각 - 언어 모델)**이라는 아주 똑똑한 AI 가 "우리는 저기서 우회해서 저기까지 가자"라고 **전략적인 목표 (경로)**를 정해줍니다.
• 일상 예시: 마치 운전할 때 내비게이션이 "앞에 교통체증이 있으니 우회전해서 가자"라고 큰 그림을 알려주는 것과 같습니다.

2. 중추 신경 (Skill Policy Layer): "어떻게 움직일지 팀원들과 상의하자"

• 역할: 코치가 정한 목표를 바탕으로, 실제 움직임을 결정하는 미드필더들입니다.
• 작동 원리: 로봇과 사람은 서로 역할 (누가 앞장서고 누가 뒤따르는지) 을 미리 정하지 않습니다. 대신 **MARL(다중 에이전트 강화학습)**이라는 기술을 써서, 두 사람이 서로의 움직임을 보며 **"내가 조금 더 오른쪽으로 가자", "너는 속도를 늦춰라"**라고 실시간으로 상의합니다.
• 핵심: 누가 리더고 누가 팔로워인지 정해지지 않아도, 두 사람이 서로 맞춰가면 자연스럽게 한쪽이 앞장서고 다른 쪽이 뒤따르는 '리더 - 팔로워' 관계가 저절로 생겨납니다. 마치 배구 경기에서 공이 어디로 날아갈지 예측하며 두 선수가 저절로 포지션을 잡는 것과 같습니다.

3. 근육 (Whole-Body Control Layer): "정확하게 몸을 움직여라"

• 역할: 위에서 결정된 명령을 실제로 실행하는 근육입니다.
• 작동 원리: 이 부분은 아주 빠르게 (초당 수백 번) 작동합니다. "왼발로 3 도 더 회전해", "팔을 5 센티 더 들어 올려" 같은 미세한 명령을 내립니다. 사람이 갑자기 방향을 틀거나 물건을 흔들어도 로봇이 넘어지지 않도록 균형을 잡는 역할을 합니다.
• 일상 예시: 자전거를 탈 때 넘어지지 않기 위해 몸의 중심을 미세하게 조절하는 것과 같습니다.

---

🌟 이 시스템의 놀라운 점 (기존과 무엇이 다를까?)

1. 역할을 정하지 않아도 알아서 맞춥니다 (Emergent Behavior)

   • 기존 방식: "로봇은 앞장서고, 사람은 뒤따라라"라고 미리 정해둡니다. 사람이 갑자기 앞장서면 로봇이 당황합니다.
   • 이 연구: "누가 앞장서든 상관없어, 우리가 함께 물건을 잘 옮기면 돼"라고 생각합니다. 사람이 앞장서면 로봇이 뒤따르고, 로봇이 앞장서면 사람이 뒤따르는 식으로 상황에 따라 자연스럽게 역할이 바뀝니다.

2. 생각과 행동을 분리했습니다 (Cognition to Control)

   • 기존 방식: "어디로 갈까?"라는 생각과 "발을 어떻게 움직일까?"라는 행동을 한 번에 하려다 보니, 복잡한 상황에서는 로봇이 멍해지거나 넘어졌습니다.
   • 이 연구: **생각 (전략)**과 **행동 (전술)**을 분리했습니다. 코치는 멀리서 큰 그림을 보고, 미드필더는 그 그림을 바탕으로 팀워크를 다듬고, 근육은 그 명령을 빠르게 실행합니다. 그래서 복잡한 복도나 좁은 문에서도 넘어지지 않고 물건을 나릅니다.

3. 실제 실험 결과

   • 이 로봇은 Unitree G1 이라는 실제 휴머노이드 로봇에 적용되었습니다.
   • 좁은 문 (Gate) 을 통과하거나, 아주 긴 물건을 나르는 (Super-long object) 어려운 상황에서도 성공률이 45% 이상 향상되었고, 물건의 기울어짐도 훨씬 적었습니다.

💡 한 줄 요약

이 논문은 **"로봇이 사람과 함께 물건을 나를 때, 미리 정해진 규칙에 따라 움직이는 게 아니라, 사람과 눈맞춤을 하며 상황을 읽고, 서로 맞춰가며 자연스럽게 움직이는 '스마트한 파트너'를 만드는 방법"**을 제시했습니다.

마치 배우와 파트너가 즉흥극을 하듯, 서로의 의도를 읽고 완벽하게 조화를 이루는 로봇을 만든 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

인간 - 로봇 물리적 협업 (HRC) 의 핵심 과제:

• 의사결정과 제어의 간극 (Cognition-to-Control Gap): 기존 시스템은 고수준의 의도 (High-level intent) 를 저수준의 물리적 동작으로 변환하는 과정에서 불연속성을 보입니다. 비전 - 언어 - 행동 (VLA) 모델은 반응적 (System 1) 인 행동에는 강점이 있으나, 장기적인 계획 (System 2) 과 저지연 연속 제어를 통합하는 데 한계가 있습니다.
• 역할 할당의 비유연성: 기존의 협업 방식은 명시적인 '리더 - 팔로워 (Leader-Follower)' 역할 할당이나 수동적으로 설계된 스크립트에 의존합니다. 이는 인간 파트너의 행동이 예측 불가능하게 변할 때 시스템이 취약해지고 (Brittle), 비정상적인 환경에서 일반화되지 못하게 만듭니다.
• 상호 적응의 부재: 인간은 로봇에 적응하고 로봇은 인간에 적응하는 '공진화 (Co-evolution)' 과정이 필요합니다. 그러나 기존 단일 에이전트 학습이나 명시적 의도 추정은 이 상호작용을 외부 추정치로만 다루어 최적화 과정에서 불안정성을 초래합니다.

2. 제안된 방법론: Cognition-to-Control (C2C) 계층 구조 (Methodology)

저자들은 인간 - 휴머노이드 협업을 해결하기 위해 의식 (Cognition) 에서 제어 (Control) 로 이어지는 3 단계 계층 구조를 제안합니다. 이 구조는 Fig. 3 에 잘 나타나며, 다음과 같이 구성됩니다.

A. 1 단계: 인지 계층 (Cognitive Layer - VLM 기반)

• 역할: 대뇌 피질 (Cerebral Cortex) 에 해당하며, 고수준 전략적 의사결정을 담당합니다.
• 기능:
  • 각 에이전트 (로봇과 인간) 는 자신의 시점 (Egocentric view) 에서 장면을 분석합니다.
  • 분산된 비전 - 언어 모델 (VLM) 을 사용하여 장애물을 우회하고 목적지로 이동할 수 있는 공유된 객체 중심의 경로 (Anchor/Waypoint sequence) 를 생성합니다.
  • 명시적인 역할 할당 없이, 시각적 프롬핑과 집단적 의도 합성 (Collective intent synthesis) 을 통해 전역적으로 일관된 전략적 목표를 도출합니다.

B. 2 단계: 기술 정책 계층 (Skill Policy Layer - MARL 기반)

• 역할: 대뇌엽 (Cerebral Lobes) 에 해당하며, 전술적 조정 (Tactical Coordination) 을 담당합니다.
• 핵심 기법:
  • 작업 중심 마르코프 잠재 게임 (Task-centric Markov Potential Game): 인간과 로봇을 독립적인 에이전트로 간주하되, 공유된 잠재 함수 (Shared Potential Function) 를 통해 목표 (물체 이동) 에 대한 인센티브를 정렬합니다.
  • 역할 없는 상호 적응: 명시적인 리더/팔로워 역할을 부여하지 않습니다. 대신, 각 에이전트는 자신의 신체 특성 (Embodiment) 과 파트너의 상태를 고려하여 독립적인 정책 ($\pi_i$) 을 학습합니다.
  • 잔차 제어 (Residual Control): 기본 운반 제어기 (Nominal controller) 에 MARL 이 출력하는 미세 조정 명령 (Residual command) 을 더하여, 물체 기울기, 접촉 안정성 등을 실시간으로 보정합니다.
  • 중앙 집중식 학습, 분산 실행 (CTDE): 학습 시에는 전체 상태와 행동을 고려하여 가치 함수를 추정하지만, 실행 시에는 각 에이전트가 자신의 관측치만으로 행동을 결정합니다.

C. 3 단계: 전신 제어 계층 (Whole-Body Control Layer - WBC)

• 역할: 소뇌 (Cerebellum) 에 해당하며, 고주파수 물리적 실행을 담당합니다.
• 기능:
  • MARL 계층에서 생성된 전술적 명령을 로봇의 관절 토크 (Joint torques) 로 변환합니다.
  • 운동학적/동역학적 제약 조건과 접촉 안정성 (Contact stability) 을 강제하여, 물체가 넘어지거나 로봇이 넘어지는 것을 방지합니다.
  • VLM 의 저주파수 전략과 MARL 의 중주파수 전술을 고주파수 물리 제어와 연결합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 HRC 아키텍처: 의미론적 추론 (VLM) 과 전술적 물리 조정 (MARL) 을 분리하여 고수준 내비게이션과 고주파수 실행 간의 간극을 해소했습니다.
2. 역할 없는 상호 적응 (Role-free Mutual Adaptation): 명시적인 역할 할당이나 의도 추정이 필요 없는, 작업 중심의 마르코프 잠재 게임 형식을 통해 안정적이고 역동적인 협업을 가능하게 했습니다.
3. 실제 환경에서의 검증: 복잡한 환경 (좁은 통로, 게이트 통과, 긴 물체 운반 등) 에서 휴머노이드 로봇 (Unitree G1) 과 인간이 협업하는 실험을 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 및 실제 환경 테스트: 9 가지 시나리오 (방향 민감한 밀기, 공간 제한 운반, 초장형 물체 처리 등) 에서 평가되었습니다.
• 성능 향상:
  • 기존 로봇 스크립트 (Robot-script) 기반 대비 평균 45.6% 의 성공률 향상을 기록했습니다.
  • 단일 에이전트 RL 기반 대비 다중 에이전트 (PCGrad) 방식이 좁은 통로 (SCT) 와 초장형 물체 운반 (SLH) 작업에서 훨씬 높은 성공률 (100% vs 40%) 과 빠른 완료 시간을 보였습니다.
  • 물체의 기울기 (Tilt rate) 가 크게 감소하여 물리적 안정성이 향상되었습니다.
• 아키텍처 유연성: HAPPO, HATRPO, PCGrad 등 다양한 MARL 알고리즘과 호환되어 작동함을 확인했습니다.
• Ablation Study: VLM(인지), MARL(기술), WBC(제어) 중 어느 한 계층이 제거될 경우 작업 수행이 실패하거나 성능이 급격히 저하됨을 확인하여, 3 단계 계층 구조의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 인간 - 로봇 물리적 협업의 근본적인 난제인 **"고수준 추론과 저수준 제어의 불연속성"**과 "예측 불가능한 인간 파트너와의 상호 적응" 문제를 해결했습니다.

• 시스템적 접근: VLM 의 유연한 의미론적 이해와 MARL 의 강력한 적응 능력을 결합하여, 인간처럼 자연스럽게 협업하는 로봇을 구현하는 새로운 패러다임을 제시했습니다.
• 실용성: 명시적인 프로그래밍이나 복잡한 의도 추정이 없이도, 휴머노이드 로봇이 복잡한 물리적 환경에서 인간과 안전하게 협업할 수 있음을 실증했습니다.
• 미래 지향성: 이 연구는 단순한 내비게이션을 넘어, 물체 조작과 접촉이 필요한 복잡한 협업 작업에서 인공지능이 어떻게 '생각 (Cognition)'에서 '행동 (Control)'으로 자연스럽게 이어질 수 있는지에 대한 중요한 통찰을 제공합니다.