Learning Visuomotor Policy for Multi-Robot Laser Tag Game

이 논문은 다중 로봇 레이저 태그 게임에서 모듈식 접근법의 한계를 극복하기 위해, 다중 에이전트 강화학습으로 훈련된 교사 정책을 비전 기반 학생 정책에 증류하는 엔드투엔드 시지모터 정책을 제안하여 정확도와 충돌 회피 성능을 크게 향상시키고 실제 로봇에 성공적으로 배포한 연구입니다.

핵심

이 논문은 로봇들이 레이저 태그 게임을 할 때, 어떻게 하면 사람의 눈과 손처럼 자연스럽게 싸울 수 있는지에 대한 연구입니다.

기존의 로봇들은 게임을 할 때 마치 "수학 문제를 풀듯" 복잡한 단계를 거쳤습니다. 하지만 이 연구팀은 **"인간은 어떻게 게임을 할까?"**라는 질문에서 시작해, 로봇에게도 인간처럼 눈으로 보고 바로 행동하는 능력을 가르쳤습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "과도한 계산"에 지친 로봇들

기존의 로봇들은 레이저 태그를 할 때 다음과 같은 복잡한 과정을 거쳤습니다.

• 카메라로 적을 보고 → "저게 어디 있나?" (위치 추정)
• "저기서 3 미터, 시속 5km 로 움직이는구나" (상태 계산)
• "장애물은 어디 있지?" (지도 만들기)
• "이제 총을 쏘자!" (행동 결정)

이 과정은 마치 눈을 가리고 누군가의 위치를 계산기로만 찾아서 총을 쏘는 것과 같습니다. 계산이 조금만 틀려도 (예: 바람이 불거나, 카메라가 흔들리면) 로봇은 엉뚱한 곳을 쏘거나 벽에 부딪힙니다. 또한, 로봇들끼리 "나 지금 여기야!"라고 서로 말해야 (통신) 하는 번거로움도 있었습니다.

2. 해결책: "직관적인 눈과 손"을 가진 로봇

연구팀은 **"사람은 복잡한 계산을 안 해도 게임을 잘한다"**는 점에 주목했습니다. 우리는 적의 정확한 좌표나 속도를 계산하지 않아도, 눈으로 적을 보고 "저기 있네!"라고 느끼면 바로 총을 쏘거나 피합니다.

이 연구는 로봇에게도 그런 **직관 (Visuomotor Policy)**을 심어주었습니다.

• 입력: 카메라로 찍힌 영상 (그냥 그림)
• 출력: 바퀴를 굴리는 속도, 방향, 총을 쏘는 신호
• 핵심: "어디에 있나?"를 계산하는 과정 없이, 그림을 보고 바로 행동합니다.

3. 학습 방법: "명장 (Teacher) 과 견습생 (Student)"

이 기술을 가르치는 방법은 아주 똑똑합니다.

• 1 단계: 명장 (Teacher) 만들기
  먼저 로봇에게 "정확한 위치 정보 (지도, 적의 좌표 등)"를 다 알려주면서 **최고의 전술가 (Teacher)**를 훈련시켰습니다. 이 로봇은 모든 정보를 다 알기 때문에 아주 잘 싸웁니다.
• 2 단계: 견습생 (Student) 훈련
  이제 이 명장의 행동을 **카메라 영상만 보고 따라 하는 견습생 (Student)**을 만듭니다. 명장이 "적의 위치가 여기니까 이렇게 움직여!"라고 행동할 때, 견습생은 "아, 명장이 저렇게 움직였구나. 그럼 나는 저렇게 움직여야겠다"라고 카메라 화면을 보며 흉내 냅니다.

이 과정을 통해 견습생은 정확한 지도나 계산기 없이, 오직 눈 (카메라) 만으로도 명장처럼 잘 싸우게 됩니다.

4. 기술적 꿀팁: "초점 맞추기"와 "깊이감"

이 로봇이 더 잘 싸울 수 있게 해준 두 가지 비법이 있습니다.

• 열지도 (Heatmap) 활용:
  카메라 화면에서 적을 발견하면, 그 부분을 붉은색으로 번지게 (가aussian 커널) 표시합니다. 마치 사격 연습할 때 표적을 붉게 칠해두는 것처럼, 로봇의 시선이 "여기가 중요해!"라고 자연스럽게 집중하게 만듭니다.
• 깊이감 (Depth) 정보:
  단순히 평면적인 그림만 보는 게 아니라, **거리감 (얼마나 가까운지)**을 보여주는 깊이 정보를 함께 입력받습니다. 이는 로봇이 벽에 부딪히지 않고, 적과 적절한 거리를 유지하며 싸우게 도와줍니다.

5. 결과: 얼마나 잘했을까?

이 로봇들은 실제 게임장에서 테스트했고, 기존 방식보다 훨씬 뛰어났습니다.

• 맞는 확률: 기존 방식보다 약 17% 더 많이 적을 맞췄습니다. (명장의 직관이 계산기보다 정확했음)
• 부딪힘: 벽이나 다른 로봇과 부딪히는 경우가 6% 줄었습니다.
• 실제 적용: 무거운 컴퓨터 없이, 작은 로봇 (드론이나 소형 로봇) 에도 탑재되어 실제로 잘 작동했습니다.

요약

이 논문은 **"복잡한 계산과 통신 없이, 오직 눈 (카메라) 만으로도 로봇이 인간처럼 자연스럽게 레이저 태그 게임을 할 수 있다"**는 것을 증명했습니다. 마치 초보 운전자가 차를 몰 때 계기판의 모든 수치를 계산하기보다, 앞을 보고 핸들을 돌리는 것처럼, 로봇도 눈으로 보고 바로 반응하는 능력을 키운 것입니다.

이 기술은 앞으로 적대적인 드론을 막거나, 복잡한 환경에서 로봇이 스스로 판단해야 하는 상황에 매우 유용하게 쓰일 것입니다.

기술 요약

논문 요약: 다중 로봇 레이저 태그 게임을 위한 시지각 - 운동 제어 (Visuomotor) 정책 학습

1. 문제 정의 (Problem)

이 연구는 다중 로봇 레이저 태그 게임을 배경으로, 로봇이 적을 탐지하고 조준하여 사격하는 동적 경쟁 환경을 다룹니다. 기존 모듈식 접근법 (모듈별 분리 설계) 은 다음과 같은 한계를 가집니다:

• 관측 가능성의 한계: 단안 카메라 (Monocular vision) 만으로는 적의 상태 (상대 위치, 속도) 를 정확하게 추정하기 어렵습니다. 이를 위해서는 특정 운동 패턴이 필요하며, 그렇지 않으면 추정 오차가 커져 사격 정확도가 떨어집니다.
• 하드웨어 및 환경 의존성: 장애물 회피를 위해 전역 위치 추정 (Global localization) 이나 깊이 센서 (Depth sensor) 기반의 매핑을 요구하는 경우가 많아, 실제 환경 (위치 신호 차단, 저비용 플랫폼) 에 적용하기 어렵습니다.
• 통신 의존성: 다중 로봇 간 협력을 위해 로봇 간 통신 (Inter-robot communication) 에 의존하는 경우, 시스템의 확장성과 효율성이 제한됩니다.

이러한 문제들을 해결하기 위해, 인간이 FPS 게임을 할 때 명시적인 상태 추정이나 통신 없이 오직 시야 (Vision) 와 자기 상태 (Proprioception) 만으로 행동하는 방식을 모방한 엔드 - 투 - 엔드 (End-to-End) 시지각 - 운동 제어 정책을 제안합니다.

2. 방법론 (Methodology)

저자들은 권리 학습 (Privileged Learning) 기반의 모방 학습 (Imitation Learning) 프레임워크를 사용하여 시지각 - 운동 정책을 학습합니다. 전체 파이프라인은 다음과 같습니다.

A. 교사 정책 (Teacher Policy) 학습 - MARL

• 목표: 상태 기반 (State-based) 의 고성능 정책을 학습합니다.
• 입력: 로봇의 상태 정보 (장애물, 아군, 적의 상대 위치, 로봇 자신의 전역 위치 등).
• 알고리즘: 다중 에이전트 강화 학습 (MADDPG) 을 사용하여 적대적 환경에서 학습합니다.
• 특징 추출기 설계:
  • 자기 주의 (Self-Attention) 및 가중 합산 풀링: 이웃 로봇이나 장애물의 순서가 동적으로 변해도 일관된 출력을 내기 위해 순열 불변 (Permutation-invariant) 특징 추출기를 사용합니다. 이는 동적 환경에서 정책의 불안정성과 진동을 방지합니다.
• 보상 함수: 아군은 적과의 거리, 조준 각도, 장애물/경계 회피, 아군 오사 방지를 위한 보상을, 적은 피격 회피 및 장애물 회피 보상을 받습니다.

B. 학생 정책 (Student Policy) 학습 - 시지각 기반 모방 학습

• 목표: 교사 정책의 지식을 단안 카메라 이미지로만 동작하는 학생 정책에 주입 (Distillation) 합니다.
• 입력 처리:
  1. 객체 탐지: YOLOv5 Nano 를 사용하여 적과 아군의 바운딩 박스를 탐지합니다.
  2. 히트맵 생성: 탐지된 바운딩 박스 영역에 가우시안 커널을 적용하여 '타겟 히트맵'을 생성합니다. 이는 적의 위치를 강조하고 조준 정확도를 높이기 위함입니다.
  3. 깊이 추정: Depth Anything v2 (DATv2) 를 사용하여 단안 이미지로부터 깊이 맵을 생성합니다.
  4. 입력 텐서: 원본 RGB, 생성된 타겟 히트맵, 깊이 맵을 채널 축으로 연결하여 입력으로 사용합니다.
• 네트워크 구조:
  • 이미지 인코더 (CNN) $\rightarrow$ 시계열 정보 처리를 위한 LSTM $\rightarrow$ 행동 회귀 (MLP).
  • LSTM 은 제한된 시야 (FOV) 를 보완하고 깊이 추정의 시간적 불일치를 완화합니다.
• 학습: DAgger (Dataset Aggregation) 알고리즘을 사용하여 교사 정책의 행동과 학생 정책의 행동 간의 L2 손실을 최소화하며 학습합니다.

3. 주요 기여 (Key Contributions)

1. 분산형 엔드 - 투 - 엔드 정책 제안: 명시적인 상태 추정, 전역 위치 추정, 무선 통신, 깊이 센서 매핑 없이 오직 온보드 단안 카메라와 자기 상태만으로 작동하는 다중 로봇 레이저 태그 시스템을 구현했습니다.
2. 성능 향상: 기존 모듈식 방법 대비 히트 정확도 (Hitting Accuracy) 16.7% 향상 및 충돌률 (Collision Rate) 6% 감소를 달성했습니다. 이는 상태 추정 오차를 제거함으로써 얻은 결과입니다.
3. 기술적 혁신:
   • 순열 불변 특징 추출기: 동적 환경에서 이웃 순서 변화에 강건한 정책을 보장합니다.
   • 깊이 - 히트맵 입력: 단순 RGB 나 에지 이미지에 비해 장면 변화에 강건한 학습을 가능하게 합니다.
4. 실제 로봇 배포: 제한된 컴퓨팅 자원 (Nvidia Jetson Orin NX) 을 가진 실제 다중 로봇 시스템에 성공적으로 배포하여 실용성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 및 실제 환경 테스트:
  • 히트 정확도: 제안된 학생 정책은 시뮬레이션에서 38.4% (Hit@15), 실제 환경에서 31.0% 의 히트율을 기록하여 기존 최강 베이스라인 (BA + PD) 보다 16.1% 이상 향상된 성능을 보였습니다.
  • 충돌률: 기존 방법 대비 6% 감소하여 장애물 회피 능력이 우수함을 입증했습니다.
  • 추천 인자: 히트맵과 깊이 정보를 결합한 입력 방식이 가장 우수한 성능을 보였으며, 고비용의 사전 학습된 비전 모델 (DINOv2 등) 은 온보드 추론 속도가 느려 실용성이 떨어졌습니다.
• 비교 분석:
  • 상태 추정 의존성 제거: 기존 방법 (BA, STT 등) 은 상태 추정 오차로 인해 성능이 저하되었으나, 제안 방법은 직접적인 이미지 매핑으로 이를 우회했습니다.
  • LSTM 의 효과: LSTM 을 사용한 시계열 학습이 제한된 시야에서 의사결정 강건성을 높였습니다.
  • 실시간성: 모든 모듈 (YOLOv5, DATv2, 정책 네트워크) 을 병렬로 실행하여 20Hz 제어 주기를 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 레이저 태그와 같은 동적 적대적 환경에서, 복잡한 상태 추정 모듈과 추가 하드웨어 (깊이 센서, 통신 장비) 없이도 단순한 시지각 입력만으로 고도의 전술적 행동 (추적, 조준, 회피) 을 수행할 수 있음을 증명했습니다. 이는 드론 요격, 적대적 로봇 제어 등 실제 세계의 복잡한 임무에 적용 가능한 가볍고 확장성 있는 엔드 - 투 - 엔드 학습 접근법의 유효성을 보여줍니다. 특히, 실제 로봇 시스템에 배포된 사례는 이론적 모델의 실용성을 강력하게 뒷받침합니다.