COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

이 논문은 제약된 환경에서 다중 로봇 간 대규모 DNN 추론을 최적화하기 위해 오프라인 및 온라인 강화학습을 결합한 COHORT 프레임워크를 제안하며, 이를 통해 배터리 소모 감소, GPU 활용도 향상, 그리고 실시간 제약 조건 충족률 증대 효과를 입증했습니다.

핵심

🤖 COHORT: 재난 현장의 '로봇 팀워크'를 위한 지능형 두뇌

이 논문은 재난 구조 (Search and Rescue) 같은 극한 상황에서 여러 대의 로봇이 협력하여 복잡한 작업을 수행하는 방법을 소개합니다. 특히, 인공지능 (AI) 이 무거운 작업을 어떻게 나누어 처리하느냐에 초점을 맞췄습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 비유와 일상적인 예시로 설명해 드리겠습니다.

---

1. 문제 상황: "배터리가 금방 닳고, 통신도 불안정해!" 🚨

상상해 보세요. 지진이나 화재 현장에 구조 로봇들이 투입되었습니다.

• 과제: 로봇들은 카메라로 주변을 보며 "사람이 있나?", "쓰레기가 쌓였나?"를 AI(거대 신경망) 로 분석해야 합니다. 이 AI 는 매우 똑똑하지만 배터리를 엄청나게 많이 먹습니다.
• 한계:
  • 로봇은 배터리를 따로 충전할 수 없습니다.
  • 재난 현장에서는 인터넷 (클라우드 서버) 이 끊겨 있어, 무거운 계산을 멀리 있는 서버로 보낼 수 없습니다.
  • 로봇마다 성능이 다릅니다. 어떤 로봇은 고성능 GPU 가 달린 '슈퍼 로봇'이고, 어떤 로봇은 배터리가 약한 '일반 로봇'입니다.

기존 방식의 문제점: 각 로봇이 혼자 모든 계산을 하면 배터리가 금방 방전되어 임무가 실패합니다. 반면, 무작위로 일을 나누면 통신이 지연되거나, 성능이 좋은 로봇이 일을 안 하고 성능이 나쁜 로봇이 과부하가 걸릴 수 있습니다.

---

2. 해결책: COHORT (코호트) - "현장 지휘관" 🧠

저자들은 COHORT라는 시스템을 개발했습니다. 이 시스템은 로봇들 사이에 **지능형 '작업 배분 시스템'**을 만들어줍니다.

🎭 비유: "현장에서의 '입찰'과 '학습'"

COHORT 는 두 가지 핵심 기술을 섞어서 작동합니다.

1 단계: 오프라인 학습 (실전 연습장) 📚

• 상황: 실제 로봇을 투입하기 전에, 컴퓨터 시뮬레이션에서 수많은 데이터를 모았습니다.
• 방법: 로봇들이 마치 **입찰 (Auction)**을 하듯, "이 작업을 내가 할 수 있겠어요!"라고 가격을 (비용을) 부르는 방식을 사용했습니다.
• 결과: 이 데이터를 바탕으로 AI 가 "어떤 로봇이 어떤 작업을 할 때 가장 효율적인가?"를 미리 공부했습니다. (이걸 AWR이라고 합니다.)

2 단계: 온라인 적응 (실전 훈련) 🏃‍♂️

• 상황: 실제 현장에 로봇들을 보냅니다.
• 방법: 미리 공부한 AI 가 MAPPO라는 기술을 통해 실시간으로 상황을 파악하며 스스로 고쳐갑니다.
  • "아, Spot 로봇의 배터리가 지금 20% 남았네? 그럼 이 무거운 작업은 성능 좋은 Husky 로봇이 맡아야겠다!"
  • "통신이 느려졌네? 그럼 근처 로봇에게 일을 넘기는 대신 내가 직접 처리해야겠다."
• 핵심: 로봇들은 중앙 서버의 지시를 기다리지 않고, 서로 **동료 (Peer)**로서 협력하며 실시간으로 결정을 내립니다.

---

3. COHORT 가 어떻게 작동할까? (실제 예시) 🤖🤝

세 가지 로봇이 있다고 가정해 봅시다:

1. Husky: 고성능 지상 로봇 (배터리도 많고 계산 능력도 좋음).
2. Jackal: 중급 성능 로봇.
3. Spot: 다리가 달린 로봇 (배터리가 약하고 계산 능력이 제한적).

상황: Spot 이 "저기 쓰레기 더미를 찾아줘"라고 요청합니다.

• 일반적인 로봇: Spot 이 혼자 계산하려다 배터리가 방전되거나, 계산이 너무 느려서 시간이 걸립니다.
• COHORT 가 작동할 때:
  1. Spot 은 자신의 배터리와 CPU 상태를 확인합니다. "나 지금 힘들어, 이 작업은 넘겨야겠다"라고 생각합니다.
  2. 주변 로봇 (Husky, Jackal) 과 빠르게 소통합니다.
  3. **AI 지휘관 (COHORT)**이 판단합니다: "Spot 은 배터리가 부족하니까, 계산 능력이 좋은 Husky가 이 작업을 맡는 게 가장 효율적이야."
  4. Spot 은 Husky 에게 작업을 넘기고, Husky 는 빠르게 분석한 후 결과를 Spot 에게 돌려줍니다.
  5. 결과: Spot 은 에너지를 아껴 더 오래 활동할 수 있고, 전체 팀은 더 빠르게 임무를 완수합니다.

---

4. 놀라운 성과 🏆

이 시스템을 실제 로봇 (Husky, Jackal, Spot) 에 적용해 본 결과:

• 배터리 수명 15% 증가: 로봇들이 더 오래 임무를 수행할 수 있게 되었습니다. (배터리가 2 시간에서 2 시간 15 분으로 늘어난 셈입니다.)
• 작업 처리 속도 2.5 배 향상: 기한 (데드라인) 을 지키는 경우가 기존보다 2.5 배나 많아졌습니다.
• 자원 활용도 50% 이상 향상: 로봇들의 GPU(계산기) 가 놀지 않고 열심히 일하게 만들었습니다.

---

5. 요약: 왜 이것이 중요한가? 🌟

이 연구는 **"혼자서 모든 것을 하려고 하면 실패하지만, 서로의 장점을 살려 협력하면 모두 이긴다"**는 원리를 보여줍니다.

• 재난 현장처럼 통신이 끊기고 시간이 촉박한 곳에서는, 중앙 통제실의 지시를 기다릴 시간이 없습니다.
• COHORT는 로봇들이 서로의 상태를 파악하고, 스스로 지혜롭게 일을 나누어 배터리와 시간을 아끼며 임무를 완수하게 해줍니다.

마치 재난 구조대에서 각자 전문 분야를 가진 구조대원들이 서로의 상태를 살피며 가장 효율적으로 구조 작업을 수행하는 것처럼, 로봇들도 이제 똑똑하게 팀워크를 발휘할 수 있게 된 것입니다. 🚀

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 재난 구조 (SAR) 와 같은 임무 중반에서 자율 로봇은 복잡한 환경을 인식하고 자연어 질의에 응답하기 위해 대규모 딥러닝 모델 (특히 비전 - 언어 모델, VLM) 을 실행해야 합니다.
• 주요 도전 과제:
  • 자원 제약: 로봇은 배터리, 컴퓨팅 파워 (GPU/CPU), 메모리, 대역폭이 제한된 엣지 플랫폼입니다.
  • 통신 환경: 재난 현장에서는 클라우드나 서버 인프라에 의존할 수 없으며, 통신 연결이 불안정하거나 아예 없는 경우가 많습니다.
  • 이질성 (Heterogeneity): 로봇 팀은 서로 다른 하드웨어 사양 (예: Jackal, Husky, Spot 등) 을 가지며, 배터리 상태와 네트워크 조건이 실시간으로 변동합니다.
  • 실시간 제약: 프레임 속도 (FPS) 와 처리 지연 시간 (Deadline) 을 엄격하게 준수해야 합니다.
• 기존 방법의 한계: 기존 오프로딩 또는 작업 분산 기법들은 시뮬레이션 위주로 평가되거나, 중앙 집중식 서버를 가정하거나, 로봇의 동적인 자원 변동과 이질성을 충분히 고려하지 못해 실제 배포 시 확장성과 견고성이 떨어집니다.

2. 제안 방법론: COHORT Framework

저자들은 COHORT라는 협업 DNN 추론 및 작업 실행 프레임워크를 제안했습니다. 이는 ROS(Robotic Operating System) 기반의 분산 시스템으로, 하이브리드 오프라인 - 온라인 강화 학습 (Hybrid Offline-Online RL) 전략을 핵심으로 합니다.

A. 시스템 아키텍처

• 작업 분할: CLIP 및 SAM 과 같은 VLM 파이프라인을 6 개의 모듈 (검출기, 인코더, 디코더 등) 로 세분화하여 유연하게 스케줄링합니다.
• 의사결정: 각 로봇은 로컬 자원 상태 (배터리, CPU/GPU 사용률, 큐 길이 등) 와 작업 요구사항을 관찰하여, 작업을 로컬 실행, 이웃 로봇으로 오프로딩, 또는 수신할지 결정합니다.
• 통신: 최소한의 통신으로 작동하며, 중앙 서버 없이 P2P 방식으로 협업합니다.

B. 하이브리드 RL 학습 파이프라인 (3 단계 커리큘럼)

안전하고 효율적인 학습을 위해 다음 3 단계를 거칩니다:

1. Phase A: 행동 모방 (Behavior Cloning, BC)
   • 목적: 냉간 시작 (Cold-start) 문제 해결 및 안전한 초기화.
   • 방식: 기존 경매 기반 (Auction-based) 휴리스틱 알고리즘으로 수집된 오프라인 데이터를 사용하여 RL 정책 (Actor) 을 초기화합니다. 중앙 집중식 학습 - 분산 실행 (CTDE) 구조를 따릅니다.
2. Phase B: 오프라인 정책 개선 (Advantage-Weighted Regression, AWR)
   • 목적: 실제 환경 상호작용 없이 정책 성능 향상.
   • 방식: 수집된 데이터에서 더 높은 보상 (낮은 지연, 높은 FPS) 을 얻은 행동에 가중치를 부여하여 정책을 미세 조정합니다. 이를 통해 휴리스틱보다 우수한 정책을 사전 학습합니다.
3. Phase C: 온라인 MAPPO 미세 조정 (On-policy MAPPO)
   • 목적: 실시간 환경 적응 및 최적화.
   • 방식: 사전 학습된 정책을 기반으로 실제 로봇 팀에서 Multi-Agent PPO (MAPPO) 를 사용하여 온라인으로 학습합니다.
   • 제약 조건: 라그랑주 승수법 (Lagrangian relaxation) 을 사용하여 에너지 소모와 지연 시간 (Deadline) 위반에 대한 페널티를 동적으로 조정하며, 실시간 제약 조건을 만족하도록 정책을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 자원 인식형 분산 DNN 실행 프레임워크: 이질적인 로봇 에이전트 간 실시간 자원 가용성에 기반하여 워크로드를 동적으로 균형 잡는 2 단계 RL 파이프라인을 제안했습니다.
2. 고장 허용 (Fault-Tolerant) 작업 재할당 전략: 자원 고장, 과부하, 배터리 소진 발생 시 작업을 동적으로 재분배하여 시스템의 안정성과 실시간 응답성을 유지합니다.
3. 실제 환경 배포 및 평가: Husky, Jackal, Spot 등 3 가지 이질적인 로봇 플랫폼과 CLIP, SAM 과 같은 실제 VLM 워크로드로 시스템을 검증했습니다.

4. 실험 결과 (Results)

저자들은 COHORT 를 기존 경매 기반 (Auction), 유전 알고리즘 (GA), 그리고 로컬 실행 (Baseline) 방식과 비교 평가했습니다.

• 성능 향상:
  • 성공률: 목표 FPS 와 지연 시간 제약을 동시에 만족하는 비율이 Baseline 대비 2.55 배 향상되었습니다 (Husky: 54.0%, Jackal: 41.5%, Spot: 33.2%).
  • 배터리 효율: 배터리 소비가 15.4% 감소했습니다.
  • 자원 활용: GPU 활용도가 51.67% 증가했습니다.
  • 처리량: 최대 1.9 배 높은 FPS 를 달성했습니다.
• 적응성 및 확장성:
  • 새로운 로봇이 팀에 추가되거나 기존 로봇이 고장 나더라도 재학습 없이도 성능이 유지되거나 점진적으로 개선되었습니다.
  • 추가 작업 (YOLOv8-L 등) 이 추가되는 부하 상황에서도 성공률이 크게 떨어지지 않는 견고성을 보였습니다.
• 오프로딩 전략: RL 정책은 로봇의 하드웨어 프로필에 맞춰 오프로딩을 선택적으로 수행하여 (예: 고성능 Husky 는 로컬 실행, 저성능 Spot 은 오프로딩), 불필요한 통신 오버헤드를 줄이고 전체 팀의 효율을 극대화했습니다.

5. 의의 및 결론 (Significance)

• 인프라 없는 환경에서의 자율성: 클라우드 의존 없이 로봇 팀 스스로가 대규모 AI 모델을 협업하여 실행할 수 있는 체계를 제시했습니다.
• 실시간 제약 하의 최적화: 에너지 효율성과 실시간 성능 (FPS, 지연 시간) 사이의 균형을 강화 학습을 통해 동적으로 조절할 수 있음을 입증했습니다.
• 실제 적용 가능성: 시뮬레이션이 아닌 실제 이질적인 로봇 플랫폼 (UGV, 지상 로봇, 4 발 로봇) 에서 장시간 운영을 통해 검증되어, 재난 구조 및 군사 작전 등 실제 임무에 적용 가능한 높은 신뢰성을 보여줍니다.

이 연구는 제한된 자원과 불안정한 통신 환경 하에서 다중 로봇 시스템이 대규모 AI 모델을 효율적으로 협업하여 실행할 수 있는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.