🤖 AI

Modular Reinforcement Learning For Cooperative Swarms

본 논문은 계산 자원이 제한된 로봇 군집의 메모리 한계를 극복하기 위해 공간 상호작용 상태를 별도의 학습 절차로 분해하는 모듈식 강화 학습 접근법을 제안하며, 협력적 먹이 찾기 작업에서 그 유효성을 입증합니다.

원저자: Erel Shtossel, Gal A. Kaminka

게시일 2026-05-07

📖 3 분 읽기☕ 가벼운 읽기

원저자: Erel Shtossel, Gal A. Kaminka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

작은 물고기 떼나 개미 군집처럼 협력하여 작동하는 작고 매우 단순한 로봇들의 거대한 무리를 상상해 보세요. 그들의 목표는 흩어진 물체(예: 음식) 를 찾아 중앙 기지로 가져오는 것입니다. 이를 '군집 채집(swarm foraging)'이라고 합니다.

문제는 이러한 로봇들이 극도로 제한적이라는 점입니다. 그들은 매우 적은 메모리(작은 스마트폰 앱보다도 적음) 와 매우 적은 두뇌 능력을 가지고 있습니다. 그들은 자신 주변 몇 인치만 볼 수 있을 뿐이며, 전체 그룹과 동시에 대화할 수도 없습니다.

큰 문제: '상태 폭발(State Explosion)'

이러한 로봇들이 협력하는 법을 배우기 위해서는 **강화 학습(Reinforcement Learning)**이라는 유형의 학습을 사용해야 합니다. 이는 로봇이 다양한 행동을 시도하고 그중 가장 효과적인 것을 기억하는 것과 같습니다.

그러나 함정이 있습니다. 로봇이 마주칠 수 있는 모든 가능한 상황을 기억하려 한다면, 상황의 수가 너무 빠르게 증가하여 저장하는 것이 불가능해집니다.

비유: 도시 지도를 외우려 한다고 상상해 보세요. 모든 거리 모퉁이, 모든 신호등, 모든 보행자의 위치를 한 번에 기억하려 한다면 당신의 두뇌는 폭발할 것입니다. 로봇 세계에서는 이를 **'상태 폭발'**이라고 합니다. 모든 이러한 조합을 기억하려는 표준 로봇은 건물 크기의 하드 드라이브가 필요하지만, 실제로는 쌀알 크기의 메모리 칩만 가지고 있습니다.

해결책: '모듈식(Modular)' 접근법

이 논문의 저자들은 교묘한 우회책을 제안합니다. 모든 것을 기억하려는 거대한 두뇌 하나 대신, 로봇에게 여덟 개의 작고 전문화된 두뇌(각각 여덟 개의 센서 하나씩에 해당) 를 부여하는 것입니다.

비유: 혼잡한 방을 navigate 하려는 여덟 명의 팀을 상상해 보세요.
- 구식 방법 (전체 상태): 한 사람이 방 안의 모든 사람의 위치를 동시에 기억하려 합니다. 그들은 압도당하고 무언가를 잊어버립니다.
- 신식 방법 (모듈식): 각 사람은 오직 한 가지 특정 방향만 봅니다. 1 번 사람은 앞쪽만 봅니다. 2 번 사람은 왼쪽만 봅니다. 그들은 방 전체를 걱정하지 않고, 오직 자신의 특정 부분만 걱정합니다.

이러한 '미니 두뇌' 각각은 간단한 규칙을 학습합니다. "내 방향에 로봇이 보이면 피하세요. 비어 있으면 계속 가세요."

'평의회(The Council)'

여덟 개의 미니 두뇌가 모두 제안을 내놓으면, 로봇을 위한 단일 행동을 결정해야 합니다. 논문은 이 의사결정 그룹을 **'평의회'**라고 부릅니다.

비유: 평의회는 위원회 회의와 같습니다.
- '앞쪽' 두뇌는 "앞으로 가라!"고 말합니다.
- '왼쪽' 두뇌는 "저 사람 피하기 위해 오른쪽으로 이동하라!"고 말합니다.
- '오른쪽' 두뇌는 "왼쪽으로 이동하라!"고 말합니다.
- 평의회는 이러한 상충되는 모든 표를 받아 수학적 공식(예: 의견의 평균 내기) 을 사용하여 섞은 후, 가장 좋은 절충 방향을 선택합니다.

그들이 발견한 것

연구진들은 다양한 방 배치에서 최대 36 개의 로봇이 포함된 컴퓨터 시뮬레이션에서 이를 테스트했습니다.

작동합니다: 모듈식 접근법 (여덟 개의 미니 두뇌) 은 한 번에 모든 것을 기억하려 했던 복잡한 방법과 마찬가지로, 때로는 더 잘 작동했습니다.
효율적입니다: 이는 메모리의 아주 작은 부분만 사용했습니다. 수백만 가지 시나리오를 기억해야 했던 대신, 로봇들은 수십 개의 간단한 규칙만 기억하면 되었습니다. 이는 그들의 작은 마이크로칩에 완벽하게 들어맞습니다.
견고합니다: 연구진이 '보상 시스템'(로봇들이 잘했다고 알려주는 방식) 을 변경했을 때조차도 모듈식 접근법은 계속 작동했지만, 복잡한 방법들은 종종 충돌하거나 실패했습니다.
단순한 움직임이 더 좋습니다: 그들은 로봇들에게 복잡한 사전 프로그래밍된 회피 기동을 가르치는 것보다 간단한 방향 (벡터) 으로 이동하도록 지시하는 것이 더 효과적임을 발견했습니다.

결론

이 논문은 로봇 군집이 협력하게 만들기 위해 슈퍼컴퓨터가 필요하지 않음을 보여줍니다. 거대하고 불가능한 문제를 많은 작고 단순한 문제로 분해하고, '평의회'가 최종 답변에 투표하게 함으로써, 매우 작고 저렴한 로봇에 들어갈 수 있는 지능적이고 협력적인 군집을 만들 수 있습니다.

기술적 요약: 협력적 군집을 위한 모듈형 강화 학습

문제 제기

협력적 로봇 군집은 국소적 상호작용만을 통해 공통 목표를 향해 작동하는 계산 능력이 제한된 로봇들의 집단으로 구성된다. 이러한 시스템에 다중 에이전트 강화 학습 (MARL) 을 적용할 때의 주요 과제는 상태 폭발 문제이다. 효과적인 충돌 회피 및 항법을 학습하기 위해 로봇들은 공간적 상호작용 상태를 표현해야 한다. 이러한 상태에 대한 단순한 완전 인수 분해 표현 (예: 여러 센서 방향에서의 이웃 존재 여부) 은 조합적으로 증가한다. $k$ 개의 센서를 가진 로봇의 경우, 이진 상태 표현은 $2^k$ 개의 상태를 초래한다.

이러한 지수적 성장은 물리적 군집 로봇에게 실현 불가능하다. 이러한 로봇들은 종종 제한된 메모리 (예: 512KB 미만 RAM) 와 처리 능력 (하드웨어 부동소수점 지원 부재) 을 가지고 있기 때문이다. 결과적으로 심층 신경망이나 대규모 상태 테이블을 필요로 하는 표준 MARL 접근법은 비현실적이다. 또한, 로봇들은 전역 군집 상태나 동료들의 행동에 접근할 수 없는 독립 학습자로서 작동하므로, 보상 정렬이 어렵다.

방법론

본 논문은 군집 로봇의 메모리 및 계산 제약 사항을 해결하기 위해 모듈형 (분해된) 상태 표현을 제안한다. 핵심 접근법은 다음과 같다:

상태의 분해: 복잡한 결합 상태를 단일 학습자가 처리하는 대신, 공간적 상태를 센서 방향으로 분해한다. $k$ 개의 센서 (또는 공간적 특징) 각각은 별도의 독립 학습 과정에 할당된다.
- 상태 공간 축소: $k$ 개의 특징에 대해 저장해야 할 상태의 총 개수는 센서 수에 대해 지수적 ( $O(2^k)$ ) 인 대신 선형 ( $O(k)$ ) 이 된다. 실험에서 8 개의 이진 상태 센서를 사용할 경우, 전체 학습자에 걸친 총 상태 수는 $8 \times 2 = 16$ 개인 반면, 전체 상태 학습자의 경우 $2^8 = 256$ 개이다.
- 학습 과정: 각 학습자는 로컬 센서 읽기 (예: "충돌" 또는 "명확") 를 추천 행동에 매핑하는 다중 암 밴딧 알고리즘 (구체적으로 Continuous UCB-1) 이다.
행동 공간 및 융합 (의회):
- 벡터 행동: 추천을 융합할 수 있도록 하기 위해, 행동 공간은 원자적 충돌 회피 알고리즘이 아닌 조합 가능한 방향 벡터 (예: 8 개의 이산 헤딩) 로 정의된다. 이는 서로 다른 학습자의 출력을 수학적으로 결합할 수 있게 한다.
- 집계 메커니즘: "의회 (Council)"라고 명명된 고정된 절차가 $k$ 개의 독립 학습자들의 선호도를 집계한다. 이는 학습자가 추천한 방향에는 높은 선호도 값을, 가우시안 분포에 기반하여 인접한 방향에는 낮은 값을 할당한다. 최종 행동은 이 누적 확률 분포에서 샘플링하여 선택된다.
- 신용 할당: 학습자 간 신용 할당은 없다. 모든 학습자는 융합된 행동의 결과에 기반한 동일한 보상 신호 (차이 보상) 를 받는다.
보상 정렬: 시스템은 로봇이 집단 효용에 기여하는 한계 가치를 근사하는 차이 보상( $\Delta$ ) 을 활용한다. 이를 통해 독립 학습자들은 전역 통신 없이도 자기 이익을 위한 목표를 군집의 집단 목표와 정렬할 수 있다.

주요 기여

공간적 상태를 위한 모듈형 표현: 본 논문은 각 공간적 특징 (센서 방향) 을 별도의 학습자가 처리하는 분해된 상태 표현을 도입한다. 이는 센서 수에 대한 메모리 사용량을 지수적에서 선형적으로 줄인다.
조합 가능한 행동 공간: 저자들은 이전 군집 학습 작업에서 사용된 임의적으로 병합할 수 없는 원자적 알고리즘 행동과 대조적으로, 융합 가능한 벡터 행동 공간의 필요성과 유효성을 입증한다.
보상 변화에 대한 강건성: 모듈형 접근법은 보상 함수의 변화 (예: 차이 보상에서 자기 이익 보상으로 전환) 에 대해 강건한 것으로 입증된 반면, 전체 상태 학습자는 이러한 조건 하에서 종종 실패한다.

실험 결과

이 접근법은 세 가지 아레나 구성 (기반 위치 및 밀도 변화) 에서 협력적 채집 작업을 수행하는 Krembot 로봇을 사용하여 고충실도 시뮬레이션 (ARGoS3) 에서 평가되었다.

전체 상태 학습자 대비 성능:
- 저밀도 시나리오에서 모듈형 접근법은 고정 항법 알고리즘 (Dynamic Window) 및 전체 상태 학습자 (R-Learner, Q-Learning) 와 비교 가능한 성능을 보였다.
- 고밀도 시나리오에서 전체 상태 학습자 (특히 R-Learner) 는 결국 모듈형 접근법을 능가했는데, 이는 그들이 접근 가능한 더 풍부한 상태 정보 때문인 것으로 보인다. 그러나 모듈형 접근법은 메모리 오버헤드 없이 안정적인 성능을 유지했다.
- 복잡한 환경 (예: 높은 충돌률을 유발하는 모서리 기반) 에서 모듈형 접근법은 Dynamic Window 와 동등한 성능을 보였으나, 밀도가 증가함에 따라 전체 상태 학습자를 따라가는 데 어려움을 겪었다.
강건성: 보상 함수를 정렬된 차이 보상 ( $\Delta$ ) 에서 원시 자기 이익 보상 ( $\Omega$ ) 으로 변경했을 때, 모듈형 표현은 성능을 유지한 반면 상태 기반 R-Learner 는 극적인 감소を示했다.
행동 공간 비교: 벡터 행동을 사용한 학습과 원자적 충돌 회피 알고리즘 (Repel, Dynamic Window, Aggression) 을 사용한 학습을 비교한 실험 결과, 벡터 행동을 사용하는 학습이 개선된 결과를 낳는 것으로 나타났다.

중요성 및 주장

본 논문은 모듈형 표현이 자원 제약이 있는 군집 로봇에 MARL 을 배포하기 위한 실용적인 해결책을 제공한다고 주장한다. 고밀도 시나리오에서 원시 성능 측면에서 항상 전체 상태 학습 알고리즘을 능가하는 것은 아니지만, 전체 상태 방법이 실패하거나 실현 불가능한 곳에서 극적인 메모리 절약과 강건성을 제공한다.

저자들은 이 접근법이 잠재적 필드의 구조를 반영하고 자연스럽게 조합 가능한 행동 공간을 허용하기 때문에 공간적 상태에 특히 적합하다고 강조한다. 이 연구는 제한된 RAM(종종 200KB 미만) 을 가진 물리적 군집의 경우, 밀집된 시나리오에서의 약간 낮은 최적성 대가로 학습 자체를 가능하게 하는 것이 중요하다고 시사한다. 논문은 결론적으로 모듈형 표현이 전통적인 상태 폭발 문제가 강화 학습을 무의미하게 만들었을 다른 환경에서도 학습을 가능하게 한다고 지적한다.