🔬 condensed matter

Learning to flock in open space by avoiding collisions and staying together

이 논문은 에이전트들이 충돌 회피와 집단 응집력 사이의 균형을 맞추기 위해 국소 비용 함수를 최적화함으로써, 개방된 공간에서 응집력 있는 고차원적 군집 행동이 다중 에이전트 강화 학습을 통해 발현될 수 있으며, 그 결과 실제 찌르레기 떼의 구조적 및 행동적 특성을 밀접하게 모사하는 역학이 나타남을 입증한다.

원저자: Martino Brambati, Antonio Celani, Marco Gherardi, Francesco Ginelli

게시일 2026-02-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Martino Brambati, Antonio Celani, Marco Gherardi, Francesco Ginelli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 혼란스러운 댄스 플로어를 상상해 보세요. 수천 명의 무용수(에이전트)들이 서로 부딪히지 않으면서도 무리에서 길을 잃지 않고 함께 움직이려 노력하고 있습니다. 오랫동안 과학자들은 궁금해했습니다. 찌르레기 같은 새들의 떼가 어떻게 저토록 완벽하고 동기화된 물결을 이루며 충돌 없이 날 수 있는 것일까?

이 논문은 컴퓨터 시뮬레이션을 사용하여 디지털 "무용수"들에게 바로 그 방법을 가르칩니다. 이 방법은 **강화 학습(Reinforcement Learning)**이라 불립니다. 이것은 마치 강아지를 훈련시키는 것과 같습니다. 어떤 행동을 잘했을 때는 간식을 주고, 잘못했을 때는 부드럽게 "안 돼"라고 말하는 것이죠. 결국, 그들은 어떻게 행동해야 할지 터득하게 됩니다.

연구진이 발견한 내용을 쉬운 개념으로 나누어 설명하면 다음과 같습니다.

1. 댄스 플로어의 두 가지 규칙

연구진은 디지털 무용수들에게 균형을 맞춰야 할 두 가지 주요 목표를 주었습니다.

함께하기: 이웃으로부터 너무 멀어져서 무리가 해체되지 않도록 합니다.
충돌하지 않기: 너무 가까워져서 충돌할 위험이 없도록 합니다.

그들은 무용수들을 위한 "점수판"(비용 함수)을 설정했습니다. 무용수가 집단에서 너무 멀어지면 점수가 깎였습니다. 만약 너무 가까워져서 충돌 위험이 생기면 점수는 훨씬 더 크게 깎였습니다. 무용수들은 점수를 최대한 높게 유지하기 위해 어떻게 움직여야 하는지를 배워야 했습니다.

2. "아하!" 모먼트: 충돌을 피하는 것이 핵심이다

가장 놀라운 발견은 충돌을 피하는 것이 사실 군집 행동(flocking)의 비결이라는 점이었습니다.

"군집(Swarm)"의 실수: 연구진이 무용수들에게 (충돌 위험은 무시하고) 오직 함께 있기만을 명령했을 때, 집단은 무질서하고 혼란스러운 덩어리로 변했습니다. 그들은 서로 밀착하여 모여들었지만, 방향은 무작위로 움직였습니다. 이는 벌 떼나 출입구로 몰려드는 인파와 같은 모습입니다. 이를 **군집(swarming)**이라고 합니다.
"떼(Flock)"의 성공: 연구진이 너무 가까워지는 것에 대한 페널티(충돌에 대한 공포를 시뮬레이션함)를 추가하자, 행동이 완전히 바뀌었습니다. 무용수들은 서로 부딪히지 않을 만큼만 적당히 거리를 두는 법을 배웠습니다. 이 과정은 그들이 움직임을 **정렬(align)**하도록 강제했습니다. 즉, 같은 방향을 향하고 매끄럽고 조화로운 물결처럼 움직이게 된 것입니다. 이것이 바로 **떼 지어 움직임(flocking)**입니다.

비유: 고속도로를 운전한다고 상상해 보세요. 만약 당신이 오로지 카풀 그룹과 함께 있는 것에만 신경 쓴다면, 그룹을 따라잡기 위해 비정상적으로 운전할 수도 있습니다. 하지만 앞차와 부딪히는 것을 정말 두려워한다면, 당신은 자연스럽게 차선을 맞추고 다른 모든 차량과 속도 및 방향을 일치시키며 매끄럽고 동기화된 주행을 하게 될 것입니다. 충돌에 대한 두려움이 질서를 만들어내는 것입니다.

3. 무용수들이 움직임을 배우는 법

디지털 무용수들은 이웃과의 거리에 기반한 간단한 2단계 전략을 배웠습니다.

이웃이 멀리 있을 때: "당기는 힘"(인력)과 "복사하기"(정렬)를 혼합하여 사용합니다. 즉, 가까워지려고 노력하면서 동시에 같은 방향을 향합니다.
이웃이 가까이 있을 때: 당기는 힘을 멈추고 거의 전적으로 복사하기에 집중합니다. 그들은 이웃과 방향을 완벽하게 일치시킵니다. 가까운 거리에서의 이러한 강력한 정렬이 떼가 단단하게 결속되어 하나의 단위로 움직이게 만드는 핵심입니다.

4. 중앙 집중식 vs 분산형 학습

연구진은 무용수들을 가르치는 두 가지 방식을 테스트했습니다.

중앙 집중식 (하이브 마인드): 모든 무용수가 학습 내용을 공유합니다. 한 무용수가 좋은 움직임을 터득하면, 모두가 즉시 그것을 배웁니다. 이 방식은 매우 효과적이었습니다.
분산형 (독립적 학습자): 각 무용수는 다른 이들과 대화하지 않고 스스로 학습합니다. 이 방식도 작동은 했지만, 시간이 더 오래 걸렸고 매우 큰 집단에서는 다소 어려움이 있었습니다. 하지만 중간 규모의 집단(전형적인 찌르레기 무리 같은)에서는 두 방식 모두 아름답고 동기화된 결과를 만들어냈습니다.

5. 결과: 액체 같은 떼의 움직임

최종 결과물은 실제 새 떼와 매우 흡사했습니다. 집단은 하나의 응집된 단위로서 움직였으며, 높은 질서(모두가 같은 방향을 향함)를 보였습니다. 흥ًا히도, 무용수들은 군인처럼 고정된 위치를 유지하지 않았습니다. 그들은 전체적인 형태를 유지하면서도 서로의 이웃을 끊임없이 교체하며 액체처럼 흘러갔습니다. 이는 과학자들이 하늘에서 관찰하는 찌르레기 떼의 모습과 일치합니다.

요 결론

이 논문은 왜 어떤 동물들(찌르레기 등)은 조직적인 떼를 이루어 날고, 어떤 동물들(하루살이 등)은 그저 무질서한 공 모양으로 군집하는지에 대한 이유가 단순할 수 있음을 시사합니다. 즉, 충돌하지 않으면서 함께 머무는 가장 똑똑한 방법이 바로 '떼 지어 움직이는 것(flocking)'이기 때문입니다. 충돌을 피해야 한다는 필요성이 집단의 정렬을 강제하며, 자연에서 볼 수 있는 그 경이롭고 동기화된 춤을 만들어냅니다.

기술 요약: 충돌 회피와 결속 유지를 통한 개방된 공간에서의 군집 학습

문제 제기
본 논문은 집단 운동 모델링의 근본적인 과제인, 개방된 무한 공간에서 어떻게 집단의 결속력을 유지할 것인가를 다룬다. 빅섹(Vicsek) 모델과 같은 최소 모델은 주기적 시스템에서 정렬 상호작용을 통해 장거리 질서를 성공적으로 생성하지만, 개방형 시스템에서는 실패한다. 순수하게 정렬에 기반한 상호작용은 확산적 분산과 집단 해체를 초래하며, 순수하게 인력에 기반한 상호작용은 응집된 군집(swarming)이나 회전 운동(milling)을 만들 뿐 결속된 군집 비행(flocking)을 만들어내지 못한다. 저자들은 자기 추진 입자(SPPs)가 사전 정의된 상호작용 규칙이나 거리 기반 구역에 의존하지 않고, 어떻게 정렬과 인력 사이의 균형을 학습하여 결속력 있고 고도로 질서 정연한 군집 비행을 달ato할 수 있는지 조사한다.

방법론
저자들은 제1원리로부터 군집 역학을 도출하기 위해 다중 에이전트 강화 학습(MARL) 프레임워크를 채택한다.

에이전트 역학: $N$ 개의 에이전트는 일정한 속도 $v_0$ 로 2D 무한 공간에서 이동한다. 에이전트들은 오직 위상적(보로노이) 이웃만을 인지한다. 이들의 운동은 이웃의 평균 방향( $V_i$ )과 국소 질량 중심을 향한 방향( $R_i$ )의 가중 결합을 선택함으로써 새로운 헤딩(heading)을 결정하며 업데이트된다.
제어 파라미터: 정렬과 인력 사이의 상대적 가중치 $\beta \in [0, 1]$ 가 학습 가능한 행동이다. $\beta=0$ 은 순수 정렬(빅섹 유사 모델)을, $\beta=1$ 은 순수 인력을 의미한다.
학습 프레임워크: 본 연구는 두 가지 훈련 패러다임을 활용한다.
1. 중앙 집중식 훈련 (CT): 에이전트들이 단일 Q-행렬을 공유하고 공유된 경험 풀로부터 학습한다.
2. 분산형 훈련 (DT): 각 에이전트가 고유의 Q-행렬을 유지하며 자신의 특정 궤적을 바탕으로 독립적으로 학습한다.
비용 함수: 에이전트들은 이웃과의 평균 거리 $d$ 를 기반으로 하는 비용 함수 $L(d)$ 를 최소화하도록 훈련된다. 이 함수는 비볼록(non-convex) 형태의 레너드-존스(Lennard-Jones) 유사 포텐셜로, $L(d) = a/d - b/\sqrt{d}$ 이다. 이 함수는 과도한 분리( $d \to \infty$ )와 근거리 밀집( $d \to 0$ ) 모두에 페널티를 부여하며, 최적 거리 $\bar{d}=1$ 에서 최솟값을 갖는다.
최적화: 에이전트들은 누적 비용을 최소화하는 최적 정책 $\beta^*(d)$ 를 찾기 위해 $\epsilon$ -greedy 탐색을 사용하는 Q-러닝 알고리즘을 사용한다.

주요 기여 및 결과

응집된 군집 비행의 출현: 본 연구는 큰 분리와 작은 거리를 모두 페널티를 주는 비용 함수로 훈련된 에이전트들이 높은 극성 질서( $\Phi \approx 0.95$ )를 가진 응집된 군집 비행을 자발적으로 학습함을 보여준다. 이러한 동작은 중간 규모의 집단 크기( $N < 800$ )에 대해 CT와 DT 패러다임 모두에서 견고하게 나타난다.
충돌 회피의 역할: 작은 거리에 대한 페널티가 군집 비행에 필수적이라는 것이 핵심적인 발견이다. 만약 비용 함수가 작은 $d$ 에서의 발산을 제거하도록 수정된다면(즉, 충돌 페널티를 제거하면), 에이전트들은 인력에 의해 지배되는 전략( $\beta \approx 1$ )을 학습하여, 군집 비행이 아닌 무질서하고 응집된 군집(swarming) 상태를 보인다. 이는 충돌을 피해야 할 필요성이 정렬 기반의 군집 비행 출현을 이끄는 주요 동력임을 시사한다.
거리 의존적 정책: 학습된 Q-행렬 분석 결과, 뚜렷한 영역 분리가 드러난다.
- 짧은 거리 ( $d < d^*$ ): 최적 정책은 강력한 정렬( $\beta \approx 0$ )에 의해 지배된다.
- 긴 거리 ( $d > d^*$ ): 정책은 정렬과 인력의 유연한 결합을 포함한다. 저자들은 "정책 증류(policy distillation)"를 통해 이 영역에서의 정확한 균형은 결정적이지 않음을 보여준다. 즉, 약간의 인력이 존재하는 한 시스템은 결속을 유지한다.
구조적 특성: 결과적인 군집은 생물학적 관찰 결과(예: 찌르레기 무리)와 일치하는 구조적 특징을 보인다. 이들은 유한하지만 낮은 이웃 교체율(mixing rate)을 가진 "구조가 없는 비평형 액체"처럼 행동하며, 방사형 쌍 분포 함수 $g(r)$ 은 일반적인 액체의 진동 구조가 결여되어 있어 실험 데이터와 일치한다.
확장성 및 견고성: 알고리-즘은 중앙 집중식 훈련 하에서 $N=1600$ 명의 에이전트까지 효과적으로 확장된다. 분산형 훈련은 유한한 훈련 시간 내에 개별 에이전트가 전체 상태 공간을 탐색하기 어렵기 때문에 매우 큰 집단( $N > 800$ )에서는 성능이 저하되지만, 이는 탐색 지수를 조정함으로써 완화될 수 있다.
경계 조건: 저자들은 내부와 경계 에이전트를 구분하기 위해 보로노이 셀 면적을 기반으로 한 대안적 비용 함수를 테스트하였으나, 거리 기반 비용과 비교했을 때 군집 비행 동작에 질적인 차이가 없음을 확인하였다.

의의 및 주장
본 논문은 왜 특정 사회적 종들이 군집(swarming)이 아닌 군집 비행(flocking)을 보이는지에 대한 질문을 해결한다고 주장한다. 저자들은 군집 비행이 단순히 집단 결속을 위한 메커니즘으로서가 아니라, 함께 있어야 한다는 명령과 위험한 충돌을 피해야 한다는 명령을 동시에 만족시키는 최적의 전략으로서 출현한다고 논한다. 학습된 역학은 노이즈와 알고리즘 세부 사항에 견고하며, 이는 정렬과 인력 사이의 상호작용이 거리 의존적 충돌 회피에 의해 조절되는 것이 복잡한 집단 운동의 자발적 출현을 위한 충분 조건임을 시사한다. 결과는 실제 조류의 비행 특성(quasi-2D 성질로 인해)에 생물학적으로 타당하며, 군집 로봇 공학에도 적용 가능하여, 사전 프로그래밍된 상호작용 규칙에 대한 학습 기반의 대안을 제시한다.