Optimal Control Strategies for Multi-Agent Sheep Herding

단순히 비디오 게임을 플레이하는 것이 아니라, 사물이 움직이는 물리 법칙을 직접 프로그래밍하는 세상을 상상해 보십시오. 이것이 바로 **최적 제어(optimal control)**의 영역입니다. 최적 제어는 "여러 물체를 A 지점에서 원점까지 이동시키는 가장 좋은 방법은 무엇인가?"라는 단순하면서도 까다로운 질문을 던지는 과학의 한 분야입니다. 이는 마치 오케스트라의 지휘자가 되는 것과 같습니다. 다만 바이올린이나 플루트 대신 로봇, 드론, 또는 자율주om 자동차를 지휘하는 것이죠. 목표는 모든 개체가 충돌하거나 에너지를 낭비하거나 길을 잃지 않고 목적지에 도착할 수 있도록 하는 완벽한 일련의 지침(또는 "제어 명령")을 찾는 것입니다.

이 특정 이야기에서 "연주자"는 양 떼이고, "지휘자"는 개 떼입니다. 과제는 단순히 양들을 우리로 몰아넣는 것이 아니라, 개들이 가야 할 완벽한 경로를 찾아내는 것입니다. 이 논문은 몇 가지 핵심 개념에 의존합니다. 모든 동물의 위치와 속도를 매 순간 추적하는 수학적 지도인 상태 공간 방정식(state-space equations), 좋은 행동(양을 집으로 보내기)에는 점수를 주고 나쁜 행동(너무 많이 꿈틀거리거나 중심에서 너무 멀어지는 것)에는 점수를 깎는 성적표와 같은 비용 함수(cost functionals), 그리고 개가 너무 가까이 다가갔을 때 양이 당황하여 질주하는 것처럼 세상이 어떻게 무질서하고 예측 불가능해지는지를 설명하는 **비선형 역학(nonlinear dynamics)**입니다. 왜 이런 연구를 할까요? 양을 모는 수학적 원리는 구조 로봇을 붕괴된 건물 속으로 안내하거나, 퍼지는 기름 유출을 막거나, 입자 가속기 내의 하전 입자를 조종하는 데 필요한 수학과 놀라울 정도로 유사하기 때문입니다. 우리가 양을 효율적으로 모으는 방법을 알아낸다면, 생명을 구하거나 재난을 해결하는 방법도 알아낼 수 있을지도 모릅니다.

---

위대한 양 몰이 시뮬레이션

그래서 브리검 영 대학교(Brigham Young University)와 다른 몇몇 학교의 연구진은 "얼마나 많은 양을 몰기 위해 몇 마리의 개가 필요하며, 그들이 가야 할 완벽한 경로는 무엇인가?"라는 오래된 질문에 도전하기로 했습니다. 그들은 실제 개나 실제 양을 사용하지 않았습니다(수학 논문에서 그것은 너무 혼란스러울 테니까요). 대신 그들은 컴퓨터 모델을 사용하여 디지털 놀이터를 구축했습니다.

이 시뮬레이션에서 양들은 고집 센 작은 생명체들입니다. 그들에게는 한 가지 규칙이 있습니다. "개로부터 도망쳐라!" 만약 개가 가까이 오면 양은 멀리 달아납니다. 논문은 이 가속도를 쿨롱의 법칙(Coulomb's law), 즉 같은 전하를 띤 입자들 사이의 반발력처럼 모델링했습니다. 이는 양을 밀어내는 힘이 두 입자가 서로를 밀어내는 방식과 수학적으로 유사하며, 가까워질수록 더 강해진다는 것을 의미합니다. 반면 개들은 똑똑합니다. 개들은 "비용"을 최소화하려는 컴퓨터 알고리즘에 의해 제어됩니다. 이 비용은 세 가지 요소의 조합입니다: 양을 원점(우리) 근처에 유지하는 것, 개를 원점 근처에 유지하는 것, 그리고 에너지를 너무 많이 쓰지 않는 것(가속도)입니다. 목표는 개들이 스스로를 지치게 하지 않으면서 효율적으로 양을 집으로 몰 수 있는 완벽한 균형점을 찾는 것입니다.

첫 번째 시도: "추측과 확인"의 고군분투

연구팀의 첫 번째 전략은 solve_bvp(경계값 문제 해결사를 의미함)라고 불리는 강력한 수학 도구를 사용하는 것이었습니다. 이는 전체 경로를 한꺼번에 추측한 다음, 벽에 부딪히는지 확인하고, 제대로 될 때까지 추측을 수정하며 미로를 푸는 것과 같습니다. 그들은 이 도구에 양과 개의 복잡한 규칙을 입력하려고 시도했습니다.

처음에는 재앙이었습니다. 컴퓨터는 특히 동물의 수가 늘어날 때 작동하는 경로를 찾지 못하고 계속 멈춰 섰습니다. 시스템이 너무 크고 복잡(비선형)하여 도구가 쉽게 처리할 수 없었던 것입니다. 이는 손을 댈 때마다 색깔이 변하는 루빅스 큐브를 푸는 것과 같았습니다. 하지만 연구진은 포기하지 않았습니다. 그들은 컴퓨터에게 아주 좋은 "시작점"(영리한 초기 추측값)을 제공하고 설정을 정교하게 조정하면 이 도구가 실제로 작동할 수 있다는 것을 깨달았습니다.

그들은 만약 개들에게 양 주변을 원형으로 시작하여 특정 곡선을 따라 움직이라고 지시한다면, 컴퓨터가 마침내 해답을 찾을 수 있다는 것을 발견했습니다. 심지어 그들은 개의 성과를 측정하는 방식도 변경해야 했습니다. 개들을 특정 지점에 도착하도록 강제하는 대신, 원 위의 어느 지점에나 도착할 수 있게 하여 더 많은 자유를 주었습니다. 이러한 미세 조정을 통해, 그들은 2마리의 개와 1마리의 양이 있는 시나리오를 성공적으로 시뮬레이션했으며, 개들이 우아하게 원을 그리며 양을 우리로 밀어 넣는 모습을 관찰했습니다.

두 번째 시도: "선형 지름길"

다음으로 연구팀은 **선형 이차 조절기(Linear Quadratic Regulator, LQR)**라고 불리는 다른 접근 방식을 시도했습니다. 이것은 세상이 단순하고 직선적이라고 가정함으로써 복잡한 문제를 해결하려는 것과 같습니다. 그들은 양의 반응이 거칠고 들쭉날쭉한 곡선이 아니라, 매끄럽고 예측 가능한 직선이라고 가정했습니다. 이 방법은 보통 훨씬 빠르며 더 많은 동물을 동시에 다룰 수 있습니다.

그리고 효과가 있었습니다... 대체로 말이죠. 그들은 4마리의 개와 3마리의 양이 있는 시나리오를 성공적으로 시뮬레이션했습니다. 개들은 일반적으로 양 떼를 목표를 향해 몰아갔습니다. 하지만 문제가 있었습니다. "선형 지름길"은 개와 양이 너무 가까워질 때 무너졌습니다.

이것은 운전하는 것과 비슷합니다. 코너에서 멀리 떨어져 있을 때는 도로가 직선이라고 가정하고 쉽게 운전할 수 있습니다. 하지만 급커브 구간에 딱 도착하면 그 가정이 실패하고 사고가 날 수 있습니다. 시뮬레이션에서도 개들이 양에게 가까이 다가갔을 때, 양의 "패닉" 반응은 매우 강력하고 예측 불가능해졌습니다. 선형 수학은 이러한 갑작스러운 변화를 감당할 수 없었습니다. 결과적으로 시뮬레이션 속의 개들은 이상하게 행동하기 시작했습니다. 개들은 양 위에서 머뭇거리며 작고 쓸모없는 루프를 그리며 떨거나, 양 위에 올라탄 채 움직이지 못하고 갇혀 버렸습니다.

이 문제는 양이 개보다 많아질 때 더욱 악화되었습니다. 개들은 압도당했고, 수학은 그들을 효과적으로 조율하지 못했습니다. 시뮬레이션은 이 "지름길" 방식이 매끄럽고 탁 트인 공간에서는 훌륭하지만, 동물들이 밀집하고 상호작용이 격렬해지면 어려움을 겪는다는 것을 보여주었습니다.

시사점

논문은 완벽한 그녀딩(herding) 전략을 시뮬레이션할 수는 있지만, 그것이 쉽지만은 않다고 결론짓습니다. "추측과 확인" 방식(solve_bvp)은 시작 추측값을 매우 주의 깊게 설정한다다면 소규모 그룹에 잘 작동하지만, 동물을 추가할수록 느려지고 복잡해집니다. "지름길" 방식(LQR)은 더 빠르고 더 큰 그룹을 다룰 수 있지만, 동물들이 서로 너무 가까워지면 갑작스럽고 격렬한 행동 변화를 처리하지 못해 실패합니다.

연구진은 모든 가능한 수의 개와 양에 대해 문제를 해결하는 마법의 버튼을 찾아낸 것이 아닙니다. 대신, 그들은 표준적인 수학 도구에도 한계가 있음을 보여주었습니다. 상황이 혼잡하고 혼란스러워지면 단순한 선형 수학만으로는 부족하며, 떼를 계속 움직이게 하기 위해서는 더 강력한 비선형 전략이 필요합니다. 그들은 충분한 튜닝이 있다면 컴퓨터가 시뮬레이션 속에서 양을 모으는 법을 깨우칠 수 있다는 것을 성공적으로 입증했지만, 완벽하고 확장 가능한 솔루션을 향한 길은 여전히 진행 중인 과제로 남아 있습니다.