Insect-inspired modular architectures as inductive biases for reinforcement learning

이 논문은 곤충의 분산된 신경 회로 구조에서 영감을 얻어 감각 인코딩, 기억, 명령 생성 등을 개별 모듈로 분리한 강화학습 아키텍처를 제안하였으며, 이를 통해 복잡하고 상충하는 행동 목표를 가진 내비게이션 작업에서 기존의 중앙 집중식 모델보다 뛰어난 성능과 안정성을 입증했습니다.

핵심

1. 기존 AI의 문제점: "모든 걸 혼자 결정하는 독불장군 사장님"

지금까지의 대부분의 AI(강화학습 모델)는 '중앙 집중형' 방식이었습니다.

비유하자면, 아주 큰 회사의 사장님 한 명이 모든 일을 결정하는 구조와 같습니다. 사장님은 눈으로 보고(감각), 과거를 기억하고(메모리), 지금 당장 어떻게 움직일지(행동)까지 혼자서 다 처리해야 합니다.

그런데 회사가 너무 커지거나, 갑자기 경쟁사가 나타나거나(포식자 등장), 갑자기 배가 고파지는(먹이 찾기) 등 상황이 급변하면 어떻게 될까요? 사장님은 정보 과부하에 걸려 결정을 내리지 못하고 허둥대거나, 아예 엉뚱한 결정을 내려 회사를 망하게 할 수도 있습니다. (논문에서는 이를 '최적화 실패'라고 표현합니다.)

2. 곤충의 방식: "각 분야의 전문가들이 모인 팀워크"

연구자는 곤충(파리나 벌 같은)의 신경계를 관찰했습니다. 곤충은 사장님 한 명이 다 하는 게 아니라, 특화된 '전문 부서'들이 나누어서 일합니다.

• 감각 부서: 눈에 보이는 것만 전문적으로 정리합니다.
• 나침반 부서: 내가 지금 어디를 보고 있는지 방향만 전문적으로 관리합니다.
• 기억 부서: "저번에 저기서 위험했어!" 같은 중요한 기억만 따로 저장합니다.
• 현장 팀장(명령 센터): 각 부서의 보고를 듣고 "지금은 도망칠 때야!" 혹은 "지금은 먹이를 찾을 때야!"라고 분위기를 파악합니다.
• 실행 요원(로컬 컨트롤러): '도망 전문가', '먹이 찾기 전문가', '장애물 피하기 전문가' 등 각자의 임무를 가진 요원들이 대기하고 있습니다.

그리고 가장 중요한 **'중재자(Arbiter)'**가 있습니다. 상황을 보고 "지금은 '도망 전문가'의 의견을 90% 반영해!"라고 결정해 주는 역할이죠.

3. 실험 결과: "전문가 팀이 독불장군보다 훨씬 잘한다!"

연구자는 이 '곤충형 팀 구조'를 AI에 적용해, 먹이를 찾으면서 동시에 장애물을 피하고, 무서운 포식자로부터 도망쳐야 하는 복잡한 미로 게임을 시켰습니다.

결과는 놀라웠습니다.

1. 성적이 훨씬 좋았습니다: 혼자 결정하는 AI보다 곤충형 AI가 훨씬 더 높은 점수를 받았습니다. (포식자로부터 더 잘 살아남고 먹이도 잘 찾았습니다.)
2. 안정적이었습니다: 혼자 결정하는 AI는 상황이 바뀌면 멘붕(Panic)에 빠져서 갈팡질팡했지만, 곤충형 AI는 상황에 맞춰 전문가를 교체하며 차분하게 대처했습니다.
3. 똑똑한 선택: 실험이 진행될수록 AI는 "지금은 이 전문가의 말을 들어야 해!"라는 것을 아주 명확하게 구분해 냈습니다. (논문에서는 이를 '엔트로피가 낮아졌다'고 표현합니다.)

4. 결론: "나누면 더 강해진다"

이 논문의 핵심 메시지는 이겁니다.

"모든 것을 하나의 거대한 뇌(모델)에 몰아넣는 것보다, 기능을 잘게 나누어 전문화시키고 상황에 따라 그 전문가들을 적재적소에 배치하는 것이 훨씬 똑똑한 AI를 만드는 길이다."

단순히 생물학을 흉내 내는 것을 넘어, **'복잡하고 변화무쌍한 세상에서 살아남기 위한 수학적 설계도'**를 곤충의 몸속에서 찾아낸 것입니다.

기술 요약

[기술 요약] 곤충 모방형 모듈식 구조를 이용한 강화학습의 귀납적 편향(Inductive Bias) 연구

1. 문제 정의 (Problem Statement)

현대 강화학습(RL)에서 연속 제어(Continuous Control)에 사용되는 대부분의 정책(Policy)은 중앙 집중식(Centralized) 구조를 가집니다. 즉, 관측값(Observation)을 하나의 거대한 잠재 상태(Latent state)로 압축한 뒤, 이를 통해 가치 추정(Value estimation)과 행동 선택(Action selection)을 동시에 수행합니다.

하지만 이러한 방식은 생물학적 신경계의 구조와 차이가 있습니다. 곤충과 같은 생물은 단일한 거대 컨트롤러가 아니라, 방향 유지, 기억, 상황별 행동 선택 등을 담당하는 **분산된 회로(Distributed circuits)**를 통해 복잡한 환경에 대응합니다. 본 연구는 이러한 **구조적 분해(Architectural decomposition)**가 강화학습에서 유용한 **귀납적 편향(Inductive Bias)**으로 작용할 수 있는지 질문을 던집니다.

2. 연구 방법론 (Methodology)

연구진은 곤충의 신경 구조(중앙 복합체, 버섯체 등)에서 영감을 얻어, 제어 기능을 다음과 같은 5가지 독립적인 모듈로 분해한 분산형 모듈식 컨트롤러를 설계했습니다.

• 감각 인코딩(Sensory Encoding): 시각적 특징, 고유 수용 감각(Proprioception), 작업 변수를 별도의 MLP로 처리하여 특징 추출 단계부터 구조적 편향을 부여합니다.
• 방향 상태(Heading State): 곤충의 중앙 복합체(Central Complex)를 모방하여, 링 구조의 재귀 커널(Ring-structured recurrent kernel)을 통해 지속적인 방향 정보를 유지합니다.
• 연상 기억(Associative Memory): 버섯체(Mushroom body)의 코딩 방식을 모방하여, 고차원 투영 및 희소(Sparse) 표현을 통해 기억을 저장하고 읽어옵니다.
• 명령 센터(Command Center): GRU 셀을 사용하여 감각, 방향, 기억을 통합하고, 행동 모드 확률($\pi_t$), 명령 벡터($c_t$), 가치 함수($V_t$)를 생성합니다.
• 지역 컨트롤러 및 중재자(Local Controllers & Arbiter): '안정화', '회피', '접근', '탐색'이라는 4가지 특화된 행동 모듈이 각각 후보 행동을 제안하면, 학습된 **중재자(Arbiter)**가 각 모듈의 권한(Motor authority)을 결정하여 최종 행동을 조합합니다.

학습 환경: 먹이 찾기, 장애물 회피, 포식자 탈출이라는 상충하는 목표가 동시에 존재하는 2차원 내비게이션 태스크에서 PPO(Proximal Policy Optimization) 알고리즘을 사용하여 학습을 진행했습니다.

3. 주요 기여 (Key Contributions)

• 생물학적 구조의 계산적 적용: 곤충의 신경 구조를 단순한 모방을 넘어, 강화학습의 성능을 높이는 수학적/구조적 분해 도구로 활용했습니다.
• 상충하는 목표의 해결 메커니즘: 여러 행동 목표가 충돌하는 상황에서, 단일 잠재 상태에 모든 정보를 압축하는 대신 모듈별로 권한을 할당하는 방식이 효과적임을 입증했습니다.
• 최적화 안정성 확보: 중앙 집중식 모델(특히 MLP)에서 나타나는 최적화 불안정성(KL Divergence 폭발 등)을 구조적 분해를 통해 완화했습니다.

4. 연구 결과 (Results)

6개의 시드(Seed)를 사용한 포식자 내비게이션 실험 결과, 모듈식 모델은 모든 지표에서 기존 베이스라인을 압도했습니다.

• 성능(Mean Episodic Return): 모듈식 모델($-2798.8 \pm 964.4$)이 중앙 집중식 GRU($-3778.0 \pm 628.1$)와 MLP($-4727.5 \pm 772.5$)보다 월등히 높은 보상을 기록했습니다. (GRU 대비 약 25.9% 향상)
• 안정성(Optimization Stability): MLP는 KL Divergence가 매우 높고 Clip fraction이 0.97에 달해 학습이 매우 불안정했으나, 모듈식 모델과 GRU는 안정적인 PPO 범위를 유지했습니다.
• 내부 동작(Internal Diagnostics): 모듈 할당 엔트로피(Module entropy)가 $0.0457$로 매우 낮게 나타났는데, 이는 학습이 진행됨에 따라 중재자가 상황에 맞춰 특정 모듈에 매우 선택적이고 결정적인 권한을 부여했음을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 **"구조적 분해(Architectural decomposition)가 복잡한 제어 문제에서 강력한 귀납적 편향이 될 수 있음"**을 보여주었습니다.

단순히 신경망을 깊게 쌓거나 재귀 구조를 사용하는 것보다, 계산적 역할(방향 유지, 기억, 명령 생성 등)에 따라 기능을 분리하는 것이 상충하는 목표를 가진 동적 환경에서 훨씬 유리합니다. 이는 생물학적 구조가 단순히 자연의 산물이 아니라, 복잡한 물리적 세계를 제어하기 위한 수학적으로 의미 있는 최적화된 구조일 수 있음을 시사합니다.