Evolving Embodied Intelligence: Graph Neural Network--Driven Co-Design of Morphology and Control in Soft Robotics

논문 개요

본 논문은 **소프트 로봇 (Soft Robotics)**의 형태 (Morphology) 와 제어 (Control) 를 동시에 최적화하는 공설계 (Co-Design) 문제를 해결하기 위해, 그래프 신경망 (Graph Neural Network, GNN) 기반의 새로운 접근법을 제안합니다. 특히, **그래프 어텐션 네트워크 (GAT)**를 활용하여 로봇의 구조적 변화 (돌연변이) 가 발생하더라도 학습된 제어 정책을 효과적으로 계승하고 적응할 수 있는 프레임워크를 개발했습니다.

1. 문제 제기 (Problem Statement)

• 구현된 지능 (Embodied Intelligence) 의 한계: 로봇의 지능은 제어 시스템뿐만 아니라 신체와 뇌의 긴밀한 결합에서 나옵니다. 그러나 소프트 로봇은 유연한 재료로 구성되어 있어 형태와 제어의 상호작용을 최적화하는 것이 매우 어렵습니다.
• 기존 공설계의 장애물:
  1. 높은 학습 비용: 새로운 형태가 진화할 때마다 제어기를 처음부터 다시 학습 (From scratch) 해야 하므로 시간이 많이 소요됩니다.
  2. 취약한 정책 계승 (Fragile Inheritance): 기존 방법론 (MLP 기반) 은 고정된 입력/출력 차원을 가정합니다. 형태가 변하면 센서나 액추에이터의 배치가 바뀌어 고정된 MLP 구조와 불일치가 발생하며, 이로 인해 부모 세대의 지식을 자손에게 전달하기 어렵습니다.
• 핵심 질문: 형태가 진화하는 과정에서 제어 정책을 어떻게 재사용하고 적응시킬 수 있을까요?

2. 방법론 (Methodology)

저자들은 로봇을 그래프 구조로 모델링하고, 이를 기반으로 한 GAT 기반 제어 정책과 진화 알고리즘 (GA) 및 **근접 정책 최적화 (PPO)**를 결합한 공설계 프레임워크를 제안했습니다.

가. 그래프 기반 로봇 표현 (Graph-Based Representation)

• 노드 (Nodes): 위치 센서, 액추에이터, 볼록 (Voxel) 등 기능적 구성 요소를 나타냅니다.
• 엣지 (Edges): 구성 요소 간의 구조적 또는 운동학적 관계를 인코딩합니다.
• 특징 (Features): 노드에는 전역 속성 (방향 등) 과 국소 정보 (좌표, 볼록 유형, 속도 등) 가 결합된 특징 벡터가 할당됩니다.

나. GAT 기반 제어기 (GAT-based Controller)

• 구조: 그래프 어텐션 네트워크 (GAT) 를 사용하여 노드 특징을 집계하고, 이를 경량 MLP 헤드로 전달하여 액추에이터 명령 또는 가치 추정을 생성합니다.
• 장점: MLP 와 달리 고정된 입력 차원을 요구하지 않으며, 메시지 전달 (Message Passing) 을 통해 노드 간의 관계를 학습합니다. 어텐션 메커니즘을 통해 제어에 가장 중요한 연결을 학습하여 형태 변화에 대한 일반화 능력을 향상시킵니다.

다. 형태 인식 정책 계승 (Morphology-Aware Policy Inheritance)

부모 세대에서 자손 세대로 제어기를 전달할 때, MAPWEIGHTS 알고리즘을 통해 가중치를 매핑합니다:

1. 공유 은닉층 (Shared Hidden Layers): GAT 의 메시지 전달 및 어텐션 레이어, 그리고 풀링된 MLP 의 은닉층 가중치는 형태가 변해도 그대로 계승됩니다.
2. 액추에이터 매핑 (Actuator Mapping):
   • 일치하는 액추에이터: 부모의 해당 가중치를 복사합니다.
   • 새로운 액추에이터: 무작위로 초기화 후 미세 조정 (Fine-tuning) 합니다.
   • 삭제된 액추에이터: 가중치를 폐기합니다.
3. 크리틱 (Critic) 네트워크: 출력 값이 스칼라이므로 최종 레이어는 동일하게 유지되며, 전역 풀링과 공유 MLP 은닉층을 통해 다양한 노드 수에 호환성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 형태 인식 제어 계승 알고리즘: GAT 기반 정책과 DRL 을 통합하여, 그래프 특징을 재사용하고 새로운 형태에 정렬된 임베딩 수준 전달 방식을 통해 자손 제어기의 적응을 가속화합니다.
2. 구조적 돌연변이에 강한 그래프 표현: 고정된 입력을 요구하는 MLP 의 한계를 극복하고, 구조적 변화 하에서도 정책의 능력을 유지하는 그래프 기반 표현을 제시합니다.
3. 실험적 검증: 벤치마크 (EvoGym) 를 통해 MLP 기반 베이스라인 대비 더 높은 최종 보상과 형태 변화에 대한 강건성을 입증했습니다.

4. 실험 결과 (Results)

EvoGym 환경의 4 가지 작업 (Pusher-v1, Thrower-v0, Carrier-v1, Catcher-v0) 에서 실험을 수행했습니다.

• 성능 향상: 제안된 GAT 기반 방법 (GA-GAT-PPO) 은 기존 MLP 기반 방법보다 더 높은 최종 적합도 (Fitness) 를 달성했습니다.
• 작업별 최적화 전략:
  • 국소적 조정이 필요한 작업 (Pusher, Thrower, Carrier): 개별 노드 특징을 사용하는 Local-Transfer 방식이 가장 우수한 성능을 보였습니다.
  • 전체 시스템 조정이 필요한 작업 (Catcher): 전역 평균 표현을 사용하는 Global-Transfer 방식이 더 효과적이었습니다.
• 강건성과 변동성 감소: GAT 기반 방법은 학습 과정에서의 변동성 (Variance) 이 낮고, 형태 변화에 대한 적응력이 뛰어났습니다.
• 시각적 분석 (Thrower-v0): GAT 기반 로봇은 인간과 유사한 던지기 메커니즘을 학습하여 더 멀리, 정확하게 물체를 던지는 것을 확인했습니다. 반면 MLP 기반 로봇은 일관된 전략을 학습하지 못했습니다.
• 형태 진화: 제어기 아키텍처 (MLP vs GAT) 와 관계없이 작업 요구사항이 형태 진화를 주도한다는 것을 확인했으나, GAT 는 학습 속도와 적응성 측면에서 우위를 점했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 확장 가능한 공설계 프레임워크: 본 연구는 진화하는 신체 (Morphology) 와 뇌 (Control) 사이의 효과적인 인터페이스로 그래프 구조화된 정책의 중요성을 입증했습니다.
• 학습 효율성: 제어기를 처음부터 학습하는 대신, 부모의 지식을 구조적으로 계승함으로써 학습 비용을 크게 줄이고 복잡한 작업을 해결할 수 있는 능력을 향상시켰습니다.
• 미래 전망: GAT 기반 제어기는 초기 수렴 속도가 MLP 보다 느릴 수 있으나, 장기적인 일반화와 형태 변화에 대한 적응력 면에서 우월합니다. 향후 어텐션 정규화, 경량 GAT 변형, 하이브리드 접근법 등을 통해 효율성을 더욱 높일 수 있을 것으로 기대됩니다.

결론적으로, 이 논문은 소프트 로봇의 공설계 분야에서 고정된 아키텍처의 한계를 극복하고, 그래프 신경망을 통해 형태와 제어의 진화를 자연스럽게 연결하는 새로운 패러다임을 제시했습니다.