기술 요약: 검색이 기억이 될 때

문제 제기

대형 언어 모델 (LLM) 을 제안 생성기로 활용하는 진화 로봇 설계의 현재 접근 방식들은 '기억 부재'라는 한계를 겪고 있습니다. 표준 루프 (예: 유전 알고리즘) 에서 시뮬레이션 결과는 다음 세대를 형성하지만, 형태가 성공하거나 실패한 이유에 대한 구체적인 증거는 집단이 진화하는 순간 폐기됩니다. 고전적인 형태 검색은 높은 적합도를 가진 신체를 발견하지만, 안정성, 접촉 역학, 하중 지지 구조와 같은 근본적인 설계 원리를 재사용 가능한 지식으로 보존하지 못합니다. 그 결과, 설계 공간이 변경될 때 (예: 5×5 그리드에서 10×10 그리드로 확장), 에이전트는 이러한 원리들을 처음부터 다시 학습해야 하므로 비싼 평가 예산이 낭비됩니다.

방법론: AUTO-ROBOTIST

저자들은 값비싼 물리적 검색 흔적을 명시적이고, 감사 가능하며, 이전 가능한 기술 라이브러리로 변환하도록 설계된 자기 진화형 LLM 에이전트 AUTO-ROBOTIST를 소개합니다. 이 시스템은 모듈식 소프트 로봇 (볼록 기반) 과 PPO 훈련 제어기를 설계하는 EVOGYM 벤치마크 내에서 작동합니다.

핵심 아키텍처

에이전트는 검색 집단 ($P_t$) 과 함께 진화하는 기술 (skills) ($S_t$) 의 영구 라이브러리를 유지합니다. 원시 로그나 엘리트 신체를 저장하는 전통적인 메모리와 달리, 기술은 구조화된 3 단계 레코드로 구성됩니다:

1. L1 (원형): 적용 조건을 갖춘 간결한 구조적 개념 (예: 하중 지지 아치를 위한 "포털 프레임").
2. L2 (규칙): 적합도를 개선하는 경향이 있는 증거 기반 긍정 규칙과 실패 모드의 부정 규칙. 각 규칙은 부모 대비 적합도 증가분의 이동 평균을 추적합니다.
3. L3 (관측): 규칙을 뒷받침하는 구체적인 평가된 자식 및 부모 신체, 작업 맥락, 규모, 그리고 적합도 증가분.

운영 루프

이 과정은 설계 진화와 기술 진화 사이를 오갑니다:

1. 제안 생성 (설계 진화):

   • 에이전트는 현재 작업과 규모에 기반하여 관련 기술을 검색합니다.
   • 경로 A (기술 조건부): LLM 은 긍정/부정 규칙과 과거 관측에 guided 되어 검색된 원형을 향해 엘리트 부모 신체를 편집합니다.
   • 경로 B (탐색): 무효 출력을 처리하고 커버리지를 보장하기 위해 표준 유전 알고리즘 (GA) 변이 경로가 병렬로 실행됩니다.
   • 제안된 신체는 유효성 검사 (연결성, 액추에이터 존재) 를 거친 후 시뮬레이션에서 평가됩니다.

2. 라이브러리 유지 (기술 진화):

   • ADD: 기존 기술과 일치하지 않는 미할당 증거 (형태) 는 LLM 에 의해 검토되어 반복되는 구조가 감지되면 새로운 L1 원형을 생성합니다.
   • DIAGNOSE: 새로운 관측은 기존 규칙의 이동 평균 증가분을 업데이트합니다. LLM 은 증거가 규칙을 지지하는지, 반박하는지, 아니면 새로운 규칙을 생성하는지 결정합니다. 부정 규칙 (실패 모드) 은 1 급 항목으로 취급됩니다.
   • MERGE: 중복된 원형은 클러스터링되어 병합되어 라이브러리의 비대화를 방지하면서도 감사 흔적을 보존합니다.

3. 크로스 규모 이전:

   • 더 큰 설계 공간 (예: 5×5 $\to$ 10×10) 으로 이동할 때, 에이전트는 소스 기술 라이브러리를 가져옵니다.
   • L1 과 L2 규칙은 원시 볼록 업샘플링 없이 검색을 안내하는 사전 (priors) 으로 작용합니다. 에이전트는 새로운 증거가 수집됨에 따라 사전 guided 탐색에서 목표 기반 정제로 전환합니다.

주요 기여

1. LLM 설계 재정의: 이 논문은 LLM 을 단순한 제안 생성기가 아닌, 검색 경험을 이전 가능한 설계 기술로 변환하는 에이전트로 사용하는 패러다임 전환을 제시합니다.
2. 증거 기반 기술 라이브러리: 원형, 규칙, 관측을 분리하는 자기 진화형 라이브러리의 도입. 이 구조는 메모리가 해상도 간 이전을 위해 충분히 추상적이면서도 감사 가능하고 편집 가능하도록 충분히 구체적임을 보장합니다.
3. 실증적 검증: 이동, 통과, 물체 상호작용 등 일곱 가지 EVOGYM 작업에 걸친 광범위한 평가를 통해 에이전트가 처음부터 (콜드 스타트) 기술을 학습하고 이를 더 큰 설계 공간으로 성공적으로 이전할 수 있음을 입증했습니다.

실험 결과

이 시스템은 Walker, BridgeWalker, Balancer, Carrier, Climber, Jumper, Pusher 등 일곱 가지 작업에서 평가되었습니다.

• 콜드 스타트 검색 (5×5): AUTO-ROBOTIST 는 일곱 가지 모든 작업에서 표준 유전 알고리즘 (GA) 베이스라인과 동등하거나 더 나은 성능을 보였습니다. 평균 1.47 배의 수렴 속도 향상을 달성했으며, 검색 예산의 70% 동안 GA 보다 우위를 유지했습니다. 가장 큰 이득은 복잡한 하중 지지와 접촉이 필요한 작업 (Carrier, Jumper, Pusher) 에서 관찰되었습니다.
• 크로스 규모 이전 (5×5 $\to$ 10×10): 학습된 기술을 10×10 설계 공간으로 이전할 때, AUTO-ROBOTIST 는 일곱 가지 모든 작업에서 GA 베이스라인을 능가했습니다.
  • 최종 지점 적합도를 평균 +1.55만큼 향상시켰습니다.
  • 일곱 가지 작업 중 여섯 가지에서 최소 **90%**의 우위 비율을 달성했습니다.
  • Carrier 작업에서 가장 큰 개선 (+5.71 적합도 점수) 을 보였으며, 이는 하중 지지용 구조적 사전 지식의 이전 가치를 강조합니다.
• 절대 실험 및 분석:
  • 기술 vs. 복사: 5×5 엘리트 신체를 단순히 10×10 으로 업샘플링하는 것은 종종 기능을 파괴했습니다. AUTO-ROBOTIST 는 원시 기하학이 아닌 관계 (예: "액추에이터 주변 지지") 를 이전함으로써 성공했습니다.
  • 메모리 구성 요소: 절대 실험은 모든 구성 요소 (Diagnose, Merge, L2/L3 규칙) 가 성능에 기여했음을 확인했습니다. GA 변이 경로를 제거 ("Pure LLM") 하면 성능이 크게 저하되어 하이브리드 탐색의 필요성을 시사합니다.

중요성과 주장

이 논문은 AUTO-ROBOTIST 가 값비싼 물리적 평가를 재사용 가능하고 감사 가능한 설계 원리로 변환할 수 있음을 LLM 에이전트가 입증한다고 주장합니다.

• 시행착오에서 지식 축적으로: 이 시스템은 검색 흔적이 단일 최적화 사이클 후 폐기되는 것이 아니라, 향후 실행을 개선하는 "설계 이론"으로 정제될 수 있음을 증명합니다.
• 감사 가능성: 규칙을 지지하는 구체적인 관측과 적합도 증가분을 저장함으로써 설계 과정을 검사 가능하게 만듭니다. 사용자는 제안이 동기화된 특정 실패나 성공까지 추적할 수 있습니다.
• 확장성: 이 접근법은 구조적 관계 (예: "수직 액추에이터를 안정화하기 위해 단단한 측면 프레임 사용") 가 규모 불변임을 보여주어, 작은 설계 공간에서 얻은 지식이 훨씬 크고 복잡한 공간의 검색을 효과적으로 안내할 수 있게 합니다.

저자들은 이 작업을 감사 가능한 설계 - 메모리 구축을 위한 연구 프레임워크로 위치시키며, 현재 결과가 시뮬레이션 내에 있지만 이 방법론이 과학 분야에서 더 효율적이고 해석 가능한 공학으로 가는 길을 제공한다고 강조합니다. 그들은 3D 배포, 하드웨어 안전성, 시뮬레이션 - 현실 전이에 관한 한계를 명시적으로 지적하며, 이 시스템을 자율 하드웨어 배포 도구가 아닌 연구를 위한 프로토타입으로 규정합니다.