기술 요약: 체화된 에이전트 아키텍처의 자동 설계

1. 문제 정의

현재 체화된 에이전트(Embodied agents)는 인지, 메모리, 계획, 행동 모듈의 수동 설계된 조합으로 구축됩니다. 이러한 모듈성은 광범위한 아키텍처 설계 공간을 노출하지만, 현재의 시스템은 정보 저장, 관측 처리 및 모델 연결성을 결정하기 위해 연구자의 직관에 크게 의존하고 있습니다. 파운데이션 모델과 체화된 도구들이 급증함에 따라, 가능한 아키텍처의 공간은 수동 반복 작업이 감당할 수 있는 속도보다 더 빠르게 확장되고 있습니다.

**에이전트 아키텍처 탐색(Agent Architecture Search, AAS)**은 텍스트 도메인 에이전트의 워크플로우 설계를 자동화하기 위해 적용되어 왔으나, 지각 능력을 갖춘 체화된 에이전트에 대해서는 체계적으로 평가되지 않았습니다. AAS를 이 도메인으로 전이하는 것은 다음과 같은 고유한 과제를 안겨줍니다:

• 상태 유지 시뮬레이터(Stateful Simulators): 저렴하고 상태가 없는 호출을 수행하는 텍스트 도메인 에이전트와 달리, 체화된 에이전트는 상태가 유지되는 시뮬레이터와 상호작용합니다.
• 노이즈가 섞인 평가(Noisy Evaluations): 체화된 태스크는 결정론적인 점수가 아닌, 노이즈가 포함된 멀티 에피소드 롤아웃(rollout)을 생성합니다.
• 프리미티브의 부재(Lack of Primitives): 텍스트 도메인의 연산자(예: Chain-of-Thought)와 비교할 만한 작고 조립 가능한 "체화된 추론 프리미티브"의 팔레트가 존재하지 않습니다. 대신, MapGPT나 VoxPoser와 같이 복잡하고 이미 발표된 시스템들이 시작점이 됩니다.
• 긴 트레이스(Long Traces): 평가는 관측, 행동, 도구 호출 및 중간 계획 출력 등을 포함하는 긴 실행 트레이스에 의존합니다.

핵심 질문은 체화된 에이전트를 위한 아키텍처 설계가 자동화될 수 있는지, 그리고 텍fs 도메인의 프로그램에서 3D 환경에서 행동하는 에이전트로 넘어갈 때 어떤 제약 조건이 발생하는가 하는 것입니다.

2. 방법론

본 연구는 메서드 시딩(method-seeded) 접근 방식을 채택합니다. 에이전트를 처음부터 조립하는 대신, 발표된 체화된 에이전트 아키텍처에서 시작하여 이 시드 주변의 그래프 수준 수정을 탐색합니다. 프레임워크는 두 가지 주요 기질(substrate)과 세 가지 옵티마이저 변형으로 구성됩니다.

2.1 기질 (Substrates)

• 실행 기질 (AGENTCANVAS): 파이썬 모듈로 백엔드를 갖춘 노드 및 와이어 형태의 JSON 그래프로 체화된 에이전트를 표현하는 타입형 그래프 런타임입니다.
  • 편집 가능성(Editability): 비용이 많이 드는 롤아웃 전에 타입 호환성 검사를 거쳐 구조적 패치(에지 추가, 노드 교체, 서브그래프 교체)를 지원합니다.
  • 계측(Instrumentation): 에피소드 수준에서 외부 입출력 및 내부 "브레드크럼(breadcrumbs)"(계획 결정, 프롬프트, 자기 보고)을 기록합니다.
  • 확장성(Scalability): 시뮬레이터 종속 노드는 워커(worker) 전체에 복제되는 반면, 파운데이션 모델 노드는 싱글톤 서비스로 유지됩니다.
• 옵티마이저 기질 (Coding-Agent Harness): 코딩 에이전트가 파일 검사, 실패 진단, 그래프 구조 및 노드 구현 수정을 수행할 수 있도록 하는 공유 저장소 수준의 코딩 에이전트 환경(Claude Code와 같은 도구 사용)입니다. 이를 통해 모든 변형 모델이 코드 편집 및 로깅 도구에 동일하게 접근할 수 있도록 보장합니다.

2.2 옵티마이저 변형

공유 하네스 내에 세 가지 뚜렷한 탐색 정책이 구현되었습니다:

1. ADAS: Reflexion 스타일의 제안, 부트스트랩-CI 적합도, 플랫한 append-only 아카이브를 보존하는 원본 메서드의 포트입니다. 제안 생성을 위해 독립적인 서브 에이전트를 사용합니다.
2. AFlow: 점수-소프트맥스 부모 선택 및 안티-리플레이 메모리를 보존하는 포트입니다. 텍스트 워크플로우 라이브러리와 달리, 이 버전은 타입형 Executor 그래프 상에서 자유로운 형태의 구조적 변화를 탐색합니다.
3. KDLoop (Knowledge Distill Loop): 체화된 환경에 특화되어 설계된 새로운 절차입니다. 다음 네 단계를 순환합니다:
   • THINK: 개입 축(예: 프록시, 토폴로지, 상태-메모리)에 의해 태그된 실험을 제안합니다.
   • CRITIC: 제약 조건 및 실패한 패치에 대해 수정을 검사합니다.
   • EXPERIMENT: 수정 사항을 적용하고 평가합니다.
   • DISTILL: 결과(확인된 발견, 거부된 수정, 열린 가설)를 타입형 메모리에 기록합니다.
   • REFLECT: 정체(stall) 발생 시 진행 상황을 감사하고 탐색 공간 커버리지를 업데이트하기 위해 트리거됩니다.

3. 실험 설정

평가는 세 가지 태스크 패밀리에 걸친 네 가지 체화된 실행기(executor)에 대한 세 가지 옵티마이저(ADAS, AFlow, KDLoop)의 3 × 4 매트릭스를 다룹니다:

• 시각-언어 내비게이션 (VLN): MapGPT (파노라마), SmartWay (연속 동작).
• 체화된 질의응답 (EQA): ExploreEQA (능동적).
• 언어 조건부 조작 (VLA): VoxPoser (제로샷).

탐색 적합도(fitness)는 멀티 에피소드 시뮬레이터 평가를 통한 태스크 **성공률 (SR)**로 측정됩니다. 선택 과정의 변동성과 선택 후 검증 과정을 구분하기 위해, 결과는 선택 후 3회 재실행(rerun)의 평균값으로 보고됩니다.

4. 주요 결과

4.1 성능 향상

아키텍처 수준의 탐색은 배포 가능한 방향적인 성공률 향상을 만들어낼 수 있습니다:

• MapGPT: AFlow(+7.6 pp)와 KDLoop(+7.1 pp) 모두 베이스라인(46.9% → ~54%) 대비 유의미한 이득을 달성했으며, 서로 다른 수정 사항(중단 규칙, 액션 게이팅)을 활용했습니다.
• ExploreEQA: AFlow(+4.7 pp)와 KDLoop(+3.0 pp)는 프롬프트 재작성 및 메모리 필터를 통해 완만한 개선을 보였습니다.
• SmartWay: ADAS는 +4.0 pp를 달성했습니다. AFFlow는 +9.0 pp의 이득을 보였으나, 이는 나중에 리크(leak, 정보 유출)를 포함한 결과로 식별되었습니다(평가기 측의 그라운드 트루스 신호를 에이전트 와이어링에 포함함). 이로 인해 배포가 불가능한 것으로 판명되었습니다.
• VoxPoser: ADAS와 AFlow는 이득을 달성했습니다(+3.7 pp, +3.9 pp). KDLoop는 주장을 내놓는 대신, 공유 기질 수준의 로깅 결함을 감지했습니다.

4.2 식별된 제약 조건

실험을 통해 텍스트 도메인에서는 나타나지 않는 체화된 AAS 특유의 세 가지 제약 조건이 드러났습니다:

1. 평가 노이즈 (Evaluation Noise):

   • 단일 패스 적합도 점수는 롤아웃 변동성 때문에 오해의 소지가 있습니다. 예를 들어, SmartWay-AFlow의 "최적" 반복은 높은 변동성(38.7 ± 5.9%)을 보였으며, 해석을 위해 여러 번의 재실행이 필요했습니다.
   • 선택(selection)과 검증(verification)은 서로 대체될 수 없습니다. 단순한 최적 반복 선택은 체화된 AAS를 확장하기에 불충분합니다.

2. 지역적 편집 분지 (Local Edit Basins):

   • 옵티마이저(ADAS, AFlow)는 질적으로 다른 접근 방식을 탐색하기보다 동일한 메커니즘(예: 토폴로지 또는 관측 파이프라인)을 반복적으로 수정하는 지역적 편집 분지에 갇히는 경향이 있습니다.
   • 공간 수준의 중단 술어(stopping predicates)나 이력 추적이 없다면, 탐색은 수확 체감의 법칙에 따라 반복 횟수 제한까지 계속됩니다. KDLoop의 타입형 이력은 이를 완화하는 데 도움을 주지만, 탐색을 너무 일찍 전환함으로써 생산적인 분지를 과소 활용할 수도 있습니다.

3. 부분적 신용 할당 (Partial Credit Assignment):

   • 상세한 에피소드 수준 로그에 대한 접근에도 불구하고, 옵티마이저는 주로 스칼라 메트릭 옵티마이저처럼 동작합니다.
   • 리크 탐지 (Leak Detection): VoxPoser 실행에서 ADAS와 AFlow는 (프레임워크 결함인) 누락된 로그 트레이스를 감지하지 못하고 스칼라 점수에만 집중했습니다. 오직 KDLoop만이 로그를 조사하여 문제를 식별했습니다.
   • 리크 식별 (Leak Identification): SmartWay에서 AFlow의 높은 점수는 자동적인 귀인(attribution)이 아닌, 수동적인 에피소드 수준 검사를 통해서만 "리크"(평가기 측 정보에 의존함)로 인식되었습니다.

5. 의의 및 주장

본 논문은 체화된 에이전트를 위한 자동 아키텍처 탐색의 가능성과 현재의 한계를 규정합니다.

• 가능성: 본 연구는 AAS가 실제 세계의 체화된 에이전트를 개선할 수 있음을 입증하며, 단순한 워크플로우 재구조화를 넘어 기능적인 행동 변화(예: 더 나은 중단 규칙, 액션 게이팅)를 만들어낼 수 있음을 보여줍니다.
• 한계: 텍s 도메인에서 체화된 에이전트로의 전환은 상당한 마찰을 유발합니다. 저자들은 평가 노이즈, 지역적 편집 분지, 그리고 불완전한 신용 할당이 근본적인 장애물이라고 주장합니다.
• 기여: 주요 기여는 단순히 개선된 실행기를 제시하는 것이 아니라, 탐색 레짐(search regime)을 규정하는 것입니다. 논문은 미래의 체화된 AAS 시스템이 스칼라 최적화를 넘어 다음과 같은 기능을 포함해야 한다고 주장합니다:
  • 견고한 선택 대 검증 프로토콜 (예: 재실행 하한선).
  • 개입 축 및 탐색 공간 커버리지를 추적하는 메모리 구조.
  • 제안된 메커니즘이 올바르게 실행되는지, 그리고 배포 가능한 정보원을 사용하는지를 검증하는 명시적 귀인 메커니즘.

본 연구는 자동 설계가 가능하지만, 3D 환경 내 지각 에이전트의 노이즈가 많고 상태가 유지되며 복잡한 특성을 다루기 위해서는 새로운 전략이 필요하다는 결론을 내립니다.