기술 요약: 도구를 통한 확장 가능한 신체화 능력 활성화

문제 제기

현재의 신체화 지능 방법은 주로 지각, 추론, 계획, 제어를 동시에 처리하기 위해 통합된 매개변수 정책 (예: 비전 - 언어 - 행동 모델) 에 의존합니다. 저자들은 이러한 단일 구조가 근본적으로 계층적이고 이질적인 신체화 의사결정 구조에 내재된 구조적 한계에 직면했다고 주장합니다. 고수준 계획과 저수준 제어는 기능적 역할과 최적화 목표에서 현저히 다릅니다. 이러한 다양한 능력을 단일 매개변수 세트에 인코딩하면 다음과 같은 세 가지 치명적인 문제가 발생합니다:

1. 불투명한 결합: 능력들이 명확한 귀속 없이 결합되어 인코딩되므로, 선택적 호출이나 실패 진단이 불가능합니다.
2. 능력 고립: 한 모델이 학습한 역량은 고립되어 다른 시스템 간에 전이되거나 재사용될 수 없습니다.
3. 얽힌 최적화: 공유 매개변수에 대한 상충되는 기울기 신호로 인해 한 능력을 개선하면 다른 능력이 저하될 위험이 있습니다.

최근의 발전으로 공간적 그라운딩과 추론이 개선되었음에도 불구하고, 이러한 단일 모델은 장거리, 구성적, 안전이 중요한 작업에서 여전히 미흡한 성과를 보입니다. 본 논문은 이 격차가 용량 부족이 아닌 구조적 문제라고 가정하며, 특정 능력을 독립적으로 최적화 가능한 도구로 외부화하는 도구 기반 신체화 지능으로의 전환을 촉진합니다.

방법론

1. 신체화 도구 프로토콜 (ETP)

통합 프레임워크의 부재를 해결하기 위해 저자들은 **신체화 도구 프로토콜 (ETP)**을 소개합니다. 이 표준화된 프로토콜은 능력 표현을 구현과 분리하여 도구의 등록, 발견, 호출 및 실행을 가능하게 합니다.

• 능력 단위로서의 도구: 각 도구 $z_m$은 입력 - 출력 공간 $(X_m, Y_m)$, 실현된 능력 부분 집합, 그리고 실행 가능한 매핑 $f_m$으로 정의됩니다. 구현은 학습된 모델, 고전적 알고리즘, 또는 하이브리드일 수 있지만 인터페이스는 일관성을 유지합니다.
• 레지스트리 기반 발견: 도구들은 설명 ($\rho_m$) 과 스키마 제약 ($\kappa_m$) 을 가진 능력 레지스트리 $R$에 유지됩니다. 에이전트는 특정 호출 규약이 아닌 능력 요구 사항에 따라 레지스트리를 쿼리합니다.
• 격리된 실행: 도구는 런타임 피드백을 갖춘 격리된 세션에서 실행되어 동시 호출과 원격 실행을 지원하며, 도구 구현을 에이전트 정책과 결합하지 않습니다.

2. 도구베이스 구축

ETP 를 기반으로 저자들은 네 가지 핵심 능력 차원에 걸친 100 개 이상의 검증된 도구로 구성된 도구베이스를 구축했습니다:

• 지각 및 그라운딩: 객체 감지, 분할, 공간적 위치 파악, 장면 이해.
• 인지 및 상태 모델링: 상태 추정, 관계 모델링, affordance 이해, 기억 검색.
• 추론 및 계획: 목표 분해, 인과적 추론, 장거리 계획.
• 실행 및 제어: 궤적 생성, 그리핑 계획, 저수준 구동.

각 도구는 경량화, 배포 용이성, 환경 견고성을 기준으로 선정된 후 구조화된 API 와 도구 카드로 캡슐화되었습니다.

3. EmbodiedToolBench

저자들은 현재 모델의 도구 사용 역량을 체계적으로 평가하기 위해 EmbodiedToolBench를 구축했습니다. 이 벤치마크는 네 가지 작업으로 구성됩니다:

• 도구 필요성 인식: 주어진 의사결정 상태에서 외부 도구가 필요한지 판단.
• 도구 선택: 후보 세트 (시맨틱적으로 유사한 방해 요소 포함) 에서 가장 적합한 도구를 식별.
• 도구 실행: 유효한 도구 쿼리 구성 (1 단계) 및 도구 출력에 올바르게 대응 (2 단계).
• 도구 체인 구성: 필요한 최소 도구를 선택하고 올바른 의존성 순서로 배열.

4. 평가 프레임워크

실험은 시뮬레이션 플랫폼 (EB-ALFRED, EB-Habitat, EB-Navigation, EB-Manipulation) 과 실제 로봇 플랫폼에서 수행되었습니다. 연구는 도구 증강 유무에 따른 성능을 비교하며 8 개의 대표적인 오픈소스 및 클로즈드소스 모델을 평가했습니다.

주요 결과

성능 향상

• 일관된 개선: 도구 증강은 모든 벤치마크에서 신체화 작업 성능을 일관되게 향상시켰습니다.
  • EB-ALFRED: 평균 31% 향상. Qwen3-8B 와 같은 오픈소스 모델은 0.20 에서 0.72 로 극적인 개선을 보였습니다.
  • EB-Navigation: 평균 36% 향상이며, 특히 시각 (+0.40) 및 장거리 (+0.54) 하위 작업에서 두드러진 향상을 보였습니다.
  • 실제 환경: 실제 로봇 작업 (책상 청소, 저울 균형, 블록 쌓기) 에서 도구가 없는 모델은 0/10의 성공률을 보인 반면, 도구 증강 에이전트는 8/10 에서 9/10 의 상당한 성공률을 달성했습니다.
• 격차 축소: 도구 증강은 오픈소스 모델의 경쟁력을 크게 높여 도구 접근성이 없는 더 강력한 클로즈드소스 모델을 능가하게 했습니다 (예: EB-ALFRED 에서 도구를 가진 Qwen3-8B 가 도구 없는 GPT-4o 를 능가함).

능력 경계

이 연구는 외부화에 의해 혜택을 받는 능력에 대한 명확한 경계를 드러냈습니다:

• 높은 혜택: 지각 및 인지 작업이 가장 큰 향상을 보였습니다 (오픈소스 모델의 경우 최대 +0.34). 도구는 시각적 파싱 및 지식 기반 작업을 효과적으로 지원합니다.
• 중간 혜택: 추론 작업은 일관된 개선을 보였습니다.
• 제한된 혜택: 실행 능력은 작고 변동성이 큰 향상 (+0.03 ~ +0.19) 을 보였습니다. 저자들은 정밀한 공간적 그라운딩, 접촉이 풍부한 상호작용, 저수준 물리적 제어가 필요한 작업은 현재 도구 인터페이스로 효과적으로 지원되지 않는다고 지적합니다.

역량 병목 현상

성능 향상에도 불구하고, 분석은 모델이 도구를 사용하는 방식에서 지속적인 병목 현상을 식별했습니다:

• 도구 필요성 인식: 모델은 도구가 필요한 시점을 자주 인식하지 못하며, 일부 오픈소스 모델의 경우 재현율 (recall) 이 0.31 까지 떨어졌습니다.
• 도구 선택: 시맨틱적으로 유사한 후보들 사이에서 올바른 도구를 선택하는 것은 여전히 과제입니다 (최고 CSR 약 0.74).
• 도구 실행: 입력 구성은 일반적으로 높지만, 결과 활용이 주요 병목 현상입니다. 모델은 종종 반환된 도구 출력을 해석하고 효과적으로 대응하는 데 어려움을 겪습니다.
• 도구 체인 구성: 모델은 최소 집합을 선택하는 대신 불필요한 도구를 포함하는 "과도한 구성" 경향을 보이며, 이는 정밀한 다중 도구 조율의 어려움을 나타냅니다.

의의 및 주장

본 논문은 능력 외부화가 단일화된 신체화 정책의 구조적 한계를 극복할 수 있는 실현 가능하고 효과적인 접근법이라고 주장합니다. 이질적인 능력을 독립적으로 최적화된 도구로 분리함으로써, 이 프레임워크는 다음과 같은 가능성을 제공합니다:

1. 모듈식 재사용: 전문화된 능력을 다른 에이전트와 작업 간에 등록하고 재사용할 수 있습니다.
2. 표적 최적화: 다른 능력에 간섭하지 않고 도구를 독립적으로 개선할 수 있습니다.
3. 확장성: 핵심 에이전트 정책을 재학습하지 않고도 크고 이질적인 도구 컬렉션으로 시스템을 확장할 수 있습니다.

그러나 저자들은 도구 역량—특히 도구를 언제, 어떤 것, 어떻게 호출할지 아는 능력—이 진정한 능력을 갖춘 신체화 에이전트의 핵심 병목 현상으로 남는다고 겸손하게 결론지었습니다. 이 연구는 도구 가용성이 성능을 향상시키지만, 현재 모델에 의한 이러한 도구의 자율적 조율은 실행이 많은 시나리오에서 특히 아직 완전히 신뢰할 수 없음을 강조합니다. 이는 신체화 도구 역량을 향후 연구의 중요한 방향으로 지목합니다.