🤖 AI

ASPIRE: Agentic /Skills Discovery for Robotics

ASPIRE는 실행, 실패 진단, 그리고 진화적 탐색의 반복적인 루프를 통해 로봇 제어 프로그램을 자율적으로 작성하고 정교화하는 지속 학습 시스템으로, 섭동이 있는 환경, 양손 조작, 그리고 장기적 과업에서 기존 방식보다 성능을 크게 향상시키며 제로샷 일반화와 심투리얼(sim-to-real) 전이를 가능하게 하는 재사용 가능한 기술 라이브러리를 생성한다.

원저자: Runyu Lu, Yubo Wu, Ethan Kou, Letian Fu, Wenli Xiao, Ajay Mandlekar, Yinzhen Xu, Guanya Shi, Ken Goldberg, Ang Chen, Mosharaf Chowdhury, Yuke Zhu, Linxi "Jim" Fan, Guanzhi Wang

게시일 2026-07-02

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Runyu Lu, Yubo Wu, Ethan Kou, Letian Fu, Wenli Xiao, Ajay Mandlekar, Yinzhen Xu, Guanya Shi, Ken Goldberg, Ang Chen, Mosharaf Chowdhury, Yuke Zhu, Linxi "Jim" Fan, Guanzhi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 ASPIRE 논문에 대한 설명입니다. 이해하기 쉬운 언어와 창의적인 비유를 사용하여 번역되었습니다.

핵심 아이디어: 인간처럼 "실수를 통해 배우는 법"을 로봇에게 가르치기

당신이 매우 똑똑하지만, 지나치게 문자 그대로만 받아들이는 로봇에게 저녁 식사 만드는 법을 가르치고 있다고 상상해 보세요.

기존 방식: 당신은 엄격한 레시피(코드)를 작성합니다. 만약 로봇이 숟가락을 떨어뜨리면, 로봇은 동작을 멈춥니다. 그러면 당신은 수동으로 레시피를 다시 써야 하고, 다시 시도해야 합니다. 만약 숟가락이 미끄러웠다면, 앞으로 숟가락을 사용할 때마다 매번 레시피를 새로 써야 합니다. 로봇은 작업이 끝나면 모든 것을 잊어버립니다.
ASPIRE 방식: 로봇은 요리를 시도합니다. 숟가락을 떨어뜨렸을 때, 로봇은 단순히 멈추는 데 그치지 않습니다. 그것은 정확히 왜 떨어뜨렸는지(손잡이가 미끄러웠나? 너무 세게 잡았나?)를 살펴봅니다. 그리고 즉시 레시피를 수정합니다. 그다음, 공유 노트에 "꿀팁"을 적어둡니다: "미끄러운 숟가락을 잡을 때는 더 꽉 쥐고 천천히 들어 올릴 것." 다음에 요리를 할 때, 혹은 다른 로봇이 요리를 시도할 때도, 로봇은 먼저 이 노트를 확인합니다.

ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)는 로봇이 스스로 코드를 작성하고, 자신의 실패를 디버깅하며, 매일 더 똑똑해질 수 있게 만드는 영구적인 "기술 라이브러리"를 구축하게 해주는 시스템입니다.

작동 원리: 세 가지 마법 도구

논문은 ASPIRE를 하나의 루프 안에서 함께 일하는 세 명의 작업 팀으로 설명합니다.

1. "슈퍼 디버거" (로봇 실행 엔진 - Robot Execution Engine)

대부분의 로봇은 단지 *"실패했습니다"*라고만 말합니다. 왜 실패했는지는 말해주지 않죠.
ASPIRE의 엔진은 로봇이 하는 모든 작은 움직임을 기록하는 고성능 보안 카메라와 같습니다.

비유: 당신이 좁은 공간에 차를 주차하려고 한다고 상상해 보세요. 일반적인 로봇은 그냥 "충돌!"이라고만 말합니다. 하지만 ASPIRE의 엔진은 비디오를 보여줍니다: "당신이 핸들을 너무 일찍 돌렸고, 그 때문에 뒷 범퍼가 벽에 부딪혔습니다."
하는 일: 이 엔진은 인지(perception)가 어디서 실패했는지, 계획이 어디서 어긋났는지, 혹은 팔이 어디서 걸렸는지에 대한 상세한 로그(trace)를 제공합니다. 이를 통해 로봇은 추측하는 대신 스스로 문제를 진단할 수 있습니다.

2. "공유 노트" (기술 라이브库 - Skill Library)

과거에는 로봇이 특정 서랍을 여는 법을 배웠더라도, 그 지식은 작업이 끝나면 사라졌습니다.
ASPIRE는 계속 성장하는 "기술(Skills)" 라이브러리를 유지합니다.

비유: 이것은 마치 **"생활의 지혜(Life Hacks) 모음집"**과 같습니다.
- 항목 1: "로봇이 테이블 때문에 물체에 닿지 못한다면, 정면 대신 측면으로 접근해 보세요."
- 항목 2: "로봇이 그릇 두 개를 본다면, 왼쪽 그릇을 먼저 보세요."
하는 일: 로봇이 버그를 수정할 때, 단순히 수정 사항만 저장하는 것이 아니라 그 패턴을 저장합니다. 나중에 비슷한 문제에 직면하면(심지어 다른 로봇이나 다른 물체일지라도), 로봇은 노트에서 "생활의 지혜"를 찾아내어 즉시 적용합니다. 이것이 로봇이 시간이 지날수록 더 빠르고 능숙해지는 방식입니다.

3. "브레인스토밍 세션" (진화적 탐색 - Evolutionary Search)

때때로 로봇은 똑같은 나쁜 아이디어를 반복해서 시도하며 루프에 빠지기도 합니다.
ASPIRE는 "진화적 탐색"이라는 방법을 사용합니다.

비유: 당신이 새는 파이프를 고치려고 한다고 상상해 보세요. 단순히 볼트를 한 번 조이는 대신, 10가지 다른 렌치를 써보고, 5가지 다른 각도를 시도하고, 3가지 다른 종류의 테이프를 동시에 사용해 보는 것입니다. 그중 어떤 것이 가장 잘 작동하는지 보고, 가장 좋은 것을 유지한 뒤, 그것을 더 개선해 나가는 과정입니다.
하는 일: 이 시스템은 로봇의 코드 버전을 한꺼번에 여러 개 생성합니다. 이를 모두 테스트하여 승자를 남기고 패자를 버립니다. 이를 통해 로봇은 "지역적 루프(local loops)"에서 벗어나 인간이 생각하지 못했을 수도 있는 창의적인 해결책을 찾아냅니다.

실제 성과 (결과)

논문은 이 시스템을 세 가지 유형의 도전 과제에 테스트했으며, 결과는 인상적이었습니다.

"엉망이 된 주방" 테스트 (LIBERO-Pro):
- 시나리오: 로봇이 물체를 옮겨야 하는데, 물체들이 무작위 위치로 옮겨져 있거나 지시 사항이 약간 변경되었습니다 (예: "빨간 컵을 집으세요" vs "파란 컵을 집으세요").
- 결과: ASPIRE는 이전 방식보다 77% 더 자주 성공했습니다. 로봇은 단순히 위치를 암기한 것이 아니라, 물체가 어디에 있든 찾아내고 잡는 '기술'을 학습했습니다.
"두 팔을 이용한 물건 건네주기" (Robosuite):
- 시나리오: 두 팔을 가진 로봇이 한 손에서 다른 손으로 물체를 전달해야 합니다. 타이밍과 물리 법칙이 까다롭기 때문에 매우 어려운 작업입니다.
- 결과: 기존 방식은 성공률이 **20%**에 불과했지만, ASPIRE는 **92%**까지 뛰어올랐습니다. 로봇은 시행착오를 통해 물건을 건네주는 "춤(dance)"을 학습했습니다.
"긴 하루 일과" (BEHAVIOR-1K):
- 시나리오: 로봇이 "주방으로 가서, 탄산음료를 찾아서, 냉장고를 열고, 그것을 넣는다"와 같은 긴 연속 작업을 수행해야 합니다.
- 결과: ASPIRE는 다음으로 우수한 방식보다 32% 더 뛰어난 성능을 보였습니다. 기술 라이브러리를 가지고 있었기 때문에, 로봇은 매번 냉장고 여는 법을 다시 배울 필요 없이 "냉장고 열기" 기술을 찾아 쓰기만 하면 되었습니다.

"마법 같은 전이": 시뮬레이션에서 현실 세계로 (Sim-to-Real Transfer)

이 논문의 가장 멋진 부분 중 하나는 Sim-to-Real Transfer입니다.

설정: 로봇은 비디오 게임(시뮬레이션) 속에서 모든 기술을 배웠습니다. 그 후, 이 기술을 실제 모습이 다르고 센서도 다른 실제 물리적 로봇에 적용했습니다.
결과: 실제 로봇이 다르더라도, 시뮬레이션에서 배운 "생활의 지혜"는 여전히 작동했습니다.
- 예시: 로봇은 게임에서 "서랍을 정면으로 밀면 걸린다"는 것을 배웠습니다. 그리고 이 동일한 논리를 실제 서랍에도 적용했습니다.
- 영향: 이는 일부 작업에서 실제 로봇이 수행해야 하는 "생각(컴퓨터 연산)"의 양을 거의 10배 가까이 줄여주었습니다. 시뮬레이션 가상 세계에서 배운 기술이 현실 세계의 로봇에게도 도움이 될 수 있음을 증명한 것입니다.

요약

ASPIRE는 로봇이 단순한 "반복 기계"가 되는 것을 막고, "지속적인 학습자"가 되도록 만드는 시스템입니다.

로봇이 왜 실패했는지 정확히 볼 수 있는 눈을 줍니다 (실행 엔진).
나중을 위해 수정 사항을 저장할 수 있는 기억력을 줍니다 (기술 라이브러리).
한 번에 많은 해결책을 시도할 수 있는 두뇌를 줍니다 (진화적 탐색).

논문은 이렇게 함으로써 로봇이 이전보다 훨씬 더 빠르고 복잡하며 무질서한 작업들을 해결할 수 있다고 주장합니다. 또한, 한 상황에서 얻은 지식이 완전히 새로운 상황에서도 성공을 돕는다는 점을 강조합니다.

기술 요약: ASPIRE – 로봇 공학을 위한 에이전트 기반 기술 발견 (Agentic Skills Discovery for Robotics)

1. 문제 정의

전통적인 로봇 프로그래밍은 멀티모달 인지, 복잡한 물리적 접촉 역학, 그리고 다양한 환경 구성 및 실행 실패에 대한 견고한 처리를 조율해야 하므로 본질적으로 어렵습니다. 최근 소프트웨어 엔지니어링 에이전트의 발전은 대규모 언어 모델(LLM)이 실행 트레이스를 자율적으로 검사하고, 실패 지점을 국소화하며, 코드를 수정할 수 있음을 보여주었으나, 기존의 로봇 코딩 에이전트는 근본적인 한계가 있습니다.

현재의 한계는 다음과 같습니다:

조잡한 피드백(Coarse Feedback): 기존 시스템은 종종 성공/실패와 같은 높은 수준의 태스크 단위 피드백만을 제공하는 단순한 실행 환경에 의존합니다. 이는 잘못된 인지, 불안정한 파지(grasp), 계획 오류, 또는 다운스트림 복구 실패와 같은 근본 원인을 구분하는 데 필요한 세밀한 진단 트레이스를 제공하지 못합니다.
축적의 부재(Lack of Accumulation): 태스크가 완료되면 발견된 수정 사항과 복구 전략은 일반적으로 폐기됩니다. 수백 번째 태스크를 해결하는 에이전트는 첫 번째 태스크를 해결할 때와 다를 바 없는 경험치를 가지며, 지식을 재사용 가능한 기술로 결합하여 축적하지 못합니다.
지역 최적화(Local Optimization): 디버깅 과정이 에이전트가 근본적으로 다른 솔루션 공간을 탐색하기보다 동일하게 실패한 전략을 반복적으로 패치하는 지역적 수리 루프(local repair loops)에 빠지는 경우가 많습니다.

2. 방법론

저자들은 "코드-애즈-폴리시(code-as-policy)" 패러다임 내에서 로봇 제어 프로그램을 자율적으로 작성하고 정제하는 지속 학습 시스템인 ASPIRE(Iterative Robot Exploration을 통한 에이전트 기반 기술 프로그래밍)를 소개합니다. ASPIRE는 세 가지 핵심 구성 요소로 이루어진 개방형 학습 루프 내에서 작동합니다.

A. 폐쇄 루프 로봇 실행 엔진 (Closed-Loop Robot Execution Engine)

조잡한 요약만을 제공하는 고정된 인터페이스와 달리, ASPIRE의 실행 엔진은 **프리미티브별 멀티모달 트레이스(per-primitive multimodal traces)**를 노출합니다. 모든 인지, 계획, 파지 및 제어 호출에 대해 엔진은 다음을 기록합니다:

호출된 API, 입력, 출력 및 반환 상태.
관련 멀티모달 증거(RGB 키프레임, 오버레이, 파지 후보, 객체 포즈, 모션 계획 결과).
프리미티브 호출 직전과 직후의 시각적 증거.

이러한 세밀함은 에이전트가 로그를 선택적으로 검사하고, 실패를 특정 프리미티브(예: navigate_to_pose 호출이 인지 오류가 아닌 충돌 버퍼 위반으로 인해 실패했음을 식별)로 국소화하며, 재실행을 통해 수리 사항을 검증할 수 있게 합니다.

B. 지속적으로 확장되는 기술 라이브러리 (Continually Expanding Skill Library)

ASPIRE는 검증된 수정 사항을 재사용 가능한 기술 라이브러리로 추출함으로써 경험을 축적합니다.

내용: 라이브러리는 위치 추정 휴리스틱, 인지 프롬프트, 파지 제약 조건, 내비게이션 복구 전략, 모션 프리미티브, 디버깅 워크플로우를 포함한 이질적인 복구 지식을 저장합니다.
입고(Admission): 중앙 코디네이터가 에이전트가 보고한 발견 사항을 감사합니다. 재사용 가능하고 전이 가능한 패턴(태스크 특화된 과적합이 아닌 경우)만이 라이브러리에 입고됩니다.
사용: 미래의 에이전트는 이러한 기술을 **인-컨텍스트 가이드(in-context guidance)**로 검색하여, 테스트 타임 추론을 통해 다시 발견할 필요 없이 이전에 발견된 복구 패턴(예: 장애물 근처 내비게이션 실패를 위한 "다각도 접근법")을 적용할 수 있습니다.

C. 진화적 탐색 (Evolutionary Search)

에이전트가 지역적 수리 루프에 갇히는 것을 방지하기 위해, ASPIRE는 진화적 탐색 절차를 채택합니다.

과정: 에이전트는 상위 성능을 보이는 이전 프로그램과 실패 트레이스에 조건화된 $K$ 개의 후보 프로그램 집단을 제안합니다.
반복: 후보들은 엔진에서 실행되며, 다음 세대는 가장 우수한 성능을 보인 프로그램들과 그들의 잔여 실패 모드에 조건화됩니다.
목표: 이는 다양한 복구 가설과 태스크 전략을 장려하여, 단일 궤적 자기 개선을 넘어 더 넓은 영역을 탐색하도록 합니다.

아키텍처: 시스템은 코디네이터-액터(Coordinator–Actor) 아키텍처를 사용합니다. 중앙 코디네이터는 공유 기술 라이브러리를 관리하고 개별 태스크에 액터 코딩 에이전트를 할당합니다. 액터들은 실행 엔진 내에서 프로그램을 정제하며 병렬로 작업하고, 코디네이터는 일관성을 보장하기 위해 기술 입고를 직렬화합니다.

3. 주요 기여

개방형 학습 루프: ASPIRE는 성능이 경험에 따라 확장되는 자기 개선형 로봇 시스템을 구축합니다. 이는 고정된 파이프라인을 넘어 자기 진단, 수리, 지식 통합의 역동적인 루프로 나아갑니다.
세밀한 트레이스 노출: 시스템은 조잡한 피드백을 프리미티브별 멀티모달 트레이스로 대체하여, 에이전트가 근본 원인(예: 인지 실패와 계획 불가능성 구분)을 자율적으로 진단할 수 있게 합니다.
재사용 가능한 기술 라이브러리: 본 논문은 검증된 복구 패턴을 미지의 태스크 및 임보디먼트(embodiment)에 대한 제로샷 일반화를 지원하는 전이 가능한 지식 베이스로 축적하는 메커니즘을 입증합니다.
진화적 탐색: 진화적 탐색의 통합은 시스템이 다양한 솔루션 공간을 탐색하게 하여, 반복적 디버깅에서 흔히 발생하는 지역 최솟값(local minima)을 피하게 합니다.

4. 실험 결과

ASPIRE는 세 가지 벤치마크 제품군에서 기존 코딩 에이전트(CaP-Agent0) 및 엔드 투 엔드 시각-언어-행동(VLA) 정책(OpenVLA, $\pi_0$ , $\pi_{0.5}$ )과 비교 평가되었습니다.

LIBERO-Pro (단기 호라이즌 강건성): ASPIRE는 가장 강력한 베이스라인과 비교했을 때 섭동 세트(객체, 목표, 공간)에서 성공률을 최대 77% 향상시켰습니다.
Robosuite (접촉 풍부 조작): 양손 협업(bimanual handover) 태스크에서 ASPIRE는 성공률을 20%에서 **92%**로 높였으며, 이는 베이스라인 대비 **72%**의 향상입니다.
BEHAVIOR-1K (장기 호라이즌 가사 태스크): ASPIRE는 내비게이션 및 태스크 성공도 측면에서 인간 전문가와 베이스라인을 모두 능가하였으며, "navigate-and-pick-up-radio"에서 **88%**의 성공률을 달성했습니다(베이스라인 56% 대비).
제로샷 일반화: LIBERO-90에서 축적된 기술 라이브러리를 사용하여, ASPIRE는 홀드아웃 롱 호라이즌 태스크(LIBERO-Pro Long)에서 **31%**의 성공률을 달성했습니다. 이는 테스트 타임 추론과 재시도에 크게 의존함에도 불구하고 **4%**에서 정체되었던 기존 방법들을 크게 상회하는 수치입니다.
Sim-to-Real 전이: 실제 양손 로봇을 이용한 실험에서, 시뮬레이션에서 발견된 기술을 인-컨텍스트 가이드로 활용함으로써 디버깅 비용(토큰 사용량)을 크게 줄이고, 나이브한 디버깅이 실패했던 프로그램들을 성공시켰습니다. 예를 들어, "Lift soda can" 성공률은 13/20에서 19/20으로 향상되었으며, 총 토큰 사용량은 거의 10배 가까이 감소했습니다.

5. 의의 및 주장

본 논문은 ASPIRE가 **자율적, 평생 로봇 학습(lifelong robot learning)**을 향한 중요한 단계임을 주장합니다. 주요 의의는 다음과 같습니다:

확장성: 시스템은 경험하는 태스크의 수에 따라 성능이 확장됨을 보여줍니다. 성장하는 기술 라이브러리가 새로운 도전 과제에 대한 점점 더 빠른 적응을 가능하게 하기 때문입니다.
일반화: 시뮬레이션에서 발견된 기술을 서로 다른 임보디먼트와 API를 가진 실제 로봇으로 전이하는 능력은 로봇 프로그래밍의 높은 비용을 줄이는 경로를 제시합니다.
패러다임 전환: 로봇 프로그래밍을 소프트웨어 엔지니어링과 유사한 반복적이고 자기 교정적인 프로세스로 취급함으로써, ASPIRE는 고수준 언어 모델과 저수준 물리 제어 사이의 간극을 메우며 정적인 정책을 넘어 역동적이고 경험 중심적인 코드 생성으로 나아갑니다.

저자들은 현재 시스템이 고정된 프런티어 LLM에 의존하고, 사전 정의된 API가 필요하며, 매우 큰 태스크 세트로 확장하기 위해 견고한 실세계 성공 탐지 및 메모리 관리(오래된 기술 제거)에 대한 추가 작업이 필요하다는 점을 언급하며 한계를 인정했습니다. 그러나 결과는 에이전트 기반 기술 발견이 복잡하고 장기적인 태스크를 위한 로봇 프로그래밍에 필요한 노력을 실질적으로 줄일 수 있다는 초기 증거를 제공합니다.