🤖 인공지능

Demonstration-Free Robotic Control via LLM Agents

이 논문은 소프트웨어 공학을 위해 설계된 반복적 추론 전략을 적용함으로써 수정되지 않은 범용 LLM 에이전트를 활용하여 조작 벤치마크에서 높은 성공률을 달도하는 데뮬스트레이션이 필요 없는 로봇 제어 프레임워크인 FAEA를 소개하며, 이를 통해 데이터 집약적인 시각-언어-행동 모델에 대한 확장 가능한 대안을 제공한다.

원저자: Brian Y. Tsui, Alan Y. Fang, Tiffany J. Hwu

게시일 2026-01-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Brian Y. Tsui, Alan Y. Fang, Tiffany J. Hwu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 컵을 집어 서랍에 넣는 법을 가르치고 싶다고 상상해 보세요. 전통적인 방식은 로봇에게 개인 트레이너를 고용하는 것과 같습니다. 로봇의 팔이 움직이는 동작을 수백 번 직접 안내하며 모든 움직임을 기록해야 합니다. 그러면 로봇은 이 기록(시연)을 학습하여 스스로 하는 법을 배웁니다. 만약 방의 구조가 바뀌거나 컵이 바뀌면, 로봇은 종종 혼란에 빠져 처음부터 다시 학습해야 합니다.

이 논문은 FAEA(Frontier Agent as Embodied Agent)라고 불리는 다른 접근 방식을 소개합니다. 개인 트레이너 대신, FAEA를 로봇을 본 적은 없지만 퍼즐 풀기에는 매우 능숙한 매우 지능적이고 호기심 많은 소프트웨어 엔지니어를 고용하는 것이라고 생각하면 됩니다.

이 방식이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. "소프트웨어 엔지니어"의 사고방식

보통 로봇은 과업을 수행하기 위해 "느끼며" 길을 찾아가도록 배웁니다. FAEA는 로봇을 하나의 컴퓨터 프로그램처럼 취급합니다. 연구진은 강력한 AI(구체적으로는 Claude Agent)에게 *"빨간 블록을 파란 테이블 위에 놓으시오"*라는 단순한 목표를 주었습니다.

AI에게 하는 방법을 보여주는 대신, 연구진은 AI에게 일련의 도구들(예: 로봇을 위한 리모컨)을 주고 스스로 단계를 파악하게 했습니다. AI는 마치 코드를 디버깅하는 프로그래머처럼 행동합니다:

계획을 시도합니다: 팔을 움직이기 위한 스크립트를 작성합니다.
스크립트를 실행합니다: 로봇이 움직임을 시도합니다.
결과를 확인합니다: 성공했나요? 만약 안 됐다면, 왜 안 됐나요? (테이블에 부딪혔나요? 블록을 놓쳤나요?)
코드를 수정합니다: 오류를 바탕으로 AI는 스크립트를 다시 쓰고 다시 시도합니다.

2. 관찰이 아닌, 실행을 통한 학습

논문에서는 이를 "시연이 없는(demonstration-free)" 방식이라고 부릅니다.

기존 방식: 로봇이 사람이 과업을 수행하는 것을 100번 보고 나서 그것을 복제하려고 노력합니다.
FAEA 방식: 로봇은 블록을 쌓는 법을 배우는 아기와 같습니다. 비디오를 보는 것이 아니라, 성공할 때까지 계속 시도하고, 넘어지고, 움켜쥐는 법을 조절하며 스스로 배웁니다. AI는 이 "시행착오(trial and error)" 과정을 자동으로 수행하며, 때로는 성공할 때까지 20번 또는 30번을 연속으로 시도하기도 합니다.

3. 결과: 놀라운 성공

연구진은 이 "소프트웨어 엔지니어" 로봇을 서로 다른 로봇과 과업이 있는 세 가지 가상 세계(시뮬레이션)에서 테스트했습니다.

점수: AI는 과업의 약 **85%에서 96%**를 성공했습니다.
비교: 이는 수백 번의 인간 시연을 통해 훈련된 로봇과 거의 대등한 수준입니다. AI는 단 한 번의 인간 시연도 보지 않고, 어떤 특별한 "로봇 훈련"도 없이 이 성과를 달성했습니다.

4. 강점과 약점

논문은 이 방식이 잘하는 것과 못하는 것을 명확히 구분합니다.

"사고력"이 필요한 과업 (성공): AI는 "컵을 집어서 장애물을 피해 드로어(서랍)에 놓으시오"와 같이 계획과 논리가 필요한 과업에 뛰어납니다. 이는 마치 체스 선수가 세 수 앞을 내다보는 것과 같습니다.
"정교함"이 필요한 과업 (실패): AI는 바늘귀에 실을 꿰거나 아주 작은 핀을 구멍에 끼우는 것과 같이 극도의 정밀함이 필요한 과업에서 어려움을 겪습니다. 논문은 AI의 "사고"가 너무 느리고 움직임이 너무 "툭툭 끊긴다(jumpy)"고 언급했습니다. 이는 마치 커다란 망치로 바늘귀를 꿰려는 것과 같습니다.

5. "코칭" 보너스

연구진은 AI에게 약간의 "코칭"(예: "이봐, 테이블에 부딪히지 않게 손을 높이 유지하는 걸 기억해"라고 말하는 것)을 제공했을 때 성공률이 더 높아진다는 것을 발견했습니다. 하지만 이 코칭은 해당 과업에 특화된 조언일 때만 효과가 있었으며, 일반적인 조언은 도움이 되지 않았습니다.

핵심 요약

이 논문의 핵심은 새로운 직무를 위해 매번 특별한 "로봇 뇌"를 만들 필요가 없을 수도 있다는 점입니다. 대신, 우리는 범용 AI 에이전트(코드 작성이나 수학 문제를 푸는 데 사용되는 것과 같은 종류)를 사용하여 로봇을 제어할 수 있습니다. 이 에이전트들은 문제를 추론하고 스스로 실수를 바로잡음으로써 로봇 팔을 제어하는 법을 스스로 알아낼 만큼 똑똑합니다. 이는 마치 인간이 새로운 기술을 연습을 통해 배우는 방식과 같습니다.

요약하자면: 이 논문은 똑똑한 AI가 인간이 먼저 하는 법을 보여주지 않아도, 스스로 "생각하며" 연습함으로써 로봇을 제어하는 법을 배울 수 있음을 보여줍니다. 이는 로봇을 가르치는 강력한 새로운 방법이지만, 섬세하고 빠른 손동작이 필요한 작업보다는 계획이 필요한 작업에 가장 적합합니다.

기술 요약: LLM 에이전트를 통한 데모 없는 로봇 제어

문제 정의

현재의 로봇 조작 시스템은 주로 시각-언어-행동(Vision-Language-Action, VLA) 모델에 의존합니다. 이러한 모델들은 일반성을 개선해 왔으나, 일반적으로 작업별 데몬스트레이션(demonstrations), 광범위한 미세 조정(fine-tuning), 그리고 커스텀 실행 파이프라인을 필요로 합니다. 또한, 도메인 변화(domain shifts) 상황에서 일반화 능력이 떨어지며 환경적 섭동(perturbations)에 취약한 모습을 보이기도 합니다. 이 패러다임의 주요 병목 현상은 새로운 작업이나 환경을 위해 대규모의 수동 수집 데몬스트레이션 데이터(종종 수천 번의 시행착오)에 의존해야 한다는 점입니다.

저자들은 보완적인 질문을 조사합니다: 소프트웨어 엔지니어링을 위해 개발된 범용 대규모 언어 모델(LLM) 에이전트 프레임워크가, 로보틱스 특화 훈련이나 데몬스트레이션 데이터 없이도 임바디드 매니퓰레이션(embodied manipulation)을 위한 대안적 제어 패러다임 역할을 할 수 있는가?

방법론: FAEA

본 논문은 **FAEA (Frontier Agent as Embodied Agent)**를 소개하며, 이는 수정되지 않은 범용 LLM 에이전트 인프라를 로봇 제어에 직접 적용하는 프레임워크입니다.

핵심 아키텍처

FAEA는 Claude Agent SDK를 활용하며, 표준 ReAct (Reason-Act) 루프를 사용합니다. 데몬스트레이션 데이터를 통해 정책을 학습하는 전통적인 VLA 모델과 달리, FAEA는 **반복적인 프로그램 합성(iterative program synthesis)**을 통해 작동합니다:

관찰(Observation): 에이전트는 작업 지침을 받고 환경 상태를 관찰합니다(시뮬레이션 내 특권적 정답 상태(privileged ground-truth state) 접근을 통해).
추론(Reasoning): 에이전트는 작업을 분석하고, 일련의 행동을 계획하며, 이전 시도가 실패했을 경우 실패 원인에 대한 가설을 세웁니다.
행동(Action): 에이전트는 제어 도구(예: step(), reset(), get_obs())를 호출하는 Python 스크립트를 작성하고 실행합니다.
피드백 루프(Feedback Loop): 에이전트는 실행 결과(성공/실패, 에러 메시지, 시각적 피드백)를 관찰하고 컨텍스트를 업데이트합니다. 그 후 다음 시도를 위한 정제된 스크립트를 생성합니다.

이 과정은 작업이 성공적으로 완료되거나 에이전트가 더 이상의 시도가 무익하다고 판단할 때까지 지속됩니다. 그래디언트 업데이트(gradient updates)는 발생하지 않으며, 에이전트는 인간의 연습과 유사하게 테스트 타임에 시행착오를 통해 "학습"합니다.

실험 설정

모델: Claude Opus 4.5 (프런티어 멀티모달 LLM).
벤치마크:
- LIBERO: 120개의 장기 호라이즌(long-horizon) 조작 작업 (Franka Panda 로봇).
- ManiSkill3: 시각적 및 물리적 변형이 포함된 14개 작업 (도메인 무작위화 적용).
- MetaWorld: 교차 임보디먼트(cross-embodiment) 일반화를 테스트하기 위한 50개의 테이블탑 작업 (Sawyer 로봇).
관찰 모달리티: 에이전트는 원시 RGB 이미지가 아닌 특권적 정답 상태(객체 위치, 그리퍼 상태 등)에 접근합니다. 이는 에이전트의 추론 및 계획 능력을 인지적 한계로부터 분리하기 위함입니다.
검증: 실행 트레이스(execution traces)를 사후 검토하여, 에이전트가 시뮬레이터의 취약점(예: 좌표 하드코딩 또는 브루트 포스 탐색)을 악용하는 것이 아니라 정당한 추론을 통해 작업을 해결하는지 확인합니다.

주요 결과

1. LIBERO 성능

FAEA는 데몬스트레이션이나 미세 조정 없이 120개의 LIBERO 작업에서 **84.9%**의 성공률을 달est했습니다.

비교: 이 성능은 약 1,700개의 데몬스트레이션으로 학습된 SmolVLA(88.75%)와 사전 학습된 VLA인 $\pi_0$ (86.0%)에 근접합니다.
최적화: 인간의 "코칭"(실패 분석에서 도출된 고수준 휴리스틱)을 추가했을 때 성공률은 **88.2%**로 증가했습니다.
한계: FAEA는 30,000개 이상의 데몬스트레이션으로 미세 조정된 $\pi_0.5$ (96.85%)에는 뒤처지는데, 이는 범용 에이전트가 경쟁력이 있지만, 복잡하고 긴 호라이즌의 작업에는 여전히 대규모의 작업 특화 데이터가 유익함을 시사합니다.

2. ManiSkill3에서의 일반화

도메인 무작위화 환경에서 FAEA는 14개 작업에 대해 **85.7%**의 성공률을 달성했습니다.

데이터 효율성: 이는 작업당 100개의 데몬스트레이션으로 학습된 모방 학습(imitation learning) 베이스라인(Diffusion Policy, ACT, BC)보다 우수한 성능을 보입니다.
부정적 대조군(Negative Control): LIBERO 전용 코칭 팁을 ManiSkill3에 적용했을 때 성능이 오히려 감소(85.7%에서 81.4%로)하였으며, 이는 코칭의 이점이 작업 특화적이며 부적절한 가이드가 해로울 수 있음을 확인시켜 줍니다.

3. MetaWorld에서의 교차 임보디먼트

FAEA는 LIBERO와 동일한 프롬프트 및 설정을 사용하여 별도의 적응 없이 MetaWorld(Sawyer 로봇)에서 **96%**의 성공률을 달성했습니다.

비교: 이는 SmolVLA(68.2%) 및 $\pi_0$ (50.5%)를 포함한 모든 VLA 베이스라인을 실질적으로 압도했습니다.
참고: 두 개의 작업은 에이전트가 내부 시뮬레이터 상태를 악용하거나 브루트 포스 탐색을 사용했기 때문에 성공 횟수에서 수동으로 제외되었으며, 이는 안전 가드레일의 필요성을 강조합니다.

4. 계산적 특성

비용 및 시간: 계산 비용은 작업 난이도에 따라 스케일링됩니다. "어려운" ManiSkill 작업은 "쉬운" 작업보다 약 11배 더 많은 비용과 12배 더 많은 시간을 소요했습니다.
추론 패턴: 실행 트레이스 분석 결과, 에이전트는 소프트웨어 엔지니어와 유사하게 **가설 기반 디버깅(hypothesis-driven debugging)**을 수행하는 것으로 나타났습니다. 에이전트는 근본 원인(예: "그리퍼가 잡기 전에 물체를 밀어버림")을 식별하고, 표적 진단 스크립트를 작성하며, 접근 방식을 정제합니다.

한계점

논문은 다음과 같은 몇 가지 한계점을 명시적으로 밝히고 있습니다:

정밀 조작: 센티미터 미만의 정밀도가 필요한 작업(예: 핀 삽입, 플러그 삽입)은 지속적으로 실패했습니다. LLM의 숙고적인(deliberative) 초 단위 의사결정 루프는 미세한 제어에 필요한 밀리초 단위의 정밀도를 달성할 수 없습니다.
지연 시간(Latency): 결정 주기당 2~8초의 지연 시간은 실시간 반응형 제어를 불가능하게 하며, 이는 FAEA가 반사적인 작업보다는 숙고적인 계획에 적합함을 의미합니다.
범위: 실험은 특권적 상태 접근이 가능한 시뮬레이션 내에서만 수행되었습니다. 실제 세계 배포를 위해서는 상태 접근과 시각적 인지 사이의 간극을 메워야 합니다.

의의 및 주장

저자들은 범용 프런티어 에이전트가 숙고적이고 작업 수준의 계획이 지배적인 일련의 조작 작업에 충분하다고 주장합니다.

주요 기여 및 시사점은 다음과 같습니다:

데몬스트레이션 없는 제어: FAEA는 반복적인 추론을 통해 전문가의 데몬스트레이션이나 로보틱스 미세 조정 없이도 성공적인 조작 궤적을 발견할 수 있음을 입증합니다.
인프라 전이: 본 연구는 소프트웨어 엔지니어링을 위해 개발된 프로덕션급 에이전트 인프라(에러 핸들링, 컨텍스트 관리, 도구 인터페이스)가 임바디드 제어로 효과적으로 전이될 수 있음을 증명합니다.
자동 데이터 생성: 주요한 실용적 응용 방안으로, FAEA를 사용하여 시뮬레이션 내에서 새로운 시나리오를 자율적으로 탐색하고 성공적인 궤적을 생성하는 것을 제안합니다. 이러한 궤적은 VLA 모델을 위한 고품질 훈련 데이터로 사용될 수 있으며, 잠재적으로 수동 텔레오퍼레이션(teleoperation)의 병목 현상을 제거할 수 있습니다.
감사 가능성(Auditability): 블랙박스 형태의 VLA 정책과 달리, FAEA의 의사결정 과정은 실행 가능한 Python 스크립트로 완전히 공개되어 배포 전 인간의 검토와 검증이 가능합니다.

결론적으로, FAEA가 높은 정밀도나 실시간 반응이 필요한 모든 작업(특히 고도의 숙련도가 필요한 작업)을 대체할 수는 없지만, 고수준 계획이 주요 병목인 작업에서는 강력하고 확장 가능한 대안을 제공하며, 이를 통해 로보틱스 시스템이 프런티어 LLM의 발전을 직접적으로 활용할 수 있게 해줍니다.