RACAS: Controlling Diverse Robots With a Single Agentic System

이 논문은 자연어 기반의 협력적 에이전트 아키텍처인 RACAS 를 제안하여, 소스 코드나 모델 재학습 없이 다양한 로봇 플랫폼 간에 고수준 자율 행동을 가능하게 함으로써 로봇 프로토타이핑의 장벽을 획기적으로 낮췄음을 보여줍니다.

핵심

1. 기존 문제: "로봇마다 다른 언어를 쓰는 사투리"

지금까지 로봇을 다룰 때는 매우 번거로웠습니다.

• 바퀴 달린 로봇을 조종하려면 바퀴 공학 전문가가 필요했고,
• 물속 로봇을 조종하려면 해양 공학 전문가가 필요했습니다.
• 팔이 달린 로봇은 또 다른 전문가가 필요했죠.

마치 각기 다른 사투리를 쓰는 마을에 사는 사람들처럼, 로봇마다 제어하는 방식 (API) 이 다르고, 새로운 로봇을 도입할 때마다 처음부터 다시 코딩하고 학습시켜야 했습니다. "이 로봇은 앞으로 가려면 A 버튼을 누르고, 저 로봇은 B 명령어를 써야 해"라고 매번 새로 배우는 셈입니다.

2. RACAS 의 등장: "만능 통역사 팀"

이 논문은 **"로봇의 종류를 신경 쓰지 말고, 그냥 말로 지시하면 알아서 해주는 시스템"**을 만들었습니다. 이를 RACAS라고 부릅니다.

이 시스템은 3 명의 AI 팀원이 자연어로 대화하며 로봇을 조종합니다. 마치 한 팀의 스태프가 지휘하는 것과 같습니다.

1. 코치 (Controller):
   • 역할: 전체 상황을 파악하고 "지금 뭐 해야 해?"라고 결정하는 지휘관입니다.
   • 비유: 미팅을 주재하는 팀장님. "우리는 저기 있는 소화기를 찾아야 해. 지금 어디쯤일까?"라고 생각하며 다음 행동을 정합니다.
2. 감시관 (Monitors):
   • 역할: 로봇의 카메라 (눈) 를 통해 주변을 보고 코치에게 설명하는 사람들입니다.
   • 비유: 현장에 나가서 상황을 보고 팀장에게 "팀장님, 오른쪽에 빨간 소화기가 보이네요"라고 보고하는 현장 스태프.
3. 기록관 (Memory Curator):
   • 역할: 지금까지의 대화와 경험을 정리해서 기억해 두는 사람입니다.
   • 비유: 회의록을 작성하고 "어제 여기 왔을 때 장애물이 있었어, 오늘 다시 가면 피해야 해"라고 과거의 경험을 정리해 주는 비서.

3. 어떻게 작동할까? "자연어라는 공통 언어"

이 시스템의 가장 놀라운 점은 로봇의 하드웨어 (몸체) 를 전혀 수정하지 않는다는 것입니다.

• 기존 방식: 로봇을 바꾸면 코드를 다시 짜고, 모델을 다시 학습시켜야 함. (새로운 로봇을 위해 새로운 언어를 배워야 함)
• RACAS 방식: 로봇에 대해 **"나는 4 개의 바퀴가 있고, 앞으로 갈 수 있고, 카메라가 하나 있어"**라고 사람 말 (자연어) 로 설명해주고, **"불을 끄는 소화기를 찾아라"**라고 목표를 말해주기만 하면 됩니다.

그럼 AI 팀원들이 서로 대화하며:

"코치: 소화기가 어디 있지?"
"감시관: 왼쪽 카메라에 안 보이는데, 오른쪽으로 좀 더 가볼까?"
"코치: 좋아, 오른쪽으로 가자."
"기록관: 알았어, 오른쪽으로 갔더니 더 가까워졌네. 기억해 둬야지."

이렇게 자연어로만 소통하며 로봇을 움직입니다. 로봇이 물고기처럼 물속을 헤엄쳐도, 바퀴로 굴러가도, 팔을 움직여도 상관없습니다. AI 가 로봇의 '몸'을 이해할 필요 없이, 로봇이 제공하는 '기능 (앞으로 가기, 회전하기 등)'을 언어로만 설명받으면 되니까요.

4. 실험 결과: "완전히 다른 세 가지 로봇을 한 번에 성공"

연구진은 이 시스템을 세 가지 완전히 다른 로봇에 적용해 보았습니다.

1. 바퀴 달린 지상 로봇 (Dingo): 공장이나 사무실 바닥을 굴러가는 로봇.
2. 물속 로봇 (BlueROV2): 바다나 수영장 아래를 헤엄치는 로봇.
3. 새로운 로봇 팔 (Alhakami Limb): 아예 AI 가 한 번도 본 적 없는 최신형 로봇 팔.

결과:

• 학습이나 재코딩 없이 세 로봇 모두 성공적으로 임무를 수행했습니다.
• 소화기를 찾거나, 목표 지점에 도달하는 등의 과제를 해결했습니다.
• 특히, AI 가 전혀 모르는 새로운 로봇 팔을 처음 봤는데도, 설명만 듣고 바로 작동시켰습니다.

5. 왜 이것이 중요한가?

이 기술은 로봇을 개발하는 문턱을 엄청나게 낮춥니다.

• 과거: 로봇을 한 대 더 사려면, 그 로봇에 맞는 전문가를 고용하고 수개월을 코딩해야 함.
• 미래 (RACAS): "이 로봇은 이런 기능이 있어. 목표는 저거야."라고 말만 하면, AI 가 알아서 로봇을 조종함.

마치 스마트폰 앱처럼, 로봇이라는 '하드웨어'는 다양해도 그 위에 깔리는 '앱 (RACAS)'은 하나면 모든 로봇을 다 조종할 수 있게 되는 것입니다.

요약

RACAS는 로봇 공학의 장벽을 허무는 만능 통역사입니다.
어떤 로봇이든, 그 로봇의 몸이 어떻게 생겼는지, 어떤 센서를 달았는지 기술적인 지식이 없어도 단순히 "이렇게 해줘"라고 말하기만 하면, AI 가 로봇과 대화하며 스스로 길을 찾고 목표를 달성하게 해줍니다. 이는 로봇을 더 쉽고 빠르게 우리 삶에 도입할 수 있는 큰 전환점이 될 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

기존의 로봇 제어 시스템은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 고립된 전문성: 로봇의 저수준 제어 (구동기 명령, 센서 데이터 읽기) 와 고수준 자율 행동 (계획, 의사결정) 을 연결하는 파이프라인은 복잡하며, 하드웨어 엔지니어와 계획/학습 알고리즘 전문가 간의 지식 격차가 존재합니다.
• 플랫폼 의존성: 기존 접근법 (엔드 - 투 - 엔드 학습 또는 LLM 기반 제어) 은 새로운 로봇 형태 (Embodiment) 에 적용하기 위해 매번 데이터를 수집하고 모델을 재학습해야 하거나, 구조적으로 유사한 플랫폼 (예: 다른 매니퓰레이터 암) 에서만 검증되었습니다.
• 유연성 부재: 형태, 동역학, 운영 환경이 근본적으로 다른 이질적인 플랫폼 간에 제로-트레이닝 (Zero-training) 으로 일반화되는 제어 프레임워크는 존재하지 않았습니다.

2. 제안 방법론: RACAS (Methodology)

저자들은 RACAS (Robot-Agnostic Control via Agentic Systems) 를 제안합니다. 이는 로봇의 물리적 형태에 구애받지 않고 자연어만으로 폐루프 (closed-loop) 제어를 수행하는 협력적 에이전트 아키텍처입니다.

핵심 아키텍처

시스템은 세 개의 LLM/VLM 기반 모듈로 구성되며, 이들 간의 모든 통신은 자연어로만 이루어집니다.

1. Controller (제어기):
   • 현재 작업 상태, 환경 메모리, 로봇 상태, 작업 지시 등을 바탕으로 시각적 쿼리 (Visual Query) 를 생성합니다.
   • 모니터로부터 받은 관찰 결과를 바탕으로 추론을 수행하고, 다음 행동을 선택합니다.
   • 각 단계마다 동적으로 구성된 시스템 프롬프트를 기반으로 작동합니다.
2. Monitors (모니터):
   • 제어기가 생성한 시각적 쿼리에 기반하여 로봇의 카메라 이미지를 분석합니다.
   • VLM(Vision-Language Model) 을 사용하여 자연어 형태의 장면 설명 (Scene Description) 을 생성하여 제어기에 반환합니다.
   • 저해상도 이미지의 경우 슈퍼-레졸루션 파이프라인을 통해 해상도를 높인 후 처리합니다.
3. Memory Curator (메모리 큐레이터):
   • 상호작용 기록 (쿼리, 응답, 실행된 행동) 을 바탕으로 구조화된 환경 메모리를 유지하고 업데이트합니다.
   • 단순한 기록이 아닌, 재작성 (Rewriting) 방식을 통해 불필요한 정보를 압축하고 모순을 해결하며, 현재 작업과 관련 없는 세부 사항을 제거합니다.
   • 구조화된 스키마: 물리적 환경, 로봇 상태, 중요 명령 이력, 작업 상태를 4 가지 카테고리로 조직화합니다.
   • 교차 모달 위치 추론: 카메라의 시야와 로봇의 이동 행동을 결합하여 물체의 상대적 위치를 추론합니다 (예: 왼쪽으로 이동 후 오른쪽 카메라에서 물체가 발견되면 물체는 로봇의 왼쪽에 있었음을 추론).

적응 방식 (Adaptation)

새로운 로봇 플랫폼에 RACAS 를 적용할 때 소스 코드, 모델 가중치, 보상 함수의 수정은 전혀 필요하지 않습니다. 다음 세 가지 자연어 기반 설정 파일만 변경하면 됩니다:

1. 로봇 설명 (D): 로봇의 형태, 관절 구조, 센서 레이아웃에 대한 자연어 설명.
2. 작업 정의 (A): API 에 접근 가능한 실행 가능한 행동들의 구조화된 정의 (JSON 등).
3. 작업 지시 (Task): 수행해야 할 작업과 고려사항에 대한 설명.

3. 주요 기여 (Key Contributions)

1. 자연어 기반 협력적 아키텍처: 모든 통신이 자연어로 이루어지는 세 가지 모듈 (제어기, 모니터, 메모리) 로 구성된 폐루프 로봇 제어 시스템을 제안했습니다.
2. 선언적 프롬프트를 통한 완전한 분리: 로봇 특화 지식과 작업 특화 지식을 선언적 프롬프트 설정에만 국한시켜, 플랫폼 변경 시 코드나 모델 수정 없이 적응이 가능함을 증명했습니다.
3. 이질적 플랫폼 간 제로-트레이닝 일반화: 형태, 동역학, 운영 환경이 완전히 다른 3 가지 플랫폼 (바퀴형 지상 로봇, 다관절 로봇 팔, 수중 무인기) 에서 단일 제어 프레임워크가 학습 없이 성공적으로 작동함을 최초로 입증했습니다. 특히 LLM 이 사전 지식을 전혀 가지고 있지 않은 최신 로봇 팔 (Alhakami et al. Limb) 에서도 성공했습니다.

4. 실험 및 결과 (Experiments & Results)

RACAS 는 다음과 같이 완전히 다른 3 가지 플랫폼에서 평가되었습니다:

• Clearpath Dingo (지상 로봇): 시뮬레이션 및 실제 환경에서 화재 소화기 탐색 및 접근 작업 수행.
• Alhakami et al. Limb (다관절 로봇 팔): 4 자유도 팔을 사용하여 복잡한 작업 공간에서 목표 물체 (소화기) 위치 파악.
• BlueROV2 (수중 무인기): 수조 및 대형 수영장 환경에서 3 차원 공간 이동 및 목표물 탐색.

결과 요약:

• 성능: 모든 플랫폼에서 할당된 작업을 성공적으로 완수했습니다. 무작위 행동 (Random Baseline) 과 비교했을 때 RACAS 는 통계적으로 유의미하게 적은 단계 수로 작업을 완료했습니다.
• 효율성: Dingo(실제) 기준 약 25.8 단계, Limb 기준 약 9.5 단계 등 최적의 오라클 (Oracle) 성능에 근접하는 결과를 보였습니다.
• 메모리 효과: 블랙잭 (Blackjack) 환경 실험을 통해, 구조화된 메모리 (Memory Curator) 가 있는 경우 시스템이 이전 경험을 학습하여 성능이 유지되거나 향상됨을 확인했습니다. 메모리가 없는 경우나 비구조화된 메모리 사용 시 성능이 저하되었습니다.
• 한계: 시스템의 주요 병목 현상은 LLM 추론 시간 (약 5~10 초/단계) 과 깊이 정보 (Depth) 의 부재로 인한 거리 추정의 불확실성으로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 로봇 프로토타이핑의 장벽 해소: RACAS 는 로봇 솔루션을 프로토타이핑하고 테스트하는 데 필요한 전문 지식과 자원을 대폭 줄여줍니다. 기존에는 각 로봇마다 맞춤형 제어기를 개발해야 했지만, 이제는 로봇의 API 와 자연어 설명만 있으면 다양한 로봇에 즉시 적용 가능합니다.
• 에이전트 AI 의 잠재력: 이 연구는 에이전트 AI 가 다양한 형태의 로봇을 제어할 수 있는 강력한 잠재력을 보여주며, 로봇 공학의 접근성을 혁신할 가능성을 제시합니다.
• 미래 전망: 현재는 탐색 및 항해 작업에 국한되었으나, 향후 조작 (Manipulation) 작업으로 확장되고, 깊이 센서 (LiDAR 등) 가 통합된다면 더 복잡한 임무 수행이 가능할 것으로 기대됩니다.

요약하자면, RACAS 는 자연어 프롬프트만으로 다양한 로봇을 제어할 수 있는 범용 에이전트 시스템을 제시하여, 로봇 제어 분야에서 "플랫폼 종속성"이라는 오랜 문제를 해결하는 획기적인 접근법을 제시했습니다.