IROSA: Interactive Robot Skill Adaptation using Natural Language

이 논문은 대규모 언어 모델과 모방 학습을 결합하여 7 자유도 로봇이 자연어 명령을 통해 산업용 베어링 삽입 작업의 속도와 궤적, 장애물 회피 등을 안전하고 해석 가능하게 적응하도록 하는 새로운 프레임워크 IROSA 를 제안합니다.

핵심

🤖 로봇을 "말"로 조종하는 마법: IROSA 소개

이 논문은 **"로봇에게 자연어로 지시를 내리면, 로봇이 그 말을 듣고 행동을 스스로 고쳐준다"**는 획기적인 기술을 소개합니다. 마치 로봇에게 "조금 더 천천히 해줘"라고 말하면 로봇이 바로 속도를 조절하고, "저기 파란 상자를 피해"라고 하면 길을 바꿔가는 것과 같습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 🛠️ 핵심 아이디어: "로봇은 기계공, AI 는 지시자" (IROSA 의 구조)

기존의 많은 로봇 기술은 로봇이 직접 "머리"를 써서 행동을 결정하게 만들었습니다. 하지만 이 방법은 로봇이 실수하거나, 왜 그런 행동을 했는지 알기 어렵다는 문제가 있었습니다.

이 논문은 IROSA라는 새로운 방식을 제안합니다.

• 비유: 로봇을 숙련된 요리사라고 상상해 보세요. 요리사는 이미 "요리법 (기술)"을 잘 알고 있습니다.
• 기존 방식: 요리사에게 "오늘 메뉴를 바꿔줘"라고 하면, 요리사가 직접 레시피를 새로 짜려고 애쓰다가 실패하거나 이상한 요리를 만들 수 있습니다.
• IROSA 방식: 우리는 **전문 비서 (LLM, 대형 언어 모델)**를 고용합니다. 비서는 요리사에게 직접 요리를 시키지 않고, **"조리 도구 (Tool)"**만 건네줍니다.
  • 사용자가 "조금 더 천천히 볶아줘"라고 말하면, 비서는 **"속도 조절 버튼"**이라는 도구를 찾아 요리사에게 건넙니다.
  • 사용자가 "파란 상자를 피해"라고 말하면, 비서는 **"장애물 피하기 도구"**를 찾아 건넙니다.

핵심: 로봇 (요리사) 은 안전한 도구만 사용하도록 제한되어 있어, 실수할 확률이 적고 안전합니다. AI(비서) 는 로봇을 직접 조종하지 않고, 오직 검증된 도구만 선택해서 전달합니다.

2. 🧩 기술의 핵심: "자석으로 궤적을 구부리기" (KMP 와 도구)

로봇이 어떻게 말을 듣고 행동을 바꿀까요? 여기에는 **KMP(커널화된 모션 프라임)**라는 기술이 쓰입니다.

• 비유: 로봇의 움직임은 자석으로 된 구슬이 달린 줄이라고 생각하세요.
  • 처음에 사람이 로봇을 손으로 잡고 가르쳐주면 (시연), 그 줄이 특정 모양 (예: 상자에서 물건을 꺼내서 테이블에 놓는 경로) 으로 고정됩니다.
  • 이제 사용자가 "빨리 해줘"라고 말하면, 비서는 속도 조절 도구를 써서 줄의 시간 간격을 조절합니다. (구슬이 움직이는 속도가 빨라지거나 느려집니다.)
  • 사용자가 "왼쪽으로 좀 치우쳐"라고 말하면, 비서는 경로 수정 도구를 써서 줄에 **새로운 자석 (Via-point)**을 붙입니다. 그럼 줄이 자연스럽게 그 자석 쪽으로 꺾이게 됩니다.
  • "장애물 피하기"는 반발력 도구를 써서, 장애물 근처의 줄을 밀어내어 꺾이게 만듭니다.

이 방식은 로봇이 처음부터 다시 배우는 게 아니라, 이미 배운 기술을 살짝만 수정하는 것이기 때문에 매우 빠르고 안전합니다.

3. 🏭 실제 실험: 공장에서 로봇이 말을 듣다

연구진은 실제 공장에서 7 개의 관절을 가진 로봇을 이용해 실험했습니다.

• 상황: 로봇이 베어링(기계 부품) 을 상자에서 꺼내 측정기에 넣는 작업을 합니다.
• 상황 1 (속도 조절): 사용자가 "상자와 측정기 사이에서 50% 느리게 움직여줘"라고 말하자, 로봇은 그 구간만 천천히 움직였습니다.
• 상황 2 (경로 수정): 카메라가 왼쪽에 새로 생기자, "카메라로 부품을 확인해줘"라고 말하자, 로봇이 경로를 살짝 비틀어 카메라 쪽으로 갔다가 다시 원래 경로로 돌아갔습니다.
• 상황 3 (장애물 회피): 갑자기 파란 상자가 길에 놓이자, "파란 상자를 피해줘"라고 말하자, 로봇은 상자를 우회하는 새로운 길을 스스로 찾아냈습니다.

🌟 왜 이 기술이 중요한가요?

1. 안전함 (Safety): AI 가 로봇을 직접 조종하지 않고, 미리 검증된 '안전 도구'만 쓰게 하므로 로봇이 미친 듯이 움직이거나 다칠 위험이 없습니다.
2. 설명 가능함 (Transparency): 로봇이 왜 그 행동을 했는지 알 수 있습니다. "비서가 '속도 조절 도구'를 선택했기 때문에 로봇이 느려진 것"이라고 명확히 추적할 수 있습니다.
3. 재교육 불필요: 로봇에게 새로운 일을 가르치기 위해 수천 번을 반복해서 학습시킬 필요가 없습니다. 말로 지시만 하면 바로 적응합니다.

🚀 결론

이 논문은 **"로봇과 인간의 소통"**을 한 단계 업그레이드했습니다. 이제 우리는 복잡한 프로그래밍 코드를 짜지 않고, 일상적인 말로 로봇에게 "조금 더 조심해", "저기서 멈춰", "빨리 해"라고 말하면, 로봇이 그 뜻을 정확히 이해하고 안전하게 행동을 수정합니다.

이는 공장이나 병원처럼 정확함과 안전이 생명인 곳에서 로봇을 더 쉽게, 더 똑똑하게 활용할 수 있는 미래를 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

로봇 공학 분야에서 비전문가 사용자가 자연어 명령을 통해 로봇의 기술을 직관적으로 수정하고 적응시키는 것은 중요한 목표입니다. 그러나 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

• 엔드 - 투 - 엔드 (End-to-End) 모델: 센서 - 모터 데이터를 직접 학습하는 모델은 유연성이 높지만, 산업 환경에서 요구되는 해석 가능성 (Interpretability), 검증 가능성 (Verifiability), 안전성 (Safety) 을 보장하기 어렵습니다.
• 기존 모듈식 접근법의 한계:
  • 일부 방법은 언어 이해와 로봇 제어의 분리를 시도하지만, 수정 후 정책 재학습 (Retraining) 이 필요하거나 오프라인 학습을 요구합니다.
  • 코드 생성 (Code Generation) 기반 방식 (예: OVITA) 은 유연하지만, 생성된 코드의 신뢰성 문제와 클라우드 의존성, 그리고 반복적인 사용자 피드백 검증이 필요하다는 단점이 있습니다.
• 핵심 과제: 산업용 로봇에 적용 가능하면서도, 안전하고 예측 가능하며, 재학습 없이 자연어만으로 실시간 궤적 수정이 가능한 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 IROSA라는 새로운 프레임워크를 제안하며, 이는 도구 기반 아키텍처 (Tool-based Architecture) 와 커널화된 모션 프라미티브 (KMPs) 를 결합합니다.

A. 핵심 아키텍처: 도구 기반 접근법

• 개념: 대형 언어 모델 (LLM) 이 로봇 하드웨어나 궤적 생성을 직접 제어하는 것이 아니라, 사전에 정의되고 검증된 도구 (Tools) 를 선택하고 매개변수를 설정하는 방식으로 작동합니다.
• 안전 계층: LLM 과 로봇 제어 사이에는 보호적인 추상화 계층이 존재하여, LLM 의 환각 (Hallucination) 이나 오류가 로봇의 안전에 직접적인 영향을 미치지 않도록 합니다.
• 작동 흐름:
  1. 사용자 쿼리: 사용자가 자연어 명령 (예: "상자 앞까지 속도를 50% 늦추기") 을 입력합니다.
  2. 도구 선택: LLM 은 환경 정보와 사용자 명령을 분석하여 적합한 도구를 JSON 스키마 기반으로 선택합니다 (Zero-shot 기능 호출).
  3. 매개변수화: LLM 은 명령에서 구체적인 수치 (속도 비율, 위치 좌표 등) 를 추출하여 도구 매개변수에 할당합니다.
  4. 검증 및 실행: 시스템은 추출된 매개변수를 타입 및 범위 (안전 한계) 측면에서 검증한 후, KMP 모델에 적용합니다.
  5. 피드백: 수정된 궤적을 실행하고 사용자에게 결과를 보여줍니다.

B. 기반 기술: 커널화된 모션 프라미티브 (KMPs)

• KMP 활용: 제한된 수의 시연 (2~5 회) 에서 학습된 로봇 기술을 확률론적으로 표현합니다.
• 적응 메커니즘: KMP 의 비모수적 (Non-parametric) 특성을 활용하여, 새로운 제약 조건을 Via-point(경유점) 로 쉽게 추가하거나 시간적 변조를 가할 수 있습니다.
  • 속도 조절 (Speed Modulation): 궤적의 특정 구간 시간 간격을 조정합니다.
  • Via-point 삽입: 궤적이 특정 지점을 통과하도록 경유점을 추가합니다.
  • 반발점 생성 (Repulsion Point Generation): 장애물 주변에 가상의 반발력을 생성하여 충돌을 피하는 궤적을 자동으로 수정합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 도구 기반 아키텍처: 자연어 기능 호출 (Function Calling) 을 통해 로봇 기술의 제로샷 (Zero-shot) 적응을 가능하게 하며, 언어 이해와 로봇 제어를 엄격히 분리하여 안전성을 확보했습니다.
2. KMP 의 확장: 자연어 기반의 속도 조절 및 반발장 (Repulsion Field) 을 통한 장애물 회피 기능을 KMP 에 통합하여, 기존 Via-point 제약만으로는 불가능했던 적응 능력을 확장했습니다.
3. 실제 로봇 실험 검증: 7-DoF 토크 제어 로봇 (DLR SARA) 을 사용하여 산업용 베어링 링 삽입 작업에서 성공적인 적응을 입증했습니다. 모델 미세 조정 (Fine-tuning) 이나 반복적인 사용자 피드백 없이도 안전하고 해석 가능한 적응이 가능함을 보였습니다.

4. 실험 결과 (Results)

저자들은 7-DoF 로봇을 사용하여 세 가지 주요 시나리오를 평가했습니다.

• 실험 1 (속도 적응): "상자와 스테이션 사이에서 속도를 늦추라"는 명령에 대해, 궤적의 공간적 특성을 유지하면서 특정 구간만 속도를 50% 감속시켰습니다. (성공률 100%)
• 실험 2 (궤적 수정): "왼쪽의 카메라로 링을 확인하라"는 명령에 따라, 학습된 궤적에 카메라 위치를 Via-point 로 추가하여 로봇이 경로를 수정했습니다. (성공률 100%)
• 실험 3 (장애물 회피): "파란색 상자를 피하라"는 명령에 따라, 장애물 주변을 우회하는 반발점 (Repulsion Point) 을 생성하여 충돌 없이 작업을 완료했습니다. (성공률 100%)

비교 분석 (OVITA vs IROSA):

• 기존 코드 생성 방식인 OVITA 와 비교했을 때, IROSA 는 동일한 로컬 LLM을 사용하더라도 응답 시간이 43% 단축되었고, 모든 지표 (명령 성공률, 해석 성공률, 작업 완료률) 에서 OVITA 를 압도적으로 능가했습니다.
• 특히 로컬 LLM 환경에서 OVITA 는 코드 생성의 신뢰성 저하로 인해 작업 실패율이 높았으나, IROSA 는 검증된 도구 함수를 통해 안정적인 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 산업 적용 가능성: 엔드 - 투 - 엔드 학습 모델의 불투명성과 안전성 문제를 해결하며, 산업 현장에서 즉시 배포 가능한 (Immediately deployable) 솔루션을 제공합니다.
• 안전과 투명성: LLM 이 직접 로봇을 제어하지 않고 검증된 도구만 호출하므로, 로봇의 행동이 예측 가능하고 해석 가능합니다. 이는 산업용 로봇의 인증 및 운영자 신뢰 확보에 필수적입니다.
• 확장성: 새로운 도구만 정의하면 시스템의 기능을 확장할 수 있으며, 다양한 LLM 백엔드와 호환됩니다.
• 향후 과제: 현재는 사전 정의된 도구 집합에 의존하므로, 사용자의 의도가 도구 범위를 벗어날 경우 적응이 제한적입니다. 향후 자동 도구 생성 및 여러 기술 간의 선택/조합 메커니즘 연구가 필요하다고 제시했습니다.

요약: IROSA 는 자연어 명령을 통해 로봇의 동작을 실시간으로 수정할 수 있는 안전하고 해석 가능한 프레임워크를 제시하며, 이를 통해 산업용 로봇의 유연성과 비전문가 사용자의 접근성을 동시에 해결했습니다.