CORAL: Scalable Multi-Task Robot Learning via LoRA Experts

이 논문은 여러 작업 간 간섭을 방지하고 새로운 작업을 순차적으로 학습할 수 있도록 단일 VLA 백본에 작업별 경량 LoRA 전문가를 동적으로 연결하는 확장 가능한 로봇 학습 프레임워크 'CORAL'을 제안합니다.

핵심

🤖 로봇이 "만능 천재"가 되는 방법: CORAL 이야기

우리가 로봇에게 "책상 정리해 줘", "커피 가져와 줘", "창문 열어 줘" 등 다양한 일을 시키려고 할 때, 기존 방식에는 두 가지 큰 문제가 있었습니다.

1. 혼란 (간섭): 모든 일을 한 번에 배우게 하면, 로봇이 "책상 정리"를 배우는 중에 "커피 가져오기"를 잊어버리거나, 두 가지 명령이 서로 충돌해서 엉망이 됩니다. (예: "책상 정리"를 하다가 커피를 쏟는 상황)
2. 저장 공간 부족: 각 일마다 로봇을 따로 따로 훈련시켜서 따로 저장해 두려면, 로봇의 뇌 (메모리) 가 감당할 수 없을 정도로 커져버립니다.

CORAL은 이 두 가지 문제를 해결하기 위해 매우 똑똑하고 효율적인 방법을 고안했습니다.

🍳 비유: "마스터 셰프"와 "전공 요리사"

이 시스템을 이해하기 위해 요리사 비유를 들어볼까요?

• 기존 방식 (한 번에 모두 배우기):
  한 명의 요리사에게 "중식, 일식, 양식, 디저트"를 모두 동시에 배우게 합니다. 문제는 요리사 머릿속이 너무 복잡해져서, 중식을 만들다가 일식 레시피를 잊어버리거나, 재료들을 섞어서 이상한 요리를 만들어낸다는 것입니다.

• 기존 방식 2 (각자 따로 배우기):
  중식 요리사, 일식 요리사, 양식 요리사를 각각 따로 뽑아 따로 훈련시킵니다. 일은 잘하지만, 식당에 요리사가 100 명이나 필요하면 주방이 너무 비좁아지고 관리 비용이 천문학적으로 늘어납니다.

• CORAL 방식 (마스터 셰프 + 전공 요리사):
  CORAL 은 **한 명의 '마스터 셰프 (기본 모델)'**를 두고, 그 옆에 **작은 '전공 요리사 (LoRA 전문가)'**들만 따로 둡니다.

  • 마스터 셰프: 로봇의 기본 지능입니다. "손을 어떻게 움직여야 하는지", "물체가 무엇인지" 같은 기본적인 상식과 신체 능력을 이미 완벽하게 익혀 있습니다. 이 마스터 셰프는 절대 변하지 않고 고정되어 있습니다.
  • 전공 요리사 (LoRA): "중식 전문", "일식 전문", "디저트 전문"처럼 매우 작고 가벼운 전문가들입니다. 이들은 마스터 셰프의 옆에 붙어, 특정 요리 (작업) 만 아주 빠르게 가르칩니다.

🚀 어떻게 작동할까요? (CORAL 의 3 가지 핵심)

1. "명령어"로 바로 연결하기 (스마트한 지시)
고객이 "초밥 만들어 줘!"라고 말하면, 로봇은 그 말만 듣고 바로 옆에 있는 **'일식 전공 요리사'**를 불러옵니다.

• 기존의 복잡한 방식: "어떤 일을 해야 할지 AI 가 고민해서 결정해야 함" (이 과정에서 시간이 걸리고 실수할 수 있음).
• CORAL 의 방식: "초밥"이라는 말 자체가 이미 "일식 요리사"를 부르는 열쇠입니다. 그래서 어떤 일을 해야 할지 고민할 필요도, 복잡한 계산도 없이 바로 해당 전문가를 켭니다.

2. "제로 (Zero)" 간섭 (서로 방해 안 함)
일식 요리사가 초밥을 만들 때, 중식 요리사는 그 옆에서 잠을 자고 있습니다. 서로의 레시피 (기억) 가 섞이지 않기 때문에, 어떤 일을 배우든 다른 일은 절대 망가지지 않습니다.

• 로봇이 새로운 일을 배워도, 이전에 배운 일은 100% 그대로 유지됩니다. (잊어버림 현상 해결)

3. "초경량" 저장 (주방 공간 절약)
각 전공 요리사 (전문가) 는 아주 작습니다. 전체 로봇 뇌의 크기를 100 이라고 한다면, 한 명의 전공 요리사는 1 정도밖에 안 됩니다.

• 그래서 100 가지 일을 하더라도, 100 개의 무거운 로봇을 저장할 필요가 없습니다. 하나의 기본 로봇 + 100 개의 작은 메모리 카드만 있으면 됩니다. 저장 공간이 100 배나 절약되는 셈입니다.

🌟 실제 성과: 로봇이 얼마나 잘하나요?

이론만 좋은 게 아니라, 실제 실험에서도 놀라운 결과를 보였습니다.

• 시뮬레이션 테스트: 다양한 로봇 (LIBERO, WidowX 등) 이 복잡한 미션을 수행할 때, 기존 방식보다 훨씬 높은 성공률을 기록했습니다. 특히 "오래된 기억을 유지하면서 새로운 일을 배우는" 능력에서 압도적이었습니다.
• 실제 로봇 실험: 실제 이원팔 로봇 (Galaxea R1) 에 적용했습니다.
  • 새로운 일 배우기: 문 여는 법, 엘리베이터 버튼 누르기 같은 완전히 새로운 일을 가르쳤을 때, 기존 방식은 다른 일을 잊어버리거나 실패했지만, CORAL 은 새로운 일도 잘하고, 예전 일도 잊지 않았습니다.
  • 저장 공간: 기존에 100 개의 로봇을 저장해야 할 공간을, CORAL 은 하나의 로봇과 작은 파일들로 해결했습니다.

💡 결론: 왜 이것이 중요한가요?

CORAL 은 로봇이 **평생 학습 (Lifelong Learning)**을 할 수 있게 해주는 열쇠입니다.

• 기존: 로봇을 한 번 훈련하면 그 일만 잘하고, 새로운 일을 배우려면 다시 처음부터 훈련하거나 메모리가 터집니다.
• CORAL: 로봇은 기본 지능은 그대로 유지한 채, 필요할 때마다 작은 '전문가'를 꺼내서 새로운 일을 즉시 배울 수 있습니다. 그리고 그 기억은 영구적으로 남습니다.

이 기술이 상용화되면, 우리 집 로봇은 아침에는 커피를 내리고, 점심에는 설거지를 하고, 저녁에는 아이와 놀아주는 등 수십 가지 일을 자연스럽게 해내면서도, 기억력도 좋고 저장 공간도 적게 차지하게 될 것입니다.

한 줄 요약:

**"변하지 않는 기본 지능 (마스터) 위에, 필요한 일마다 작은 전문가 (LoRA) 를 붙여서, 로봇이 잊지 않고, 공간을 차지하지 않고, 모든 일을 척척 해내는 시스템"**입니다.

기술 요약

1. 문제 정의 (Problem)

실제 로봇에 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델을 배포할 때 발생하는 핵심적인 다중 작업 학습 (Multi-Task Learning) 의 딜레마를 해결하는 것이 본 연구의 목적입니다.

• 작업 간 간섭 (Task Interference): 여러 작업을 동시에 한 번에 미세 조정 (Joint Fine-tuning) 하면, 서로 다른 작업 간의 그래디언트 충돌로 인해 '부정적 전이 (Negative Transfer)'가 발생하여 개별 작업의 성능이 저하됩니다.
• 저장 및 배포 비용: 각 작업마다 별도의 전체 모델 체크포인트를 유지하는 것은 저장 공간과 배포 측면에서 비현실적입니다.
• 연속 학습의 한계: 순차적으로 작업을 학습할 경우, 새로운 작업이 이전 작업의 지식을 덮어쓰는 파괴적 망각 (Catastrophic Forgetting) 이 발생합니다.
• 에지 디바이스 제약: 로봇의 온보드 메모리 제한으로 인해 대규모 모델의 복수 체크포인트를 저장하는 것이 불가능합니다.

2. 방법론 (Methodology)

저자들은 CORAL이라는 새로운 프레임워크를 제안합니다. 이는 단일 프리트레인된 VLA 백본을 고정하고, 각 작업마다 경량화된 LoRA (Low-Rank Adaptation) 전문가 (Expert) 를 동적으로 로드하는 방식입니다.

핵심 아키텍처 및 프로세스

1. 백본 고정 (Frozen Backbone):

   • 로봇의 일반적인 제어 패턴, 운동학, 환경의 시각 - 언어 구조를 학습한 단일 VLA 백본 모델 ($\theta_{base}$) 을 영구적으로 고정합니다.
   • 이 백본은 모든 작업에 공유되며, 추론 시에는 변경되지 않습니다.

2. 작업별 LoRA 전문가 (Task-Specific LoRA Experts):

   • 각 작업 $k$에 대해 독립적이고 경량화된 LoRA 어댑터 ($\theta_k$) 를 학습합니다.
   • 이중 타겟 주입: LoRA 모듈을 VLM 인코더의 어텐션 레이어와 액션 헤드 (Action Head) 에 모두 주입하여 시각 - 언어 특징 추출과 저수준 제어 정책을 동시에 적응시킵니다.
   • 엄격한 파라미터 격리: 각 LoRA 전문가의 학습은 백본과 다른 전문가들을 건드리지 않으므로, 작업 간 파라미터 충돌이 원천적으로 차단됩니다.

3. CORAL Manager (동적 추론 엔진):

   • 자연스러운 라우팅: Mixture-of-Experts (MoE) 에서 필요한 복잡한 학습된 게이트 네트워크가 불필요합니다. 로봇의 언어 명령어 (Instruction) 자체가 어떤 작업을 수행해야 하는지 명확히 지정하므로, 명령어를 통해 해당 작업의 LoRA 전문가를 직접적으로 식별하고 로드합니다.
   • 제로 오버헤드 스위칭:
     • 명령어가 변경되면, 이전 LoRA 를 백본에서 제거 (Un-merge) 하고 새로운 LoRA 를 로드하여 백본 가중치에 병합 (Merge) 합니다.
     • 이 과정은 RAM 에 캐시된 백본 상태를 복원하고 가중치를 재결합하는 방식으로 이루어져, 추론 시 추가적인 FLOPs 나 지연 시간 (Latency) 이 전혀 발생하지 않습니다.
     • 스위칭 속도는 100ms 이내로 실시간 제어에 적합합니다.

3. 주요 기여 (Key Contributions)

1. 생애 주기 로봇 학습을 위한 확장 가능 시스템: 일반화, 전문화, 확장 효율성 간의 상충 관계를 해결하는 백본 및 로봇 형태 (Embodiment) 에 구애받지 않는 솔루션을 제시했습니다.
2. 다중 작업 확장성 및 간섭 제거: 각 작업을 전용으로 격리된 LoRA 전문가에 할당함으로써 미세한 지시 모호성을 해결하고, 작업 간 간섭을 구조적으로 방지하여 Joint Fine-tuning 보다 월등히 높은 성능을 달성했습니다.
3. 저장소 장벽 돌파: 전체 모델의 약 100 배 작은 크기 (Rank 16 기준 약 26MB) 의 LoRA 전문가만 학습하여 저장하므로, 단일 모델의 저장 공간으로 수백 개의 작업을 처리할 수 있습니다.

4. 실험 결과 (Results)

저자들은 시뮬레이션 벤치마크와 실제 로봇 (Galaxea R1) 을 통해 CORAL 을 검증했습니다.

• 시뮬레이션 벤치마크 (LIBERO, WidowX, Google Robot):
  • LIBERO: CORAL 은 40 개의 작업에서 평균 성공률 99.3% (SimVLA 기반) 를 기록하여 기존 SOTA 모델 (X-VLA 등) 을 능가했습니다. 특히 가장 어려운 LIBERO-Long 스위트에서 3.4% 의 큰 개선을 보였습니다.
  • WidowX 및 Google Robot: 다양한 로봇 형태에서도 일관된 성능 향상을 보였으며, Spoon, Carrot 등의 정밀 작업에서 100% 성공률을 달성했습니다.
• 실제 로봇 평가 (Galaxea R1):
  • 제로샷 일반화: 사전 학습 데이터에 없는 새로운 환경에서 8 가지 복잡한 양손 조작 작업 (책 닫기, 티슈 뽑기 등) 을 수행할 때, 단일 모델보다 CORAL 이 훨씬 강력한 견고성을 보여주었습니다.
  • 새로운 능력 획득 및 망각 방지: 사전 학습에 없던 '문 열기' 및 '엘리베이터 버튼 누르기'와 같은 완전히 새로운 작업을 학습시켰을 때, Joint Fine-tuning 은 작업 간 간섭으로 성능이 붕괴 (평균 24.5%) 되었고, 순차적 Full Fine-tuning 은 파괴적 망각으로 이전 작업 성공률이 0% 가 되었습니다. 반면, CORAL 은 독립적 Full Fine-tuning 과 유사한 성능을 유지하면서 망각을 완전히 방지했습니다.
• 효율성:
  • LIBERO 40 개 작업을 위한 40 개의 LoRA 전문가 전체 저장 공간은 약 1GB 로, 단일 전체 미세 조정 체크포인트 (약 3GB) 의 3 분의 1 수준입니다.

5. 의의 및 결론 (Significance)

CORAL 은 실제 로봇 배포 환경에서 마주치는 확장성, 간섭, 망각, 저장 비용이라는 4 가지 핵심 문제를 통합적으로 해결합니다.

• 실용성: 복잡한 게이트 네트워크나 외부 LLM 라우터 없이, 자연어 명령어만으로 작업을 전환할 수 있어 실시간 추론에 이상적입니다.
• 지속 가능성: 새로운 작업이 추가될 때마다 전체 모델을 재학습하거나 저장할 필요 없이, 가벼운 LoRA 전문가만 추가하면 되므로 로봇의 생애 주기 동안 지속적으로 새로운 기술을 습득할 수 있습니다.
• 범용성: VLA 백본 모델이나 로봇의 형태 (Embodiment) 에 구애받지 않아 다양한 로봇 시스템에 적용 가능합니다.

이 연구는 로봇 학습이 단일 거대 모델의 미세 조정을 넘어, 모듈화되고 확장 가능한 전문가 시스템으로 진화해야 함을 시사하며, 실제 세계에서의 장기적 로봇 학습 (Lifelong Robot Learning) 을 위한 강력한 기반을 마련했습니다.