💻 computer science

Towards Accessible Physical AI: LoRA-Based Fine-Tuning of VLA Models for Real-World Robot Control

본 논문은 저계층 적응(LoRA)과 양자화를 사용하여 대규모 시각-언어-행동 모델을 저렴한 소비자용 로봇 플랫폼에 성공적으로 배포하기 위한 자원 효율적인 미세 조정 방법론을 제시하며, 제한된 데이터로도 효과적인 실세계 조작 성능을 입증한다.

원저자: Abdullah Yahya Abdullah Omaisan, Ibrahim Sheikh Mohamed

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdullah Yahya Abdullah Omaisan, Ibrahim Sheikh Mohamed

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 슈퍼컴퓨터 없이 로봇에게 "생각하는 법" 가르치기

여러분에게 영어를 이해하고 카메라를 통해 세상을 볼 수 있는 매우 똑똑한 로봇이 있다고 상상해 보세요. 이 로봇은 도서관의 모든 책을 다 읽은 천재 학생(방대한 데이터셋으로 학습됨)과 같지만, 현재는 방 크리만한 슈퍼컴퓨터가 있는 대학교 연구실에 갇혀 있는 상태입니다.

문제는 무엇일까요? 대부분의 사람들은 방 크기의 슈퍼컴퓨터를 가지고 있지 않습니다. 그들은 일반적인 노트북이나 게이밍 PC를 가지고 있습니다. 이 논문의 저자들은 다음과 같은 질문을 던졌습니다. "우리가 이 천재 로봇을 일반적인 게이밍 컴퓨터만을 사용하여, 저렴하고 평범한 로봇 팔에서 작동하도록 가르칠 수 있을까?"

그들의 대답은 **"예"**였습니다. 그들은 이 천재 로봇의 "두뇌"를 일반 소비자용 그래픽 카드(NVIDIA RTX 4060 같은)에 들어갈 정도로 줄이면서도, 실제 작업을 수행할 만큼 충분히 똑똑하게 유지하는 방법을 찾아냈습니다.

비유: "천재 요리사"와 "주머니 노트"

로봇의 두뇌(VLA 모델)를 수백만 개의 레시피와 요리 기술을 암기하고 있는 천재 요리사라고 생각해 보세요.

도전 과제: 보통 새로운 요리(예: 새로운 기계의 특정 버튼 누르기)를 만들려면, 요리사에게 새로운 레시피를 가르치기 위해 전체 보조 요리사 팀을 고용하고 거대한 주방을 사야 합니다. 이는 비용이 많이 들고 느립니다.
논문의 해결책: 요리사의 두뇌 전체를 새로 쓰는 대신, 저자들은 **LoRA(Low-Rank Adaptation)**라는 기술을 사용했습니다.
- 비유: 요리사에게 아주 작은 주머니 크기의 노트(LoRA)를 주는 것을 상상해 보세요. 처음부터 모든 것을 다시 배우는 대신, 요리사는 이 작은 노트에 이 특정 버튼과 이 특정 로봇 팔에 대한 몇 가지 구체적인 메모를 적어 넣기만 하면 됩니다.
- 결과: 이제 요리사는 새로운 요리를 완벽하게 만들 수 있지만, 그 과정에서 오직 작은 노트와 작은 주방(소비자용 GPU)만을 필요로 했습니다.

어떻게 구현했나: "압축" 기술

논문은 이 작업을 저렴한 하드웨어에서 실행하기 위해 두 가지 주요 기술을 언급합니다.

주머니 노트 (LoRA): 위에서 언급했듯이, 그들은 로봇 두뇌의 아주 일부분만을 학습시킵니다. 이는 거대한 백과사전 전체를 다시 쓰는 대신, 거대한 백과사전의 "색인(index)"만 업데이트하는 것과 같습니다.
약어 (양자화/Quantization): 그들은 4비트 양자화라는 기술을 사용했습니다.
- 비유: 요리사의 두로 보통 고화질의 완전한 문장으로 글을 쓴다고 상상해 보세요. 공간을 절약하기 위해, 저자들은 요리사가 매우 효율적인 약어로 글을 쓰도록 가르쳤습니다. 의미는 그대로 유지되지만, 사용하는 "잉크(메모리)"는 8배나 적습니다. 이를 통해 거대한 두뇌가 작은 배낭(8GB 컴퓨터 메모리) 안에 들어갈 수 있게 되었습니다.

실제 테스트: 버튼 누르기

이것이 실제로 작동함을 증명하기 위해, 그들은 단순히 시뮬레이션만 돌린 것이 아니라 SO101이라는 저가형 로봇 팔에 직접 적용했습니다.

작업: 로봇은 버튼을 보고 눌러야 했습니다.
눈: 로봇은 두 개의 카메라를 가졌습니다. 하나는 테이블 전체를 보기 위해 위에서 내려다보는 카메라이고, 다른 하나는 버튼을 가까이서 보기 위해 손목에 달린 카메라입니다. 이것은 광각 렌즈와 줌 렌즈가 함께 작동하는 것과 같습니다.
결과: 로봇은 성공적으로 버튼을 눌렀습니다. 로봇은 그냥 짐작한 것이 아니라, 버튼을 관찰하고, 움직임을 계획하고, 버튼을 눌렀습니다.

"비법 소스": 얼마나 많은 데이터가 필요한가?

이 논문에서 가장 중요한 발견 중 하나는 학습 데이터에 관한 것입니다. 저자들은 로봇에게 아주 적은 예시(20번의 시도)로 가르쳤을 때와 많은 예시(200번의 시도)로 가르쳤을 때를 비교했습니다.

예시가 너무 적을 때 (20번의 시도): 로봇은 혼란스러워했습니다. 버튼을 향해 움직이다가, 다시 뒤로 물러나고, 다시 움직였다가 또 물러나는 식이었죠. 이는 마치 문을 열지 않고 문손잡이를 반복해서 톡톡 건드리는 초조한 사람과 같았습니다. 로봇은 실제로 버튼을 "보고" 있는 것이 아니라, 자신의 팔 위치를 바탕으로 짐작만 하고 있었습니다.
적절할 때 (200번의 시도): 로봇에게 버튼을 누르는 예시를 200번 보여주자, 로봇의 "눈"이 제대로 작동하기 시작했습니다. 로봇은 버튼을 명확하게 보고 약 75%의 확률로 안정적으로 버튼을 누를 수 있었습니다.

교훈: 아무리 똑똑한 로봇 두뇌와 최고의 컴퓨터를 가지고 있더라도, 충분한 연습 데이터를 주지 않으면 실패하게 됩니다. "병목 현상"은 컴퓨터 성능이 아니라, 연습량(데이터의 양)입니다.

고정된 눈 vs 풀린 눈: 유연성의 선택

논문은 또한 로봇의 "눈"(비전 카메라 부분)을 훈련시키는 두 가지 방법을 테스트했습니다.

고정된 눈 (Frozen Eyes): 로봇이 큰 실험실에서 배웠던 눈을 그대로 유지합니다. 새로운 작업만 배웁니다. 이 방법은 더 빠르고 저렴합니다.
풀린 눈 (Unfrozen Eyes): 로봇이 이 새로운 방과 조명 환경에 맞춰 보는 법을 다시 배웁니다. 이 방법은 약간 더 정확하지만, 더 많은 시간과 컴퓨터 성능을 필요로 합니다.

발견된 사실: 두 방법 모두 충분한 연습(200번의 시도)이 뒷받항된다면 잘 작동했습니다. 예산이 빠듯하다면 "고정된 눈"이 좋은 선택입니다. 만약 절대적인 최고의 성능이 필요하고 시간이 좀 더 있다면, "풀린 눈"이 약간의 성능 향상을 제공합니다.

그들이 주장한 요약

접근성: 거대하고 고급스러운 로봇 두뇌를 저렴한 소비자용 컴퓨터(게이밍 PC 같은)에서 실행할 수 있습니다.
효율성: "LoRA"와 "약어(양자화)"를 사용하면 필요한 메모리를 약 3~4배 줄일 수 있습니다.
데이터가 핵심: 가장 큰 장애물은 하드웨어가 아니라, 로봇에게 할 일을 가르치기 위한 데모 영상(약 200개 정도)을 수집하는 것입니다.
실제 성공: 그들은 이 기술을 저가형 로봇 팔에 성공적으로 배치하여 버튼을 누르는 데 성공했으며, 이는 "피지컬 AI(Physical AI)"가 더 이상 값비싼 연구실에만 갇혀 있을 필요가 없음을 증명했습니다.

논문은 이러한 스마트한 훈련 기술들을 사용함으로써, 고급 로봇 기술이 이제 일반적인 컴퓨터와 저가형 로봇 팔을 가진 누구에게나 접근 가능해졌다고 결론짓습니다.

기술 요약: 접근 가능한 물리적 AI를 향하여

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델의 통합은 로봇 조작을 혁신하며, 로봇이 자연어 명령을 통해 복잡한 작업을 수행할 수 있게 했습니다. 그러나 최첨단 VLA 모델(예: OpenVLA, RT-2)을 저렴하고 비용이 적게 드는 로봇 플랫폼에 배포하는 것은 여전히 큰 장벽으로 남아 있습니다. 두 가지 주요 과제가 접근성을 제한합니다:

계산 제약: 대규모 VLA 모델(통상 3B 이상의 파라미터)은 학습 및 추론을 위해 24GB 이상의 VRAM을 갖춘 고성양 GPU를 필요로 하며, 이는 소비자급 하드웨어(예: 8GB VRAM)를 보유한 연구자들을 배제합니다.
체현 적응(Embodiment Adaptation): 서로 다른 운동학(kinematics)과 시각적 환경을 가진 새로운 로봇 체현에 사전 학습된 모델을 적응시키는 작업은 일반적으로 방대한 데모 데이터셋과 계산 자원을 요구하며, 이는 저가형 설정에서는 가용하지 않은 경우가 많습니다.

기존 문헌에는 이러한 모델을 자원이 제한된 환경에 어떻게 적응시킬 것인지, 특히 비전 인코더를 동결(freezing)할 것인지 혹은 해제(unfreezing)할 것인지에 대한 트레이드오프와 신뢰할 수 있는 실세계 배포를 위한 최소 데이터 요구량에 관한 체계적인 분석이 부족합니다.

방법론

저자들은 소비자급 하드웨어에서 수십억 개의 파라미터를 가진 VLA 모델을 실행할 수 있도록 설계된 자원 효율적인 미세 조정(fine-tuning) 및 배포 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 축을 기반으로 합니다:

1. 효율적인 미세 조정 전략

저자들은 메모리 점유율을 획기적으로 줄이기 위해 **저차원 적응(Low-Rank Adaptation, LoRA)**과 **4비트 양자화(4-bit quantization)**를 활용합니다.

모델 아키텍처: 베이스 모델은 SigLIP-SO400M 비전 인코더(400M 파라미터), Phi-2 언어 모델(2.7B 파라미터), 그리고 액션 예측 헤드로 구성된 SmolVLA(~3.1B 파라미터)입니다.
양자화: 가중치는 BitsAndBytes 라이브러리를 통해 NormalFloat4(NF4)를 사용하여 4비트 정수로 양자화되며, 이를 통해 메모리 사용량을 약 8배 감소시킵니다.
LoRA 구현: 언어 모델의 어텐션 레이어에 학습 가능한 저차원 행렬이 추가됩니다.
- 비전 동결 구성(Frozen Vision Configuration): 언어 모델의 LoRA 어댑터와 액션 헤드만 학습됩니다 (~8.4M 학습 가능 파라미터).
- 비전 해제 구성(Unfrozen Vision Configuration): 특정 카메라 설정 및 조명에 적응할 수 있도록 비전 인코더에도 LoRA가 적용되어 학습 가능한 파라미터가 ~33M으로 증가합니다.
학습 설정: 학습은 NVIDIA RTX 4060 (8GB VRAM)에서 배치 크기 1, 그래디언트 누적(gradient accumulation) 8단계를 사용하여 배치 크기 8을 시뮬레이션하며 수행됩니다.

2. 시스템 아키텍처 및 배포

시스템은 듀얼 카메라 비전 시스템을 갖춘 SO101 6-DOF 로봇 팔에 배포됩니다:

오버헤드 카메라: 전역 장면 이해를 위한 Intel RealSense D455 (1280x720).
손목 카메라: 근접 조작 피드백을 위한 USB 카메라 (320x240).
추론 파이프라인: 시스템은 20Hz 제어 빈도와 50ms의 지연 시간 예산을 갖추어 작동합니다. 시간적 일관성과 부드러운 궤적을 보장하기 위해 50개의 미래 액션 시퀀스를 예측하는 액션 청킹(action chunking) 기법을 채택합니다.
안전 메커즘: 관절 한계 강제 적용, 속도 제한 및 비상 정지 기능을 포함합니다.

3. 실험 설계

저자들은 방법론을 버튼 누르기 작업("버튼을 눌러 컨트롤러를 켜라")에 대해 평가했습니다. 데이터 양과 배포 성공률 사이의 관계를 분석하기 위해 다양한 크기(20, 50, 100, 200 에피소드)의 데모 데이터셋을 수집했습니다.

주요 결과

계산 효율성

LoRA와 4비트 양자화의 결 조합을 통해 8GB GPU에서 3.1B 파라미터 모델의 학습 및 추론이 가능해졌습니다.

메모리 감소: VRAM 요구 사항을 24GB 이상(전체 미세 조정 시)에서 6~9GB로 줄였습니다.
학습 시간: 구성에 따라 30~~50시간에서 10~~20시간으로 단축되었습니다.
추론: 평균 지연 시간 45ms(전처리 5ms, 순전파 35ms, 후처리 5ms)와 처리량 22.2 predictions/second로 실시간 성능을 달성했습니다.

배포 성능 및 데이터 요구량

데이터 부족 시의 실패 모드: 20개의 데모 에피소드만 있을 경우, 시스템은 특징적인 실패 모드를 보였습니다: 진동 동작(반복적으로 접근 및 후퇴), 약한 비전 영향력(시각적 입력보다 고유 수용 감각에 의존), 그리고 불량한 객체 추적. 성공률은 18% 정도로 낮았습니다.
비전 영향력 분석: 저자들은 액션 예측에 대한 시각적 입력의 영향을 측정하기 위해 $\Delta_{vision}$ $Δ_{v i s i o n}$ 지표를 도입했습니다.
- 20 에피소드의 경우, $\Delta_{vision}$ 은 0.8–1.2로 낮았으며, 이는 약한 시각 제어를 나타냅니다.
- 200 에피소드의 경우, $\Delta_{vision}$ 은 동결 시 4.5, 해제 시 6.2로 크게 증가하여 강력한 시각 제어를 나타냈습니다.
성공률:
- 20 에피소드: 약 18% 성공.
- 50 에피소드: 약 45–52% 성공.
- 100 에피소드: 약 68–72% 성공.
- 200 에피소드: 74–76% 성공률.
비전 동결 vs. 해제:
- 비전 동결: 낮은 계산 비용(8.4M 학습 가능 파라미터, 약 12시간 학습)으로 74%의 성공률을 달了.
- 비전 해제: 높은 적응 능력(33M 학습 가능 파라미터, 약 18시간 학습)으로 76%의 성공률을 달성.
- 비전 인코더를 해제함으로써 얻은 2%의 성능 향상은 증가된 자원 비용에 비해 미미했으며, 이는 시각 환경이 사전 학습과 유사하다면 자원이 제한된 설정에서는 비전 동결이 더 바람직함을 시사합니다.

의의 및 주장

본 논문은 고급 물리적 AI 역량이 더 이상 값비싼 하드웨어를 갖춘 자금력이 풍부한 연구소만의 전유물이 아님을 입증한다고 주장합니다. 효율적인 미세 조정 기술(LoRA + 양자화)과 데이터 요구량에 대한 엄격한 분석을 결합함으로써, 저자들은 다음을 보여줍니다:

접근성: 수십억 개의 파라미터를 가진 VLA 모델을 소비자급 GPU(8GB VRAM) 및 저가형 로봇 팔(SO101)에서 성공적으로 학습시키고 배포할 수 있습니다.
데이터가 병목 구간: 신뢰할 수 있는 배포를 결정짓는 주요 제한 요인은 계산 능력이 아니라 데모 데이터의 양입니다. 본 논문은 견고한 성능(성공률 >70%)과 강력한 시각적 영향력을 달성하기 위해 약 200 에피소드가 필요함을 입증했습니다.
실무 가이드라인: 신뢰할 수 있는 조작을 위해 강력한 시각적 영향력( $\Delta_{vision} > 3.0$ )의 필요성과 시간적 안정성을 위한 액션 청킹의 효과성과 같은 실질적인 통찰력을 실무자들에게 제공합니다.

저자들은 적절한 미세 조정 방법론과 충분한 데모 데이터가 뒷받�된다면, 최첨단 VLA 모델이 민주화되어 정교한 로봇 조작을 더 넓은 연구 및 실무 커뮤니티가 접근할 수 있게 될 것이라고 결론짓습니다.