Thousand-GPU Large-Scale Training and Optimization Recipe for AI-Native Cloud Embodied Intelligence Infrastructure

이 논문은 LeRobot 프레임워크를 기반으로 데이터 파이프라인 재구조화, 모델 최적화 (FlashAttention, FP8 등), 그리고 고성능 인프라 구축을 통해 그라 00T-N1.5 모델의 학습 속도를 40 배 가속화한 천 개 GPU 규모의 대규모 분산 학습 플랫폼과 종단 간 평가 시스템을 제시합니다.

핵심

🏭 1. 문제: 로봇이 배울 때 겪는 '지옥 같은' 상황

기존에 로봇이 새로운 기술을 배우려 할 때는 다음과 같은 문제가 있었습니다.

• 데이터가 너무 느려요: 로봇이 눈으로 보고 머리로 생각할 데이터 (영상, 언어 등) 가 너무 방대해서, 학습을 시작하기 전에 데이터를 준비하는 데만 시간이 너무 걸렸습니다. (마치 공장에 원자재가 도착하는 속도가 느려서 기계가 멈춰 있는 것과 같습니다.)
• 학습이 비효율적이에요: 로봇이 "이건 100 자고, 저건 50 자야"라고 길이가 다른 데이터를 다 같은 크기로 맞춰서 (여백을 채워서) 학습시키려다 보니, 쓸데없는 계산만 반복하며 전기를 낭비했습니다.
• 함께 일하기가 어려워요: 천 개의 컴퓨터가 함께 일할 때, 서로 신호를 주고받는 과정에서 대기 시간이 길어져서 전체 속도가 느려졌습니다.

🚀 2. 해결책: "천 개의 GPU 를 가진 클라우드 지능 공장"

저자 팀 (JD 와 주요 대학 연구진) 은 이 문제를 해결하기 위해 JD 클라우드를 기반으로 한 거대한 학습 시스템을 만들었습니다.

📦 비유 1: 데이터 파이프라인 = "고속도로와 물류 센터"

기존에는 데이터가 좁은 길로 들어와서 병목이 생겼다면, 이번에는 **3.2T 초고속 네트워크 (RDMA)**와 레이 (Ray) 기반의 지능형 물류 시스템을 도입했습니다.

• 비유: 마치 물류 센터에서 트럭이 한 줄로 서서 기다리지 않고, 모든 창고가 동시에 열려서 원자재가 순식간에 공장으로 들어가는 것과 같습니다. 덕분에 데이터 준비 시간이 획기적으로 줄었습니다.

⚡ 비유 2: 학습 속도 = "불필요한 여백 제거하기"

기존에는 길이가 다른 문장이나 영상을 학습할 때, 길이가 짧은 것들을 무작정 빈칸 (패딩) 으로 채워서 학습시켰습니다.

• 새로운 방법 (Variable-Length FlashAttention & Data Packing): 빈칸을 채우는 대신, 짧은 문장들을 이어 붙여서 긴 문장을 만들거나, 빈칸 없이 실제 데이터만 딱 맞게 학습시킵니다.
• 결과: 마치 책상 위를 정리해서 불필요한 공간 없이 책만 꽉 채워 놓은 것처럼, 컴퓨터가 계산할 때 쓸데없는 일을 안 하게 되어 속도가 188% 빨라졌습니다.

🏃 비유 3: 비동기 학습 (RL-VLA3) = "조기 출근과 교대 근무"

기존에는 로봇이 시뮬레이션 (가상 세계) 에서 경험을 쌓을 때까지 기다렸다가, 그 데이터를 가지고 학습을 시작하는 '동기식' 방식을 썼습니다. (A 가 끝날 때까지 B 는 기다려야 함)

• 새로운 방법 (RL-VLA3): 완전 비동기 방식을 도입했습니다.
  • 비유: 한 팀이 가상 세계에서 경험을 쌓는 동안, 다른 팀은 이미 그 데이터를 가지고 학습을 하고, 또 다른 팀은 다음 경험을 준비합니다. 기다리는 시간이 0 이 되어, 공장이 24 시간 내내 멈추지 않고 돌아가는 것과 같습니다.
  • 효과: 학습 처리량 (Throughput) 이 최대 126% 증가했습니다.

📈 3. 놀라운 성과: "15 시간이 22 분으로!"

이 모든 기술을 적용했을 때의 결과는 정말 놀랍습니다.

• GR00T-N1.5 모델 학습: 천 개의 GPU 를 사용했을 때, 한 번 학습하는 데 걸리는 시간이 15 시간에서 22 분으로 단축되었습니다. (약 40 배 빨라짐!)
• 정확도 유지: 속도가 빨라졌다고 해서 로봇이 바보가 된 것은 아닙니다. 오히려 정확도는 그대로 유지되거나, 일부 작업에서는 더 좋아졌습니다.
• 압축 기술: 로봇이 작은 장치 (휴대폰이나 로봇 팔) 에도 들어갈 수 있도록 모델을 가볍게 만드는 기술 (FP8 양자화) 을 적용해 속도를 140% 더 높였습니다.

🌟 4. 결론: 로봇과 인간의 새로운 시대

이 논문은 단순히 "컴퓨터를 많이 썼다"는 이야기가 아닙니다. 데이터, 학습 알고리즘, 하드웨어 인프라를 모두 하나로 묶어 최적화함으로써, 로봇이 복잡한 일을 스스로 배우고 수행하는 시대를 앞당겼다는 의미가 큽니다.

한 줄 요약:

"이제 로봇은 더 이상 천천히, 비효율적으로 배울 필요가 없습니다. 천 개의 GPU 가 24 시간 쉬지 않고 일하는 거대한 지능 공장 덕분에, 로봇은 15 시간 걸리던 일을 22 분 만에 마치고, 더 똑똑하고 빠르게 현실 세계에 등장할 준비를 마쳤습니다."

이 기술은 앞으로 우리가 만나는 자율 주행 로봇, 집안일을 도와주는 AI 비서, 복잡한 작업을 수행하는 산업용 로봇들이 더 빨리, 더 똑똑하게 발전하는 토대가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

신체화된 인공지능 (Embodied AI) 은 일반 인공지능 (AGI) 의 핵심 단계이지만, 대규모 산업 적용을 위해 다음과 같은 심각한 병목 현상에 직면해 있습니다.

• 인프라 및 학습 프레임워크의 부재: 수천 개의 GPU 를 활용한 대규모 분산 학습을 위한 산업 수준의 시스템이 부족합니다. 시뮬레이션, 학습, 평가 간의 연계가 미흡하며, 다차원 병렬화 (Multi-dimensional parallelism) 로 인한 통신 및 부하 균형 문제가 해결되지 않았습니다.
• 데이터 엔진의 비효율성: 멀티모달 파일의 혼합 저장으로 인한 시스템 복잡성, 높은 동시성으로 인한 메타데이터 처리 병목, 빈번한 파일 연산으로 인한 지연 시간 증가 및 GPU 데이터 공급 차단 문제가 발생합니다. 기존 데이터 레이크는 대규모 파일의 동적 할당과 클라우드 네이티브 확장성을 지원하지 못합니다.
• 모델 계산의 비효율성: 전통적인 어텐션 메커니즘의 패딩 (Padding) 으로 인한 유효하지 않은 토큰 계산으로 인한 연산 및 메모리 낭비가 심각합니다. 또한, 짧은 데이터를 고정된 길이에 맞추기 위한 패딩으로 인해 하드웨어 활용도가 낮아집니다.

2. 방법론 (Methodology)

저자 팀 (JD AI Infra, Tsinghua University 등) 은 JD Cloud JoyBuilder 플랫폼을 기반으로 오픈소스 LeRobot 프레임워크를 확장하여, 수천 개의 GPU 클러스터에서 작동하는 클라우드 네이티브 신체화된 지능 인프라를 구축했습니다. 주요 기술적 접근 방식은 다음과 같습니다.

가. 전체 아키텍처 및 인프라

• JoyBuilder 플랫폼: NVIDIA Isaac 시뮬레이션 및 LeRobot 표준 데이터를 통합한 클라우드 네이티브 프레임워크.
• 하드웨어: 3.2T RDMA 네트워크를 지원하는 최대 1 만 개 GPU 확장성, 고성능 스토리지 (Yunhai), Ray 기반 탄성 AI 데이터 레이크.
• 분산 학습 전략: 데이터 병렬화 (DP), 파이프라인 병렬화 (PP), 텐서 병렬화 (TP), 전문가 병렬화 (EP), 시퀀스 병렬화 (SP) 를 결합한 3D 병렬 학습 전략을 적용하여 대규모 모델 학습을 최적화했습니다.

나. 모델 수준 최적화 (Model-Level Optimization)

• 가변 길이 FlashAttention (Variable-Length Flash-Attention): 패딩 (Padding) 을 제거하고 유효한 토큰만 계산하도록 하여 연산 낭비를 제거했습니다.
• 데이터 패킹 (Data Packing): 다양한 길이의 짧은 샘플들을 하나의 시퀀스로 결합하여 패딩 없이 최대 컨텍스트 길이에 가깝게 데이터를 구성했습니다.
• π0.5 아키텍처 최적화: 불필요한 시각 토큰을 사전 지식으로 제거하고, 동적 시퀀스 패딩을 도입하여 메모리 및 연산 효율을 높였습니다.
• 정량화 (Quantization): FP8 블록 단위 (Block-wise) 정량화를 적용하여 모델 크기를 줄이고 추론 속도를 높였으며, 시각 모듈은 고정 정밀도를 유지하여 정확도를 보존했습니다.

다. 비동기 학습 파이프라인 (RL-VLA3)

기존 동기식 학습의 병목 현상을 해결하기 위해 RL-VLA3라는 3 단계 비동기 아키텍처를 제안했습니다.

1. 비동기 학습 및 추론: Rollout(환경 상호작용) 과 Actor(정책 업데이트) 를 별도의 GPU 에서 완전히 비동기적으로 실행하여 자원 유휴 시간을 제거합니다.
2. 비동기 상호작용 정책: 배치 크기 ($B_{max}$) 와 대기 시간 ($T_{max}$) 을 기반으로 동적 배칭을 수행하여 대기 시간을 최소화합니다.
3. 스트리밍 생성 (Streaming Generation): 글로벌 배치를 마이크로 배치로 분할하여 데이터가 쌓이는 즉시 학습을 시작하고, 모든 마이크로 배치가 완료된 후 그래디언트를 집계하여 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 업계 최초 수천 GPU 분산 학습 플랫폼: embodied intelligence 를 위한 클라우드 기반 수천 GPU 학습 플랫폼을 최초로 구축하고 검증했습니다.
2. RL-VLA3 비동기 아키텍처: 환경 상호작용부터 정책 업데이트까지 전 과정을 비동기화하여 처리량 (Throughput) 을 극대화하는 새로운 학습 전략을 제안했습니다.
3. 종단 간 최적화: 데이터 파이프라인, 모델 아키텍처 (FlashAttention, Data Packing, Quantization), 인프라 (RDMA, Ray) 를 통합적으로 최적화하여 "데이터 - 저장 - 통신 - 연산"의 깊은 시너지를 달성했습니다.
4. 종단 간 평가 시스템: 학습 - 시뮬레이션 - 평가를 연결하는 폐쇄 루프 시스템을 구축하여 알고리즘 반복을 정량적으로 평가할 수 있는 기준을 마련했습니다.

4. 실험 결과 (Results)

• GR00T-N1.5 모델 학습 속도: 수천 GPU 클러스터와 수억 개의 데이터 규모에서 1 에폭 학습 시간이 15 시간에서 22 분으로 단축되어 40 배의 속도 향상을 달성했습니다.
• 모델 최적화 효과:
  • 가변 길이 FlashAttention + 데이터 패킹: 188% 학습 속도 향상.
  • π0.5 어텐션 최적화: 165% 학습 가속.
  • FP8 정량화: 140% 학습 가속.
• RL-VLA3 비동기 학습: LIBERO 벤치마크에서 기존 동기식 전략 대비 최대 126.67% 의 처리량 증가를 기록했습니다 (최대 59.25%~126.67% 범위).
• 정확도 유지: π0.5 모델의 경우 학습 속도가 40% 이상 빨라졌음에도 불구하고, 손실 값 (Loss) 변화는 0.02% 미만이며 태스크 성공률은 98.4% 에서 98.2% 로 통계적으로 유의미한 차이가 없음을 확인했습니다.
• 확장성 (Scaling): 256 GPU 클러스터에서 안정적인 학습을 검증했으며, 8~24 GPU 구간에서 이상적인 선형 확장성을 보였습니다.

5. 의의 및 전망 (Significance)

• 산업화 기반 마련: 이 프레임워크는 신체화된 인공지능의 대규모 학습과 산업 적용을 위한 핵심 기술적 기반을 제공하며, 차세대 자율 로봇 개발을 가속화합니다.
• AGI 로의 진보: 물리적 세계와 상호작용하는 에이전트의 능력을 인간 수준 이상으로 끌어올려 일반 인공지능 (AGI) 달성의 중요한 단계를 제시합니다.
• 인간 - 기계 통합 시대: 효율적인 학습 인프라와 최적화 기법을 통해 로봇의 복잡한 작업 수행 능력을 향상시키고, 인간과 기계가 협력하는 새로운 시대를 앞당길 것으로 기대됩니다.

이 논문은 단순한 알고리즘 개선을 넘어, 데이터, 모델, 인프라를 아우르는 풀스택 (Full-stack) 최적화를 통해 embodied AI 의 대규모 학습 병목 현상을 해결한 획기적인 사례로 평가됩니다.