🤖 machine learning

Per-Group Error, Not Total MSE: Fine-Tuning Vision-Language-Action Models for 11-DoF Mobile Manipulation

이 논문은 이종 관절 공간을 가진 모바일 매니퓰레이터에 대해 시각-언어-행동(Vision-Language-Action) 모델을 미세 조정할 때, 특정 관절의 실패가 가려지는 것을 방지하고 우수한 실세계 로봇 성능을 보장하기 위해서는 전체 평균 제곱 오차(Mean Squared Error)가 아닌 그룹별 오차를 기준으로 체크포인트를 선택하는 것이 매우 중요하다는 것을 입증한다.

원저자: Pau Montagut Bofi, Mario García Blasco, Tessa Pulli, Markus Vincze

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pau Montagut Bofi, Mario García Blasco, Tessa Pulli, Markus Vincze

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 머그컵을 집어 탁자로 옮기는 것과 같은 복잡한 작업을 수행하도록 훈련시킨다고 상상해 보십시오. 이 로봇은 움직이는 방식도 다르고 역할도 다른 여러 가지 "사지(limbs)"를 가지고 있습니다: 구동부(바퀴), 목(머리), 그리퍼(손), 그리고 팔입니다.

TU 빈(TU Wien)의 Montagut Bofi와 동료들의 논문은 까다로운 문제를 다룹니다: 우리는 언제 로봇이 실세계로 나갈 만큼 "충분히 훌륭하다"고 판단할 수 있는가?

"평균" 점수의 함정

보통 엔지니어들이 로봇을 훈련할 때, 그들은 Total MSE(평균 제곱 오차)라고 불리는 하나의 숫자를 봅니다. 이것은 마치 학생의 **전체 GPA(평점)**와 같습니다.

만약 어떤 학생이 수학에서 'A'를 받고 역사에서도 'A'를 받았지만, 체육에서 'D'를 받았다면, 그 학생의 전체 GPA는 여전히 높게 보일 수 있습니다. 하지만 그 학생이 전문 운동선수가 되기 위해 지원하는 상황이라면, 그 'D' 학점은 높은 GPA에도 불구하고 결정적인 결격 사유가 됩니다.

저자들은 로봇 공학에서도 이 "GPA 함정"이 실제로 존재한다는 것을 발견했습니다. 로봇 모델은 바퀴나 머리를 완벽하게 움직이는 법을 배웠기 때문에 완벽한 "전체 점수"를 가질 수 있습니다. 하지만 정작 팔을 움직이는 데는 형편없을 수 있습니다. "쉬운" 부분(바퀴)이 너무 뛰어나서, "어려운" 부분(팔)이 실패하고 있다는 사실을 가려버리기 때문입니다.

실험: 두 대의 로봇, 하나의 교훈

연구팀은 11개의 서로 다른 움직이는 부품을 가진 Toyota HSR 로봇을 대상으로 두 가지 서로 다른 로봇 뇌(모델)를 테스트했습니다.

"작은" 로봇 (SmolVLA): 이 모델은 이 특정 로봇의 데이터만을 학습하도록 훈련된 더 작은 모델입니다.
- 문제점: 훈련이 진행됨에 따라 로봇은 바퀴와 머리를 빠르게 움직이는 법을 익혔습니다. 하지만 팔과 그리퍼는 배우는 속도가 느렸습니다.
- 결과: "전체 점수"는 훌륭해 보였지만, 로봇은 팔을 제대로 조절하지 못해 계속 실패했습니다. 바퀴가 팔의 실수를 "가리고(masking)" 있었던 것입니다.
"큰" 로봇 (π0.5): 이 모델은 이전에 많은 다양한 로봇들을 접해본 훨씬 더 큰 사전 학습 모델입니다.
- 반전: 연구팀은 이 큰 모델의 나머지 뇌 부분은 고정한 채, 마지막 단계(액션 헤드)만을 가르치는 방식으로 "미세 조정(fine-tuning)"을 시도했습니다.
- 놀라운 결과: 이 미세 조정된 버전은 원래의 큰 모델보다 더 높은 Total Score를 기록했습니다. 수학적으로는 이 모델이 승자여야 했습니다.
- 현실: 하지만 실제 로봇에 적용했을 때, 이 모델은 원래의 모델보다 성능이 더 나빴습니다. 왜일까요? 미세 조정 과정에서 그리퍼와 바퀴를 고치는 데 너무 집중한 나머지, 팔을 움직이는 법을 잊어버렸기 때문입니다.

해결책: "과목별 성적"을 확인하라

저자들의 주요 발견은 단순하지만 강력합니다: 전체 점수만 보지 마십시오. 대신 "과목별 성적"을 확인하십시오.

하나의 큰 숫자 대신, 그들은 오류를 신체 부위별로 나누었습니다:

팔은 얼마나 잘했는가?
그리퍼는 얼마나 잘했는가?
**베이스(바퀴)**는 얼마나 잘했는가?

그들은 "과목별 성적"만이 로봇이 실제 세계에서 어떻게 수행될지를 예측하는 유일한 지표라는 것을 발견했습니다.

작은 로봇의 경우, **베이스(바퀴)**가 약점이었습니다.
큰 로봇의 경우, 미세 조정 후 팔이 약점이었습니다.

시사점

만약 당신이 여러 가지 움직이는 부품을 가진 로봇을 만들고 있다면, 단순히 전체 오차가 가장 낮은 모델을 선택하지 마십시오. 어떤 특정 부분이 실패하고 있는지 확인해야 합니다.

비유: 요리사를 채용한다고 상상해 보십시오. 만약 당신이 그 사람의 "종합 요리 점수"만 본다면, 채소 써는 데는 뛰어나지만 국의 간을 맞추는 데는 젬병인 사람을 채용할 수도 있습니다. 그 사람이 실제로 직무에 적합한지 확인하려면 구체적인 기술(썰기, 간 맞추기, 플레이팅 등)을 확인해야 합니다.

요약하자면: 이 논문은 복잡한 로봇의 경우, 모델이 작업할 준비가 되었는지 결정할 때 전체 오차(평균)보다 **그룹별 오차(각 신체 부위별로 확인하는 것)**가 훨씬 더 신뢰할 수 있는 신호라고 주장합니다.

기술 요약: 전체 MSE가 아닌 그룹별 오차: 11-DoF 모바일 매니퓰레이션을 위한 시각-언어-행동(VLA) 모델의 미세 조정

문제 정의

사전 학습된 시각-언어-행동(VLA) 모델을 모바일 매니퓰레이터에 배포하는 것은 이들의 이질적인 액션 공간(action spaces)으로 인해 독특한 과제를 안겨줍니다. 대부분의 VLA(예: OpenVLA, RT-2)는 6~7개의 데카르트 좌표계 자유도를 가진 고정형 암(fixed-arm) 로봇에 대해 학습되었지만, Toyota Human Support Robot(HSR)과 같은 플랫폼은 팔, 그리퍼, 헤드, 그리고 바퀴 달린 베이스를 아우르는 11개의 관절을 제어해야 합니다.

식별된 핵심 문제는 표준 평가 지표, 특히 **총 평균 제곱 오차(aggregate MSE)**가 이러한 이질적인 공간에서의 중요한 성능 역학을 가린다는 점입니다. 11개의 차원이 하나의 지표로 통합될 때, 예측하기 쉬운 그룹(예: 그리퍼 또는 헤드)이 예측하기 어려운 그룹(예: 모바일 베이스 또는 팔)의 성능 저하를 은폐할 수 있습니다. 결과적으로, 가장 낮은 총 MSE를 가진 체크포인트가 실제 로봇에서 가장 잘 작동하는 모델과 일치하지 않을 수 있으며, 이는 "더 나은" 오프라인 지표가 "더 나쁜" 실세계 결과로 이어지는 역설적인 배포 실패를 초래합니다.

방법론

모델 및 설정

본 연구는 11-DoF HSR를 위해 미세 조정된 두 가지 VLA 아키텍처를 비교합니다:

SmolVLA (450M 파라미터): SmolVLM2-500M을 기반으로 한 경량 모델로, 11차원 출력을 위한 플로우 매칭(flow-matching) 액션 헤드로 구성되었습니다. 이는 LeRobot 커뮤니티 데이터(109k 에피소드, 고정형 암 전용)의 일부로 사전 학습된 후, HSR 전용 텔레오퍼레이션 데이터로 미세 조정되었습니다.
$\pi$ 0.5 (3.3B 파라미터): PaliGemma2를 기반으로 하며, 확산 기반(diffusion-based) 전문가 액션 헤드를 갖춘 대규모 모델입니다. 다양한 임보디먼트(embodiment)를 포함한 모바일 매니퓰레이션 코퍼스로 사전 학습되었습니다.

학습 체계

SmolVLA: 두 단계로 학습되었습니다: (1) 109k HSR 에피소드에 대한 20k 스텝의 사전 학습, (2) 3,971 에피소드의 pick-up 태스크에 대한 50k 스텝의 태스크 특화 미세 조정.
$\pi$ 0.5: 사전 학습된 베이스라인(80k 및 100k 스텝)과 전문가 전용 미세 조정(expert-only fine-tuning) 체계를 사용하여 평가되었습니다. 후자의 경우 메모리 제약으로 인해 3B 파라미터 백본은 동결하고 약 300M 파라미터의 액션 헤드만을 최대 5k 스텝 동안 학습시켰습니다.

평가 프로토콜

저자들은 총 MSE에 의존하는 대신 **그룹별 오차 분해(per-group error decomposition)**를 제안합니다. 11차원 액션 벡터는 네 개의 기능적 그룹으로 나뉩니다:

팔 (5개 관절)
그리퍼 (1개 관절)
헤드 (2개 관절)
베이스 (3개 관절)

오프라인 평가는 홀드아웃(held-out) 데이터에 대해 각 그룹별로 MSE를 계산하는 방식으로 진행되었습니다. 실로봇 검증은 Toyota HSR에서 pick-up 태스크(머그컵 및 크래커 박스)에 대해 60회의 시행(모델당 20회)을 거쳐 4점 척도 루브릭으로 채점되었습니다.

주요 결과

1. SmolVLA: 모바일 베이스의 병목 현상

수렴 역학: 미세 조정 과정에서 그리퍼 오차는 빠르게 감소(92.9% 개선)한 반면, 모바일 베이스 오차는 현저히 느리게 개선(57.8%)되었습니다.
성능 천장: 모바일 베이스가 지속적인 주요 오차 원인으로 남아, 전체 MSE의 상한선을 결정했습니다.
실세계 결과: 최적의 SmolVLA 체크포인트(40k 스텝)는 평균 실로봇 점수 3.5/4를 기록했습니다. 실패 사례는 정확한 주행 능력에도 불구하고 그리핑(grasping) 시 보정이 맞지 않아(물체에 약 20cm 근접했으나 놓침) 발생했으며, 이는 일부 맥락에서 팔의 잔여 오차가 베이스 오차보다 높았던 것과 일치하지만, 근본적인 학습 병목은 베이스였습니다.

2. $\pi$ 0.5: 전문가 전용 학습의 불일치

베이스라인 vs 미세 조정: 사전 학습된 $\pi$ 0.5 베이스라인(80k 스텝)은 실로봇 점수 4.0/4 (20/20 성공)로 가장 높은 성적을 거두었습니다.
역설적 결과: 전문가 전용 미세 조정은 총 MSE를 1.04에서 0.95로 감소(9% 개선)시켰습니다. 그러나 이 "더 나은" 모델은 로봇에서 더 낮은 성능을 보였습니다 (3.75/4, 15/20 성공), 이는 통계적으로 유의미한 차이를 보였습니다 ( $p=0.010$ ).
그룹별 분석: 총 MSE의 개선은 그리퍼와 베이스 그룹의 이득에 의해 주도되었습니다. 그러나 팔 그룹의 오차는 심각하게 악화되었습니다 (MSE 0.30에서 0.59로 증가). 실세계의 실패(물체를 깔끔하게 들어 올리지 못함)는 베이스 오차가 아닌, 이 팔의 오차 악화와 직접적으로 상관관계가 있었습니다.

3. 지표 신뢰성

총 MSE의 실패: $\pi$ 0.5 실험에서 가장 낮은 총 MSE를 가진 모델(전문가 전용 3k)이 로봇에서 가장 성능이 좋지 않았습니다.
그룹별 성공: 실로봇 순위를 일관되게 예측한 오프라인 지표는 팔 그룹 오차였습니다.
통계적 유의성: Mann-Whitney 테스트를 통해 $\pi$ 0.5 80k가 두 미세 조정 변형 모델보다 유의미하게 우수함을 확인했습니다.

주요 기여

"집계 MSE의 함정" 식별: 본 논문은 이질적인 액션 공간의 경우, 총 MSE를 최소화하는 것이 (그리퍼와 같이 오차 크기가 작은 그룹 때문에) 임계한 그룹(예: 팔)의 성능 저하를 초래할 수 있음을 보여줍니다.
그룹별 오차 분해: 저자들은 오차를 조인트 그룹(팔, 그리퍼, 헤드, 베스)별로 분해하는 체계적인 평가 방법을 도입하여, 집계 지표에서는 보이지 않던 학습 역학을 밝혀냈습니다.
실로봇 검증을 통한 오프라인 신호 입증: 60회의 실로봇 실험을 통해, 그룹별 오차가 체크포인트 선택에 있어 총 MSE보다 더 충실한 신호임을 실증적으로 검증했습니다.
병목 현상 식별: 본 연구는 "병목" 그룹이 모델과 학습 체계에 따라 달라짐을 강조합니다:
- SmolVLA의 경우, 병목은 모바일 베이스(사전 학습 노출 부족으로 인한 느린 수렴)였습니다.
- $\pi$ 0.5 전문가 전용의 경우, 병목은 팔(최적화 과정에서의 트레이드오프에 의한 성능 저하)이었습니다.

의의 및 주장

본 논문은 이질적인 액션 공간을 가진 로봇에 배포될 VLA 체크포인트를 선택할 때 그룹별 오차가 총 MSE보다 더 신뢰할 수 있는 신호라고 결론짓습니다.

저자들은 오프라인 지표와 실세계 성능 사이의 불일치가 이질적인 조인트 그룹들을 하나의 지표로 붕괴시킨 결과 발생하는 예측 가능한 현상이라고 주장합니다. 그들은 다음과 같이 단언합니다:

체크포인트는 집계 지표상으로는 경쟁력 있어 보일 수 있지만, 배포에 결정적인 그룹에서는 실패할 수 있습니다.
특정 조인트 그룹이 성능을 제한하는 정도는 모델 아키텍처와 학습 체계(예: 사전 학습 코퍼스의 다양성 vs 미세 조정 데이터의 희소성)에 따라 다릅니다.
실무자들에게는 배포 전 모델을 신뢰하기 전에 어떤 그룹이 현재의 병목인지 식별하기 위해 그룹별 오차를 보고하는 것이 필수적입니다.

본 연구는 근본적인 최적화 불균형(예: 불확실성 가중치 또는 그래디언트 밸런싱)을 해결하는 것을 목표로 하지 않으며, 이를 관찰된 역학의 주요 원인으로 식별함으로써 향후 연구 과제로 남겨두었습니다. SmolVLA와 $\pi$ 0.5의 비교는 통제된 아키텍처 연구라기보다는 가용 가능한 체크포인트 간의 실질적인 비교로 프레임화되었으며, 사전 학습 코퍼스의 차이를 인정하고 있습니다.