💻 computer science

Reshaping Action Error Distributions for Reliable Vision-Language-Action Models

본 논문은 추론 효율성을 저해하지 않으면서 다양한 환경에서 로봇 조작 정책의 강건성과 성공률을 높이기 위해, 최소 오차 엔트로피(Minimum Error Entropy, MEE) 목적 함수를 시각-언어-행동(Vision-Language-Action, VLA) 모델에 통합하여 행동 오차 분포를 재형성할 것을 제안한다.

원저자: Shuanghao Bai, Dakai Wang, Cheng Chi, Wanqi Zhou, Jing Lyu, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Lei Xing, Shanghang Zhang, Badong Chen

게시일 2026-02-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuanghao Bai, Dakai Wang, Cheng Chi, Wanqi Zhou, Jing Lyu, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Lei Xing, Shanghang Zhang, Badong Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 요리를 가르치고 있다고 상상해 보세요. 당신은 인간 셰프가 채소를 써는 영상을 로봇에게 보여주고, 로봇은 그 움직임을 따라 하려고 노력합니다.

현재 대부분의 로봇 학습 방식에서, 스승(컴퓨터 프로그램)은 엄격한 수학 튜터처럼 행동합니다. 로봇이 팔을 움직일 때마다 튜터는 다음과 같이 확인합니다: "목표 지점에 정확히 도달했는가? 만약 1밀리미터라도 어긋났다면, 여기 벌점이 있다." 이것을 **평균 제곱 오차(Mean Squared Error, MSE)**라고 부릅니다. 이는 마치 모든 개별 문제의 최종 점수만을 보고 시험을 채점하는 것과 같습니다.

이 논문의 저자들이 지적하는 문제는, 이 "하나씩" 채점하는 방식이 큰 그림을 놓친다는 것입니다. 로봇이 움직임의 초반에는 몇 번의 크고 서툰 실수를 할 수도 있지만, 그 이후에 완벽하게 스스로를 수정할 수도 있습니다. 반대로, 아주 미세하지만 일관된 오류들이 쌓여서 엉망이 될 수도 있습니다. 기존의 수학 튜터는 이러한 실수들의 패턴에는 관심이 없습니다. 그저 벌점을 합산할 뿐입니다.

새로운 접근 방식: 실수의 "형태"를 바라보기

이 논문은 T-MEE(궤적 수준 최소 오차 엔트로피, Trajectory-level Minimum Error Entropy)라고 불리는 새로운 로봇 교육 방식을 제안합니다.

단순히 로봇이 목표를 맞혔는지 확인하는 대신, T-MEE는 로봇이 전체 작업(예: 컵을 집어 바구니에 담기)을 수행하는 동안 만드는 실수 전체의 집합을 살펴보고 다음과 같이 질문합니다: "이 실수들은 흩어져 있는 혼란스러운 구름처럼 보이는가, 아니면 조밀하고 조직적인 클러스터처럼 보이는가?"

여기에는 다음과 같은 비유가 있습니다:

기존 방식 (MSE): 100명의 학생을 채점하는 선생님을 상상해 보세요. 학생 A가 90점을 받고 학생 B가 10점을 받았다면, 선생님은 단순히 점수를 합산합니다. 선생님은 학생 A가 일관적인지, 혹은 학생 B가 매우 예측 불가능한지에 대해서는 신경 쓰지 않습니다.
새로운 방식 (T-MEE): 선생님은 학급 전체를 봅니다. 선생님은 말합니다. "나는 모두가 높은 점수를 받는 것뿐만 아니라, 모두의 점수가 서로 유사하기를 원한다." 만약 학급의 성적이 10점과 90점이 뒤섞인 혼란스러운 상태라면, 선생님은 그들을 모두 85점이라는 조밀한 그룹으로 모으려고 노력합니다.

로봇의 경우, T-MEE는 모든 오류가 들쭉날쭉하게 흩어지는 대신, 예측 가능한 좁은 클러스터 안에 "옹기종기 모이도록" 만듭니다. 이 방식은 정보 이론의 개념인 엔트로피(혼돈 또는 무작위성의 척도)를 사용합니다. 목표는 엔트로피를 최소화하는 것, 즉 로봇이 무작위하고 거친 실수를 하는 것이 아니라, 일관되고 예측 가능한 실수를 하도록 배우는 것입니다.

실제 적용에서의 작동 방식

연구진은 이 방식을 다양한 로봇 "두뇌"(모델)에 테스트했습니다. 작은 단순한 모델부터 언어와 시각을 이해하는 거대하고 복잡한 모델까지 다양했습니다.

"옹기종기 모이는" 효과: T-MEE를 사용했을 때, 로봇의 실수는 더 조직적으로 변했습니다. 어떤 시도에서는 미친 듯이 날뛰고 어떤 시도에서는 완벽했던 대신, 로봇은 일관되게 우수해졌습니다.
노이즈 처리: 현실 세계는 무질서합니다. 카메라는 흐릿해질 수 있고, 시연(demonstration)은 흔들릴 수 있습니다. 기존의 수학 튜터는 이러한 "이상치(outliers)"(이상하고 거대한 실수) 때문에 혼란을 겪습니다. T-MEE는 로봇이 바나나 껍질에 미끄러진 단 한 번의 순간을 무시하고, 로봇이 보통 어떻게 움직이는지에 대한 전반적인 패턴에 집중하는 현명한 코치와 같습니다. 이는 상황이 잘못되었을 때 로봇을 훨씬 더 견고하게 만듭니다.
적은 데이터로 학습하기: 로봇이 매우 적은 예시를 보았을 때(few-shot learning), T-MEE는 기존 방식보다 더 빠르고 효과적으로 학습하도록 도왔습니다. 이는 마치 로봇이 수천 번 보지 않고도 움직임의 "정신(spirit)"을 파악할 수 있는 것과 같습니다.

결과

연구진은 컴퓨터 시뮬레이션(로봇을 위한 비디오 게임 같은 환경)과 실제 물리적 로봇을 대상으로 테스트를 진행했습니다.

성공률: 거의 모든 테스트에서, T-MEE로 훈련된 로봇이 기존 방식으로 훈련된 로봇보다 더 자주 성공했습니다.
현실 세계: 실제 로봇 팔에서 움직임은 더 부드럽고 신뢰할 수 있게 되었습니다.
비용: 가장 좋은 점은 무엇일까요? T-MEE가 로봇을 더 느리게 만들거나 슈퍼컴퓨터를 요구하지 않았다는 것입니다. 이는 큰 결과를 가져다준 작은 수학적 변화였습니다.

한계점 (The "Operating Range")

논문은 또한 한계점도 발견했습니다. 만약 훈련 데이터가 극도로 불균형하다면(예: 로봇이 한 가지 작업은 1,000번 보는데 다른 작업은 단 한 번만 보는 경우), T-MEE가 데이터 부족을 마법처럼 해결할 수는 없습니다. 중간 정도의 불균형에는 효과적이지만, 특정 작업에 대한 예시가 거의 없는 경우에는 이 방식이 큰 도움을 줄 수 없습니다.

요약

이 논문은 로봇의 스승을 엄격한 점수 기록원(맞고 틀림만을 세는 사람)에서 패턴 코치(로봇이 일관되고 안정적이며 조직적이도록 가르치는 사람)로 업그레이드하는 것이라고 생각하면 됩니다. 개별적인 오류가 아닌 집단적 행동에 집중함으로써 로봇이 자신의 실수를 바라보는 방식을 재구성함으로써, 로봇은 더 많은 컴퓨팅 파워를 필요로 하지 않고도 더 신뢰할 수 있고, 노이즈를 더 잘 처리하며, 더 빠르게 학습하게 됩니다.

기술 요약: 신뢰할 수 있는 시각-언어-행동(VLA) 모델을 위한 행동 오차 분포의 재형성

문제 정의

시각-언어-행동(VLA) 모델은 대규모 시각-언어 모델(VLM)의 추론 및 생성 능력을 활용하여 로봇 조작 분야의 지배적인 패러다임으로 부상했습니다. 그러나 연속적 행동(continuous-action) VLA 모델은 주로 표준 지도 학습 목적 함수, 구체적으로는 회귀를 위한 평균 제곱 오차(MSE)에 의존합니다. MSE는 개별 행동 예측에 대해 효과적인 점 단위 제약(pointwise constraints)을 제공하지만, 이는 오직 고립된 편차 수준에서만 작동합니다.

저자들은 행동 예측 오차를 단순히 고립된 점이 아니라, 시간 및 행동 차원에 따라 진화하는 기저의 오차 분포에서 추출된 샘플로 보아야 한다고 주장합니다. 이러한 분포는 분산(dispersion), 왜도(skewness) 또는 상관된 변동과 같은 구조적 패턴을 보이는 경우가 많으며, 점 단위 회귀 목적 함수는 이를 규제하지 못합니다. 결과적으로, 오차 분포의 집합적 기하학(collective geometry)과 불확실성은 최적화되지 않은 상태로 남게 되며, 이는 특히 퓨샷(few-shot), 노이즈가 많은 환경, 또는 데이터 불균형 상황에서 학습된 정책의 강건성과 일반화 능력을 제한할 수 있습니다.

방법론

이러한 한계를 해결하기 위해, 본 논문은 **최소 오차 엔트로피(Minimum Error Entropy, MEE)**를 VLA 훈련 파이프라인에 도입합니다. MEE는 사전에 정의된 파라미터 형태를 가정하지 않고, 오차 분포의 엔트로피를 최소화하여 오차가 더 조밀하고 구조화된 구성으로 집중되도록 유도하는 정보 이론적 원리입니다.

핵심 공식: 궤적 수준의 MEE (T-MEE)

전통적인 MEE는 일반적으로 스칼라 값의 샘플 수준 오차에 대해 정의됩니다. 저자들은 이를 VLA 행동 예측의 구조적이고 고차원적이며 시간적으로 상관된 특성에 맞게 변형했습니다.

집계(Aggregation): 개별 타임스텝의 오차를 독립적으로 처리하는 대신, 이 방법은 배치(batch), 시간(temporal), 청크(chunk) 차원에 걸쳐 행동 예측 오차를 집계합니다. 이렇게 집계된 오차들은 공유된 오차 확률 변수의 샘플로 취급됩니다.
목적 함수: 저자들은 집계된 오차 분포의 섀넌 엔트로피(Shannon entropy)를 근사하기 위해 이차 레니 엔트로피(quadratic Rényi entropy)를 사용합니다. 목적 함수는 다음과 같이 정의됩니다:
$L_{T-MEE} = -\log \left( \frac{1}{N^2} \sum_{i=1}^N \sum_{j=1}^N \exp \left( -\frac{\|e_i - e_j\|^2}{2\sigma^2} \right) \right)$
여기서 $e_i$ 와 $e_j$ 는 오차 벡터, $N$ 은 총 집계된 샘플 수, $\sigma$ 는 커널 대역폭(kernel bandwidth)입니다.
하이브리드 손실(Hybrid Loss): 오차 분포가 0 근처에 중심을 유지하도록 보장하기 위해(MSE가 제공하는 앵커링 효과), T-MEE 목적 함수는 표준 MSE와 결합됩니다:
$L_{total} = L_{MSE} + \alpha L_{T-MEE}$

가중치 변형 모델

오차 형성에 대한 더 세밀한 제어를 제공하기 위해 두 가지 가중치 변형 모델이 제안되었습니다:

청크 가중 T-MEE (Cw-TMEE): 궤적 전반에 걸쳐 오차를 집계하면서 신뢰할 수 있는 행동 청크를 강조하는 비대칭 가중치 방식입니다.
요소 가중 T-MEE (Ew-TMEE): 개별 오차 샘플의 크기에 기반한 대칭 가중치 방식입니다.

이론적 통찰

본 논문은 T-MEE의 최적화 동작을 특징짓는 이론적 분석을 제공합니다:

유사도 가중 상호작용(Similarity-Weighted Interaction): T-MEE는 각 오차 샘플이 서로의 유사도에 비례하여 끌어당겨지는 상호작용을 유도하며, 이는 단순히 크기를 벌점화하는 것을 넘어 오차 공간의 집합적 기하학을 규제합니다.
강건성(Robustness): 이 방법은 커널 기반 가중치를 통해 극단적인 편차의 영향을 적응적으로 억제하므로, 비가우시안 노이즈 및 이상치(outliers)에 대해 본질적으로 강건합니다. 이는 선형적인 그래디언트 성장을 보이는 MSE와 대조적입니다.
멀티태스크 결합(Multi-Task Coupling): 불균형 상황에서 T-MEE는 오차 분포의 중첩에 의해 제어되는 태스크 결합을 유도합니다. 이는 완만한 불균형은 완화할 수 있지만, 소수 태스크의 감독(supervision)이 심각하게 부족한 극단적인 불균형 상황에서는 여전히 성능 저하가 발생할 수 있습니다.

실험 결과

제안된 접근 방식은 다양한 VLA 아키텍처(소규모 BC-RNN/Transformer부터 GR00T, OFT, $\pi_0$ , DS-VLA와 같은 대규모 모델까지)와 다양한 훈련 환경에서 평가되었습니다.

시뮬레이션 벤치마크 (LIBERO & SimplerEnv):
- 표준 설정: T-MEE를 포함하면 모든 모델 규모에서 성공률이 일관되게 향상되었습니다. 소규모 모델(예: BC-RNN)의 경우 평균 성공률이 최대 +13.3%까지 향상되었습니다. 대규모 모델은 보다 완만하지만 일관된 이득을 보였습니다 (예: +0.5% ~ +2.4%).
- 퓨샷 학습(Few-Shot Learning): T-MEE는 데이터 효율성을 높였으며, 훈련 데이터 양이 적어질수록 성능 향상이 더욱 두드러졌습니다.
- 노이즈 환경: 다양한 오염(모션 블러, 솔트 앤 페퍼 노이즈, 코시 노이즈, 임펄스 노이즈) 하에서도 T-MEE는 MSE 베이스라인보다 일관되게 우수한 성능을 보였으며, 비가우시안 노이즈에 대한 이론적 강건성을 입증했습니다.
- 불균형 데이터: T-MEE는 경미하거나 중간 정도의 태스크 수준 불균형에서 성능을 개선했습니다. 그러나 극단적인 불균형(비율 40:1) 상황에서는 이득이 줄어들었으며, 이는 해당 방법의 실질적인 작동 범위에 대한 이론적 발견과 일치합니다.
실제 로봇 공학 (Real-World Robotics):
- 물체를 놓거나, 화이트보드를 닦거나, 컵을 건네주는 등의 작업을 수행하는 Agilex Cobot Magic 플랫폼에서 평가되었습니다.
- T-MEE는 베이스라인인 GR00T 모델에 비해 더 부드러운 궤적, 적은 수정 동작, 더 높은 성공률을 보여주었으며, 시뮬레이션에서 물리적 시스템으로의 효과적인 전이를 입명했습니다.
효율성: 이 방법은 추가적인 훈련 비용을 거의 발생시키지 않았으며 추론 효율성에도 영향을 미치지 않았습니다.

주요 기여

분포적 관점: 본 연구는 VLA 모델의 행동 오차를 점 단위 회귀를 넘어 오차 분포의 전역적 구조를 특징짓는 분포적 관점에서 재평가합니다.
방법론적 혁신: 연속적 행동 VLA 훈련에 특화된 궤적 수준의 MEE (T-MEE) 및 두 가지 가중치 변형 모델(Cw-TMEE, Ew-TMEE)을 제안합니다.
이론적 규명: MEE 기반 감독이 왜 효과적인지를 설명하는 이론적 분석을 제공하며, 유사도 가중 상호작용, 이상치에 대한 강건성, 멀티태스크 상황에서의 동작을 상세히 기술합니다.
포괄적인 실증적 검증: 다양한 아키텍처, 모델 규모, 데이터 환경(균형, 퓨샷, 노이즈, 불균형) 및 시뮬레이션과 실제 환경 전반에 걸친 광범위한 실험을 통해 일관된 성공률 향상과 강건성을 입증했습니다.

의의 및 주장

본 논문은 정보 이론적 원리를 통해 행동 오차 분포를 재형성하는 것이 연속적 행동 VLA 모델의 신뢰성을 높이는 원칙적인 방법이라고 주장합니다. 오차 엔트로피를 최소화함으로써, 이 방법은 강력한 파라미터 가정을 요구하지 않고도 더 조밀하고 구조화된 오차 구성을 촉진합니다.

저자들은 T-MEE가 데이터 효율성을 높이고 노이즈 및 이상치에 대한 탄력성을 개선하는 강력한 규제 도구 역할을 한다고 강조합니다. 이 방법은 광범위한 설정에서 효과적이지만, 그 이점이 제한적이라는 점 또한 명시합니다. 구체적으로, 감독이 매우 부족한 소수 태스크의 심각한 데이터 부족 문제를 완전히 보완할 수는 없습니다. 본 연구는 분포 수준의 감독이 더 일반화 가능하고 강건한 로봇 정책을 구축하기 위한 표준적인 점 단위 회귀 툴킷의 가치 있는 보완책임을 시사합니다.