🤖 machine learning

Task Robustness via Re-Labelling Vision-Action Robot Data

이 논문은 사전 학습된 시각-언어 모델(Vision-Language Models)을 활용하여 기존 로봇 데이터셋을 다양한 의미론적 하위 작업과 언어적으로 다양화된 지시문으로 재라벨링하고 증강함으로써, 추가적인 데이터 수집 없이도 새로운 작업에 대한 로봇 정책의 계획 및 언어 조건부 일반화 능력을 크게 향상시키는 확장 가능한 프레임워크인 TREAD를 소개한다.

원저자: Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 "샌드위치를 만들고 나서 테이블을 치워라"와 같은 복잡한 식사 과정을 가르치려고 한다고 상상해 보세요. 당신은 사람이 이 과정을 수행하는 영상을 로봇에게 보여줍니다. 로봇은 영상 전체를 관찰하며 그것을 따라 하려고 노력합니다.

이 논문에 따르면 문제는 현재의 로봇들이 우리가 주는 '단어'를 이해하는 데 매우 서툴다는 점입니다. 만약 당신이 이전에 "샌드위치를 집어라(Pick up the sandwich)"라고 말했는데, 이번에 "샌드위치를 잡아라(Grab the sandwich)"라고 말한다면 로봇은 얼어붙을 수 있습니다. 이는 마치 시험 정답을 통째로 외웠지만, 선생님이 질문의 문구만 살짝 바꿔도 낙제하는 학생과 같습니다.

또한, 우리가 가진 훈련용 영상들은 너무 길고 무질서한 경우가 많습니다. 로봇은 "샌드위치 만들기"라는 하나의 긴 영상을 보지만, 개별적인 단계들을 명확히 이해하지 못합니다: 1. 빵을 가져온다, 2. 치즈를 가져온다, 3. 빵 위에 치즈를 올린다. 로봇은 그저 움직임의 덩어리(blur of motion)만을 볼 뿐입니다.

여기 TREAD(Task Robustness via RE-Labelling Vision-Action Robot Data)가 등장합니다.

TREAD를 새로운 영상을 촬영할 필요 없이 로봇을 더 잘 가르칠 수 있도록 도와주는, 아주 똑똑한 AI 기반의 영화 편집자이자 시나리오 작가라고 생각해보세요. TREAD가 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다.

3단계 마법 주문

1. "장면 분해" (Segmentation)
누군가 레고 성을 만드는 10분짜리 영화가 있다고 상상해 보세요. 로봇이 한꺼번에 배우기에는 너무 깁니다.
TREAD는 거대한 AI 두뇌(Vision-Language Model)를 사용하여 그 영화를 관찰하고 이렇게 말합니다. "좋아, 이 영상을 작은 장면들로 나누자."

컷 1: "빨간 블록을 집는다."
컷 2: "빨간 블록을 파란색 베이스 위에 놓는다."
컷 3: "타워 부품을 집는다."
AI는 긴 영상을 각각의 구체적인 지시어가 담긴 작고 의미 있는 조각들로 자동 분할합니다.

2. "대본 재작성" (Re-labelling)
이제 로봇이 "빨간 블록을 집어라"라는 문구만 알고 있다고 가정해 봅시다. 만약 당신이 "작은 빨간 벽돌을 잡아라"라고 말하면 로봇은 혼란에 빠집니다.
TREAD는 창의적인 작가처럼 행동합니다. 로봇이 블록을 집어 올리는 짧은 영상 클립을 보고, 실제로 무엇을 하고 있는지 묘사하면서 동일한 동작을 표현하는 수많은 다른 방식의 문장을 작성합니다.

원래 문구: "빨간 블록을 집어라."
새로운 버전 A: "작은 빨간 벽돌을 잡아라."
새로운 버전 B: "파란색 옆에 있는 빨간 블록을 가져가라."
새로운 버전 C: "빨간 물체를 들어 올려라."
이렇게 함으로써, 로봇은 "잡다(grab)", "집다(pick up)", "가져가다(take)"가 모두 같은 의미라는 것과, "빨간 블록"과 "빨간 벽돌"이 같은 물체라는 것을 배웁니다.

3. "연습 세션" (Training)
마지막으로, 로봇은 이 새롭고 풍부해진 데이터 라이브러리를 바탕으로 훈련받습니다. 100개의 길고 지루한 영상을 보는 대신, 로봇은 수천 개의 짧고 명확한 클립과 동일한 동작을 설명하는 수백 가지의 다양한 표현들을 보게 됩니다.

이를 시도했을 때 어떤 결과가 나왔나요?

연구진은 이 방법을 Octo와 π0-FAST라는 로봇 학습 시스템에 테스트했습니다. 이들은 LIBERO(로봇을 위한 가상 주방 및 거실 환경)라는 표준 테스트 세트를 사용했습니다.

결과: TREAD의 도움을 받아 훈련된 로봇들은 이전에 본 적 없는 지시를 훨씬 더 잘 따랐습니다.
"움직임"의 승리: 로봇이 익숙한 작업(task)을 수행하되 새로운 방(환경)에 놓였을 때, 성공률이 훨씬 높았습니다. 이는 마치 특정 서랍의 손잡이만을 외운 것이 아니라, "서랍을 여는 개념" 자체를 배운 학생과 같았습니다.
"언어"의 승리: 연구진이 요청 방식을 바꾸었을 때(예: "컵을 탁자 위에 놓으세요" 대신 "컵을 탁자 위에 두세요"라고 말함), TREAD로 훈련된 로봇들은 즉각적으로 이해했습니다. 기존의 로봇들은 종종 멈춰버리곤 했습니다.

핵심 요약

이 논문은 로봇을 더 똑똑하게 만들기 위해 매달 새로운 영상을 촬영할 필요가 없다고 주장합니다. 대신, 이미 가지고 있는 영상을 강력한 AI를 사용하여 작은 단계로 나누고, 지시어를 다양한 방식으로 재작성하면 됩니다.

이것은 로봇을 더 강건하게(robust) 만듭니다. 즉, 당황하지 않고 새로운 방이나 새로운 화법에 대처할 수 있게 합니다. 이는 로봇에게 단 하나의 경직된 대본을 주는 것이 아니라, 사전과 지도를 함께 쥐여주는 것과 같습니다.

참고 사항 (한계점): 저자들은 자신들의 방식이 Gemini와 같이 오픈 소스가 아닌 특정 강력한 AI에 의존하고 있어, 다른 사람들이 똑같이 재현하기 어려울 수 있음을 인정합니다. 하지만 작업을 세분화하고 언어를 다양화하는 것이 로봇 학습에 도움이 된다는 것이 이 논문의 핵심 결론입니다.

기술 요약: 시각-행동 로봇 데이터의 재라벨링을 통한 작업 강건성 확보 (TREAD)

문제 정의

최근 로봇 학습 모델을 확장하려는 노력은 새로운 시나리오에도 일반화할 수 있는 정책(policy)들을 만들어냈습니다. 그러나 이러한 정책들은 텍스트 기반 지시사항을 안정적으로 따르는 데 있어 빈번하게 어려움을 겪습니다. 저자들은 이러한 약점이 기존 로봇 데이터셋의 언어적 및 행동 시퀀스의 다양성 부족 때문이라고 분석합니다. 협업 노력을 통해 데이터셋의 크기는 확장되었지만, 이러한 데이터셋들은 종종 모달리티 불균형 문제를 겪습니다. 즉, 여러 개의 하위 목표(sub-goals)를 포함하는 길고 복잡한 궤적(trajectories)은 존재하지만, 증가하는 이미지-행동 프레임에 비해 고유한 지시문(instruction)의 수는 적기 때문에 언어적 다양성이 "희석"됩니다. 현대적인 로봇 학습 시스템의 요구에 맞춰 수천 개의 데모 영상을 수동으로 다시 주석(re-annotation)하는 것은 규모를 키우기에 적합하지 않습니다.

방법론: TREAD 프레임워크

본 논문은 새로운 데이터를 수집하지 않고도 기존 로봇 데이터셋을 증강하기 위해 대규모 시각-언어 모델(VLM)을 활용하는 확장 가능한 프레임워크인 TREAD(Task Robustness via RE-Labelling Vision-Action Robot Data)를 소개합니다. 이 프레임워크는 사전 학습된 VLM(실험에서는 특히 Gemini Pro 2.5 사용)을 사용하여 반복적인 3단계 과정을 통해 작동합니다:

의미적 하위 작업 생성 (Semantic Sub-task Generation): 원래의 상위 수준 지시문과 초기 장면 프레임이 주어지면, VLM은 목표를 완수하기 위해 필요한 일련의 의미적 하위 작업 설명(semantic sub-task descriptions)을 생성합니다. 결정적으로, 모델은 장면의 맥락(예: 서랍이 열려 있는지 닫혀 있는지 판단)에 따라 하위 작업의 수를 조정합니다.
시간적 분할 (Temporal Segmentation): VLM은 전체 데모 영상을 처리하며, 생성된 하위 작업 목록을 사용하여 각 하위 작업이 발생하는 특정 시간 경계(시작 및 종료 시간)를 식별합니다. 이를 통해 단일한 장기 궤적 $(\tau, \ell)$ 을 순서가 있는 라벨링된 하위 궤적 세트 $[(\tilde{\tau}_1, \tilde{\ell}_1), \dots, (\tilde{\tau}_z, \tilde{\ell}_z)]$ 로 분해합니다.
그라운딩된 지시문 다양성 (Grounded Instruction Diversity): 각 하위 궤적에 대해, VLM은 지시문의 다양한 언어적 변형을 생성합니다. 단순한 유의어 교체와 달리, 이 단계는 시각적 맥락(하위 궤적의 첫 번째 프레임)에 기반하여 생성을 조건화합니다. 모델은 객체의 속성(색상, 모양)과 공간적 관계를 포함하여 그라운딩된 파라프레이즈(예: "파란색 머그컵을 집으세요"를 "노트북 옆에 있는 작은 커피 머그컵을 잡으세요"로 변경)를 생성합니다.

결과적으로 생성된 증강 데이터셋은 원본 궤적과 새롭게 분해되고 언어적으로 다양해진 하위 궤적들의 혼합물입니다.

주요 기여

저자들은 두 가지 주요 기여를 합니다:

새로운 프레임워크: TREAD는 궤적을 분해하고 그라운딩된 다양한 언어로 재라벨링함으로써, VLM의 반복적인 쿼리를 활용하여 기존 데이터셋을 체계적으로 증강하고 다양화합니다.
증강된 데이터셋: 저자들은 이 프레임워크를 적용하여 얻은 데이터셋을 향후 연구를 촉진하기 위해 공개합니다.

실험 결과

저자들은 로봇 조작을 위한 시뮬레이션 환경인 LIBERO 벤치마크에서 TREAD를 평가했습니다. 그들은 TREAD로 증강된 데이터셋으로 미세 조정(fine-tuning)된 두 가지 범용 정책인 Octo와 $\pi_0$ -FAST를 원본 데이터로 학습된 베이스라인과 비교했습니다.

모션 일반화 (새로운 환경): 새로운 장면-지시문 쌍에서 테스트했을 때, TREAD의 궤적 분해로 학습된 정책들은 개선된 성능을 보였습니다. 구체적으로, 단일 목표 작업에서 TREAD는 Octo에서 15% 더 높은 성공률을, $\pi_0$ -FAST에서 6% 더 높은 성공률을 달est했습니다. 이러한 이점은 다중 목표 작업에서 더욱 두드러졌는데, TREAD는 Octob의 첫 번째 목표 완료율을 30% 향상시켰습니다.
언어 일반화 (새로운 지시문): 언어적으로 다양하게 변화된 지시문을 준수해야 하는 작업에서 TREAD는 상당한 강건성을 입증했습니다. 단일 목표 작업의 경우, TREAD는 베이스라인 대비 Octo에서 20%, $\pi_0$ -FAST에서 **9%**의 성공률 향상을 보였습니다.
분포 내 성능 (In-Distribution Performance): 증강이 분포 내 작업의 성능을 저해하지 않았습니다. TREAD는 표준 LIBERO-10 장기 궤적 작업에서 베이스라인과 대등한 성공률을 유지했습니다.

저자들은 궤적 분해가 $\pi_0$ -FAST가 가진 내재적인 사전 학습된 시각-언어 이해력이 부족한 Oct에게 특히 가치 있는 귀납적 편향(inductive bias)을 제공했다고 언급했습니다.

의의 및 주장

본 논문은 TREAD가 긴 데모를 세밀하고 그라운딩된 언어-행동 쌍으로 분해함으로써 로봇 데이터셋의 "희석" 문제를 효과적으로 해결한다고 주장합니다. VLM의 전이 가능한 지식을 활용함으로써, 이 방법은 계획 일반화(궤적 분해를 통해)와 언어 조건부 정책 일반화(언어적 다양성 증가를 통해)를 모두 향상시킵니다.

저자들은 이 접근 방식이 추가적인 데이터 수집이나 정책 자체의 구조적 변경 없이도 정책 성능을 개선하며, 따라서 모든 시각-언어-행동(VLA) 아키텍처와 병행하여 적용 가능하다는 점을 강조합니다. 저자들은 폐쇄형 VLM에 대한 의존도가 재현성에 영향을 미칠 수 있다는 한계를 인정하며, 향후 연구에서 오픈 소스 대안을 탐색하고 더 큰 데이터셋에 적용할 것을 제안합니다. 그러나 적절히 분할되고 증강된 소량의 데이터만으로도 현재의 VLA 모델들이 명확한 성능 향상을 보인다는 점을 들어 결론을 맺습니다.