🤖 AI

PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations

PRTS 는 대비적 표현을 활용하여 오프라인 궤적에서 내재적 목표-수행 가능성 인식을 학습하도록 사전 훈련을 목표 조건부 강화 학습으로 재구성하는 비전-언어-행동 기반 모델로, 이를 통해 전통적인 행동 복제보다 장기적, 접촉이 풍부한, 그리고 제로샷 작업에서 로봇 성능을 획기적으로 향상시킵니다.

원저자: Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Fangzheng Yan, Tian Li, Haitong Tang, Sen Fu, Xuan'er Wu, Qizhen Weng, Weinan Zhang, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Fangzheng Yan, Tian Li, Haitong Tang, Sen Fu, Xuan'er Wu, Qizhen Weng, Weinan Zhang, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 집안일을 가르친다고 상상해 보세요. 대부분의 현재 로봇은 모방을 통해 학습합니다. 인간이 어떤 작업 (예: 컵을 집어 올리기) 을 수행하는 영상을 보고, 그들이 보는 정확한 움직임을 복사하려 합니다. 이는 학생이 춤 동작을 외워서 암기하는 것과 같습니다. 음악이 바뀌거나 조명이 꺼지거나, 무용수가 다른 위치로 이동하면, 학생은 혼란을 느껴 춤을 멈춥니다. 그들은 어떻게 움직여야 하는지는 알지만, 왜 움직이는지, 혹은 어디로 가고 있는지는 진정으로 이해하지 못합니다.

이 논문은 PRTS(Primitive Reasoning and Tasking System, 원시 추론 및 작업 시스템) 라는 새로운 유형의 로봇 두뇌를 소개합니다. 이는 단순히 움직임을 복사하는 대신, 목표와 진행 상황을 이해하도록 학습합니다.

간단한 비유를 사용하여 작동 방식을 다음과 같이 설명합니다:

1. 문제: "기억만 하는 로봇"

현재의 로봇은 대본을 외운 배우와 같습니다. 대본에 "빨간 컵을 집어 올리라"고 쓰여 있으면, 그들은 그렇게 합니다. 하지만 "파란 컵을 집어 올리라"고 요청하면 (파란 컵을 본 적이 있더라도) 또는 컵이 이상한 곳에 있으면, 그들은 종종 실패합니다. 그들은 방향감이 부족합니다. 목표에 가까워지고 있는지, 아니면 멀어지고 있는지 알지 못합니다.

2. 해결책: "나침반" (대비 강화 학습)

PRTS 는 로봇의 두뇌에 "나침반"을 추가합니다. 이는 대비 강화 학습(Contrastive Reinforcement Learning) 이라는 기술을 사용합니다.

비유: 캠프파이어 (목표) 를 찾으려 어두운 숲속에 있다고 상상해 보세요.
- 구형 로봇: 그들은 지난번에 걸어온 경로만 기억합니다. 나무들이 움직이면 길을 잃습니다.
- PRTS: 그들은 "이걸로 한 걸음 내디디면, 불꽃에 가까워지는가?"라고 묻는 법을 배웁니다. 매 단계마다 "잘했다!"라고 알려주는 지도나 교사가 필요하지 않습니다. 대신, 두 가지를 비교하며 학습합니다:
  1. "이 행동을 하면, 목표 방향으로 가고 있는 것처럼 보이는가?" (예/좋음).
  2. "이 다른 행동을 하면, 다른 목표 방향으로 가고 있는 것처럼 보이는가?" (아니요/나쁨).

이를 수백만 번 반복함으로써 로봇은 언어로 주어진 특정 목표에 도달할 확률에 따라 모든 행동에 점수를 매기는 내부 지도를 구축합니다.

3. 마법 같은 트릭: 두 가지를 동시에 수행

보통 로봇에게 "목표를 이해하는 법"을 가르치고 "팔을 움직이는 법"을 가르치는 것은 별도의 수업입니다. 먼저 두뇌를 가르치고, 그 다음 근육을 가르칩니다. 이는 느리고 비용이 많이 듭니다.

PRTS 는 한 번의 수업에서 동시에 두 가지를 학습하기 때문에 영리합니다.

비유: 학생이 한 장의 종이에 에세이 (행동) 를 쓰고 동시에 수학 문제 (목표) 를 풀어야 하는 시험을 치른다고 상상해 보세요.
PRTS 는 로봇의 입력부에 두 개의 작고 보이지 않는 "스티커 메모"를 추가함으로써 이를 수행합니다. 한 메모는 행동을 추적하고, 다른 하나는 목표를 추적합니다.
로봇의 두뇌는 전체 장면을 처리하고 행동을 작성하면서 동시에 "수학 문제"를 확인합니다 (이 행동이 목표를 향해 가고 있는가?). 속도를 늦추지 않습니다. 이 방식은 매우 효율적이어서 이전의 더 단순한 방법과 거의 동일한 컴퓨터 성능 비용으로 작동합니다.

4. 결과: "생각할 수 있는" 로봇

저자들은 시뮬레이션과 실제 로봇 (두 팔과 한 팔) 에서 PRTS 를 테스트했습니다. 다음과 같은 결과가 나왔습니다:

"장기적" 테스트: "차 만들기" (물 끓이기, 컵 가져오기, 차 넣기 등) 와 같은 긴 작업 연쇄를 수행하라고 요청했을 때, PRTS 는 중간에 길을 잃지 않았습니다. 여전히 길을 잘 가고 있는지 확인하기 위해 "나침반"을 계속 확인했습니다.
"새로운 지시" 테스트: 훈련된 빨간 블록 대신 "파란 블록을 집어 올리라"고 로봇에게 말하면, 그들은 즉시 알아냅니다. 그들은 단순히 "X 위치의 물체를 잡는다"는 것을 외운 것이 아니라, "'파란'이라는 단어와 일치하는 물체를 잡는다"는 것을 이해했습니다.
"인간 방해" 테스트: 이것이 가장 인상적인 부분입니다. 로봇이 테이블 위에 블록을 놓으려 할 때, 인간이 블록을 낚아채 다른 곳에 다시 놓는다고 상상해 보세요.
- 구형 로봇: 그들은 혼란을 느껴, 블록이 있었던 곳에 놓으려 하거나 그냥 멈춥니다.
- PRTS: 그들은 즉시 "아, 목표는 여전히 '블록을 테이블 위에 놓는 것'이지만, 블록이 움직였구나. 다시 가서 가져와야겠다"라고 깨닫습니다. 그들은 인간처럼 회복하여 작업을 완료합니다.

요약

PRTS 는 단순히 "복사"하는 것을 멈추고 "추론"하기 시작하는 로봇 두뇌입니다. "이 단계가 내가 하라고 요청된 일에 가까워지게 하는가?"라고 끊임없이 묻는 방식으로 목표 (단어) 와 행동을 연결하는 법을 배웁니다.

이러한 "방향감"을 방대한 양의 데이터를 통해 처음부터 학습하기 때문에, 이전의 로봇들보다 새로운 상황, 긴 작업, 그리고 실수를 처리하는 데 훨씬 능숙해집니다. 이는 로봇을 무심한 모방자에서 목표 지향적인 조력자로 변화시킵니다.

다음은 논문 "PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations"에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재의 비전 - 언어 - 행동 (VLA) 모델은 비전 - 언어 모델 (VLM) 을 지각 백본으로 활용하여 로봇 제어 기술을 발전시켜 왔으며, 일반적으로 이중 시스템 아키텍처 (추론을 위한 시스템 2, 제어를 위한 시스템 1) 를 사용합니다. 그러나 기존 접근법들은 근본적인 한계를 안고 있습니다:

정적 대 시간적: 기존 방법들은 사전 훈련을 주로 **지도 행동 복제 (BC)**로 규정하여 정적인 비전 - 언어 의미 상관관계에 집중합니다. 이는 시간이 지남에 따라 현재 상태 - 행동 쌍이 언어로 지정된 목표에 도달할 확률인 **목표 도달 가능성 (goal reachability)**에 대한 내재적 이해가 부족합니다.
가치 추정 병목 현상: 가치 학습을 통합하려는 시도는 종종 별도의 가치 네트워크에 의존하거나, 수동 보상 주석이 필요하거나, 장기 작업에서 부스팅 오류와 높은 분산을 겪는 시간차 (TD) 학습을 사용합니다.
일반화 격차: 명시적인 시간적 인식이 없기 때문에, 이러한 모델들은 "쉬우나 오류가 있는" 상태와 "어렵으나 도달 가능한" 상태를 구분하지 못해 장기 계획, 제로샷 새로운 지시, 그리고 인간의 개입으로부터의 회복에 어려움을 겪습니다.

2. 방법론: PRTS

저자들은 **대조적 강화 학습 (CRL)**을 활용한 **목표 조건부 강화 학습 (GCRL)**을 통해 사전 훈련을 재정의하는 VLA 기반 모델인 PRTS를 제안합니다.

A. 핵심 개념: VLA 를 위한 대조적 RL

행동을 직접 예측하거나 별도의 가치 네트워크를 사용하는 대신, PRTS 는 상태 - 행동 임베딩( $\phi(s, a)$ )과 목표 임베딩( $\psi(l)$ )의 내적이 **로그 할인된 목표 점유율 (log-discounted goal occupancy)**을 근사하는 통합 임베딩 공간을 학습합니다.

이론적 기반: 목표 도달 보상과 조건부 점유 확률 간의 등가성 (Lemma 1) 에 기반합니다.
목적: 모델은 특정 언어 목표를 달성할 수 있는 상태 - 행동 쌍 (양성 샘플) 과 그렇지 않은 쌍 (음성 샘플) 을 구별하도록 학습합니다.

B. 주요 기술적 혁신

언어 조건부 대조적 RL:
- 미래 상태를 기하학적으로 샘플링하는 표준 CRL 과 달리, PRTS 는 전체 궤적에 걸쳐 언어 지시를 고정된 목표로 간주합니다.
- 다중 양성 문제: 단일 언어 목표가 궤적의 모든 시간 단계에 적용되므로, 배치에는 하나의 목표에 대해 많은 양성 쌍이 포함됩니다.
- 시간 가중치: 표준 CRL 의 기하학적 샘플링 분포를 복원하기 위해 저자들은 시간 가중치 방식을 도입합니다. 궤적의 끝 (목표에 더 가까운) 에 가까운 상태 - 행동 쌍은 더 높은 가중치 ( $\gamma^{T-t}$ ) 를 받습니다. 이를 통해 모델은 명시적인 보상 레이블 없이도 목표 도달의 시간적 구조를 학습할 수 있습니다.
- 양방향 목적 함수:
  - 상태 - 행동 $\to$ 언어: $(s, a)$ 를 특정 지시와 정렬합니다.
  - 언어 $\to$ 상태 - 행동: 모델이 궤적 내 상태 - 행동을 목표와의 근접성에 따라 순위 매기도록 하여 시간적 진행을 인코딩합니다.
단일 순전파 아키텍처 (무시할 수 있는 오버헤드):
- PRTS 는 입력 시퀀스에 두 개의 보조 토큰 블록인 <CRL_action>과 <CRL_goal>을 추가합니다.
- 역할 인식 인과적 마스크: 정보 격리를 보장하는 맞춤형 어텐션 마스크 (융합된 CuTe-FlashAttention 커널을 통해 구현됨) 를 사용합니다:
  - <CRL_action> 토큰은 비전/고유감각에만 어텐션하고 (언어는 아님),
  - <CRL_goal> 토큰은 지시문에만 어텐션합니다.
  - 표준 자기회귀 행동 토큰은 표준 인과적 어텐션을 유지합니다.
- 결과: 모델은 단일 순전파로 이산 행동 로짓, 상태 - 행동 임베딩, 목표 임베딩을 생성하며, 기존 행동 복제에 비해 계산 오버헤드가 무시할 수 있을 정도로 낮습니다.
2 단계 훈련 파이프라인:
- 사전 훈련: 행동 복제 (다음 토큰 예측), 보조 작업 (Robot-QA), 양방향 대조적 손실 (loss) 을 위해 VLM 백본을 공동 최적화합니다. 아직 행동 전문가 (Action Expert) 는 연결되지 않습니다.
- 후 훈련: Flow-Matching 기반 행동 전문가 (Diffusion Transformer 기반) 가 연결되어 하류 데이터에서 미세 조정됩니다. 사전 훈련된 백본은 목표 도달 가능성에 대한 사전 지식을 제공합니다.

3. 주요 기여

VLA 사전 훈련의 재정의: 수동 보상 주석이나 별도의 가치 네트워크 없이, reward-free 언어 조건부 대조적 RL 을 VLA 사전 훈련 단계에 직접 확장한 최초의 시도입니다.
내재적 목표 도달 가능성 인식: 학습된 표현은 목표 도달 확률을 정량적으로 인코딩하여 의미적 추론과 시간적 작업 진행 간의 격차를 해소합니다.
효율적인 아키텍처: "역할 인식 인과적 마스크"와 맞춤형 CuTe 커널은 거의 제로에 가까운 계산 오버헤드로 밀집된 목표 도달 가능성 감시를 가능하게 하여, 대규모 모델 (4B 파라미터) 과 방대한 데이터셋 (167B 토큰) 으로 확장 가능하게 합니다.
통합 프레임워크: 단일 VLM 아키텍처 내에서 의미적 추론, 이산 행동 예측, 가치 추정을 통합합니다.

4. 실험 결과

PRTS 는 다양한 데이터셋 (AgiBotWorld, RoboMind, Open X-Embodiment 등) 의 1,678 억 토큰으로 사전 훈련되었으며, 시뮬레이션 및 실제 세계 벤치마크에서 평가되었습니다.

시뮬레이션 벤치마크 (LIBERO, LIBERO-Plus, LIBERO-Pro, SimplerEnv):
- 최고 성능 (SOTA): PRTS 는 강력한 베이스라인 (예: $\pi^0.5$ , ABot-M0) 과 일치하거나 초과하는 최첨단 결과를 달성하면서 훨씬 적은 후 훈련 계산 비용을 사용했습니다 (예: LIBERO 에서 $\pi^0.5$ 의 예산 대비 1/8).
- 장기 작업: LIBERO 의 "Long" 스위트에서 유의미한 향상 (매칭된 예산 베이스라인 94.8% 대비 96.6%) 을 보여 시간적 인식의 유효성을 입증했습니다.
- 강건성: 분포 변화 (카메라, 로봇 상태, 조명, 객체 배치) 하의 제로샷 일반화 및 LIBERO-Pro 의 작업/위치 교란에서 베이스라인을 능가했습니다.
- 제로샷 지시: LIBERO-Pro 의 "작업" 축에서 새로운 지시에 대한 막대한 개선 (31.5% vs $\pi^0.5$ 의 0.8%) 을 보였습니다.
실제 세계 평가 (RealMan Dual-Arm 및 Flexiv Single-Arm):
- 복잡한 조작: 11 개의 양팔 작업에서 **95.9%**의 평균 성공률, 3 개의 세밀한 단일 팔 작업에서 **90.0%**의 성공률을 달성했습니다.
- 인간 개입 회복: 인간이 작업 중 개입했을 때 (예: 실행 도중 객체 제거) PRTS 는 뛰어난 강건성을 보여주었습니다. 베이스라인이 실패하거나 오래된 궤적을 재생하는 것과 달리, PRTS 는 상태를 재평가하고 목표를 달성하기 위해 재계획하는 데 성공했습니다.
- 일반화: 조명, 객체 식별, 공간 배치의 변화 하에서도 높은 성공률을 유지했습니다.
가치 시각화:
- 내적 $\phi(s, a)^\top \psi(l)$ 는 작업 진행과 강한 상관관계를 보였으며, 로봇이 목표에 가까워질수록 증가하고 불일치하는 지시문에서는 낮게 유지되어 모델이 유효한 목표 조건부 가치 함수를 학습했음을 확인했습니다.

5. 의의

PRTS 는 로봇 기반 모델의 패러다임 전환을 의미합니다:

모방에서 추론으로: 단순한 행동 복제 (모방) 를 넘어 목표 도달 가능성 인식을 학습하여 로봇이 목표에 얼마나 가까운지, 그리고 경로가 얼마나 실현 가능한지 이해하도록 합니다.
확장성: 이전에는 작은 의사결정 영역에 국한되었던 대조적 목적 함수가 막대한 비용 없이 대규모 VLA 백본 (4B+ 파라미터) 과 방대한 데이터셋으로 확장 가능함을 입증했습니다.
범용 지능: 사전 훈련 중에 시간적 및 목표 인식 사전 지식을 주입함으로써, PRTS 는 놀라운 제로샷 일반화와 강건성을 달성하여 복잡하고 장기적이며 역동적인 실제 세계 환경을 처리할 수 있는 진정한 범용 목표 지향 로봇 지능으로 가는 길을 제시합니다.