🤖 machine learning

Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner

이 논문은 Flow Matching 기법을 도입하여 Decision Pre-Trained Transformer(DPT) 를 다양한 다중 도메인 환경으로 확장함으로써, 기존 알고리즘 증류 (AD) 기반 접근법보다 뛰어난 일반화 성능과 온라인/오프라인 추론 능력을 갖춘 확장 가능한 컨텍스트 내 강화학습 에이전트인 'Vintix II'를 제안합니다.

원저자: Andrei Polubarov, Lyubaykin Nikita, Alexander Derevyagin, Artyom Grishin, Igor Saprygin, Aleksandr Serkov, Mark Averchenko, Daniil Tikhonov, Maksim Zhdanov, Alexander Nikulin, Ilya Zisman, Albina Klep

게시일 2026-04-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrei Polubarov, Lyubaykin Nikita, Alexander Derevyagin, Artyom Grishin, Igor Saprygin, Aleksandr Serkov, Mark Averchenko, Daniil Tikhonov, Maksim Zhdanov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Alexey Zemtsov, Vladislav Kurenkov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

VINTIX II: "상황을 보고 바로 배우는" 초지능 로봇의 이야기

이 논문은 인공지능이 새로운 일을 배울 때, 매번 처음부터 다시 공부하는 대신, "상황을 보고 바로 적응"하는 능력을 어떻게 극대화했는지 설명합니다. 이를 **'맥락 학습 (In-Context Learning)'**이라고 부르는데, 마치 사람이 새로운 게임 규칙을 설명만 듣고 바로 플레이하는 것과 비슷합니다.

이 연구의 주인공은 Vintix II라는 이름의 AI 에이전트입니다. 이 친구는 과거의 경험 (데이터) 을 바탕으로, 새로운 환경에서도 즉시 최상의 행동을 찾아내는 '범용 에이전트 (Generalist Agent)'가 되었습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

1. 문제: 왜 AI 는 새로운 일을 못 할까?

기존의 AI 는 보통 **한 가지 일만 잘하는 '전문가'**였습니다.

비유: 축구만 잘하는 선수가 갑자기 농구 경기에 나가면, 규칙을 몰라서 엉망이 됩니다. 새로운 경기를 하려면 다시 1 년 동안 훈련을 받아야 합니다.
현실: 기존 AI 는 새로운 환경 (예: 공기가 다른 행성, 다른 형태의 로봇 팔) 에 가면 성능이 급격히 떨어졌습니다.

2. 해결책: Vintix II 의 "천재적인 메모리"

Vintix II 는 수백 가지의 다른 환경 (공장, 자율주행, 로봇 팔, 건물 에너지 관리 등) 에서의 경험을 한꺼번에 학습했습니다. 하지만 단순히 많이 본 게 아니라, 어떻게 배우는지 (학습 알고리즘) 를 배운 것입니다.

비유: Vintix II 는 **수천 권의 요리책을 다 읽은 '셰프'**입니다.
- 기존 AI 는 '김치찌개' 레시피만 외운 사람이라, '파스타'를 만들어달라고 하면 당황합니다.
- Vintix II 는 "음식을 만드는 원리 (불 조절, 재료 배합, 시간 관리)"를 통째로 이해했습니다. 그래서 손님이 "오늘은 김치 대신 버섯을 넣고, 매운맛을 줄여줘"라고 하면, 레시피를 새로 외울 필요 없이 그 순간에 맞춰 즉석에서 완벽한 버섯 파스타를 만들어냅니다.

3. 핵심 기술: "유체 (Flow) 로 움직이는 사고방식"

이 논문에서 가장 혁신적인 부분은 **Flow Matching (유체 매칭)**이라는 기술을 사용했다는 점입니다.

기존 방식 (가aussian 분포): AI 가 행동을 결정할 때, "대략 이 정도 방향"이라고 뭉툭한 원형으로만 생각했습니다. (예: "차로 좀 왼쪽으로 가자" -> 정확히 10 도 왼쪽일 수도 있고 20 도일 수도 있음). 복잡한 상황에서는 이 뭉툭한 원이 정답을 놓치기 쉽습니다.
Vintix II 의 방식 (Flow Matching): AI 가 행동을 결정할 때, 물줄기처럼 유연하게 흐르는 생각을 합니다.
- 비유: 물이 흐르는 강을 생각해보세요. 물은 장애물을 만나면 그 모양에 맞춰 자연스럽게 휘어집니다. Vintix II 는 행동도 이렇게 유연하게 변형할 수 있습니다.
- 복잡한 로봇 팔의 움직임이나 자율주행의 급격한 방향 전환처럼, 정답이 여러 갈래로 나뉠 수 있는 상황에서도 가장 자연스러운 물줄기 (최적의 행동) 를 찾아냅니다.

4. 어떻게 훈련했을까? (거대한 데이터의 힘)

이 AI 를 훈련시키기 위해 연구진은 **7 억 8 천만 개가 넘는 데이터 (전환)**를 모았습니다.

규모: 이는 기존 연구보다 3.2 배나 더 많은 양입니다.
다양성: 로봇이 물건을 잡는 것부터 건물의 냉난방을 조절하는 것, 자율주행까지 10 가지의 완전히 다른 분야를 섞어서 훈련시켰습니다.
효과: 마치 다양한 스포츠를 모두 해본 운동선수가, 어떤 종목이든 몸의 밸런스를 빠르게 잡는 것과 같습니다.

5. 실제 성능: "지시 없이도 잘한다"

실험 결과, Vintix II 는 놀라운 능력을 보여주었습니다.

새로운 미션 (테스트): 훈련받지 않은 완전히 새로운 환경에서도, 전문가 (Human Expert) 수준의 75~100% 성능을 냈습니다.
- 비유: 처음 보는 낯선 도시에서, 지도 없이도 현지인처럼 길을 찾아 헤매지 않고 목적지에 도착하는 것과 같습니다.
실시간 수정 (온라인): 처음에는 실수를 하더라도, 몇 번의 시도만으로도 스스로 "아, 이렇게 하면 안 되네"라고 깨닫고 행동을 고쳐 나갑니다.
기존 모델과의 비교: 이전의 유명 모델 (Vintix, REGENT 등) 보다 훨씬 뛰어난 성능을 보였습니다. 특히 데이터를 많이 줬을 때 (프롬프트) 그 실력이 더 발휘되었습니다.

6. 결론: AI 의 미래는 "유연함"

이 연구는 AI 가 하나의 일에만 특화되는 시대를 끝내고, 어떤 상황에서도 유연하게 적응하는 '범용 AI'의 시대를 열었다는 것을 보여줍니다.

핵심 메시지: "정답을 외우는 게 아니라, 상황을 읽고 답을 찾아내는 법을 배우는 AI"가 이제 현실이 되었습니다.
미래: 앞으로 이 기술은 공장에서 로봇이 새로운 부품을 조립할 때, 혹은 자율주행차가 예상치 못한 도로 상황을 마주했을 때, 새로운 지시 없이도 스스로 문제를 해결하는 데 쓰일 것입니다.

한 줄 요약:

Vintix II 는 수백 가지 경험을 바탕으로 '배우는 법'을 익힌 AI 로, 새로운 상황에 직면했을 때 지도 없이도 전문가처럼 즉석에서 최선의 행동을 찾아내는 '천재적인 적응력'을 가졌습니다.

VINTIX II: 의사결정 사전학습 트랜스포머 (DPT) 를 활용한 확장 가능한 컨텍스트 내 강화학습기

이 논문은 Vintix II를 제안하며, 이는 **의사결정 사전학습 트랜스포머 (Decision Pre-Trained Transformer, DPT)**를 다양한 도메인의 연속 제어 (continuous control) 환경으로 확장한 모델입니다. 본 연구는 컨텍스트 내 강화학습 (In-Context Reinforcement Learning, ICRL) 의 가능성을 입증하고, 기존 알고리즘 증류 (Algorithm Distillation, AD) 방식의 한계를 극복하여 일반화 성능을 크게 향상시켰습니다.

1. 문제 정의 (Problem)

일반 목적 에이전트의 부재: 자연어 처리 (NLP) 와 컴퓨터 비전 (CV) 분야에서는 대규모 모델이 다양한 작업을 수행하는 데 성공했지만, 강화학습 (RL) 분야에서는 다양한 작업 다양성을 처리할 수 있는 '대규모 행동 모델 (Large Action Models)' 개발이 뒤처져 있습니다.
기존 ICRL 의 한계:
- Algorithm Distillation (AD): 학습 궤적을 증류하여 컨텍스트 내 학습을 가능하게 했으나, 다양한 도메인으로 확장 시 일반화 성능이 제한적이었습니다.
- 기존 DPT: 단순한 이산 행동 공간에서는 강력한 성능을 보였으나, 복잡한 연속 행동 공간 (Continuous Action Spaces) 과 다중 모드 (multi-modal) 분포를 다루는 데 한계가 있었습니다. 기존 DPT 의 연속 행동 처리 방식 (가우시안 헤드 등) 은 복잡한 행동 사후분포를 효과적으로 포착하지 못했습니다.
목표: 다양한 도메인 (로봇 제어, HVAC, 자율주행 등) 에서 학습된 데이터를 바탕으로, 추론 시 새로운 작업에 적응하고 최적의 행동을 생성할 수 있는 확장 가능한 ICRL 에이전트 개발.

2. 방법론 (Methodology)

2.1 데이터셋 확장 및 구성

대규모 크로스 도메인 데이터셋: 기존 Vintix (Polubarov et al., 2025) 의 데이터셋을 3.2 배 확장하여 총 **7 억 9 천만 개 (709.7M)**의 전이 (transitions) 를 포함하는 데이터셋을 구축했습니다.
범위: 10 개의 서로 다른 도메인 (로봇 조작, HVAC 제어, PDE 최적화, 자율주행 등) 과 209 개의 훈련 작업, 46 개의 평가 작업을 포함합니다.
데이터 수집: Continuous Noise Distillation (CND) 기법을 사용하여 최적의 행동과 하위 최적 행동을 모두 포함하는 풍부한 데이터 분포를 확보했습니다.

2.2 모델 아키텍처: Flow Matching 기반 DPT

기존 DPT 아키텍처를 기반으로 하되, 연속적이고 다중 모드의 행동 분포를 처리하기 위해 Flow Matching을 도입했습니다.

인코더/디코더: 입력 (관측, 행동, 보상) 을 임베딩하고, Transformer 백본을 통해 컨텍스트 정보를 처리합니다.
Flow Matching 헤드:
- 기존 가우시안 헤드 대신 Rectified Flow Matching을 사용하여 행동 분포를 모델링합니다.
- Transformer 의 숨겨진 상태 (hidden states) 를 조건으로 하여 벡터 필드 $v(t, h, x_t)$ 를 학습합니다.
- 추론 시, 단순한 가우시안 분포 $x_0 \sim N(0, I)$ 에서 시작하여 학습된 벡터 필드를 따라 ODE(상미분방정식) 를 수치적으로 적분 (Heun's method) 하여 최종 행동 $x_1$ 을 생성합니다.
- 이는 복잡한 다중 모드 행동 분포를 자연스럽게 샘플링할 수 있게 합니다.

2.3 학습 및 추론 프로세스

학습: DPT 프레임워크를 따르며, 컨텍스트 $C$ 와 쿼리 상태 $o_q$ 가 주어졌을 때 최적 행동 $a^*$ 를 예측하도록 훈련합니다. 손실 함수는 Rectified Flow Matching 목적 함수를 최소화합니다.
추론 (Inference):
- 온라인 (Online): 초기 컨텍스트가 비어있고, 환경과의 상호작용 (관측, 행동, 보상) 이 순차적으로 컨텍스트에 추가되며 에이전트가 실시간으로 적응합니다.
- 오프라인 (Offline): 전문가 시연 데이터로 구성된 고정된 컨텍스트를 제공받아 추론합니다.

3. 주요 기여 (Key Contributions)

크로스 도메인 DPT 확장: 로봇 보행 및 조작, HVAC 제어, PDE 최적화, 자율주행 등 10 개의 다양한 도메인으로 DPT 를 확장하여 성공적으로 훈련시켰습니다.
Flow Matching 통합: 연속적이고 다중 모드의 행동 공간에서 DPT 의 성능을 극대화하기 위해 Flow Matching 헤드를 도입하여, 추론 시 자연스러운 행동 샘플링을 가능하게 했습니다.
대규모 오픈 소스 데이터셋: 209 개의 훈련 작업과 46 개의 평가 작업을 포함하는 7 억 9 천만 개의 전이로 구성된 대규모 크로스 도메인 데이터셋을 공개했습니다.
성능 향상: 기존 AD 기반 모델 (Vintix) 및 REGENT 와 비교하여, 보지 못한 작업 (unseen tasks) 에 대한 일반화 성능과 온라인/오프라인 추론 모두에서 유의미한 개선을 달성했습니다.

4. 실험 결과 (Results)

4.1 훈련 작업 성능

온라인 적응: 컨텍스트 없이 시작하여 환경과 상호작용하는 과정에서 대부분의 도메인에서 빠른 수렴을 보였습니다. Kinetix, ControlGym, MuJoCo, MetaDrive 등에서는 첫 번째 에피소드부터 전문가 수준의 성능에 근접했습니다.
오프라인 성능: 전문가 시연 데이터 (2500 개 전이) 를 컨텍스트로 제공했을 때, 모든 10 개 도메인에서 평균 **+4.1%**의 성능 향상을 보였습니다.

4.2 보지 못한 작업 (Unseen Tasks) 일반화

오프라인 평가: 훈련되지 않은 46 개의 작업에 대해 평가한 결과, MetaDrive, CityLearn, SinerGym, ControlGym 등 여러 도메인에서 전문가 성능의 75% 이상을 달성했습니다.
- Vintix 대비 Bi-DexHands 에서 +17%, MuJoCo 에서 +4%, Meta-World ML45 에서 **+63%**의 개선 효과를 보였습니다.
- REGENT 대비 Meta-World ML45 에서 8.2% 더 높은 정규화된 리턴을 기록했습니다.
온라인 평가 (Cold-start): 초기 컨텍스트 없이 시작했을 때, 10 개 도메인 중 8 개에서 프롬프트가 있는 버전과 유사한 성능을 보였습니다. 이는 모델이 컨텍스트 내 학습을 통해 스스로 보정 (self-correction) 할 수 있음을 시사합니다.

4.3 분석 및 검증

사후분포 샘플링 (Posterior Sampling): 컨텍스트 길이가 증가함에 따라 행동 분포의 엔트로피가 감소하고 분포가 좁아지는 현상을 관찰하여, 모델이 이론적으로 예측한 컨텍스트 내 사후분포 샘플링 행동을 실제로 수행함을 확인했습니다.
Flow Matching vs 가우시안 헤드: 가우시안 헤드와 비교 실험 결과, Flow Matching 헤드가 SinerGym, HumEnv, Meta-World 등 여러 도메인에서 보지 못한 작업에 대한 일반화 성능이 훨씬 우수함을 입증했습니다.
다중 도메인 학습의 효과: 단일 도메인 모델과 비교 시, 다중 도메인 모델이 대부분의 작업에서 동등하거나 더 나은 성능을 보여주어, 크로스 도메인 데이터가 일반화에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

ICRL 의 실용성 입증: Vintix II 는 컨텍스트 내 강화학습이 전문가 증류 (expert distillation) 에 대한 유효한 대안이 될 수 있음을 보여주었습니다.
확장성: Flow Matching 을 통해 복잡한 연속 제어 문제를 해결함으로써, ICRL 이 단순한 그리드 월드를 넘어 실제 로봇 제어 및 복잡한 시스템 제어에 적용 가능함을 증명했습니다.
미래 방향: 현재 모델은 토큰 대 파라미터 비율 (token-to-parameter ratio) 이 낮아 (1 미만), 데이터와 모델 크기를 더 확장할 경우 성능이 더욱 향상될 것으로 기대됩니다. 또한, 추론 시 탐색 (exploration) 능력을 강화하고 입력/출력 차원에 무관한 완전한 일반 목적 에이전트 개발이 향후 과제로 남았습니다.

이 연구는 대규모 행동 모델의 새로운 패러다임을 제시하며, 다양한 환경에서 실시간으로 적응하고 학습할 수 있는 지능형 에이전트 개발의 중요한 이정표가 되었습니다.