🤖 AI

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

PersonaDrive는 스타일 지시형 데이터셋으로부터 검색된 인간의 주행 시연에 기반하여 주행 행동을 조건화함으로써, 폐쇄 루프 시뮬레이션 에이전트가 별도의 스타일별 재학습 없이도 다양한 인간 유사 주행 스타일(공격적, 중립적, 보수적)을 동적으로 채택할 수 있도록 하며 최첨단 성능을 달성하는 검색 증강 VLA 에이전트 프레임워크이다.

원저자: Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 자동차 운전을 가르치고 있다고 상상해 보세요. 보통 컴퓨터로 이를 시뮬레이션할 때는 도로 위의 다른 차들(즉, "교통량")이 모두 똑같이 행동합니다. 그들은 매우 예의 바르고, 예측 가능하며, 정확히 같은 속도로 주행합니다. 마치 모두가 정해진 안무를 따르는 춤과 같습니다. 하지만 현실 세계의 운전자들은 제각기 다릅니다. 어떤 이들은 공격적으로 끼어들기도 하고, 어떤 이들은 지나치게 조심스러워 느리게 운전하며, 또 다른 이들은 평범하게 운전합니다.

이 논문은 로봇 운전자에게 실제 인간의 운전 스타일이 담긴 "기억 저장소"를 제공함으로써, 컴퓨터 교통 환경을 더욱 인간답게 만드는 새로운 방법인 PersonaDrive를 소개합니다.

이 기술의 작동 원리를 쉬운 개념으로 나누어 설명하면 다음과 같습니다.

1. 문제점: "로봇 교통"의 결함

현재의 주행 시뮬레이터는 물리 법칙(차가 어떻게 회전하거나 멈추는지)에는 뛰어나지만, '성격'을 구현하는 데는 서툽니다. 시뮬레이터는 "질주하는 악마"와 "식료품점에 가는 할머니" 사이를 쉽게 전환하지 못합니다. 이러한 문제를 해결하려는 이전의 시도들은 복잡한 수학이나 AI 규칙을 사용하여 공격적인 운전자가 어떠해야 하는지를 추측하는 방식에 의존했습니다. 저자들은 이것이 음식을 실제로 맛보는 대신, 레시피를 읽어서 그 사람의 맛을 알아내려는 것과 같다고 주장합니다.

2. 해결책: "스타일 라이브러리(Style Library)"

연구진은 실제 인간의 운전 데이터로 구성된 특별한 라이브러리를 구축했습니다.

설정: 8명의 실제 운전자를 주행 시뮬레이터(실제처럼 느껴지는 비디오 게임)에 참여시켰습니다.
과업: 각 운전자에게 동일한 경로를 세 번 주행하도록 하되, 각각 다른 지침을 주었습니다:
1. 보수적(Conservative): 천천히 운전하고, 안전을 우선하며, 모두에게 양보한다.
2. 중립적(Neutral): 정상적으로 운전하며, 규칙을 준다.
3. 공격적(Aggressive): 충돌하지 않는 선에서 최대한 빠르게 운전하고, 끼어들기를 하며, 앞차에 바짝 붙어 간다.
결과: 이제 연구진은 특정 기분에 따른 실제 인간의 행동이 담긴 영상과 데이터로 이루어진 세 개의 별도 "스타일 라이브러리"를 갖게 되었습니다.

3. 마법의 기술: "스마트 사서(Smart Librarian)"

이것이 PersonaDrive의 핵심입니다. 로봇 운전자를 새로운 성격에 맞춰 매번 처음부터 다시 학습시키는 대신, 우리는 검색 증강(Retrieval-Augmented) 시스템을 사용합니다. 이것은 로봇 운전자를 도와 결정을 내리는 스마트 사서와 같습니다.

단계별 과정은 다음과 같습니다:

단계 A: 질문 (현재 상황)
로봇 운전자는 주행 중 특정 상황을 목격합니다 (예: "내 앞에 차가 차선 변경을 하고 있다").
단계 B: 검색 (사서)
로봇은 사서에게 묻습니다: "나는 지금 공격적으로 운전하고 있습니다. 이와 유사한 상황에서 인간이 공격적으로 행동했던 사례를 보여주세요."
- 사서는 즉시 공격적 라이브러리를 검색하여 실제 인간 운전자들이 보여준 완벽한 사례 2~3개를 찾아냅니다.
- 핵심 포인트: 만약 로봇이 보수적으로 운전하고 싶다면, 사서는 즉시 보수적 라이브러리로 전환하여 다른 사례들을 찾아낼 것입니다. 로봇은 새로운 것을 배울 필요 없이, 단지 다른 책을 찾아보기만 하면 됩니다.
단계 C: 학습 (문맥 내 학습, In-Context Learning)
로봇은 이 사례들을 살펴봅니다. 로봇은 "아, 인간이 이 상황에서 공격적이었을 때는 속도를 높이고 차선을 변경했구나"라는 것을 깨닫습니다.
단계 D: 행동
로봇은 그 행동을 모방하여 그에 맞춰 운전합니다.

4. 왜 더 나은가?

재학습 불필요: 보통 로봇이 다르게 운전하도록 만들려면 매번 처음부터 다시 가르쳐야 합니다. 하지만 PersonaDrive를 사용하면 로봇이 참고하는 "라이브러리"만 교체하면 됩니다. 이는 마치 TV 채널을 바꾸는 것과 같습니다. TV(로봇)는 그대로지만, 보여주는 프로그램(운전 스타일)이 즉각적으로 변합니다.
사실성: 로봇이 수학 공식을 따르는 것이 아니라 실제 인간의 행동을 복제하기 때문에, 교통 환경이 훨씬 더 실제처럼 느껴집니다.
성능: 연구진은 표준 주행 테스트(Bench2Drive)를 통해 이를 테스트했습니다.
- 스타일 지침이 없을 때, 로봇은 기존의 최고 모델들보다 더 나은 성능을 보였습니다 (더 높은 점수를 기록하고 충돌이 적었습니다).
- 공격적으로 운전하라는 명령을 받으면, 더 빠르게 주행하고 더 많이 가속했습니다.
- 보수적으로 운전하라는 명령을 받으면, 더 느리고 더 안전하게 운전했습니다.
- 이 방식은 모든 스타일 카테고리에서 다른 방법들보다 가장 높은 점수를 달성했습니다.

요약

PersonaDrive는 자율주행 자동차에게 **무드 링(Mood Ring, 기분 변화를 보여주는 반지)**과 인간의 기억이 담긴 도서관을 주는 것과 같습니다. 어떻게 행동할지 계산하는 대신, 로봇은 바로 그 기분과 상황에서 실제 인간이 어떻게 행동했는지 찾아보고 그것을 복제합니다. 이를 통해 단 한 대의 로봇 운전자가 라이브러리만 교체함으로써 신중한 할머니, 평범한 통근자, 또는 레이서로 즉각 변신할 수 있습니다.

기술 요약: PersonaDrive

문제 정의

자율주행 정책을 훈련하고 평가하는 데 필수적인 폐쇄 루프(closed-loop) 주행 시뮬레이터는 현재 비-자차(non-ego) 교통 에이전트의 행동 다양성 부족 문제를 겪고 있다. 기존 환경은 규칙 기반의 교통 관리자나 단일 행동 모드를 향해 학습된 모델에 의존하며, 이는 보수적인 운전부터 공격적인 운전까지 실제 인간 운전자의 스타일적 이질성을 포착하지 못하는 균질한 교통 상황을 생성한다. 이러한 격차는 병합(merge)이나 비보호 좌회전과 같이 상호작용이 빈번한 시나리오에서 자차(ego) 정책의 일반화 능력을 제한한다.

스타일 변이를 도입하려는 기존의 시도들은 다음과 같은 세 가지 주요 한계점에 직면해 있다:

대리 신호(Proxy Signals): 사후 관찰 라벨이나 LLM이 추론한 보상 가중치에 의존하는 방법들은 특정 스타일로 운전하도록 명시적으로 지시받았을 때의 실제 인간 행동을 포착하기보다는 스타일의 대리물(proxy) 역할을 할 뿐이다.
단일 데이터베이스의 한계: 기존의 검색 증강(retrieval-augmented) 접근 방식은 단일 공유 데이터베이스를 활용하므로, 검색된 예시 중 어떤 것이 특정 주행 스타일과 관련이 있는지 구분하는 것이 불가능하다.
정렬 불일치(Misalignment): LLM을 사용하여 스타일 보상을 근사하는 방식은 스타일 지시와 결과적인 주행 행동 사이에 정렬 불일치 층을 도입한다. 즉, "공격적인 주행"에 대한 LLM의 추정치는 실제 인간의 실행을 반영하지 못할 수 있다.

방법론

저자들은 스타일이 지시된 인간 주행 데이터셋으로부터 검색된 데모에 기반하여 시각-언어-행동(Vision-Language-Action, VLA) 주행 에이전트를 조건화하는 파이프라인인 PersonaDrive를 소개한다. 이 시스템은 세 가지 별도의 단계로 작동한다:

1. 데이터 수집: 스타일이 지시된 인간 주행

$M=8$ 명의 참가자가 참여한 드라이버 인 더 루프(driver-in-the-loop) 리그를 사용하여 통제된 데이터셋을 수집하였다. 각 참가자는 보수적(Conservative), 중립적(Neutral), **공격적(Aggressive)**이라는 세 가지 명시적 지시 하에 CARLA Leaderboard 경로를 주행하였다.

디커플링(Decoupling): 이 설계는 각 참가자가 세 가지 스타일 모두에서 동일한 경로를 주행하게 함으로써 스타일과 운전자 정체성을 분리한다.
주석(Annotations): 데이터에는 전방 RGB, 자차 상태(속도, 스로틀, 스티어링, 명령), GPS 목표 및 웨이포인트가 포함된다. 사후 주석으로는 VQA 장면 설명과 자유 형식의 코멘터리가 포함된다.

2. 3단계 훈련 파이프라인

1단계: 오프라인 트리플렛 마이닝(Offline Triplet Mining)
행동 유사성을 결정하기 위해, 시스템은 시각 데이터와 자연어 문맥(VQA, 코멘터리, 명령 및 실행된 웨이포인트)을 결합한 구조화된 "프레임 문장"을 각 주행 프레임에 대해 구축한다. 결합된 유사도 점수( $\sigma$ )는 동결된 SigLIP 비전 인코더와 동결된 BGE-M3 문장 인코더를 사용하여 계산된다. 이 점수는 훈련용 트리플렛을 마이닝하는 데 가이드 역할을 한다:

Positive (양성): 높은 결합 유사도를 가진 프레임 (동일한 장면, 문맥 및 행동).
Hard Negative (어려운 음성): 시각적 유사도는 높으나 텍스트/문맥 유사도는 낮은 프레임 (다른 명령 또는 속도).
Easy Negative (쉬운 음성): 두 양식(modality) 모두에서 유사도가 낮은 프레임.

2단계: 검색 헤드 훈련(Retrieval Head Training)
동결된 시각적 특징과 학습된 제어 인코더(속도, 스로틀, 스티어링 및 명령 처리)를 융합하는 경량 검색 모델을 훈련한다. 1단계와 달리, 추론 시에는 텍스트 인코더를 사용하지 않는다. 이 모델은 마이닝된 트리플렛을 사용하여 가중치가 부여된 트리플렛 손실(weighted triplet loss)로 훈련되며, 이 손실은 (시각적으로는 유사하지만 행동적으로는 다른) 어려운 음성 샘플의 혼동에 더 큰 벌점을 부여한다. 그 결과, 특정 스타일의 데이터베이스를 쿼리할 수 있는 단일 공유 검색 헤드가 생성된다.

3단계: 인-컨텍스트 파인튜닝(In-Context Fine-Tuning)
VLA 백본(SimLingo/InternVL2-1B 기반)은 검색된 컨텍스트 포인트를 행동 데모로 해석하도록 파인튜닝된다. 훈련 데이터는 스타일 불가지론적(style-agnostic) 궤적과 스타일이 지시된 PersonaDrive 데이터의 혼합으로 구성된다. 모델은 입력으로 명시적인 스타일 라벨을 제공받지 않고도, $K=2$ 개의 검색된 데모와의 유추를 통해 현재 장면의 웨이포인트를 예측하는 법을 배운다.

3. 추론 메커니즘

추론 시, 시스템은 검색 헤드가 쿼리하는 FAISS 인덱스를 교체함으로써(예: "보수적" 인덱스에서 "공격적" 인데로 전환) 주행 스타일을 선택한다. 검색된 상위- $K$ 컨텍스트 포인트는 인-컨텍스트 토큰으로서 현재 관측값 앞에 붙여진다. VLA 백본은 웨이포인트를 예측하며, 이는 PID 컨트롤러에 의해 스로틀, 브레이크, 스티어링 명령으로 디코딩된다. 결정적으로, 스타일별 백본 재학습은 필요하지 않으며, 스타일 전환은 검색 작업(retrieval operation)이다.

주요 기여

스타일 지시 데이터셋: 다양한 교통 시나리오에서 인간 운전자가 세 가지 뚜렷한 스타일을 명시적으로 실행한 새로운 데이터셋으로, 스타일과 운전자 정체성을 분리하여 스타일 조건부 행동의 직접적인 감독을 가능하게 한다.
트리플렛-RAG 아키텍처: 고정된 토큰, 대리 보상 또는 스타일별 모델 파인튜닝 대신 검색된 인간 데모를 통해 스타일 제어를 달성하는 새로운 아키텍처이다. 이를 통해 단일 공유 백본이 여러 뚜렷한 인간 스타일 행동을 지원할 수 있다.
효율적인 스타일 전환: 추론 시 FAISS 인덱스를 교체하는 것만으로 스타일을 변경할 수 있어, 백본을 재학습하거나 여러 모델 가중치를 유지해야 하는 계산 비용을 피할 수 있다.

결과

Bench2Drive 폐쇄 루프 벤치마크에서 평가되었다:

스타일 미지정 성능: 스타일 조건화가 없는 PersonaDrive는 Driving Score(DS) 88.95를 기록하여, SimLingo(85.07)보다 4.6%, HiP-AD(86.77)보다 2.5% 높은 성능을 보였다. 이는 검색 파이프라인이 주행 성능을 해치지 않으면서 폐쇄 루프 주행 능력을 향상시킨다는 것을 입증한다.
스타일 조건부 성능: PersonaDrive는 모든 스타일 조건에서 가장 높은 Driving Score를 달성했다 (공격적: 88.35, 중립적: 87.21, 보수적: 89.16).
- 모든 스타일에서 PersonaDrive는 가장 강력한 베이스라인인 DMW를 5.2에서 8.9 DS 포인트 차이로 앞질렀다.
- 모델은 지시에 따라 행동을 성공적으로 조절했다: 보수적에서 공격적 지시로 이동할 때 평균 속도는 18%, 가속도는 25% 증가했다.
- 성공률은 베이스라인과 경쟁할 만한 수준을 유지하면서도, 효율성 및 쾌적도 지표는 의도된 스타일과 일치했다 (예: 보수적일 때 더 높은 쾌적도, 공격적일 때 더 낮은 쾌적도).

의의 및 주장

논문은 PersonaDrive가 실제 인간의 행동에 근거한 스타일을 통해 시뮬레이션의 균질한 교통과 실제 세계의 이질적인 교통 사이의 간극을 메운다고 주장한다. 스타일을 명시적 인간 지시에 근거한 클래스 수준의 행동 분포로 취급함으로써, 이 시스템은 스타일이 다양한 비-자차 에이전트를 생성할 수 있게 한다.

저자들은 이 접근 방식이 LLM이 추론한 보상의 근사 오류와 단일 데이터베이스 검색의 한계를 우회한다고 강조한다. 백본을 재학습하지 않고도 추론 시 스타일을 전환할 수 있는 능력은, 다양한 인간 스타일의 에이전트로 시뮬레이터를 채워 자율주행 정책의 강건성을 향ert할 수 있는 확장 가능한 솔루션을 제공한다.

본 연구는 연속적인 실제 주행(vs 이산적인 스타일 세트), 현재의 참가자 규모( $M=8$ ), 그리고 시뮬레이션에서의 단일 전방 카메라 뷰에 대한 의존성 등 한계점을 인정한다. 향-후 연구는 연속적인 스타일 모델링, 더 큰 참가자 풀, 그리고 심투리얼(sim-to-real) 전이로 범위를 설정한다.