🤖 AI

Latency Analysis and Optimization of Alpamayo 1 via Efficient Trajectory Generation

본 논문은 다중 추론 아키텍처에서 단일 추론 아키텍처로 재설계하고 비효율적인 커널 연산을 제거함으로써 추론 기반 종단간 자율주행 시스템인 알파마요 1 을 최적화하여 궤적 다양성과 예측 품질을 유지하면서 추론 지연 시간을 69.23% 감소시켰습니다.

원저자: Yunseong Jeon, Namcheol Lee, Yoonsu Lee, Jangwoon Park, Sol Ahn, Jong-Chan Kim, Seongsoo Hong

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunseong Jeon, Namcheol Lee, Yoonsu Lee, Jangwoon Park, Sol Ahn, Jong-Chan Kim, Seongsoo Hong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자율주행차가 붐비는 도시를 주행하는 방법을 가르친다고 상상해 보세요. 과거에는 이러한 차량이 블랙박스처럼 작동했습니다. 도로를 보고 핸들을 돌렸지만, 왜 그런 결정을 내렸는지 아무도 알 수 없었습니다.

최근 이 논문에서 소개된 알파마요 1(Alpamayo 1) 과 같은 새로운 유형의 차량이 인간 운전자를 더 닮도록 설계되었습니다. 단순히 주행만 하는 것이 아니라, "소리 내어 생각"합니다. 움직이기 전에 "보행자 횡단보도가 있으니 속도를 줄이고 있습니다"와 같이 사람이 읽을 수 있는 설명을 생성한 후, 취할 수 있는 몇 가지 가능한 경로를 예측합니다.

이 논문의 연구자들은 이 똑똑한 차량을 관찰하며 다음과 같은 질문을 던졌습니다: "매우 똑똑하지만, 매우 느립니다. 똑똑함을 잃지 않고 속도를 높일 수 있을까요?"

그들이 문제를 해결한 방식을 간단한 비유로 설명해 보겠습니다.

문제: "복사 - 붙여넣기" 병목 현상

원래 알파마요 시스템은 지나치게 철저한 습관이 있었습니다. 차량이 가장 안전한 것을 선택하기 위해 여섯 가지 가능한 미래 경로 (궤적) 를 예측해야 할 때, 시스템은 다음과 같이 작동했습니다:

경로 #1 에 대한 이유를 생각합니다.
경로 #2 에 대해 완전히 새로운 이유를 생각합니다.
경로 #3 에 대해 완전히 새로운 이유를 생각합니다... 그리고 이어서 계속합니다.

비유: 파티를 위해 여섯 가지 다른 요리를 준비하는 셰프라고 상상해 보세요. 원래 시스템은 모든 요리마다 요리하기 전에 제로부터 완전히 새롭고 상세한 레시피를 작성하는 셰프와 같았습니다. 요리들이 비슷하더라도 셰프는 여섯 가지 다른 레시피를 작성하는 데 시간을 낭비했습니다. 이로 인해 파티가 커질수록 주방 (컴퓨터) 은 매우 느려졌습니다.

해결책 1: "하나의 마스터 계획" (단일 추론)

연구자들은 차량이 실제로 각 경로마다 고유한 레시피가 필요하지 않다는 것을 깨달았습니다. 상황 이해를 위한 하나의 좋은 계획만 있으면 충분했습니다.

그들은 시스템을 재설계하여 차량이 하나의 이유 (예: "보행자가 있으니 조심해야 합니다") 를 생각한 후, 그 동일한 이유를 사용하여 여섯 가지 가능한 경로를 모두 생성하도록 했습니다. 경로는 여전히 다르게 보입니다. 차량이 운전 동작에 약간의 무작위성을 추가하기 때문입니다. 마치 인간이 같은 차선에 머무르면서 약간 왼쪽이나 오른쪽으로 핸들을 꺾는 것과 같습니다.

결과: 여섯 가지 레시피를 작성하는 대신, 셰프는 이제 하나의 마스터 레시피를 작성하여 여섯 가지 요리를 모두 요리합니다.

요리 맛이 달라졌나요? 아닙니다. 연구자들은 경로를 테스트한 결과, 이전과 마찬가지로 다양하고 안전하다는 것을 발견했습니다.
더 빨라졌나요? 네, 크게 빨라졌습니다. 더 많은 경로를 요청할수록 "생각"하는 데 걸리는 시간이 증가하지 않게 되었습니다.

해결책 2: "조립 라인" (요리 과정 최적화)

하나의 레시피를 사용하더라도 실제 요리 과정 (주행 동작 생성) 은 여전히 번거로웠습니다. 컴퓨터는 메모리 내에서 불필요한 "재료 이동"을 많이 수행했습니다. 경로를 정교하게 만들기 위해 한 걸음을 뗄 때마다 전체 작업 공간을 새로운 테이블로 복사하고, 이전 것을 비운 뒤 다시 시작했습니다.

비유: 캔버스에서 작업하는 화가를 상상해 보세요. 원래 시스템은 한 번의 붓질마다 모든 물감을 포장하고, 새로운 이젤로 이동한 뒤 다시 unpack 하고, 다시 그림을 그리는 화가와 같았습니다. 이 "포장하고 unpack 하는" 과정이 대부분의 시간을 차지했습니다.

연구자들은 다음과 같이 이를 수정했습니다:

작업 공간 미리 설정: 전체 그림 작업 세션에 필요한 모든 것을 담을 수 있는 크고 고정된 작업 공간을 준비했습니다. 더 이상 포장하고 unpack 할 필요가 없습니다.
동작 기록: CUDA graphs 라는 특수 도구를 사용하여 화가의 정확한 손 움직임을 한 번 기록했습니다. CPU 라는 뇌가 GPU 라는 손에게 매번 붓질마다 무엇을 할지 지시하는 대신, 뇌는 "재생"을 누르기만 하면 손은 기록된 움직임을 즉시 반복합니다.

결과: "포장하고 unpack 하는" 시간이 사라졌고, 그림 그리기가 훨씬 빨라졌습니다.

전체적인 그림

이 두 가지 수정 사항을 결합함으로써 연구자들은 자율주행차의 속도를 69% 향상시켰습니다.

이전: 여섯 가지 경로를 생각하고 계획하는 데 약 13 초가 걸렸습니다.
이후: 약 4 초가 걸립니다.

핵심 교훈:
이 논문은 속도를 위해 지능을 희생할 필요가 없음을 증명합니다. 모든 가능성마다 "바퀴를 다시 발명"하거나 (또는 새로운 이유를 작성하거나) 하지 않아도 된다는 점을 깨닫고, 컴퓨터의 메모리를 더 효율적으로 조직화함으로써, 이러한 똑똑하고 추론 기반의 자율주행 시스템을 실생활에서 유용하게 사용할 수 있을 만큼 빠르게 만들 수 있습니다.

기술 요약: 효율적 궤적 생성을 통한 Alpamayo 1 의 지연 시간 분석 및 최적화

문제 제기

추론 기반 종단 간 (E2E) 자율주행 시스템인 Alpamayo 1 과 같은 시스템은 예측된 궤적과 함께 인간이 읽을 수 있는 추론을 생성함으로써 주행 결정의 해석 가능성을 향상시키기 위해 등장했습니다. 그러나 이러한 시스템은 실시간 시나리오에서의 실제 배포를 방해하는 상당한 효율성 문제에 직면해 있습니다.

본 논문은 Alpamayo 1 의 지연 시간 오버헤드의 두 가지 주요 원인을 식별합니다:

다중 추론 아키텍처: 현재 시스템은 각 예측된 궤적마다 별도의 추론 시퀀스 (Chain-of-Thought) 를 생성하는 "다중 추론" 방식을 채택하고 있습니다. 이러한 설계는 추론 지연 시간이 궤적 수에 따라 선형적으로 증가하게 하여 상당한 계산적 중복을 초래합니다.
비효율적인 확산 기반 행동 생성: 궤적을 반복적 확산을 통해 정제하는 행동 생성 모듈은 런타임 비효율성에 시달립니다. 구체적으로, 이 모듈은 모든 반복 단계에서 불필요한 메모리 복사 작업과 재할당을 필요로 하는 동적 키 - 값 (KV) 캐시 관리 방식을 사용합니다. 또한, CPU 에서 반복적으로 수행되는 세밀한 GPU 커널 시작은 상당한 오버헤드와 유휴 시간을 초래하여 지속적인 GPU 실행을 방해합니다.

방법론

저자들은 시스템 아키텍처와 추론 파이프라인의 런타임 실행을 모두 대상으로 하는 양면 최적화 전략을 제안합니다.

1. 아키텍처 재설계: 단일 추론 방식

저자들은 Alpamayo 1 을 다중 추론 시스템에서 단일 추론 시스템으로 재설계합니다.

메커니즘: $N$ 개의 궤적에 대해 $N$ 개의 별도 추론 시퀀스를 생성하는 대신, 시스템은 단일 추론 시퀀스와 해당 KV 캐시를 생성합니다. 이 단일 컨텍스트는 $N$ 개의 무작위 초기화된 행동 시퀀스 배치 전체에 걸쳐 공유됩니다.
근거: 저자들은 궤적의 다양성이 주로 확산 과정에서의 행동 시퀀스 확률적 초기화에 의해 결정되며, 추론 흔적의 변화에 의해 결정되지 않는다고 가정합니다. 추론을 공유함으로써 중복 계산을 제거하면서도 행동 생성 모듈의 확률성을 통해 다양성을 유지합니다.

2. 런타임 최적화: 효율적 행동 생성

확산 기반 행동 생성 모듈 내의 지연 시간을 해결하기 위해 두 가지 구체적인 최적화가 구현됩니다:

정적 KV 캐시 관리: 자율주행은 최대 KV 캐시 크기를 오프라인에서 정밀하게 추정할 수 있는 정적 주기적 애플리케이션임을 인식하여, 저자들은 동적 할당 방식을 정적 사전 할당 전략으로 대체합니다. 고정된 버퍼를 할당하여 최대 필요한 KV 캐시 크기 (단일 궤적의 경우 약 463.74MB) 를 보유합니다. 확산 반복 동안 캐시는 포인터를 사용한 인플레이스 (in-place) 쓰기를 통해 업데이트되어 메모리 복사 및 재할당 오버헤드를 제거합니다.
CUDA Graph 캡처: 행동 생성 과정의 결정론적 특성 (반복 간 고정된 메모리 주소 및 텐서 차원) 을 활용하여 저자들은 CUDA 그래프를 사용합니다. GPU 커널 시작 시퀀스는 워밍업 반복 동안 캡처된 후 단일 그래프로 재생됩니다. 이는 커널 시작당 오버헤드와 관련된 CPU-GPU 동기화 지연을 제거합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

세부 지연 시간 프로파일링: Alpamayo 의 추론 아키텍처를 세분화하여 다중 추론 설계와 동적 KV 캐시 관리가 지배적인 병목 현상임을 식별합니다.
아키텍처 검증: 다중 추론을 단일 추론으로 대체하는 것이 궤적 다양성이나 예측 품질을 의미 있게 저하시키지 않는다는 비교 분석을 통해, 다양한 출력을 위해 여러 추론 흔적이 필요하다는 가정에 도전합니다.
런타임 최적화 기법: 확산 기반 행동 생성에서 반복 간 오버헤드를 제거하기 위한 정적 KV 캐시 관리 및 CUDA 그래프 캡처 구현.

실험 결과

제안된 최적화는 NVIDIA Physical AI 데이터셋 (오픈 루프) 과 AlpaSim 자율주행 시뮬레이터 (클로즈드 루프) 를 사용하여 평가되었습니다.

지연 시간 감소: 결합된 최적화는 종단 간 추론 지연 시간을 69.23% 감소시킵니다. 여섯 개의 궤적을 생성하는 시나리오의 경우, 지연 시간은 기준선 (13.33 초) 에서 최적화 버전 (4.10 초) 으로 감소합니다.
궤적 다양성: 시각적 비교 및 정량적 지표는 단일 추론 방식이 다중 추론 기준선과 비교 가능한 궤적 다양성을 유지함을 나타냅니다. 행동 시퀀스의 무작위 초기화가 다양한 행동을 생성하기에 충분함이 입증되었습니다.
예측 품질:
- 오픈 루프: 단일 추론 방식은 minADE6@6.4s 점수 0.743을 달성하여 기준선의 0.725와 비교 가능합니다.
- 클로즈드 루프: 실패까지의 거리 (DTF) 지표를 사용하여 최적화된 시스템은 137.12m를 달성하여 기준선의 131.58m를 약간 상회하며, 주행 안정성 저하가 없음을 나타냅니다.
구성 요소 분석: 행동 생성 최적화만으로도 단일 궤적의 지연 시간을 24.65% 감소시켰습니다. 그러나 궤적 수가 증가함에 따라 단일 추론 아키텍처의 상대적 이점은 궤적 수에 따른 추론 지연 시간의 선형 증가를 방지함에 따라 크게 커졌습니다.

중요성 및 주장

본 논문은 추론 기반 E2E 자율주행 시스템의 효율성을 향상시키기 위해서는 시스템 아키텍처와 런타임 실행의 공동 분석이 필수적이라고 주장합니다. 단일 추론 흔적이 여러 개의 다양한 궤적을 효과적으로 조건화할 수 있음을 입증함으로써, 저자들은 다중 추론의 계산 비용이 불필요함을 보여줍니다. 또한, 하부 런타임 메커니즘 (메모리 관리 및 커널 시작) 을 최적화함으로써, 기존 기준선 지연 시간이 이전에 실용적이지 않았던 실시간 애플리케이션에서 시스템이 실행 가능해집니다.

이 연구는 미래의 VLA 기반 자율주행 시스템이 단일 추론 아키텍처를 채택하고 정적이며 결정론적인 런타임 최적화를 적용함으로써 해석 가능성, 다양성, 효율성 사이의 균형을 예측 품질을 희생하지 않으면서 달성할 수 있음을 시사합니다.