DriveCode: Domain Specific Numerical Encoding for LLM-Based Autonomous Driving

이 논문은 자율주행에서 LLM 의 정밀한 수치 추론과 제어 명령 생성의 한계를 극복하기 위해, 숫자를 토큰이 아닌 전용 임베딩으로 매핑하는 새로운 인코딩 방식인 DriveCode 를 제안하고 그 유효성을 입증합니다.

핵심

🚗 드라이브코드 (DriveCode): 자율주행 AI 가 숫자를 '느끼는' 법

이 논문은 자율주행 자동차를 위한 인공지능 (AI) 을 더 똑똑하고 정확하게 만드는 새로운 기술인 **'드라이브코드 (DriveCode)'**를 소개합니다.

기존의 AI 는 숫자를 읽을 때 마치 우리가 책을 읽듯이 **문자 (토큰)**로 하나씩 쪼개서 봅니다. 예를 들어 "3.14"라는 숫자를 보려면 AI 는 "3", ".", "1", "4"라는 네 개의 글자를 순서대로 읽어야 합니다. 하지만 이 방식은 자율주행처럼 정밀한 숫자 계산이 중요한 분야에서는 큰 약점이 됩니다.

🧩 비유 1: 레고 블록 vs. 점토

기존의 AI 방식은 레고 블록을 쌓는 것과 같습니다.

• 숫자 "3.14"를 만들려면 "3" 블록, "." 블록, "1" 블록, "4" 블록을 하나씩 붙여야 합니다.
• 문제는 AI 가 이 블록들을 붙일 때, "3"과 "4"가 붙으면 3.14 가 되는 것이 아니라, 단순히 글자 나열로 인식할 수 있다는 점입니다. "3.11"이 "3.8"보다 큰지 작은지 헷갈릴 수도 있습니다.

드라이브코드는 이 방식을 점토로 바꿉니다.

• 숫자를 글자 조각으로 자르지 않고, **그 자체로 하나의 연속된 덩어리 (벡터)**로 AI 의 뇌에 직접 넣습니다.
• 마치 숫자를 글자로 읽는 것이 아니라, 숫자의 '크기'와 '의미'를 AI 가 직접 느끼게 만드는 것과 같습니다.

---

🛠️ 어떻게 작동할까요? (두 가지 핵심 도구)

드라이브코드는 AI 에게 두 가지 새로운 장비를 달아줍니다.

1. 숫자 투사기 (Number Projector): "입구"

   • 카메라로 본 영상과 운전자의 지시 (텍스트) 는 그대로 받지만, 숫자가 나오면 이를 특수한 숫자 언어로 변환해서 AI 의 뇌에 넣습니다.
   • 예: "속도가 50km/h 입니다"라는 문장에서 '50'이라는 숫자는 AI 가 이해할 수 있는 숫자 전용 신호로 바뀝니다.

2. 숫자 머리 (Number Head): "출구"

   • AI 가 답을 낼 때, 글자를 하나씩 타이핑하듯 숫자를 쪼개서 말하지 않습니다.
   • 대신 한 번에 숫자 전체를 뿜어냅니다. "속도 50"이라고 말할 때, "5", "0"을 따로 찍지 않고 50이라는 값을 바로 출력합니다.

🚦 왜 이것이 중요한가요?

자율주행에서는 0.1 의 오차도 치명적일 수 있습니다.

• 기존 방식: AI 가 "속도 3.11"이라고 말했는데, 실제로는 "3.8"보다 작다고 잘못 판단해서 급정거를 하거나, 반대로 너무 빠르게 달려서 사고가 날 수 있습니다.
• 드라이브코드 방식: AI 가 숫자의 '크기'를 정확히 이해하므로, "3.11 은 3.8 보다 작다"는 것을 글자 비교가 아닌 수학적 의미로 정확히 파악합니다.

🏆 실험 결과: 더 빠르고, 더 정확함

이론만 좋은 게 아닙니다. 연구진은 실제 자율주행 데이터 (DriveGPT4, OmniDrive 등) 로 실험해 보았습니다.

• 정확도: 차의 진행 경로 (트랙) 를 예측하거나 핸들 각도, 속도를 조절할 때 기존 방법보다 오차가 훨씬 적었습니다.
• 속도: 숫자를 글자 하나하나 만들어 내지 않고, 한 번에 숫자 값을 출력하므로 계산 속도가 더 빨라졌습니다. 자율주행처럼 실시간으로 반응해야 하는 상황에서는 이 '속도'가 생명을 구합니다.

💡 요약

드라이브코드는 자율주행 AI 에게 "숫자를 글자로 읽지 말고, 숫자 그 자체로 이해하라"고 가르친 기술입니다.

한 줄 평:
"기존 AI 가 숫자를 '문자'로 읽느라 헷갈렸다면, 드라이브코드는 AI 에게 숫자를 '직관'으로 느끼게 해줘서, 차를 더 안전하게, 더 똑똑하게 운전하게 만들었습니다."

이 기술이 상용화되면, 우리 모두 더 안전하고 부드러운 자율주행 경험을 할 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• LLM 기반 자율주행의 한계: 대형 언어 모델 (LLM) 은 자율주행의 의사결정 및 계획에 큰 잠재력을 보이지만, 숫자를 텍스트 토큰으로 분할 (discretize) 하여 처리하는 방식은 정밀한 수치 추론에 근본적인 한계가 있습니다.
• 수치 처리의 문제점:
  • 정밀도 부족: 소수점이나 자릿수의 위상적 중요성이 명확히 모델링되지 않아, "3.11 > 3.8"과 같은 잘못된 수치 비교가 발생할 수 있습니다.
  • 효율성 저하: 하나의 숫자 (예: 1.31) 를 생성하기 위해 여러 개의 토큰 ('1', '.', '3', '1') 을 순차적으로 디코딩해야 하므로 계산 비용이 증가하고 지연 시간이 발생합니다.
  • 안전성 위협: 자율주행은 속도, 조향각, 가속도 등 연속적인 물리량에 의존합니다. 텍스트 토큰 기반의 수치 오류는 제어 명령의 불안정성으로 이어져 치명적인 사고를 초래할 수 있습니다.
• 핵심 과제: LLM 이 시각 및 텍스트 정보와 함께 연속적인 수치 신호를 정밀하고 효율적으로 처리할 수 있는 새로운 인코딩 방식이 필요합니다.

2. 제안 방법론: DriveCode (Methodology)

DriveCode 는 숫자를 별도의 텍스트 토큰이 아닌 전용 임베딩 (Dedicated Embeddings) 으로 처리하는 새로운 인코딩 프레임워크입니다.

A. 핵심 구성 요소

1. 데이터 전처리 (Data Preprocessing):

   • 원본 텍스트에서 의미 있는 물리량 (속도, 거리 등) 을 정규 표현식으로 추출합니다.
   • 추출된 숫자는 <number_token>이라는 통일된 특수 토큰으로 대체하고, 원래 숫자 값은 정렬된 리스트로 저장하여 토큰 위치와 엄격하게 매칭시킵니다.

2. 수치 프로젝터 (Number Projector):

   • 입력 단계에서 숫자 값을 LLM 의 은닉 공간 (hidden space) 으로 매핑합니다.
   • 1 차원 숫자 값을 2 층 MLP(Linear + GELU) 를 통해 고차원 임베딩으로 변환하여 텍스트 및 시각 특징과 동일한 차원에서 처리되도록 합니다.

3. 수치 헤드 (Number Head):

   • 출력 단계에서 LLM 의 은닉 상태를 직접 회귀 (regression) 하여 숫자를 예측합니다.
   • 텍스트 헤드가 <number_token>을 생성할 때, 수치 헤드는 해당 위치의 은닉 상태를 기반으로 실제 숫자 값을 출력합니다. 이는 숫자를 한 번의 디코딩 단계로 예측하게 하여 토큰 생성 오버헤드를 제거합니다.

4. 병렬 생성 (Parallel Generation):

   • 텍스트와 숫자가 동시에 생성됩니다. 숫자가 예측되면 즉시 임베딩으로 변환되어 다음 단계의 입력으로 사용되므로, 텍스트 토큰으로 변환하는 과정이 생략됩니다.

B. 손실 함수 (Loss Function)

• 텍스트 손실 ($L_{text}$): 표준 교차 엔트로피 손실 (Next-token prediction).
• 수치 손실 ($L_{num}$):
  • 스칼라 제어 신호 (속도 등) 에 대해서는 $\ell_1$ 회귀 손실.
  • 궤적 예측 (Waypoints) 에 대해서는 $\ell_2$ 거리 손실.
• 총 손실: $L = L_{text} + \lambda L_{num}$ (여기서 $\lambda=1$).

3. 주요 기여 (Key Contributions)

1. 전용 수치 모달리티 설계: 숫자를 텍스트 토큰이 아닌 전용 프로젝터를 통해 LLM 은닉 공간에 직접 매핑하여, 텍스트 및 시각 특징과 통합된 멀티모달 시퀀스로 처리합니다.
2. 직접 수치 회귀 (Direct Numerical Regression): 수치 헤드를 도입하여 은닉 상태에서 직접 숫자를 회귀함으로써, 자연어 응답과 정밀한 수치 예측을 단일 출력 시퀀스에서 동시에 달성합니다.
3. 성능 검증: OmniDrive, DriveGPT4, DriveGPT4-V2 등 다양한 자율주행 데이터셋에서 기존 방법론 대비 궤적 예측 및 제어 신호 생성 성능이 우수함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: DriveGPT4 (실제 주행 데이터), DriveGPT4-V2 (CARLA 시뮬레이션), OmniDrive (nuScenes 기반).
• 성능 비교 (Baseline: ADAPT, DriveGPT4, xVal):
  • 제어 신호 (속도, 조향각): DriveCode 는 RMSE(평균 제곱근 오차) 측면에서 가장 낮은 오차를 기록했습니다. 특히 속도 예측 RMSE 는 1.08, 조향각 RMSE 는 7.71 로 기존 방법보다 정확도가 높았습니다.
  • 궤적 예측 (OmniDrive): 궤적 L2 오차에서 Text 기반 모델 (3.0797m) 대비 DriveCode 가 2.8274m 로 정확도를 크게 향상시켰습니다.
  • xVal 대비 우위: xVal 은 숫자를 스케일링된 임베딩으로 처리하지만, DriveCode 는 전용 프로젝터와 회귀 헤드를 통해 더 안정적이고 정밀한 예측을 가능하게 했습니다.
• 효율성 (Efficiency):
  • 숫자를 여러 토큰으로 나누어 생성하는 대신 단일 단계로 예측하므로, 추론 시 지연 시간 (Latency) 이 감소했습니다. (DriveCode: 3.1798s/sample vs Text: 3.3769s/sample).
• Ablation Study: 입력과 출력 모두에서 수치 정보를 명시적으로 처리하는 DriveCode 가 수치 정보만 출력에서 처리하거나 (Variant), 텍스트로만 처리하는 (Text) 경우보다 성능이 우수함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전성 강화: 자율주행 시스템의 핵심인 연속적인 물리량 (속도, 각도 등) 을 텍스트 토큰의 불확실성 없이 정밀하게 처리함으로써, LLM 기반 자율주행의 안전성과 신뢰성을 높였습니다.
• 실시간성 개선: 숫자 생성에 필요한 디코딩 단계를 줄여 실시간 반응 속도를 개선하여, 실제 주행 환경에서의 적용 가능성을 높였습니다.
• 미래 방향: 폐루프 (closed-loop) 시뮬레이션 환경에서의 실시간 주행 능력 평가 및 다중 스케일 수치 표현 연구를 통해 더욱 견고한 인코딩 체계를 구축할 계획입니다.

요약하자면, DriveCode 는 LLM 이 자율주행 분야에서 직면한 '수치 이해의 한계'와 '생성 효율성' 문제를 해결하기 위해, 숫자를 별도의 연속 임베딩 모달리티로 처리하는 혁신적인 아키텍처를 제안한 연구입니다.