Each language version is independently generated for its own context, not a direct translation.

🚗 自動運転 AI の「数字が苦手」な問題

まず、現在の自動運転に使われている AI（大規模言語モデル）は、すごい言語能力を持っていますが、「数字」を扱うのが苦手という弱点があります。

今の仕組み（従来の方法）：
AI は数字を「文字」として読んでいます。
例えば、「3.14」という数字を、AI は「3」と「.」と「1」と「4」というバラバラの文字の羅列として認識しています。
- 問題点： これだと、AI は「3.14」と「3.8」のどちらが大きいのか、直感的に理解できません。「3」より「8」の方が文字として大きいから「3.8」の方が大きい？なんて間違った判断をしてしまうことがあります。
- 自動運転でのリスク： 速度が「30km/h」なのか「31km/h」なのか、わずかな違いが事故に直結します。文字として数字を扱うのは、自動運転にはあまりに不正確なのです。

🛠️ DriveCode の解決策：数字を「特別な言語」にする

この論文では、**「DriveCode」**という新しい仕組みを提案しています。

1. 料理の例え：「材料」をそのまま使う

従来の方法：
料理人が「100g の砂糖」というレシピを見て、まず「1」「0」「0」「g」という文字を一つずつ読み、頭の中で「あ、これは砂糖だな」と変換してから調理します。これは時間がかかるし、間違えやすいです。
DriveCode の方法：
料理人が「100g の砂糖」という**「砂糖そのもの（液体や粉末）」**を直接手に取り、そのまま鍋に入れます。
- DriveCode の仕組み：
  数字を「文字」に変換するのではなく、**「数字そのもの（連続した値）」を AI の脳（隠れ層）に直接流し込みます。
  これにより、AI は「3.14」という数字を、文字の羅列ではなく、「3.14 という重さや大きさ」**として直感的に理解できるようになります。

2. 翻訳の例え：「通訳」ではなく「直接会話」

従来の方法：
外国語（数字）を話す人に対して、通訳が「3」と「1」と「4」という単語を一つずつ翻訳して伝えます。通訳のミスで意味が変わる可能性があります。
DriveCode の方法：
数字を話す人と、AI が**「数字の言語」で直接会話**します。
- 入力側： 車の速度や距離などの数字は、AI の脳に「数字のブロック」として直接入力されます。
- 出力側： AI が答えを出すときも、「3」「.」「1」「4」と文字を一つずつ並べるのではなく、「3.14」という数字そのものを一度にポンと出します。

🌟 これによって何が良くなるの？

この「DriveCode」を使うと、自動運転 AI に以下のようなメリットが生まれます。

正確性が劇的に向上：
「3.14」と「3.8」の違いを、AI は文字の並びではなく、**「大きさ」**として正しく理解できるようになります。これにより、速度制御やハンドル操作が非常に正確になります。
処理が速くなる：
文字を一つずつ並べて数字を作る必要がなくなるので、AI が答えを出すまでの時間が短縮されます。自動運転では「瞬時の判断」が命なので、これは非常に重要です。
安全な運転：
数字の誤解による「急ブレーキ」や「曲がりすぎ」などのミスを減らし、より安全に走行できるようになります。

📝 まとめ

この論文は、**「自動運転 AI に、数字を『文字』としてではなく、『数字そのもの』として感じさせる新しい技術」**を開発したという話です。

まるで、AI が「数字の感覚」を生まれつき持っていたかのように振る舞えるようになり、より賢く、安全に、そして素早く自動運転ができるようになる未来を切り開くものです。

一言で言うと：
「自動運転 AI に、数字を『文字』で覚えるのではなく、『感覚』で理解させる新しい勉強法を見つけたよ！」という論文です。

Each language version is independently generated for its own context, not a direct translation.

DriveCode: LLM 기반 자율주행을 위한 도메인 특화 수치 인코딩

기술 요약 (日本語)

본 논문은 대규모 언어 모델 (LLM) 을 활용한 자율주행 시스템의 핵심적인 한계인수치적 추론의 부정확성을 해결하기 위해 제안된 새로운 방법론인 DriveCode를 소개합니다. DriveCode 는 숫자를 이산적인 텍스트 토큰으로 변환하는 기존 방식을摒弃하고, 연속적인 벡터 임베딩으로 직접 처리하여 정밀한 제어 명령 생성과 궤적 예측을 가능하게 합니다.

1. 문제 정의 (Problem)

자율주행 시스템은 카메라, 라이다, 레이더 등의 센서 데이터를 처리하고 조향각, 속도, 가속도 등 연속적인 물리량을 기반으로 제어 명령을 생성해야 합니다. 최근 LLM 은 이러한 복잡한 의사결정 과정에 유망한 도구로 부상했으나, 다음과 같은 근본적인 한계를 가지고 있습니다.

이산적 토큰화의 한계: 기존 LLM 은 숫자를 텍스트 조각 (예: "3.14"를 '3', '.', '1', '4'로 분리) 으로 토큰화합니다. 이로 인해 숫자의 실제 수치적 크기 (magnitude) 나 자릿수 (positional significance) 를 정확히 이해하지 못해, "3.11 > 3.8"과 같은 단순 비교에서도 오류를 범할 수 있습니다.
정밀도 부족: 자율주행에서는 미세한 수치 오차도 궤적 불안정이나 안전 사고로 이어질 수 있습니다. LLM 이 토큰 수준의 차이를 학습하는 방식은 물리 단위의 절대적 오차에 민감한 자율주행 요구사항과 불일치합니다.
해석 효율성 저하: 숫자를 토큰 단위로 하나씩 생성 (autoregressive generation) 하는 과정은 계산 비용이 높고 지연 시간 (latency) 을 증가시킵니다.

2. 방법론 (Methodology)

DriveCode 는 LLM 의 숨겨진 공간 (hidden space) 에 숫자를 별도의 전용 모달리티 (modality) 로 매핑하는 아키텍처를 제안합니다. 주요 구성 요소는 다음과 같습니다.

A. 데이터 전처리 및 토큰 대체

원본 텍스트에서 의미 있는 물리량 (속도, 거리, 각도 등) 을 정규식으로 추출합니다.
추출된 숫자는 텍스트 내의 <number_token>이라는 특수 토큰으로 대체됩니다.
동시에 추출된 실제 숫자 값 (부동 소수점) 은 순서대로 정렬된 리스트로 저장되어 모델 입력 시 사용됩니다.

B. 모델 구조 (Number Projector & Head)

Number Projector (입력 측):
- 추출된 숫자 $x_k$ 를 2 층 MLP (Multi-Layer Perceptron) 를 통해 LLM 의 숨겨진 차원 ( $d$ ) 에 맞는 임베딩 벡터 $e^{(k)}_{num}$ 으로 변환합니다.
- 이 임베딩은 이미지 특징 (Vision) 과 텍스트 토큰 (Text) 과 함께 통합된 시퀀스에 삽입되어, LLM 이 시각, 텍스트, 수치를 동시에 처리하도록 합니다.
Number Head (출력 측):
- LLM 의 숨겨진 상태 (hidden state) 에서 직접 숫자를 회귀 (regression) 하는 전용 헤드를 도입합니다.
- 텍스트 헤드가 <number_token>을 생성할 때, Number Head 는 해당 위치의 숨겨진 상태로부터 실제 숫자 값을 예측합니다.
- 예측된 숫자는 다시 Number Projector 를 통해 임베딩되어 다음 단계의 입력으로 사용되며, 이는 숫자를 토큰 단위로 생성하는 대신 단일 스텝에서 연속적인 값으로 예측하게 합니다.

C. 손실 함수 (Loss Function)

텍스트 손실 ( $L_{text}$ ): 표준 교차 엔트로피 손실을 사용하여 텍스트 생성을 학습합니다.
수치 손실 ( $L_{num}$ ):
- 스칼라 제어 신호 (속도 등) 에 대해서는 $L_1$ 회귀 손실을 사용합니다.
- 궤적 예측 (waypoints) 에 대해서는 $L_2$ 거리 손실을 사용합니다.
최종 목적 함수는 $L = L_{text} + \lambda L_{num}$ 으로, 텍스트 생성과 수치 정밀도를 동시에 최적화합니다.

3. 주요 기여 (Key Contributions)

전용 수치 프로젝터 (Number Projector): 숫자를 텍스트 토큰이 아닌 별도의 연속 임베딩 모달리티로 매핑하여, 시각 및 텍스트 특징과 정렬된 상태로 처리할 수 있게 했습니다.
직접 회귀를 위한 Number Head: 숨겨진 상태로부터 직접 숫자를 예측하는 헤드를 도입하여, 자연어 응답과 고정밀 수치 예측을 단일 출력 시퀀스에서 동시에 수행하게 했습니다.
실험적 검증: OmniDrive, DriveGPT4, DriveGPT4-V2 등 다양한 자율주행 데이터셋에서 기존 방법론 (DriveGPT4, xVal 등) 대비 궤적 예측 및 제어 신호 생성 성능이 우수함을 입증했습니다.

4. 실험 결과 (Results)

데이터셋: DriveGPT4 (실제 주행 데이터 기반), DriveGPT4-V2 (CARLA 시뮬레이션), OmniDrive (nuScenes 기반) 에서 평가 수행.
성능 향상:
- 제어 신호 예측: 속도 (Speed) 와 조향 각도 (Turning angle) 예측에서 가장 낮은 RMSE (평균 제곱근 오차) 를 기록했습니다. 특히 DriveGPT4 데이터셋에서 속도 RMSE 는 1.08 (기존 1.30), 조향각 RMSE 는 7.71 (기존 8.98) 로 개선되었습니다.
- 궤적 예측: OmniDrive 데이터셋에서 궤적 L2 오차를 3.0797m (텍스트 기반) 에서 2.8274m 로 감소시켰습니다.
효율성: 숫자를 토큰 단위로 생성하는 대신 단일 스텝으로 예측함으로써, 추론 시 필요한 디코딩 단계를 줄이고 지연 시간 (Latency) 을 감소시켰습니다. (DriveGPT4 데이터셋 기준 평균 샘플당 처리 시간 3.1798초로 개선).

5. 의의 및 결론 (Significance)

DriveCode 는 LLM 기반 자율주행 시스템이 직면한 "수치적 무감각" 문제를 해결하는 중요한 전환점이 됩니다.

안전성 강화: 물리량의 연속성을 보존하는 인코딩 방식은 제어 명령의 정밀도를 높여, 안전이 최우선인 자율주행 환경에서의 신뢰성을 확보합니다.
효율적 추론: 토큰 생성 기반의 비효율적인 숫자 처리 방식을 극복하여, 실시간성이 요구되는 자율주행 시나리오에 적합한 낮은 지연 시간을 제공합니다.
미래 전망: 본 연구는 LLM 이 단순한 언어 모델링을 넘어, 정밀한 수치 추론이 필요한 물리 기반 제어 시스템 (Robotics, Autonomous Driving) 에 통합될 수 있는 새로운 패러다임을 제시합니다.

요약하자면, DriveCode 는 숫자를 텍스트가 아닌 '데이터'로 직접 처리함으로써 LLM 의 자율주행 적용 가능성을 한 단계 끌어올린 혁신적인 방법론입니다.

DriveCode: Domain Specific Numerical Encoding for LLM-Based Autonomous Driving