Latent Chain-of-Thought World Modeling for End-to-End Driving

운전은 예측의 연속적인 행위입니다. 운전자가 핸들을 돌리기 전, 그들은 이미 다음에 일어날 일을 상상하고 있습니다. 앞차가 브레이크를 밟을 수도 있고, 보행자가 연석에서 발을 내디딜 수도 있으며, 교통 흐름 사이의 간격이 좁혀질 수도 있습니다. 이러한 미래에 대한 정신적 시뮬레이션이 우리를 안전하게 지켜줍니다. 수십 년 동안 엔지니어들은 컴퓨터에게도 이와 똑같이 할 수 있도록 가르치기 위해 노력해 왔으며, 도로를 보고 어디로 조향할지 결정할 수 있는 시스템을 구축해 왔습니다. 이 중 가장 진보된 시스템인 '엔드 투 엔드(end-to-end)' 자율주행은 인간이 만든 규칙 없이 원시 카메라 이미지를 직접 조향 명령으로 매핑하며 이 전체 과정을 한 번에 학습하려고 시도합니다. 최근 연구자들은 컴퓨터가 움직이기 전에 마치 인간 운전자가 자신의 생각을 말하듯 자연어로 소리 내어 생각할 수 있도록 함으로써, 이 시스템에 '목소리'를 부여하여 성능을 개선하려 시도했습니다.

하지만 새로운 연구는 기계에게 문장으로 말하는 것이 가장 효율적인 사고 방식은 아니라고 제안합니다. NVIDIA와 텍사스 대학교 오스틴 캠퍼스의 데이터를 활용한 연구진은, 자율주행차가 자신의 추론을 설명하기 위해 텍스트 스트림을 생성하도록 강제하는 것이 속도를 늦추고 심지어 실수를 유발할 수 있다는 것을 발견했습니다. 대신, 그들은 'LCDrive'라고 불리는 시스템을 개발했는데, 이는 숫자와 패턴으로 이루어진 조용하고 내부적인 언어로 생각합니다. 이 시스템은 "앞차가 속도를 줄이고 있다"와 같은 단어를 써내지 않습니다. 대신, 이 시스템은 자신의 행동이 가져올 미래의 결과를 압축된 수학적 공간 내에서 즉각적으로 시뮬레이션하여, 더 안전하고 빠르게 결정을 내릴 수 있게 합니다.

이 연구의 핵심 아이디어는 전통적인 인공지능의 수다스럽고 장황한 추론을 간결하고 조용한 과정으로 대체하는 것입니다. 과거에는 연구자들이 자율주행차가 어떤 운전 기동을 결정하기 전에 영어로 된 '사고 과정'인 텍스트 체인을 생성하도록 하여 도움을 주려 했습니다. 이는 인간의 대화를 모방하지만, 연구진은 이것이 운전의 찰나의 요구 사항에는 적합하지 않다고 주장합니다. 자연어는 생성 속도가 느리며, 도로의 정밀한 기하학적 구조나 여러 차량이 상호작용하는 복잡한 움직임을 포착하는 데 종종 실패합니다. 회전에 대해 설명하는 문장이 실제 자동차가 취해야 할 조향 각도와 완벽하게 일치하지 않을 수 있으며, 이는 컴퓨터가 말하는 것과 실제로 하는 행동 사이에 간극을 만듭니다.

이를 해결하기 위해 연구팀은 정보가 단어 대신 밀집된 패턴으로 저장되는 컴퓨터 뇌의 숨겨진 층인 '잠재(latent)' 공간에서 추론하는 모델을 만들었습니다. 이 새로운 시스템에서 자동차는 도로에 대한 이야기를 쓰지 않습니다. 대신, 이 시스템은 일련의 내부 단계를 매우 빠르게 반복합니다. 예를 들어, 약간의 회전과 같은 가능한 행동을 제안하고, 그 행동을 취했을 때 1초 후의 세상이 어떻게 보일지를 즉시 시뮬레이션합니다. 그런 다음 또 다른 행동을 제안하고 그 미래 역시 시뮬레이션합니다. 이 과정은 순식간에 일어나며, 컴퓨터는 이 조용한 시뮬레이션들을 비교하여 어떤 경로가 가장 안전한지 결정합니다. 이 시스템은 현재의 장면으로부터 이러한 미래의 결과를 직접 예측하도록 훈련되어, 말할 필요 없이 도로의 앞날을 '꿈꾸는' 법을 효과적으로 학습합니다.

연구진은 1,700시간 이상의 실제 주행 로그 데이터(복잡한 도시 환경)를 사용하여 이 접근 방식을 테스트했습니다. 그들은 이 조용한 잠재 사고 모델을 두 가지 유형의 시스템, 즉 아무런 추론 없이 결정을 내리는 시스템과 전통적인 텍스트 기반 추론을 사용하는 시스템과 비교했습니다. 결과에 따르면, 조용한 모델이 훨씬 더 빠르고 정확했습니다. 이 모델은 인간 전문가가 운전하는 방식에 더 가까운 주행 경로를 만들어냈으며, 위치 오류가 적었고 차선을 이탈하거나 다른 차량과 충돌하는 비율도 훨씬 낮았습니다.

아마도 가장 중요한 점은, 이 조용한 추론 시스템이 '강화 학습(reinforcement learning)'이라 불리는 기술로 훈련되었을 때 더 높은 적응력을 보였다는 것입니다. 이 단계에서 컴퓨터는 루프를 돌며 운전을 연습하고, 자신의 성과에 대한 피드백을 받아 다음번에 더 잘할 수 있도록 내부 로직을 조정합니다. 텍스트 기반 시스템은 이러한 연습을 통해 개선되는 데 어려움을 겪었으며, 자신의 말로 된 생각과 실제 운전 행동을 연결하는 데 자주 실패했습니다. 반면, 조용한 시스템은 이러한 연습을 통해 번창하며, 내부 시뮬레이션을 사용하여 결정을 정교화하고 눈에 띄게 더 안전하고 정밀해졌습니다. 연구는 이 접근 방식이 특히 교통 흐름에 합류하거나 번잡한 교차로를 통과하는 것과 같은 어려운 상황에서 자동차의 경로와 이상적인 경로 사이의 평균 거리를 상당한 폭으로 줄였다는 것을 발견했습니다.

이 방법의 성공은 기계에게 가장 효과적인 사고 방식은 말을 하는 것이 아님을 시사합니다. 언어의 비효율성을 제거하고 기계 자체의 예측이라는 언어로 직접 추론함으로써, 시스템은 텍스트 기반 모델이 따라올 수 없는 생각과 행동 사이의 높은 수준의 조화를 달ace합니다. 연구진은 이 시스템이 매우 효과적이지만, 현재 정밀한 차량 위치 데이터를 필요로 하는 훈련 과정에 의존하고 있어 대규모로 데이터를 수집하기 어려울 수 있다고 언급했습니다. 또한, 추론이 숨겨진 수학적 공간에서 일어나기 때문에, 텍스트 기반 시스템처럼 인간이 시스템 내부를 들여다보고 정확히 무엇을 생각하고 있는지 파악하기 어렵다는 점도 인정했습니다.

이러한 한계에도 불구하고, 이번 연구 결과는 자율주행의 미래에 대한 명확한 방향을 제시합니다. 이 연구는 자율주행차를 위한 가장 진보된 추론이 인간의 대화와는 전혀 다를 수 있음을 보여줍니다. 대신, 그것은 차량이 끊임없이 자신의 미래를 도로의 현실과 대조하는 신속하고 조용한 가능성의 계산과 닮아 있습니다. 이러한 '말하기'에서 '시뮬레이션'으로의 전환은 자동차가 인간의 본능적인 운전과 유사한 속도와 정밀도로 반응하게 하며, 때로는 복잡한 문제를 해결하는 가장 좋은 방법이 말을 멈추고 오직 스스로에게 가장 중요한 언어, 즉 '미래 그 자체'를 가지고 생각하는 것임을 증명합니다.