Foundation Models and Agentic AI for Autonomous Driving: A Systematic Review
이 체계적 문헌 고찰은 100개 이상의 연구를 종합하여 파운데이션 모델, 에이전틱 AI, 그리고 협력적 V2X 시스템을 통합하는 통일된 9가지 테마의 분류 체계를 제시하며, 자율주행을 위한 포괄적인 인지 아키텍처 관점 내에서 추론-효율성 트레이드오프, 시뮬레이션-실제 간 격차, 그리고 안전 거버넌스를 공동으로 다룸으로써 기존 조사 연구들과 차별화됩니다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
진정한 자율주행 자동차로 가는 길은 오랫동안 특정한 종류의 엔지니어링, 즉 한 컴퓨터 부품이 세상을 보고, 다른 부품이 무엇을 할지 결정하며, 세 번째 부품이 핸들을 조작하는 경직된 조립 라인으로 포장되어 왔습니다. 수년 동안 이러한 모듈식 접근 방식은 자동차를 움직이게 하는 데는 충분히 효과적이었지만, 현실 세계의 무질서하고 예측 불가능한 본질에 직면했을 때는 어려움을 겪었습니다. 인간 운전자는 단순히 빨간불을 보는 것이 아니라, 공사 구역의 맥락, 보행자의 의도, 그리고 다가오는 구급차의 긴급성을 이해하는 동시에 승객에게 자신의 행동을 설명합니다. 이 경직된 코드와 인간 같은 직관 사이의 간극을 메우기 위해, 연구자들은 기초 모델(foundation models)이라고 알려진 새로운 계층의 인공지능에 주목하기 시작했습니다. 이들은 방대한 양의 텍스트와 이미지를 학습하여 언어와 시각을 함께 이해할 수 있는 거대 시스템입니다. 자율주행에 적용될 때, 이 모델들은 차량을 단순한 자동화 기계에서 복잡한 교통 상황을 추론하고, 자신의 선택을 평이한 영어로 설명하며, 이전에 본 적 없는 시나리오에 적응할 수 있는 인지적 파트너로 변모시킬 것을 약속합니다.
인도, 말레이시아, 아랍에미리트, 사우디아라비아의 여러 기관 연구진이 발표한 2026년 9월의 종합 리뷰는 이 급변하는 지형을 그려내고 있습니다. A. Srinivaas와 Jeswin K F가 이끄는 저자들은 단순히 새로운 장치들을 나열한 것이 아니라, 이러한 강력한 언어 및 시각 모델들이 어떻게 자율주행의 구조 속에 짜여 들어가고 있는지 이해하기 위해 100개 이상의 최근 연구를 체계적으로 분석했습니다. 그들의 연구는 이 분야가 고립된 인지 시스템에서 벗어나 통합된 "인지 구조(cognitive architecture)"로 이동하고 있음을 보여줍니다. 이 새로운 비전 속에서 자동차는 단순히 센서에 반응하는 것이 아니라, 정보를 수집하기 위해 도구를 사용하고, 다른 차량 및 도시 인프라와 협력하여 안전하게 주행하며 능동적으로 세상에 대해 추론합니다.
이 리뷰는 이러한 시스템이 구축되는 방식의 중대한 진화를 강조합니다. 초기 시도들은 보는 것과 생각하는 것을 별도의 모듈에 의존했지만, 최신 연구는 시각-언어-행동(Vision-Language-Action) 모델에 집중하고 있습니다. 이 시스템들은 장면을 보고, 그것을 설명하는 언어를 이해하며, 차량의 움직임을 하나의 응집된 과정으로 직접 제어하는 능력을 결합합니다. 예를 들어, 단순히 보행자를 감지하는 대신, 이러한 모델을 사용하는 시스템은 "스쿨 존"이라고 적힌 표지판을 이해하고, 보행자가 아직 보이지 않더라도 속도를 줄여야 한다고 추론할 수 있습니다. 연구진은 DriveMLM과 TeLL-Drive와 같은 프레임워크가 이미 의사결정을 개선하고 자동차가 생각하는 데 걸리는 시간을 단축하는 능력을 입증하고 있음을 발견했습니다. CARLA라는 시뮬레이션 환경을 사용한 한 특정 테스트에서, DriveMLM 모델은 시각적 이해와 계획 결정을 더 잘 정렬함으로써 CARLA Town05 Long 주행 점수에서 4.7점을 높였습니다.
그러나 완전한 자율주행의 미래로 가는 길에는 상당한 장애물이 존재하며, 이 리뷰는 컴퓨터 시뮬레이션에서 작동하는 것과 실제 도로에서 작동하는 것을 신중하게 구분합니다. 저자들은 지속적인 "시뮬레이션-실제 간극(simulation-to-reality gap)"을 지적합니다. 많은 고급 모델이 CARLA나 nuScenes와 같은 가상 세계에서는 인상적인 성능을 보이지만, 실제 도로 조건으로 전이될 때는 종종 어려움을 겪습니다. 이 간극은 상당합니다. 어떤 경우에는 협력적 인지 시스템의 성능이 시뮬레이션 환경에서 실제 세계로 이동할 때 최대 40%까지 떨어집니다. 이는 시뮬레이션의 완벽하고 예측 가능한 데이터가 실제 교통, 날씨, 인간 행동의 혼란스러운 예측 불가능성을 완전히 포착할 수 없기 때문입니다. 더욱이, 이 모델들을 똑똑하게 만드는 바로 그 특징들, 즉 복잡한 사고의 사슬을 통해 추론하는 능력은 역설적으로 이들을 느리게 만듭니다. 거대 언어 모델이 "생각"하는 데 걸리는 시간은 비상 상황에 필요한 찰나의 결정에는 너무 길 수 있어, 지능과 속도 사이의 어려운 트레이드오프를 발생시킵니다.
이 리뷰의 또 다른 핵심적인 발견은 통일된 안전 프레임워크의 부재입니다. 현재 안전 검증, 차량 간 통신, 그리고 인공지능 자체는 종종 별개의 문제로 취급됩니다. 연구진은 이러한 시스템이 신뢰를 얻기 위해서는 추론 과정에 안전 검증을 직접 통합하는 총체적인 접근 방식이 필요하다고 주장합니다. 그들은 디지털 트윈(도시의 매우 상세한 가상 복제본)을 사용하여 이러한 시스템을 테스트하는 데 일부 진전이 있었음을 언급하지만, 이러한 디지털 세계가 현실과 얼마나 밀접하게 일치하는지 측정하는 표준화된 방법은 없다고 지적합니다. 이러한 표준 없이는 자동차가 실제로 공공 도로에서 안전한지 인증하기 어렵습니다. 또한 리뷰는 자동차가 기억력을 가지고 도구를 사용할 수 있는 독립적인 에이전트로 행동하는 "에이전틱 AI(agentic AI)"라는 신흥 개념을 다룹니다. 이는 경험으로부터 배우고 서로 협력할 수 있는 차량의 가능성을 제시하지만, 저자들은 이러한 시스템이 아직 초기 단계에 있으며 상호 운용성과 신뢰성 측면에서 과제에 직면해 있다고 경고합니다.
논문은 다음 세대의 자율주행이 단일한 돌파구에 의해 정의되는 것이 아니라 여러 복잡한 기술의 통합에 의해 정의될 것임을 강조하며 명확한 미래 로드맵을 제시하며 마무리됩니다. 연구진은 미래가 전통적인 제어 시스템의 속도와 거대 언어 모델의 추론 능력을 결합하고, 자동차가 서로 대화하고 도시 인프라와 소통할 수 있게 하는 견고한 통신 네트워크에 의해 뒷받받되는 하이브리드 시스템에 있다고 제안합니다. 그들은 이러한 시스템이 현실이 되기 위해서 업계가 이 강력한 모델들을 실시간 사용에 충분히 빠르게, 인증받을 수 있을 만큼 안전하게, 그리고 인간이 신뢰할 수 있을 만큼 투명하게 만드는 문제를 해결해야 한다고 강조합니다. 단순히 차선을 따라가는 자동차에서 세상을 이해하고 그에 대해 추론하는 자동차로 가는 여정은 이미 진행 중이지만, 마지막 구간은 인공지능과 엔지니어링 분야의 가장 어려운 과제들을 해결하는 것을 요구합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.