V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models

이 논문은 센서 오작동이나 가려짐 문제를 해결하기 위해 다중 차량의 지각 정보를 통합하여 주행 관련 질문을 답변하고 경로를 계획하는 새로운 협력 자율주행 프레임워크인 V2V-LLM 과 이를 위한 V2V-QA 데이터셋 및 벤치마크를 제안합니다.

핵심

1. 문제: "눈이 가려진 운전사"

지금까지의 자율주행차는 자신의 눈 (카메라, 라이다 센서) 만 믿고 운전했습니다. 하지만 큰 트럭 앞을 지나가거나, 커브 길에서 시야가 가려지면 "앞에 차가 있는지, 보행자가 있는지"를 알 수 없게 됩니다. 이는 마치 안개 낀 날에 앞만 보고 운전하는 것과 비슷해, 사고 위험이 큽니다.

2. 기존 해결책: "눈만 공유하는 팀"

이 문제를 해결하기 위해 '차와 차가 통신 (V2V)'하는 기술이 나왔습니다. 옆 차가 "나 앞이 안 보여"라고 하면, 다른 차가 "나네 앞엔 차가 없어"라고 알려주는 방식입니다.
하지만 기존 기술은 **단순히 '물체 감지' (차의 위치만 알려줌)**에 그쳤습니다. "그 차가 내 진로에 방해가 될까?", "어떻게 피해야 할까?" 같은 판단과 계획까지는 함께 하지 못했습니다.

3. 이 논문의 아이디어: "모두의 지식을 하나로 모은 '슈퍼 두뇌'"

저자들은 이 문제를 해결하기 위해 ** Multimodal LLM(다중 모달 거대 언어 모델)**을 도입했습니다. 이를 쉽게 비유하자면 다음과 같습니다.

• 기존 방식: 각 차가 자신의 눈으로 본 것을 단순히 숫자 (좌표) 로만 공유합니다.
• 이 논문의 방식 (V2V-LLM): 모든 차가 본 정보를 **한곳에 모여 있는 '슈퍼 AI 두뇌'**에게 보여줍니다.
  • 이 AI 는 단순히 "차 있음"이라고 말하는 게 아니라, 자연어로 대화할 수 있습니다.
  • 차가 "내 앞길에 뭐가 있어?"라고 물으면, AI 는 "네, 앞쪽에 차가 있고, 그 뒤에 보행자가 숨어있을 수 있으니 조심해"라고 상황을 설명해 줍니다.
  • 심지어 "어떻게 가면 안전할까?"라고 물으면, AI 는 "저쪽으로 살짝 우회해서 가는 게 좋아"라고 새로운 운전 경로를 제안해 줍니다.

4. 핵심 기술: "질문과 답변 (QA) 이 있는 새로운 게임"

저자들은 이 시스템을 테스트하기 위해 **V2V-QA(차 대 차 질문-답변)**라는 새로운 데이터셋을 만들었습니다. 마치 운전 면허 시험을 보는 것과 같습니다.

• 질문 예시: "내 진로 (미래 경로) 에 위험한 게 있니?"
• 답변 예시: "네, 30 미터 앞에 차가 있고, 그 차 뒤에 또 다른 차가 숨어있어. 네가 지금 가는 길로는 위험하니 오른쪽으로 살짝 비켜가."

이처럼 AI 가 시각 정보 (눈) 와 언어 정보 (질문/답변) 를 모두 이해하여, 단순히 물체를 찾는 것을 넘어 안전한 운전 계획까지 세울 수 있게 된 것입니다.

5. 실험 결과: "단독 운전보다 훨씬 안전해"

연구진은 이 새로운 AI 시스템 (V2V-LLM) 을 기존 방법들과 비교해 봤습니다.

• 결과: AI 가 여러 차의 정보를 합쳐서 판단했을 때, 위험한 물체를 찾아내는 정확도도 높았고, 사고를 피하는 경로를 제안하는 능력도 훨씬 뛰어났습니다.
• 장점: 통신 비용도 적게 들면서, 센서가 고장 나거나 가려져도 다른 차의 눈을 빌려서 안전하게 운전할 수 있게 됩니다.

6. 결론: "함께 지혜를 모은 미래"

이 연구는 자율주행차가 혼자서 모든 것을 해결하려 하지 않고, 서로 정보를 공유하고 AI 의 '상식'을 빌려 함께 판단하면 훨씬 더 안전해질 수 있음을 보여줍니다.

한 줄 요약:

"각자 눈이 가려진 자율주행차들이 서로의 눈을 빌려, AI 라는 '슈퍼 조수'와 대화하며 서로의 안전을 지키고 더 똑똑하게 운전하는 새로운 시대를 열었습니다."

이 기술이 상용화되면, 우리가 겪을 수 있는 '블라인드 스팟 (시야 사각지대)' 사고가 크게 줄어들어 더 안전한 도로가 될 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 한계: 현재 자율주행 차량은 주로 자체 센서 (LiDAR, 카메라) 에 의존하여 주변 환경을 인식하고 경로를 계획합니다. 그러나 센서가 대형 물체에 가려지거나 (Occlusion), 고장 날 경우 안전에 치명적인 문제가 발생할 수 있습니다.
• 협력 인식 (Cooperative Perception) 의 부족: 이를 해결하기 위해 차량 간 통신 (V2V) 을 통한 협력 인식 연구가 진행되어 왔으나, 기존 연구들은 대부분 감지 (Detection) 나 추적 (Tracking) 과 같은 인식 작업에 집중했습니다. 인식된 정보를 어떻게 하류의 계획 (Planning) 단계와 통합하여 전체적인 협력 주행 성능을 향상시킬지에 대한 연구는 부족했습니다.
• LLM 의 활용 미흡: 최근 대규모 언어 모델 (LLM) 이 자율주행 시스템에 적용되고 있지만, 이는 주로 단일 차량의 인식 및 계획에 국한되어 있으며, 다수 차량이 참여하는 협력 주행 시나리오에서의 잠재력은 탐구되지 않았습니다.

2. 제안 방법론 (Methodology)

저자는 V2V-LLM이라는 새로운 문제 설정과 이를 위한 벤치마크, 그리고 기반 모델을 제안합니다.

A. 문제 설정 및 데이터셋 (V2V-QA)

• V2V-QA (Vehicle-to-Vehicle Question-Answering) 데이터셋: 기존 V2V4Real 및 V2X-Real 데이터셋을 기반으로 구축된 새로운 데이터셋입니다.
  • 구성: 여러 개의 연결된 자율주행 차량 (CAV) 이 중앙 집중형 LLM 노드에 각자의 인식 정보를 공유하고, 자연어 질문을 통해 안전 관련 정보를 요청하는 구조입니다.
  • 질문 유형 (5 가지):
    1. Grounding (Q1-Q3): 특정 좌표나 물체 뒤/방향에 존재하는 객체 식별 (가려진 영역 탐지 포함).
    2. Notable Object Identification (Q4): 계획된 미래 경로 근처의 중요 객체 식별.
    3. Planning (Q5): 충돌을 피하기 위한 미래 궤적 제안.
  • 규모: 총 145 만 개의 QA 쌍 (Frame 당 평균 30.2 개) 으로 구성되어 있으며, 기존 LLM 기반 주행 데이터셋보다 협력 주행에 특화된 다양한 시나리오를 포함합니다.

B. V2V-LLM 모델 아키텍처

• 입력: 각 CAV 가 수집한 LiDAR 포인트 클라우드를 기반으로 한 장면 수준 (Scene-level) 특징 맵과 객체 수준 (Object-level) 특징 벡터를 시각 입력으로 사용합니다.
• 아키텍처:
  • Feature Encoder: PointPillars 와 같은 3D 객체 탐지기를 사용하여 포인트 클라우드를 특징으로 변환합니다.
  • Projector: 포인트 클라우드 특징을 언어 임베딩 공간에 정렬 (Align) 하는 MLP 기반 프로젝터를 사용합니다.
  • LLM Backbone: LLaVA-v1.5 (Vicuna 기반) 를 활용하여, 모든 CAV 의 인식 정보를 융합하고 자연어 질문에 대한 답변을 생성합니다.
  • 학습 전략: LLM 과 특징 인코더는 고정 (Freeze) 하고, 프로젝터와 LoRA (Low-Rank Adaptation) 파라미터만 미세 조정 (Fine-tuning) 합니다.

C. 융합 방식 비교

기존의 No Fusion, Early Fusion (포인트 클라우드 병합), Intermediate Fusion (특징 맵 병합, 예: CoBEVT, V2X-ViT) 과 비교하여, V2V-LLM 은 LLM Fusion 방식을 채택합니다. 이는 개별 탐지 결과를 LLM 이 직접 융합하고 고차원적인 추론 (질문 답변, 경로 계획) 을 수행하는 방식입니다.

3. 주요 기여 (Key Contributions)

1. V2V-QA 데이터셋 및 벤치마크 구축: 협력 자율주행을 위한 LLM 기반 접근법을 평가할 수 있는 최초의 대규모 QA 데이터셋을 공개했습니다. (Grounding, 객체 식별, 계획 작업 포함)
2. V2V-LLM 모델 제안: 다중 CAV 의 인식 정보를 융합하여 다양한 주행 관련 질문에 답변하고 경로를 계획하는 통합 멀티모달 LLM 기반 모델을 제시했습니다.
3. 성능 입증 및 새로운 연구 방향: 제안된 모델이 기존 협력 인식 기법 및 비-LLM 기반 계획 모델보다 우수한 성능을 보임을 입증하여, 협력 자율주행의 안전성을 높일 수 있는 새로운 연구 방향을 제시했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • Grounding 및 객체 식별: V2V-LLM 은 V2X-split 에서 모든 베이스라인 (No Fusion, Early/Intermediate Fusion) 을 압도적으로 상회했습니다. V2V-split 에서도 경쟁력 있는 성능을 보였습니다.
  • Planning (경로 계획): 가장 중요한 안전 작업인 경로 계획에서 V2V-LLM 은 L2 오차 (1.71m vs 2.12m 이상) 와 충돌률 (6.89% vs 8.61% 이상) 에서 모든 기존 방법보다 가장 낮은 수치를 기록하며 최상의 성능을 보였습니다.
  • 비-LLM 베이스라인 비교: 기존 최첨단 협력 탐지 모델 (CoBEVT) 과 BEV 기반 계획기 (BEV-planner) 를 결합한 모델보다도 V2V-LLM 이 전반적으로 우수한 성능을 보였습니다.
• 통신 비용 (Communication Cost):
  • V2V-LLM 은 중간 융합 (Intermediate Fusion) 방식과 유사한 수준의 통신 비용 (약 0.4MB) 을 유지하면서도, Early Fusion 방식 (약 1.9MB) 보다 훨씬 효율적입니다.
  • 각 CAV 는 장면 특징 맵과 객체 탐지 결과만 전송하면 되며, LLM 노드가 이를 저장하여 여러 질문에 재사용하므로 효율적입니다.
• 강건성 (Robustness): 통신 지연 (Latency) 과 센서 노이즈 (Positional Errors) 가 발생하더라도 성능 저하가 미미하여 실제 환경 적용에 유리함을 보였습니다.
• 정성적 평가: 가려진 영역 (Occluded regions) 에 있는 객체 식별 및 복잡한 상황에서의 경로 제안 능력이 시각적으로 확인되었습니다.

5. 의의 및 결론 (Significance)

• 통합 프레임워크: V2V-LLM 은 협력 자율주행에서 인식 (Perception) 과 계획 (Planning) 을 하나의 멀티모달 LLM 아키텍처로 통합하여 처리할 수 있음을 입증했습니다.
• 안전성 향상: 센서 가림 (Occlusion) 으로 인한 사고 위험을 V2V 통신과 LLM 의 추론 능력을 결합하여 효과적으로 해결할 수 있는 가능성을 제시했습니다.
• 오픈소스 기여: 데이터셋과 코드 (https://eddyhkchiu.github.io/v2vllm.github.io/) 를 공개하여 향후 협력 주행 연구의 발전을 촉진할 것으로 기대됩니다.

이 논문은 단순한 객체 감지를 넘어, LLM 의 추론 능력을 활용하여 다수 차량이 협력하여 복잡한 주행 환경을 이해하고 안전한 결정을 내리는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.