💻 computer science

UnsDrive: Towards Robust End-to-End Autonomous Driving in Unstructured Scenes

이 논문은 기존 방식들이 취약한 도로 구조와 낮은 가시성으로 인해 실패하는 지점에서 강건한 궤적을 생성할 수 있도록 미지의 영역을 인지하는 점유 표현과 특화된 안전 메커니즘을 활용하여 비정형 광산 환경에 특화 설계된 엔드 투 엔드 자율주행 플래너인 UnsDrive를 소개한다.

원저자: Nanxin Zeng, Ruiqi Song, Xiangyu Guo, Baiyong Ding, Yunfeng Ai

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nanxin Zeng, Ruiqi Song, Xiangyu Guo, Baiyong Ding, Yunfeng Ai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 자동차 운전하는 법을 가르치고 있다고 상상해 보세요. 과학계에서는 이를 "자율 주행(autonomous driving)"이라고 부릅니다. 보통 과학자들은 로봇에게 완벽한 도시 거리의 사진들을 보여주며 교육합니다. 선명한 흰색 차선이 있고, 교통 신호가 규칙을 준수하며, 다른 자동차들이 예의 바르게 행동하는 도로 말이죠. 이는 마치 아이에게 공원의 매끄럽고 포장된 길에서 자전거 타는 법을 가르치는 것과 같습니다. 하지만 그 똑같은 로봇을 가져다가 혼란스럽고 진흙투성이인 건설 현장에 떨어뜨려 놓으면 어떻게 될까요? 거기에는 차선도 없고, 지면은 울퉁불퉁하며, 거대한 트럭들이 사방에서 덜컹거리고, 먼지 구름이 앞을 가로막고 있습니다. 이것이 바로 "비정형 장면(unstructured scenes)"의 세계이며, 도시의 거리만을 학습한 로봇에게는 악몽과도 같습니다. 로봇들은 혼란에 빠지거나, 충돌하거나, 혹은 어디가 "도로"인지 파악하지 못해 그냥 멈춰 서 버립니다. 연구자들이 던지는 핵심적인 질문은 이것입니다: 어떻게 하면 단순히 선을 따라가는 것이 아니라, 주변의 무질서하고 미지의 세계를 실제로 이해하는 운전자를 만들 수 있을까?

여기에 바로, 이러한 혼란스러운 광산 환경을 위해 특별히 설계된 새로운 종류의 로봇 운전자, UnsDrive가 등장했습니다. 이 논문의 연구진은 기존의 로봇 운전자들이 광산에서 실패하는 이유가 세상이 명확하고 조직적이라고 가정하기 때문이라는 점을 깨달았습니다. UnsDrive는 다릅니다. 이 로봇은 자신이 무엇이 일어나고 있는지 모를 때, 그 사실을 인정하도록 설계되었습니다. 안개 낀 숲속의 등산객을 생각해 보세요. 일반적인 로봇은 안개가 낀 구역을 빈 땅이라고 추측하고 절벽으로 걸어 들어갈지도 모릅니다. 하지만 UnsDrive는 그 안개를 보고 이렇게 말합니다. "저곳은 보이지 않으니, 확실해질 때까지 위험한 미지의 구역으로 간주하겠다."

연구팀은 이 로봇을 위해 유동 기반 계획(flow-based planning) 기술을 사용하는 특별한 "두뇌"를 만들었습니다. 당신이 붐비는 방 사이로 경로를 그리려고 한다고 상상해 보세요. 단 하나의 직선 경로만을 그리는 대신(그것은 누군가와 부딪힐 수 있습니다), 로봇은 마치 부채꼴 모양의 선택지들처럼 동시에 여러 가능한 경로를 그립니다. 그런 다음 "점수표"를 사용하여 최선의 경로를 선택하는데, 여기서 비결은 자신이 볼 수 없거나 벽처럼 보이는 곳으로 향하는 경로에 대해 엄격하게 벌점을 부여한다는 것입니다. 이것을 "미지 인식 점유(unknown-aware occupancy)"라고 부릅니다. 이는 마치 로봇이 세 가지 색상으로 된 정신적 지도를 가지고 있는 것과 같습니다: 초록색은 "내가 보고 있으며, 안전하다", 빨간색은 "내가 보고 있으며, 벽이다", 그리고 회색은 "보이지 않으니, 멀리하라!"라고 표시하는 것입니다.

이것이 실제로 효과가 있는지 테스트하기 위해, 과학자들은 단순히 컴퓨터 화면 속에서 로봇을 돌린 것이 아니라, MineLoop라고 불리는 전체 가상 세계를 구축했습니다. 이 시뮬레이터는 먼지 폭풍, 중장비 차량, 까다로운 흙길 경사로 등을 갖춘 광산 트럭 전용 비디오 게임과 같습니다. 그들은 이 게임 속에 UnsDrive를 넣고 운전하는 모습을 지켜보았습니다. 결과는 인상적이었습니다. 가상 광산에서 UnsDrive는 도시 거리를 위해 설계된 다른 스마트 주행 시스템들보다 실수를 적게 저질렀고 충돌도 덜 발생했습니다. 실제로, 시뮬레이션에서 UnsDrive는 평균 주행 오차를 단 0.44미터로 줄였으며, 충돌률을 아주 미미한 **0.10%**로 낮추었습니다.

이 논문은 로봇에게 "미지(unknown)"를 존중하도록 가르치고, 여러 가지 가능한 미래 경로를 생성하는 방법을 제공함으로써, 훨씬 더 안전하게 혼란스러운 장소에서 운전할 수 있음을 보여줍니다. 하지만 이 모든 테스트가 MineLoop 시뮬레이터 내부에서 이루어졌다는 점을 기억하는 것이 중요합니다. 로봇이 가상 세계에서는 완벽하게 운전했지만, 저자들은 아직 이를 실제 물리적인 광산 트럭에 테스트하지 않았다고 언급했습니다. 그들은 이것이 다음 단계의 큰 과제라고 제안합니다. 하지만 현재로서는, 흙 위에서 운전하고 싶다면 안개를 조금은 두려워하도록 가르쳐야 한다는 것을 UnsDrive가 증명해 보였습니다.

=== 기술 요약: UnsDrive ===

문제 정의

엔드 투 엔드(End-to-end) 자율 주행은 명확한 차선 표시, 고정밀 지도, 예측 가능한 교통 패턴과 같은 강력한 구조적 사전 정보(structural priors)가 존재하는 구조화된 도시 환경에서 상당한 가능성을 보여주었습니다. 그러나 이러한 방식은 비구조화된 광산 환경(예: 노천광산)으로 일반화하는 데 어려움을 겪습니다. 이러한 환경에서 플래너는 다음과 같은 독특한 과제에 직면합니다:

구조적 사전 정보의 부재: 광산 운송로는 차선 표시, 연석, 일관된 기하학적 단서가 부족합니다. 도로 토폴로지는 굴착 및 적치 작업으로 인해 빈번하게 변화합니다.
복잡한 역학 및 인지: 대형 차량(광산 트럭, 굴착기)은 승용차와 구별되는 역학 특성을 보입니다. 먼지, 진동, 극한의 조명과 같은 환경적 요인은 센서 관측 성능을 저하시킵니다.
부분 관측성(Partial Observability): 피트(pits), 램프, 적치장과 같은 지형 특징은 심각한 폐쇄(occlusion)를 유발하여 커다란 **미관측 영역(unknown regions)**을 생성합니다. 기존 방식들은 종종 이러한 미관측 영역을 자유 공간(free space)으로 취급하여 안전하지 않은 계획을 세우는 문제가 있습니다.
평가 격차: 광산 시나리오에 특화된 폐쇄 루프(closed-loop) 평가 프레임워크가 눈에 띄게 부족합니다. 기존 시뮬레이터는 도시/고속도로 환경을 위해 구축되었으며, 광산 특유의 운영 로직, 중장비 상호작용, 불규칙한 도로 기하학을 포착하지 못합니다.

방법론: UnsDrive

저자들은 비구조화된 광산 장면을 위해 특별히 설계된 엔드 투 엔드 플래너인 UnsDrive를 제안합니다. 이 프레임워크는 두 가지 주요 모듈인 **미관측 인지 점유 표현(unknown-aware occupancy representation)**과 **플로우 기반 생성 플래너(flow-based generative planner)**로 구성됩니다.

1. 미관측 인지 점유 표현 (Unknown-Aware Occupancy Representation)

부분 관측성 문제를 해결하기 위해, UnsDrive는 점유됨(occupied), 비어 있음(free), 미관측(unknown) 공간을 명시적으로 구분하는 조밀한 볼륨형 장면 표현을 구축합니다.

다중 프레임 가시성 추정: 학습 가능한 파라미터에 의존하는 대신, 시스템은 $N$ 개의 연속된 프레임에 대한 LiDAR 스윕(sweeps)을 복셀 그리드(voxel grid)를 통해 레이 트레이싱(ray-tracing)함으로써 복셀 단위의 가시성을 추정합니다. 레이가 종료되는 지점에 따라 복셀은 점유됨, 비어 있음 또는 미관측 상태로 레이블링됩니다.
가시성 변조 시맨틱(Visibility-Modulated Semantics): 시스템은 가시성 점수를 사용하여 시맨틱 점유 예측을 변조합니다. 복셀이 관측되지 않은 경우, 해당 확률 질량은 특정 시맨틱 범주로 강제 할당되는 대신 명시적인 **미관측 클래스(unknown class)**에 할당됩니다.
게이트형 점유 인코딩(Gated Occupancy Encoding): 게이트형 잔차 설계(gated residual design)는 학습된 점유 특징을 보정된 시맨틱-가시성 증거와 융합합니다. 이를 통해 모델은 기하학적 컨텍스트와 불확실성 정보를 적응적으로 균형 있게 결합할 수 있습니다.
볼륨형 토큰화(Volumetric Tokenization): 높이 정보(램프 및 적치장에 중요)를 보존하면서 토큰 수를 줄이기 위해, 3D 복셀 그리드는 1D 컨볼루션을 사용하여 수직축을 따라 압축되며, 결과적으로 3D 위치 인코딩을 가진 토큰 시퀀스를 생성합니다.

2. 플로우 기반 생성 플래닝 (Flow-Based Generative Planning)

플래너는 장면 표현을 조건으로 하는 다중 모드 미래 궤적을 생성하기 위해 **조건부 플로우 매칭(Conditional Flow Matching, CFM)**을 활용합니다.

다중 모드 생성: 결정론적 회귀(deterministic regression)와 달리, CFM은 노이즈를 실제 궤적으로 이동시키는 속도장(velocity field)을 학습하며, 이는 자연스럽게 여러 가능한 미래 모드(예: 장애물을 우회하는 서로 다른 경로)를 지원합니다.
장면 융합: 플래너는 계층적 크로스 어텐션(cascaded cross-attention) 메커니즘을 채택합니다. 이는 글로벌 BEV 컨텍스트 및 에이전트 역학을 통합하기 전에 미관측 인지 3D 점유 토큰(안전/불확실성 단서)에 우선적으로 주의를 기울입니다.
내비게이션 주입: 고수준 내비게이션 명령, 목표 지점 및 에고 상태(ego states)는 궤적 생성을 가이드하기 위해 특징별 선형 변조(Feature-wise Linear Modulation, FiLM)를 통해 주입됩니다.

3. 안전성 정규화 및 스코어링 (Safety Regularization and Scoring)

부분 관측성 하에서의 안전성을 보장하기 위해, 프레임워크는 두 가지 핵심 메커니즘을 도입합니다.

점유 궤적 일관성(Occupancy Trajectory Consistency, OTC) 손실: 통행 불가능 확률이 높거나 "미관측" 확률이 높은 영역으로 진입하는 궤적에 페널티를 주는 정규화 항입니다. 이는 생성 과정과 안전 추론을 결합합니다.
불확실성 인지 궤적 스코어러(Uncertainty-Aware Trajectory Scorer): 추론 시점에 여러 후보 궤적이 생성됩니다. 스코어링 모듈은 궤적 품질, 통행 불가능 페널티 및 미관측 영역 페널티를 기준으로 후보들을 평가합니다. 가장 높은 점수를 받은 후보가 선택되어 시스템이 관측되지 않았거나 위험한 영역을 피하도록 보장합니다.

주요 기여

UnsDrive 플래너: 미관측 인지 점유 표현, OTC 손실, 불확실성 인지 스코어링 모듈을 특징으로 하는 엔드 투 엔드 플래닝 프레임워크입니다. 이는 비구조화된 환경에서의 안전성을 향상시키기 위해 미관측 공간에 대해 명시적으로 추론합니다.
MineLoop 시뮬레이터: 오픈 피트 광산을 위해 맞춤 제작된 폐쇄 루프 시뮬레이터입니다. UAV 조사 데이터를 사용하여 광산 시나리오를 재구성하고, 중장비 역학을 시뮬레이션하며, 엄격한 폐쇄 루프 평가를 가능하게 하기 위해 구성 가능한 조건(먼지, 가시성, 도로 표면 등)을 지원합니다.
포괄적 평가: 저자들은 UnsDrive가 광산 도메인 내의 오픈 루프(궤적 정확도, 충돌률) 및 폐쇄 루프(주행 점수, 성공률) 설정 모두에서 적응형 도시 주행 베이스라인보다 우수한 성능을 보임을 입상했습니다.

실험 결과

논문은 UAV 조사 데이터로 구축된 MineLoop 데이터셋을 사용하여 UnsDrive를 평가합니다.

오픈 루프 성능: UnsDrive는 강력한 베이스라인인 OccWorld, OccNet, SparseWorld, DiffusionDrive와 비교하여 가장 낮은 L2 오차(평균 0.44m)와 충돌률(평균 0.10%)을 달성했습니다. 가장 강력한 베이스라인인 SparseWorld와 비교했을 때 평균 L2 오차를 48%, 충돌률을 70% 감소시켰습니다.
폐쇄 루프 성능: MineLoop 벤치마크에서 UnsDrive는 주행 점수 84.25와 **성공률 68.56%**를 기록하여, 최상의 베이스라인보다 각각 6.89점과 10.29점 높은 성과를 거두었습니다.
어블레이션 연구(Ablation Studies):
- 미관측 인지 점유(UA-OCC): 이 구성 요소가 없는 베이스라인에 비해 평균 L2 오차를 약 26%, 충돌률을 약 33% 감소시켰습니다.
- OTC 손실: L2 오차를 18%, 충돌률을 46% 추가로 감소시켰습니다.
- 불확실성 인지 스코어러: 최종적인 유의미한 상승을 제공하여, 베이스라인 대비 L2 오차를 50% 이상, 충돌률을 거의 75%까지 감소시켰습니다.

의의 및 주장

본 논문은 미관측 공간에 대한 명시적 추론이 비구조화된 환경에서의 자율 주행에 매우 중요하다는 점을 강조합니다. 자유 공간, 점유 공간, 미관측 영역을 구분함으로써, UnsDrive는 폐쇄된 영역을 통행 가능한 것으로 간주하는 안전상의 허점을 방지합니다.

저자들은 다음과 같은 기능을 통해 알고리즘 설계와 실제 광산 현장 배포 사이의 간극을 메운다고 주장합니다:

광산 특유의 구조적 사전 정보 부족과 심한 폐쇄 문제를 처리하는 방법.
광산 특유의 운영 로직과 기하학을 반영하는 전문화된 폐쇄 루프 평가 프레임워크(MineLoop).

한계점: 저자들은 모든 실험이 시뮬레이션에서 수행되었다는 점을 겸허히 언급하며, UnsDrive를 실제 광산 트럭에 검증하는 것이 중요한 향후 과제임을 밝힙니다. 또한, 불확실성 인지 플래닝과 다운스트림 제어 간의 더 긴밀한 결합이 가치 있는 연구 방향임을 제안합니다.