A Deployed Hybrid Vehicle-in-the-Loop Platform for Validating Cooperative Perception

당신이 복잡한 도시에서 자동차를 운전하려고 한다고 상상해 보세요. 하지만 당신에게는 초능력이 있습니다. 바로 벽을 투시하고 모퉁이 너머를 볼 수 있는 능력입니다. 현실 세계에서 자동차는 이런 능력이 없으며, 눈앞에 보이는 것에만 의존하는 카메라와 센서에 의존합니다. 만약 커다란 트럭이 시야를 가로막는다면, 당신은 그 뒤에서 일어나는 일에 대해 눈이 멀게 됩니다. 이것은 자율주행 자동차에게 매우 큰 문제입니다. 자율주행차는 안전을 유지하기 위해 모든 장애물을 알고 있어야 하기 때문입니다. 이를 해결하기 위해 엔지니어들은 "협력적 인지(cooperative perception)" 시스템을 구축하고 있습니다. 이것은 마치 모든 플레이어가 다른 플레이어를 발견했을 때마다 외치는 술래잡기 게임과 같습니다. 만약 A라는 자동차가 트럭 뒤에 갇혀 있다면, 모퉁이 근గా 있는 B라는 자동차가 "헤이, 여기 보행자가 있어!"라고 외칠 수 있고, 그러면 A는 즉시 그 보행자를 "볼" 수 있게 됩니다.

하지만 이 시스템을 테스트하는 것은 까다롭습니다. 서로 어떻게 대화하는지 확인하기 위해 수백 대의 실제 자동차를 작은 테스트 트랙에 배치할 수는 없습니다. 그것은 너무 비용이 많이 들고 위험합니다. 또한 단순히 컴퓨터 게임을 사용할 수도 없습니다. 게임이 실제 도로만큼 현실적이지 않다면, 자동차가 정말로 안전한지 증명할 수 없기 때문입니다. 그래서 과학자들은 "하이브리드" 테스트 실험실을 구축하고 있습니다. 이것은 실제 운전 학교와 비디오 게임을 혼합한 것과 같습니다. 당신은 실제 자동차를 운전하지만, 주변의 나머지 교통 상황은 즉각적으로 반응하는 디지털 시뮬레이션입니다. 이 논문은 정확히 이런 종류의 "차량 루프 인 더 루프(Vehicle-in-the-Loop)" 플랫폼을 구축한 팀에 대해 설명합니다. 그들은 실제 장비가 갖춰진 자동차를 고도의 기술이 집약된 비디오 게임 세계에 연결하여, 날씨가 나쁘거나 햇빛이 눈부실 때도 자동차들이 어떻게 그들의 "외침(메시지)"을 공유하여 전체적인 그림을 볼 수 있는지 테스트했습니다.

하이브리드 놀이터

연구진인 그리스 아테네 통신 및 컴퓨터 시스템 연구소 팀은 현실 세계와 디지털 트윈 사이의 가교 역할을 하는 새로운 테스트 플랫폼을 배치했습니다. 디지털 트윈을 실제 도로의 완벽하고 살아있는 비디오 게임 복제본이라고 상상해 보세요. 이 설정에서 실제 자동차는 테스트 트랙 위를 주행하지만, 혼자 달리는 것은 아닙니다. 이 자동차는 게임 엔진인 CARLA가 실행되는 컴퓨터 시뮬레이션에 연결되어 있습니다.

마법이 일어나는 방식은 다음과 같습니다. 실제 자동차는 100밀리초마다 디지털 "엽서"를 보냅니다. 이 엽서에는 두 가지 유형의 정보, 즉 자동차의 위치와 자동차가 보는 것(센서의 시야)이 포함되어 있습니다. 이 메시지들은 읽기 쉽도록 엄격한 유럽 표준(ETSI 표준)을 따릅니다. 시뮬레이션은 이 엽서를 수신하여 디지털 세계를 즉시 업데이트합니다. 만약 실제 자동차가 보행자를 발견하면, 디지털 세계도 그것을 알게 됩니다. 하지만 흥-미로운 점은 그 반대 방향도 가능하다는 것입니다. 디지털 세계 역시 실제 자동차에 메시지를 보낼 수 있으며, 혹은 물리적으로 존재하지는 않지만 실제 교통 흐로 작용하는 "유령 자동차(가상 에이전트)"를 섞어 넣을 수도 있습니다. 이를 통해 팀은 실제로 보유한 자동차보다 더 많은 차량을 사용하여, 작은 트랙 위에 복잡하고 붐비는 환경을 만들어 테스트할 수 있습니다.

"슈퍼 뷰" 실험

이 시스템이 실제로 작동하는지 확인하기 위해, 팀은 이중 T자형 교차로(두 개의 T자 모양이 있는 교차로)에서 일련의 테스트를 수행했습니다. 그들은 트랙 위에 세 대의 실제 자동차를 설치했습니다. 두 대는 위치와 전체 센서 데이터(보는 것)를 모두 공유하는 완전한 "연결형" 차량이었습니다. 세 번째 차량은 위치만을 공유하는 "말하는 자(talker)"였습니다. 또한 가상 차량들을 혼합하여 교통 밀도를 높였습니다.

그래픽 카드(GPU)에서 실행되는 강력한 컴퓨터 모듈인 시스템의 두뇌는 이 모든 메시지를 받아 하나의 "점유 격자(occupancy grid)"로 융합했습니다. 이 격자를 도로 위에 놓인 거대한 보이지 않는 체커보드로 상상해 보세요. 보드의 각 칸은 비어 있는지, 자동차나 사람에 의해 점유되었는지, 아니면 시스템이 불확실한 상태인지를 보여주기 위해 색이 칠해져 있습니다. 목표는 실재 차량과 가상 차량들의 결합된 "외침"이 단일 차량이 스스로 볼 수 있는 것보다 더 명확하고 완전한 그림을 만들어내는지 확인하는 것이었습니다.

그들은 세 가지 다른 환경적 "기분" 아래에서 테스트를 진행했습니다:

1. 정상(Nominal): 완벽하고 화창한 날씨 조건.
2. 비(Rain): 시뮬레이션된 우천 상황.
3. 밤(Night): 가시성이 낮은 어두운 조건.

또한 자동차가 자신의 위치를 얼마나 정확하게 파악하고 있는지에 대한 다섯 가지 다른 수준의 "혼란"도 테스트했습니다. 때로는 GPS가 완벽했고, 때로는 자동차가 최대 2.0미터까지 벗어나 있는 것을 시뮬레이션하기 위해 노이즈를 추가했습니다.

발견한 점: 팀워크의 힘

결과는 꽤 흥미로웠습니다. 첫째, 팀은 자동차들이 협력할 때 결합된 "시야(field of view)"가 폭발적으로 넓어진다는 것을 발견했습니다. 단일 차량은 교차로 주변의 중요한 영역 중 약 4분의 1만을 볼 수 있을 수도 있습니다. 하지만 모든 차량(실제 및 가상)이 데이터를 공유하면 대부분의 영역을 커버하게 됩니다. 이것은 사람들이 원형으로 서 있는 것과 같습니다. 한 사람은 앞만 볼 수 있지만, 함께 있으면 주변의 모든 것을 볼 수 있습니다.

둘째, 아마도 가장 중요한 점은, 팀워크가 제공할 수 있는 도움에 한계가 있다는 것을 발견했다는 것입니다. 자동차의 위치 데이터가 매우 정확할 때(노이즈가 적을 때)는 더 많은 자동차를 추가하는 것이 장애물을 포착하는 데 훨씬 도움이 되었습니다. 그러나 위치 데이터가 "노이즈가 많아지면"(즉, 자동차가 자신의 위치를 약 1.5~2.0미터 정도 불확실하게 인식하면), 더 많은 자동차를 추가하는 것이 도움이 되지 않았습니다. 사실, 자동차가 어디에 있는지에 대한 불확실성이 날씨나 차량의 수보다 훨씬 더 큰 문제가 되었습니다. 이것은 마치 흐릿한 지도를 가지고 "월리를 찾아라" 게임을 하는 것과 같습니다. 설령 백 명의 사람이 보고 있다 하더라도, 당신이 어디에 서 있는지 모른다면 목표물을 찾을 수 없는 것과 같습니다.

흥미롭게도, 팀워크는 개별 자동차가 가장 고전할 때 가장 도움이 되었습니다. 밤이 되어 단일 차량의 카메라가 어둠에 눈이 멀었을 때, 협력 시스템은 회복하여 햇빛이 비치는 날만큼이나 잘 장애물을 "볼" 수 있었습니다. 이는 정보를 공유하는 것이 자신의 센서가 좋지 않은 날에 생명줄이 될 수 있음을 시사합니다.

한계와 앞으로의 길

저자들은 현재 시스템의 한계에 대해 솔직하게 밝히고 있습니다. 실제 자동차와 디지털 게임 사이의 연결은 정확히 밀리초 단위까지 동기화되지는 않습니다. 때때로 시뮬레이션이 아주 약간 지연될 수 있으며, 이는 메시지의 타이밍을 망칠 수 있습니다. 이것은 하드웨어 결함이 아니라 현재 소프트웨어가 설정된 방식의 특성입니다. 팀은 테스트를 완벽하게 반복 가능하게 만들기 위해 이 "지터(jitter)"를 해결해야 한다는 점을 알고 있습니다.

또한 그들은 시스템이 기능적으로 작동한다는 것은 입증했지만, 디지털 세계가 모든 세부 사항에서 실제 세계와 얼마나 완벽하게 일치하는지는 아직 완전히 측정하지 못했다고 언급했습니다. 그것이 그들의 다음 단계입니다. 즉, "심 투 리얼(sim-to-real)"의 일치를 완벽하게 만드는 것입니다.

앞으로 팀은 이 플랫폼을 지중해 지역을 위한 특정 테스트 서비스로 전환할 계획입니다. 이 지역은 눈부신 햇빛, 매우 뜨거운 온도, 그리고 스쿠터와 보행자를 포함한 밀집된 혼합 교통량과 같은 독특한 과제를 안고 있습니다. 이러한 특정 시나리오의 라이브러리를 구축함으로써, 그들은 표준 유럽 테스트 사이트에서 간과되기 쉬운 조건에서 자율주행 시스템을 테스트하려는 자동차 제조사와 개발자들을 돕기를 희망합니다.

요약하자면, 이 논문은 실제 자동차와 디지털 트윈을 혼합하는 것이 자동차들이 서로 어떻게 "대화"할 수 있는지 테스트하는 강력한 방법임을 보여줍니다. 이는 협력이 자율주행 자동차를 더 안전하고 인지 능력이 높게 만든다는 것을 증명하지만, 동시에 자동차가 자신의 위치를 정확히 모른다면 최고의 팀워크라도 혼란을 해결할 수 없다는 경고를 우리에게 줍니다. 이 기술의 미래는 타이밍을 조이고, 디지털 일치를 완벽하게 하며, 태양이 내리쬐는 혼란스러운 지중해의 거리에서 테스트하는 데 달려 있습니다.