로봇에게 자동차 운전을 가르친다고 상상해 보세요. 단순히 열쇠를 건네주며 "가!"라고 말하지는 않을 것입니다. 연습이 필요하겠죠. 하지만 까다로운 점은, 동네 주변만 영원히 돌아다닐 수는 없다는 것입니다. 비, 눈, 도로를 가로지르는 다람쥐, 공사 구간, 혹은 이상하게 생긴 트럭 등 가능한 모든 상황에서 로봇을 테스트해야 합니다. 이것이 바로 **자율주류 시스템(ADS)**의 세계입니다. 이것은 자율주행 자동차의 두뇌 역할을 합니다. 안전을 보장하기 위해 엔지니어들은 수천 번의 테스트를 수행해야 합니다. 그들은 시뮬레이션(실제와 유사한 컴퓨터 세상), 테스트 트랙(안전하게 충돌할 수 있는 폐쇄형 코스), 그리고 실제 도로(사람이 개입할 준비를 하고 운전하는 경우)를 사용합니다. 모두가 던지는 큰 질문은 이것입니다: "로봇이 정말 스스로 운전할 준비가 되었다는 것을 어떻게 알 수 있는가?" 이는 마치 시험에 어떤 문제가 나올지 정확히 모르는 상태에서 학생이 기말고사를 치를 준비가 되었음을 증명하려는 것과 같습니다.

한 연구팀이 이 커튼 뒤를 들여다보기로 했습니다. 그들은 단순히 코드만 보거나 자신들의 시뮬레이션을 돌린 것이 아니라, 직접 현장으로 갔습니다. 그들은 자율주행 시스템을 매일 구축하고 테스트하는 9개의 서로 다른 기업 출신의 9명의 전문가를 인터뷰했습니다. 이들은 6개국에 걸쳐 있습니다. 이들을 자율주행 리그의 감독이나 스타 플레이어라고 생각하면 됩니다. 연구진은 알고 싶었습니다. 이 기업들은 실제로 무엇을 하고 있는가? 그들을 밤잠 설치게 하는 악몽은 무엇인가? 그리고 이 스포츠가 다음에는 어디로 향하고 있다고 생각하는가?

현실 점검: 전문가들은 무엇을 하고 있는가

연구진은 업계가 현재 거대하고 다층적인 훈련 캠프를 운영 중이라는 것을 발견했습니다. 이는 단 하나의 큰 테스트가 아니라, 하나의 파이프라인입니다.

먼저, 그들은 시뮬레이션에서 시작합니다. 이것은 자동차가 흠집 하나 없이 한 시간 동안 백만 마일을 달릴 수 있는 비디오 게임과 같습니다. 그들은 수백만 개의 "만약에" 시나리오를 테스트하기 위해 이를 사용합니다. 그다음, 하드웨어 인 더 루프(Hardware-in-the-Loop) 및 비클 인 더 루프(Vehicle-in-the-Loop) 테스트로 넘어갑니다. 자동차의 두뇌를 실제 자동차 섀시에 넣되 바퀴는 러닝머신 위에 올려두거나, 전체 차량을 폐쇄된 트랙 위에 두는 것을 상상해 보세요. 마지막으로, 그들은 실제 도로에 도달합니다. 이것은 최종 보스 단계로, 자동차가 실제 세상에서 주행하며, 보통 문제가 생길 경우 핸들을 잡을 준비가 된 안전 운전자가 옆에 앉아 있습니다.

전문가들은 그들이 주로 **시나리오 기반 테스트(Scenario-Based Testing)**를 사용한다고 말했습니다. 이는 단순히 무작위로 운전하는 것이 아니라, 특정 이야기나 "시나리오"를 만들어 테스트한다는 의미입니다. 예를 들어, "공이 도로로 굴러 들어온 뒤 아이가 뒤따라오면 어떻게 되는가?" 또는 "빗속에서 가파른 언덕을 어떻게 처리하는가?"와 같은 것입니다. 또한, 실제 주행 데이터 로그를 가져와서 반복 재생하며 자동차가 똑같은 실수를 하는지 확인하는 데이터 기반(Data-Driven) 방식도 사용합니다.

큰 장애물: 노면과 맞닿는 곳의 어려움

이 모든 테스트에도 불구하고, 전문가들은 매트릭스에 심각한 결함이 있음을 인정했습니다.

1. "가짜와 진짜"의 간극 (Sim-to-Real Gap):
이것이 가장 큰 골칫거리입니다. 시뮬레이션은 아주 좋은 영화와 같지만, 여전히 영화일 뿐입니다. 전문가들은 카메라가 젖은 도로를 어떻게 보는지, 혹은 센서가 반짝이는 유리 건물에 어떻게 반응하는지를 시뮬레이션하는 것이 매우 어렵다고 말했습니다. 만약 시뮬레이션이 완벽하지 않다면, 자동차는 게임 속에서는 완벽하게 운전하도록 학습될지 몰라도 실제 생활에서는 충돌할 수 있습니다. 이는 마치 완벽한 인조 잔디에서 축구 경기를 연습하다가, 실제 경기장에 도착했더니 진흙탕인 상황과 같습니다. 근육이 똑같이 반응하지 않을 수 있기 때문입니다.

2. "보이지 않는 것"의 문제:
전문가들은 **시나리오 커버리지(Scenario Coverage)**를 우려합니다. 도로에서 일어날 수 있는 일은 너무나 많아서 그 모든 것을 테스트하는 것은 불가능합니다. 검은 돼지가 고속도로를 가로질러 달려간다면 어떨까요? 혹은 사람이 거대한 자전거를 들고 있다면요? 전문가들은 자동차가 일반적인 자동차나 사람을 멈추게 하는 데는 뛰어나지만, 이상하거나 희귀한 것을 볼 때 때때로 실패한다는 점을 언급했습니다. 그들은 이를 "분포 외(out-of-distribution)" 문제라고 불렀습니다.

3. "충분히 좋은가?"라는 미스터리:
가장 혼란스러운 부분 중 하나는 언제 테스트를 멈춰야 하는지 아는 것입니다. 전문가들은 **수용 기준(Acceptance Criteria)**에 대한 명확한 규칙이 없다고 말했습니다. 자동차가 안전하다는 것을 증명하기 위해 얼마나 많은 마일을 주행해야 할까요? 10만 마일이면 충분할까요? 100만 마일은요? 연구진은 기업들이 보편적인 답을 가지고 있지 않다는 것을 발견했습니다. 어떤 기업은 "데이터 포화(data saturation)"(자신감을 느낄 때까지 주행)에 의존하고, 다른 기업은 "충돌 제로"와 같은 특정 안전 지표를 살핍니다. 하지만 "좋아, 통과했어"라고 말해줄 합의된 표준은 없습니다.

4. AI의 블랙박스:
많은 현대적 자율주행 시스템은 **인공지능(AI)**과 엔드 투 엔드(End-to-End) 학습을 사용합니다. 이는 자동차가 엄격한 규칙 목록을 따르는 대신, 인간이 배우는 방식처럼 도로를 보고 무엇을 할지 결정하며 학습한다는 것을 의미합니다. 문제는 AI가 왜 그런 결정을 내렸는지 설명하기 어렵다는 점입니다. 만약 자동차가 사고를 낸다면, 엔지니어들은 정확히 왜 그랬는지 모를 수도 있습니다. 이는 규제 기관에 안전성을 입증하기 어렵게 만듭니다.

미래: 다음에 올 것은 무엇인가?

그렇다면 이 모든 것은 어디로 향하고 있을까요? 전문가들은 낙관적이면서도 현실적입니다.

• AI가 AI를 테스트할 것이다: 그들은 **생성형 AI(Generative AI)**가 인간이 생각지도 못한 새로운, 기괴한 테스트 시나리오를 만드는 데 사용될 것이라고 생각합니다. 자동차가 감당할 수 있는지 확인하기 위해 AI가 새로운 유형의 교통 체증을 발명하는 것을 상상해 보세요.
• 월드 모델(World Models): 그들은 자동차의 내부 상상력과 같은 "월드 모델"에 열광하고 있습니다. 단순히 보이는 것에 반응하는 것이 아니라, 체스 선수가 세 수 앞을 내다보는 것처럼 다음에 일어날 일을 예측하려고 노력하는 것입니다.
• 더 높은 투명성: 현재 모든 기업은 자신의 테스트 데이터를 비밀로 유지합니다. 전문가들은 미래에 기업들이 비디오 게임 개발자들이 하이스코어를 공유하는 것처럼 더 많은 벤치마크와 데이터를 공유하여, 누가 실제로 최고인지 모두가 볼 수 있기를 희망합니다.
• 자동화된 테스트: 그들은 자동차가 스스로 테스트하는 미래를 구상합니다. 자동차가 돌아다니며 문제를 찾아내고, 보고하고, 인간이 버튼을 누를 필요 없이 스스로 소프트웨어를 업데이트하는 모습입니다.

제안된 해결책: 폐쇄 루프 프레임워크 (Closed-Loop Framework)

이 모든 인터뷰를 바탕으로, 연구진은 테스트에 대해 생각하는 새로운 방법인 **증거 중심의 폐쇄 루프 프레임워크(Evidence-Centered Closed-Loop Framework)**를 제안했습니다.

거대한 순환 과정을 상상해 보세요.

1. 주장(Claim)에서 시작: 테스트하기 전에, 당신이 증명하고자 하는 것을 정확히 명시해야 합니다 (예: "이 자동차는 좁은 공간에 안전하게 주차할 수 있다").
2. 시나리오 라이브러리 구축: 지루한 것부터 무서운 것까지, 테스트해야 할 모든 가능한 상황을 모읍니다.
3. 테스트 경로 설정: 각 시나리오를 어디에서 테스트할지 결정합니다. 비디오 게임에서 먼저 주차 공간을 테스트할까요? 그다음 테스트 트랙에서? 그다음 실제 거리에서?
4. 증거 수집: 테스트를 실행하고 데이터를 수집합니다.
5. 문지기(Gatekeeper): 엄격한 규칙에 따라 증거를 검토합니다. 자동차가 통과했습니까? 그렇다면 다음 단계로 이동합니다. 아니라면, 다시 돌아가서 수정합니다.
6. 루프(Loop): 자동차가 도로 위에 있으면, 실제 세계의 데이터를 수집합니다. 만약 새로운 것을 보거나 실수를 한다면, 그 데이터를 다시 시작 단계으로 피드백하여 새로운 테스트 시나리오를 만듭니다.

이 프레임워크는 직선이 아닌 지속적인 루프로 설계되었습니다. 이는 자동차가 학습하고 세상이 변함에 따라, 테스트도 함께 진화하도록 보장합니다.

핵심 요약

이 논문은 자율주행 자동차 문제가 해결되었다고 주장하지 않습니다. 사실, 우리는 여로 여전히 "학습 단계"에 있음을 강조합니다. 전문가들은 시뮬레이션, 실제 주행, 그리고 새로운 AI 도구들을 혼합하여 열심히 노력하고 있지만, 실제 세상이 무질서하고 예측 불가능하다는 사실과 여전히 씨름하고 있습니다. 연구진은 우리가 어떻게 테스트할지는 잘 알고 있지만, 여 얼마나 많은 테스트가 충분한지, 그리고 우리의 컴퓨터 테스트가 실제로 현실과 일치하는지 어떻게 확신할 수 있는지를 여전히 알아내야 한다고 제안합니다.

호기심 많은 십 대를 위한 교훈은 이것입니다? 자율주행 자동차는 매우 어려운 시험을 공부하는 학생과 같습니다. 그들은 도서관에서 연습하고(시뮬레이션), 연습 퀴즈를 풀고(테스트 트랙), 현장 학습을 합니다(실제 도로). 하지만 그들이 세상이 던지는 모든 놀라운 상황을 처리할 수 있다는 것을 증명하고, 우리 모두가 무엇이 "합격 점수"인지 합의할 때까지, 그들은 안전 운전자가 옆에서 지켜보는 가운데 계속 운전할 것입니다. 여정은 길지만, 로드맵은 매일 더 명확해지고 있습니다.