Effects of directional TOR interfaces on takeover performance: A protocol for a systematic review and meta-analysis

당신은 특정 도로와 특정 날씨에서만 스스로 주행하는 자동차를 타고 있다고 상상해 보세요. 그것은 마치 아주 똑똑한 로봇 부조종사가 조향과 속도를 담당하지만, 도로가 너무 까다로워지거나 날씨가 험악해지면, "이봐, 난 더 이상 못 하겠어, 네가 운전대를 잡아야 해!"라고 말해야 하는 것과 같습니다. 이 제어권 전환의 순간을 "테이크오버(takeover)"라고 부릅니다. 로봇은 인간 운전자에게 당신이 핸들을 잡고 도로를 주시하도록 유도하기 위해 "테이크오버 요청(Takeover Request, TOR)"이라고 알려진 경고를 보냅니다.

큰 질문은 과학자들이 던지고 있는 것입니다. 바로, 사람이 무엇을 해야 할지 알리는 가장 좋은 방법은 무엇인가 하는 점입니다. 단순히 일반적인 알람 시계처럼 "제어권을 넘겨받으세요!"라고 외치는 것이 좋을까요? 아니면 도움이 되는 가이드가 손가락으로 가리키며 "저기를 보세요, 저기에 위험이 있습니다!" 또는 "그쪽으로 가세요, 저 차선이 안전합니다!"라고 말하는 것처럼 더 구체적이어야 할까요? 이러한 구체적인, 방향을 지시하는 경고를 "방향성 TOR(directional TORs)"라고 부릅니다. 목표는 로봇이 제어권을 다시 넘겨줄 때 인간 운전자가 혼란에 빠지거나 당황하지 않게 하여 모두의 안전을 보장하는 것입니다.

논문: 최선의 경고를 찾기 위한 탐정 놀이

이 논문은 본질적으로 거대한 탐정 이야기와 같습니다. 하지만 탐정들이 범죄를 해결하는 대신, 저자들(Wei Zhang, Jinlei Shi, Ali Arabian)은 자동차 안전에 관한 미스터리를 해결하려고 노력하고 있습니다. 그들은 새로운 자동차를 만들거나 직접 실험을 수행하는 것이 아니라, 다른 요리사들로부터 수천 개의 레시피를 모아 완벽한 요리를 찾아내는 숙련된 셰프처럼 행동하고 있습니다. 그들의 "요리"는 자율주행차가 인간에게 제어권을 넘겨줘야 할 때 운전자를 경고하는 가장 좋은 방법입니다.

그들이 해결하려는 미스터리는 "방향성" 경고(위험 요소나 안전한 차선을 가리키는 경고)가 일반적인, 방향을 지시하지 않는 경고보다 실제로 더 나은가 하는 점입니다. 이전의 일부 연구들은 "네, 가리키는 방식이 아주 효과적입니다! 운전자의 반응이 더 빨라집니다!"라고 말했습니다. 반면 다른 연구들은 "아니요, 가리키는 것은 도움이 되지 않습니다"라고 하거나, 심지어 "사실, 가리키는 것이 상황을 더 악화시킵니다!"라고 말하기도 했습니다. 이것은 마치 친구들이 특정 비디오 게임의 치트 코드가 게임에서 이기는 데 도움이 되는지를 두고 논쟁하는 것과 비슷합니다. 어떤 이들은 도움이 된다고 하고, 어떤 이들은 그렇지 않다고 하며, 아무도 누가 옳은지 확실히 모르는 상태입니다.

이 문제의 실마리를 풀기 위해, 저자들은 "체계적 문헌 고찰 및 메타 분석(systematic review and meta-analysis)"이라는 엄격한 계획을 설계했습니다. 이것은 매우 조직적인 보물 찾기라고 생각하면 됩니다. 그들은 이미 지도를 탐색하여 5개의 서로 다른 디지털 라이브러리에서 3,809개의 잠재적인 단서(연구 논문)를 찾아냈습니다. 중복된 것들(같은 단서를 두 번 발견하는 것과 같은 경우)을 제거한 후, 그들에게 남은 것은 검토할 약 3,472편의 논문입니다.

이제, 그들은 "필터" 게임을 할 것입니다. 두 명의 저자가 독립적으로 논문의 제목과 초록을 읽으며 해당 논문이 규칙에 맞는지 확인할 것입니다. 규칙은 엄격합니다. 연구는 레벨 2 또는 레벨 3 자율주행 자동차(자동으로 주행하지만 인간의 백업이 필요한 단계)를 포함해야 하며, "테이크오버" 순간을 다루어야 하고, 방향을 지시하는 경고를 지시하지 않는 경고와 비교해야 합니다. 그들은 운전자의 반응 속도(테이크오버 시간)와 제어권을 넘겨받은 후의 주행 매끄러움(테이크오버 품질)을 측정하는 연구를 찾고 있습니다.

일단 최종 목록인 "황금" 연구들(약 30~40개의 좋은 연구를 찾을 것으로 예상함)을 확보하면, 그들은 모든 숫자와 세부 사항을 추출할 것입니다. 그들은 운전자의 연령은 어떠했는지, 테스트가 실제 자동차에서 진행되었는지 아니면 비디오 게임 시뮬레이터에서 진행되었는지, 어떤 종류의 지시형 경고를 사용했는지와 같은 것들을 알고 싶어 합니다.

그다음은 수학 파트입니다. 그들은 특별한 통계 도구를 사용하여 이 모든 서로 다른 연구들을 하나의 큰 그림으로 결합할 것입니다. 이것은 30개의 서로 다른 비디오 게임 토너먼트 결과를 가져와 평균을 내어 진정한 챔피언이 누구인지 확인하는 것과 같습니다. 그들은 방향성 경고가 정말로 운전자를 더 빠르게 만드는지, 혹은 더 안전하게 만드는지 확인할 것입니다. 만약 모든 연구의 결과가 제각각이라면(현재 상황이 그러합니다), 그들은 왜 그런지를 알아내려 할 것입니다. 아마도 시뮬레이터에서는 실제 상황보다 더 잘 작동하는 걸까요? 아니면 경고가 위험을 가리키느냐 안전한 차선을 가리키느냐에 따라 달라지는 걸까요?

현재, 이 논문은 조사의 계획 단계에 있습니다. 저자들은 아직 논문을 분류하거나 숫자를 계산하지 않았습니다. 그들은 작업의 기초를 다지고 있으며, 최종 답변이 공정하고 정확하게 나올 수 있도록 어떻게 작업을 수행할 것인지 상세히 설명하고 있습니다. 그들은 자신이 얼마나 많은 논문을 찾았고, 왜 몇몇 논문을 제외했는지, 그리고 왜 제외했는지를 정확히 보여줌으로써 매우 투명할 것을 약속하고 있습니다.

그렇다면 이 논문은 무엇을 찾아낼까요? 작업이 아직 계획 단계에 있기 때문에, 이 논문은 아직 최종 결론을 가지고 있지 않습니다. 그들은 방향성 경고가 마법 같은 해결책이라고 주장하지도 않고, 그렇다고 쓸모없다고 말하지도 않습니다. 대신, 그들은 궁극적인 심판이 되겠다고 약속합니다. 모든 증거를 수집하고 돋보기를 들고 꼼꼼히 검토함으로써, 저자들은 마침내 이 혼란을 정리하고자 합니다. 그들은 길을 가리키는 것이 우리가 제때 핸들을 잡는 데 정말 도움이 되는지, 아니면 그냥 단순한 알람을 사용하는 것이 나은지를 알고 싶어 합니다. 분석을 마칠 때까지, 답은 "아마도"로 남아 있겠지만, 이 논문은 진실을 찾기 위한 로드맵입니다.