Visual vehicle condition screening for ride-hailing: a grouped evaluation of DriveAI

매일 수백만 명의 사람들이 한 곳에서 다른 곳으로 이동하기 위해 차량 호출 앱에 의존합니다. 자동차가 승객을 태울 수 있는 자격을 갖추기 전에는 반드시 안전 점검을 통과해야 합니다. 보통 이 과정에는 사람이 차량 사진을 보며 찌그러짐, 스크래치 또는 부품 누락 등을 찾아내는 작업이 포함됩니다. 하지만 이러한 사진을 찍는 일은 매우 까다로운 작업입니다. 운전자가 밝은 햇빛 아래서, 혹은 깊은 그림자 속에서, 또는 파손된 범퍼가 잘려 나간 각도로 휴대폰을 이용해 사진을 찍을 수도 있기 때문입니다. 이미지의 품질이 천차만별이기 때문에, 인간 검사관이 차량이 정말 안전한 것인지 아니면 단순히 사진이 형편없게 나온 것인지 판단하기 어려울 때가 많습니다. 이를 해결하기 위해 연구자들은 이러한 지저난 사진들을 보고 차량의 상태가 양호한지 아니면 정밀 점검이 필요한지를 결정할 수 있는 컴퓨터 시스템을 구축하고 있습니다. '시각적 상태 평가(visual condition assessment)'라고 알려진 이 분야는 조명이 좋지 않거나 각도가 이상하더라도 기계가 인간 검사관이 보는 것을 볼 수 있도록 가르치는 것을 목표로 합니다.

최 recent 연구에서 아스타나 IT 대학교(Astana IT University)의 아카딜 알리시(Akadil Alish)라는 연구원은 'DriveAI'라고 불리는 특정 소프트웨어 도구를 시험했습니다. 이 도구는 차량 호출 기업들을 위한 첫 번째 필터 역할을 하도록 설계되었습니다. 이 도구의 임무는 제출된 사진을 스캔하여 '이 차가 온전한가, 아니면 손상되었는가?'를 결정하는 것입니다. 이 시스템은 두 부분으로 작동합니다. 먼저, 수백만 장의 이미지를 통해 이미 사물과 장면을 인식하도록 학습된 강력한 사전 학습된 컴퓨터 뇌를 사용합니다. 이 시스템의 첫 번째 부분은 차량 사진 자체로부터 학습하는 것이 아니라, 단순히 각 사진을 시각적 특징의 수학적 요약본으로 변환합니다. 그다음, 이 요약본 위에 간단히 맞춤 제작된 레이어가 놓여 최종 결정을 내립니다. 만약 시스템이 문제를 발견하면, 오염이나 손상이 있을 법한 위치에 대략적인 윤곽선을 그릴 수도 있지만, 이 두 번째 부분은 이번 테스트의 주요 초점은 아니었습니다.

연구는 하나의 과제와 함께 시작되었습니다. 연구진이 가진 데이터가 다소 엉망이었다는 점입니다. 연구진은 디지털 저장 시스템에서 4,000장이 넘는 사진을 발견했지만, 일부는 누락되었고, 일부는 중복되었으며, 일부는 동일한 차량의 서로 다른 모습이었습니다. 공정한 테스트를 위해 팀은 이 컬렉션을 정리했습니다. 그들은 24장의 중복 이미지를 제거하고, 시각적으로 유사해 보이는 사진들을 하나로 묶어 컴퓨터가 서로 다른 폴더에 있는 동일한 차량을 중복해서 보는 것이 아니라 고유한 사진들로 테스트받을 수 있도록 했습니다. 결과적으로 연구진은 컴퓨터에 한 번도 보여준 적 없는 871장의 사진을 최종 테스트용 세트로 확보했습니다. 목표는 조명 문제나 이상한 각도에 속지 않고 시스템이 손상된 차량을 정확히 식별할 수 있는지 확인하는 것이었습니다.

결과는 놀라울 정도로 강력했습니다. 컴퓨터가 871장의 테스트 사진을 살펴보았을 때, 차량이 손상되었는지 또는 온전한지를 0.95의 AUC로 정확히 식별해 냈습니다. 더 중요한 것은, 실제로 차량에 손상이 있는 경우 시스템이 0.975의 AUC로 이를 잡아냈다는 점입니다. 이 높은 성공률은 사전 학습된 시각적 뇌와 간단한 결정 레이어를 결합하는 방식이 이 특정 작업에 매우 효과적임을 시사합니다. 또한 연구진은 컴퓨터가 차량 사진에 대한 추가 학습 없이, 자신이 무엇을 보고 있는지에 대한 텍스트 설명만을 읽고 상태를 추측하도록 하는 다른 접근 방식을 테스트했습니다. 그 방법은 실패했으며, 무작위 추측보다 나은 성과를 내지 못했습니다. 이는 시스템이 단순히 일반적인 지식에 의존하는 것이 아니라, 차량 사진에 특화되어 조정되어야만 작동한다는 것을 증명합니다.

하지만 이 연구는 시스템이 아직 할 수 없는 부분도 강조했습니다. 컴퓨터는 "이 차는 손상되었다" 또는 "이 차는 괜찮다"라고 말하는 데는 탁월했지만, 손상이 정확히 어디에 있는지를 짚어내는 능력에 대해서는 완전히 테스트될 수 없었습니다. 연구에 사용된 사진들에는 모든 스크래치나 찌그러짐을 표시하는 상세한 지도가 없었기 때문에, 연구진은 그려진 윤곽선이 얼마나 정확한지 측정할 수 없었습니다. 연구진은 시스템이 실제 문제는 범퍼가 사라진 것인데도 더러운 앞 유리를 둘러싸거나, 차량 전면부가 함몰되었는데도 헤드라이트에 집중하는 등의 오류를 발견했습니다. 이러한 오류는 시스템이 무언가 잘못되었다는 것을 포м착하는 데는 뛰어나지만, 정확히 무엇이 어디에 잘못되었는지를 이해하기 위해서는 여전히 더 많은 훈련이 필요함을 보여줍니다.

연구진은 이 테스트가 프로젝트의 이전 단계에서 사용되었던 사진 컬렉션을 대상으로 수행되었다는 점을 주의 깊게 언급했습니다. 사진들에 어떤 차량에서 왔는지 추적할 수 있는 고유 ID가 없었기 때문에, 컴퓨터가 이전에 보았던 차량과 유사한 모습을 이미 보았을 가능성이 있습니다. 이는 시스템이 한 번도 본 적 없는 완전히 새로운 차량 군단을 대상으로 테스트될 경우, 높은 점수가 다소 낙관적일 수 있음을 의미합니다. 그럼에도 불구하고, 이 연구는 명확한 향후 경로를 제시합니다. 이는 자동화된 스크리닝이 휴대폰으로 찍은 지저분한 차량 사진의 현실을 높은 정확도로 처리할 수 있음을 보여주는 동시에, 시스템이 현실 세계에서 진정으로 신뢰받기 위해서는 더 나은 데이터, 즉 손상 위치를 명확히 표시한 사진과 훈련에 사용된 차량과 테스트에 사용된 차량 사이의 엄격한 분리가 필요하다는 것을 보여줍니다. 그때까지 이 시스템은 인간 검사관이 재확인할 수 있도록 가장 가능성 높은 문제를 표시해 주는 강력한 조력자 역할을 수행합니다.