Beyond Pixel Similarity: Task-Aware Evaluation of GAN-Based Synthetic Sonar Data for Robotic Perception

수중 로봇은 독특한 과제에 직면해 있습니다. 바다는 표준 카메라가 선명하게 볼 수 없을 정도로 너무 어둡거나, 탁하거나, 혹은 떠다니는 부유물로 가득 차 있는 경우가 많기 때문입니다. 이러한 환경을 항해하기 위해 엔지니어들은 음파를 사용하여 해저와 그 안의 물체들을 사진처럼 만들어내는 이미징 소나(imaging sonar)에 의존합니다. 하지만 이 음파 기반 이미지들은 인간이 익숙한 사진과는 매우 다르게 보입니다. 이 이미지들은 시야의 각도와 해저의 질감에 따라 크게 달라지는 입자 형태의 노이즈, 기묘한 그림자, 그리고 밝은 점들로 가득 차 있습니다. 로봇에게 이러한 까다로운 이미지 속에서 난파선이나 쓰레기를 인식하도록 가르치기 위해서는 수천 개의 라벨이 붙은 사례가 필요합니다. 실제 세계의 이미지를 수집하고 수동으로 표시하는 작업은 느리고 비용이 많이 들며 종종 위험하기도 합니다. 일반적인 해결책은 합성 데이터(synthetic data)—즉, 실제와 유사하게 컴퓨터로 생성된 이미지—를 만드는 것입니다. 이를 통해 로봇은 직접 바다를 방문할 필요 없이 방대한 사례 라이브러리로부터 학습할 수 있습니다. 그러나 결정적인 질문이 남아 있습니다. 어떻게 하면 가짜 소나 이미지가 로봇을 가르치기에 실제로 충분히 좋은지 어떻게 알 수 있을까요?

오랫동안 합성 이미지의 품질을 판단하는 표준적인 방법은 픽셀 단위로 실제 이미지와 얼마나 밀접하게 일치하는지를 측정하는 것이었습니다. 연구자들은 두 이미지 사이의 밝기와 색상 차이를 계산하는 수학적 도구를 사용하여 유사성을 나타내는 점수를 부여합니다. 만약 점수가 높다면, 해당 합성 이미지가 현실적이며 따라서 유용하다는 가정이 성립됩니다. 새로운 한 연구는 이러한 가정에 이의를 제i기하며, 로봇이 수중에서 물체를 '보는' 것을 돕기 위한 특정 작업의 경우, 이미지를 전체적으로 보는 것보다 머신러닝 알고리즘이 물체를 찾아내는 데 필요한 구체적인 세부 사항을 보는 것이 더 중요하다고 제안합니다. 연구진은 전통적인 유사성 점수가 합성 이미지가 로봇의 물체 탐지에 얼마나 도움이 되는지를 진정으로 반영하는지, 아니면 단순히 시각적 유사성만을 측정할 뿐 데이터의 기능적 실체는 포착하지 못하는 것인지를 조사했습니다.

이를 탐구하기 위해 연구팀은 서로 경쟁하는 예술가 쌍처럼 작동하는 생성적 적대 신경망(GAN)이라는 유형의 인공지능을 사용했습니다. 시스템의 한 부분은 단순한 물체의 윤곽을 바탕으로 현실적인 소나 이미지를 생성하려고 시도하는 반면, 다른 부분은 가짜 이미지와 진짜 이미지 사이의 차이점을 찾아내려고 시도합니다. 연구진은 이미지를 바라보는 방식이 서로 다른 네 가지 버전의 이 '탐지기(spotter)'를 테스트했습니다. 한 버전은 이미지를 아주 작은 점 하나씩 검토했고, 다른 하나는 작은 패치(patch) 단위로 보았으며, 세 번째는 중간 크기의 영역을, 네 번째는 전체 이미지를 한꺼번에 살펴보았습니다. 연구진은 통제된 풀(pool) 환경과 변동성이 큰 강 환경이라는 두 가지 서로 다른 출처의 실제 소나 데이터를 사용하여 이 시스템들을 훈련시켰습니다. 합성 이미지가 생성된 후, 연구팀은 두 가지 방식으로 평가를 진행했습니다. 첫째, 전통적인 유사성 테스트를 실행하여 어떤 버전이 가장 시각적으로 정확한 이미지를 만들어내는지 확인했습니다. 둘째, 합성 이미지를 가져와 오직 실제 소나 데이터로만 학습된 물체 탐지 소프트웨어에 입력하여, 마치 가짜 이미지가 진짜인 것처럼 소프트웨어가 물체를 찾도록 요청했습니다.

결과는 이미지가 어떻게 보이는지와 그것이 얼마나 유용한지 사이에 놀라운 괴리가 있음을 드러냈습니다. 통제된 풀 데이터셋의 경우, 이미지를 아주 작은 점 하나씩 검토한 시스템이 가장 높은 유사성 점수를 기록하여 표준 지표에 따라 실제 참조 이미지와 가장 흡사해 보였습니다. 그러나 물체 탐지 소프트웨어가 해당 이미지에서 항목을 찾으려고 했을 때는, 이미지의 작은 패치들을 살펴본 시스템이 생성한 이미지에서 성능이 훨씬 더 좋았습니다. 마찬가지로 강 데이터셋에서도 전체 이미지를 한꺼번에 분석한 시스템이 가장 높은 유사성 점수를 얻었지만, 패치 기반 시스템들이 다시 한번 탐지 소프트웨어가 물체를 더 정확하게 찾을 수 있게 해주었습니다. 연구는 픽셀 수준의 유사성이 가장 높은 구성이 반드시 최상의 탐지 성능을 보장하는 것은 아니라는 사실을 발견했습니다. 사실, 약간 더 흐릿하거나 픽셀 단위로 완벽하지 않은 이미지를 생성한 시스템들이 오히려 탐지 소프트웨어가 대상을 식end하는 데 필요한 날카로운 가장자리와 국부적 구조를 더 잘 보존했습니다.

이러한 발견은 우리가 합성 데이터를 판단하기 위해 현재 사용하는 도구들이 이미지의 가장 중요한 부분을 놓치고 있을 수 있음을 시사합니다. 전통적인 점수들은 이미지가 실제 사진의 전반적인 밝기와 일반적인 구조를 일치시키는 것에 보상을 주는데, 이는 때때로 이미지를 매끄럽고 균일하게 만들 수는 있지만 로봇이 결정을 내리는 데 필요한 구체적이고 대비가 뚜렷한 세부 사항은 부족하게 만들 수 있습니다. 국부적인 영역에 집중하는 패치 기반 시스템은 비록 인간 관찰자에게는 전체적인 이미지가 약간 덜 완벽해 보일지라도, 기계가 배경으로부터 물체를 구별하는 데 도움이 되는 핵심 특징들을 보존하는 것으로 보였습니다. 연구진은 로봇의 인지를 목적으로 하는 합성 소나 데이터의 경우, 시각적 유사성 지표에만 의 Rely하는 것은 불충분하다고 결론지었습니다. 대신, 합성 이미지의 품질에 대한 진정한 시험은 로봇이 실제 업무를 수행하는 데 얼마나 잘 도움이 되는지가 되어야 합니다. 이러한 관점의 변화는 수중 로봇 훈련의 미래가 현실과 똑같이 보이는 이미지를 만드는 것보다, 그 이미지를 필요로 하는 기계가 효과적으로 볼 수 있는 이미지를 만드는 데 달려 있음을 암시합니다.