CLERF: Contrastive LEaRning for Full Range Head Pose Estimation

당신이 로봇에게 인간의 바디랭귀지를 가르치려 한다고 상상해 보세요. 당신은 로봇이 사람이 머리를 어떻게 기울이고 있는지, 새를 보려고 위를 올려다보고 있는지, 휴대폰을 보려고 아래를 내려다보고 있는지, 아니면 원을 그리며 빙글빙글 돌고 있는지 정확하게 알기를 원합니다. 이 작업은 '헤드 포즈 추정(Head Pose Estimation, HPE)'이라고 불리며, 가상 현실 게임부터 보행자가 자신을 보고 있는지 알아야 하는 자율주행 자동차에 이르기까지 모든 분야에서 매우 중요한 일입니다. 컴퓨터에게 이 일을 가르치기 위해 우리는 보통 수천 장의 얼굴 사진을 보여줍니다. 하지만 여기서 까다로운 점이 있습니다. 현실 세계에서는 서로 다른 사람들이 정확히 같은 방향을 바라보고 있는 사진 두 장을 찾는 것이 믿기 힘들 정도로 어렵다는 것입니다. 이는 마치 붐비는 경기장에서 낯선 사람들 중 두 명이 천장에 붙은 똑같은 먼지 한 점을 동시에 응시하고 있는 것을 찾는 것과 같습니다. 이러한 "매칭되는" 쌍을 찾는 것이 너무 어렵기 때문에, 비슷한 것들을 비교하여 무엇이 그것들을 닮게 만드는지 학습하는 강력한 교수법인 "대조 학습(contrastive learning)"은 이 특정 작업에서 진퇴양난에 빠져 있었습니다.

이제, 이 진흙탕 같은 격차 위에 다리를 놓기로 결심한 연구팀이 등장했습니다. 그들은 CLERF(Full Range Head Pose Estimation을 위한 대조 학습)라는 새로운 프레임워크를 만들었습니다. 이들은 자연이 제공하는 일치하는 사진을 기다리는 대신, 특수한 AI 생성기를 사용하여 자신만의 "쌍둥이" 사진을 즉석에서 만들어냈습니다. 또한 그들은 기존의 대부분의 로봇 두뇌가 사진이 약간 기울어지거나 뒤집힌 경우를 처리하는 데 서투르다는 것을 깨달았습니다. 사진을 10도만 돌려도 로봇은 혼란에 빠집니다. 하지만 CLERF는 360도 전체 세상을 다룰 수 있도록 설계되었으며, 심지어 거꾸로 된 머리 사진이라 할지라도 침착함을 유지합니다.

문제점: 헤드 포즈의 "건초더미 속 바늘 찾기"

헤드 포즈 추정을 방향을 인식하도록 학생을 가르치는 것에 비유해 생각해 보세요. 만약 당신이 그들에게 정면을 보거나 약간 옆을 보는 사진만 보여준다면, 그들은 그 각도들에 대해서는 전문가가 될 것입니다. 하지만 만약 당신이 그들에게 똑바로 위를 보거나, 똑바로 아래를 보거나, 심지어 거꾸로 된 상태를 식별하라고 요청한다면, 그들은 본 적 없는 각도이기 때문에 실패할 수도 있습니다.

연구진은 이 전체 범위의 움직임에 대해 "대조 학습"을 사용하는 것이 거의 불가능하다는 것을 발견했습니다. 간단히 말해, 대조 학습은 컴퓨터가 '대상' 이미지(앵커)를 '일치하는 것'(포지티브) 및 '일치하지 않는 것'(네거티브)과 비교하며 학습하는 "틀린 그림 찾기" 게임과 같습니다. 잘 학습하려면 컴퓨터는 같은 방향을 보고 있는 많은 사람의 쌍을 보아야 합니다. 하지만 머리 움직임의 방대한 3D 공간에서, 두 사람이 정확히 같은 방향을 보고 있는 것을 찾는 것은 통계적으로 거의 불가능합니다—그 확률은 0.02% 미만입니다. 이러한 매칭 쌍이 없으면 컴퓨터는 각도의 미세한 차이를 학습할 수 없습니다.

해결책: 마법의 거울과 회전하는 방

이 문제를 해결하기 위해 저자들은 영리한 2단계 트릭을 구축했습니다.

1단계: 마법의 거울 (합성 쌍둥이)
실제 사람 중 같은 방향을 보고 있는 사람을 찾아다니는 대신, 그들은 "3D 인식 GAN"(현실적인 3D 이미지를 생성할 수 있는 유형의 AI)을 사용하여 합성 쌍둥이를 만들어냈습니다. 당신이 약간 왼쪽을 보고 있는 사람의 사진을 가지고 있다고 상상해 보세요. AI는 그 정확히 같은 방향을 보고 있는 다른 사람의 가짜 사진을 생성합니다. 이제 컴퓨터는 공부할 수 있는 완벽한 "포지티브 쌍"(매치)을 갖게 되었습니다. 이는 필요한 때마다 바늘을 만들어냄으로써 "건초더미 속 바늘 찾기" 문제를 해결합니다.

2단계: 회전하는 방 (기하학적 변환)
연구진은 단순히 매칭되는 쌍을 갖는 것만으로는 충분하지 않다는 것을 깨달았습니다. 그들은 컴퓨터가 거꾸로 된 머리와 같은 이상한 각도를 포함하여 모든 각도를 다룰 수 있도록 가르쳐야 했습니다. 이를 위해 그들은 이미지에 수학적 "뒤집기"와 "회전"을 적용했습니다. 이것은 사진을 찍고 그 주변의 방을 돌리는 것과 같습니다. 만약 왼쪽을 보고 있는 사람의 사진을 180도 회전시킨다면, 그 사람은 이제 오른쪽을 보고 있는 것이 됩니다. 이 사진들을 수학적으로 뒤집고 회전시킴으로써, 그들은 -180도에서 180도까지 헤드 움직임의 전체 구(sphere)를 커버할 수 있었고, 컴퓨터가 가능한 모든 각도를 볼 수 있도록 보장했습니다.

결정적으로, 그들은 만약 매칭되는 이미지 쌍을 똑같은 방식으로 회전시키거나 뒤집는다면, 그것들은 여전히 매치 상태라는 것을 증명했습니다. 이를 통해 그들은 대조 학습을 효과적으로 사용하여, 머리가 왼쪽을 보는 것이 근본적으로 오른쪽을 보는 것과는 다르다는 것을 컴퓨터가 이해하도록 가르칠 수 있었으며, 설령 사진이 거꾸로 되어 있더라도 말입니다.

결과: 어지러움을 느끼지 않는 로봇

연구팀은 표준 테스트 데이터셋을 사용하여 자신들의 새로운 모델인 CLERF를 기존의 최고 모델들과 테스트했습니다. 결과는 다음과 같았습니다:

• 일반 사진의 경우: 표준적인 똑바른 사진으로 테스트했을 때, CLERF는 기존의 최고 모델들과 대등한 성능을 보였습니다. 이것이 모든 것을 즉각적으로 완벽하게 만드는 마법의 탄환은 아니었지만, 충분히 제 역할을 해냈습니다.
• 약간 기울어진 사진의 경우: 여기서 마법이 일어났습니다. 연구진이 테스트 사진을 회전시키거나 뒤집었을 때(그들이 "약간 증강된" 또는 SA 버전이라고 부르는 경우), 기존 모델들은 비틀거리기 시작했습니다. 그들의 정확도는 크게 떨어졌습니다. 그러나 CLERF는 아주 견고했습니다. 이 까다로운 약간 회전된 이미지들에 대해 CLERF는 다음으로 좋은 모델보다 약 0.5에서 1.3도 더 정확했습니다.
• 격렬하게 회전된 사진의 경우: 모델들이 심하게 회전되거나 뒤집힌 이미지("Full Range" 또는 FA 버전)를 대상으로 테스트했을 때, 차이는 엄청났습니다. 기존 모델들은, 심지어 전체 범위를 다룬다고 주장했던 모델들조차 혼란에 빠져 오차가 10도 이상 급증했습니다. 반면, CLERF는 이러한 미친 각도들을 아주 쉽게 처리하며 경쟁 모델들을 큰 차이로 앞질렀습니다.

연구진은 컴퓨터가 세상을 어떻게 "보는지" 시각화하기도 했습니다. 그들은 사람이 원을 그리며 도는 영상을 모델에게 보여주었습니다. 기존 모델들은 회전하는 사람을 시작점과 끝점이 너무 비슷해 보이는 흐릿하고 혼란스러운 덩어리로 보았습니다. 그러나 CLERF는 명확하고 매끄러운 원을 보았으며, 각도가 가까운 것과 먼 것을 완벽하게 구분해 냈습니다.

요약

이 논문은 "쌍둥이" 이미지를 생성하고 데이터를 수학적으로 회전시킴으로써, 그 누구도 이전에 해본 적 없는 방식으로 컴퓨터가 헤드 포즈를 이해하도록 성공적으로 가르쳤음을 시사합니다. 그들은 단순히 완벽한 사진에서 잘 작동하는 모델을 만든 것이 아니라, 복잡하고 회전되거나 뒤집힌 현실 세계를 다룰 수 있을 만큼 견고한 모델을 만들었습니다. 그들이 컴퓨터 비전의 모든 문제를 해결했다고 주장한 것은 아니지만, 이 새로운 접근 방식이 기존의 최고 AI 시스템들을 당혹스럽게 만들었던 각도들을 포함하여 어떤 헤드 포즈도 정확하게 예측할 수 있는 "진정한 풀 레인지(full range)" 모델을 가능하게 한다는 것을 입증했습니다.