GaitFace: A Multimodal Dataset for Long-Range Person Identification

당신이 음악 축제의 북적이는 인파 속에서 친구를 알아보려고 한다고 상상해 보세요. 친구가 바로 옆에 있다면, 당신은 그들의 미소, 눈동자 색깔, 그리고 고개를 기울이는 방식까지 볼 수 있습니다. 이것이 오늘날 대부분의 "얼굴 인식" 기술이 작동하는 방식입니다. 즉, 누구인지 확신하기 위해 선명하고 가까이서 찍은 사진이 필요합니다. 하지만 만약 당신의 친구가 300피트 뒤, 울타리 너머에 있다면 어떨까요? 게다가 공기마저 흐릿하다면요? 갑자기 그들의 얼굴은 아주 작고 흐릿한 얼룩이 되어버립니다. 보안 및 국경 통제 분야에서 이것은 거대한 골칫거리입니다. 보안 카메라는 종종 멀리 떨어진 곳에서 사람들을 관찰해야 하는데, 그곳은 화질이 형편없고 날씨가 나쁘며, 사람이 걷고 있거나 가방을 들고 있거나 평소와 다른 재킷을 입고 있을 수도 있습니다. 과학자들은 이를 "원거리 인체 식별(long-range person identification)"이라고 부릅니다. 또한 그들은 사람들이 걷는 방식, 즉 "보행(gait)"에 대해서도 연구합니다. 왜냐하면 얼굴을 명확하게 볼 수 없더라도, 다리를 움직이는 방식만으로도 누군지 알아낼 수 있기 때문입니다. 큰 질문은 이것입니다: 사진이 거칠고, 거리가 매우 멀며, 사람이 움직이고 있을 때도 컴퓨터가 여전히 누구인지 구별해 낼 수 있을까요?

이 논문은 GaitFace라고 불리는 새로운 도구를 소개합니다. 이것은 멀리 있는 사람을 식별하려는 컴퓨터 프로그램들을 위한 거대하고 현실적인 "훈련 체육관"과 같습니다. 연구진은 현재의 기술이 이러한 까다로운 "실제 환경(in-the-wild)" 시나리오를 얼마나 잘 처리하는지 테스트하기 위해 특별한 데이터셋(데이터 모음)을 구축했습니다. 그들은 최고의 컴퓨터 모델들이 고화질의 확대된 사진을 사용할 때는 얼굴을 아주 잘 인식하지만, 저해상도이고 멀리서 촬영된 경우에는 기본적으로 완전히 무너진다는 것을 발견했습니다. 더욱 놀라운 점은, 보통 가장 "똑똑하고" 복잡한 모델들이 이러한 조건에서 가장 크게 실패한다는 것이었습니다. 반면, 더 단순하고 가벼운 모델들은 오히려 어느 정도 잘 버텨냈습니다. 또한 이 논문은 옷차림이나 소품이 변할 때 사람의 걷는 패턴(보행)을 인식하는 것이 얼마나 어려운지를 보여줍니다. 주요 결론은 아직 완벽한 해결책이 없다는 것입니다. 현재의 시스템은 시야가 좋지 않을 때 매우 취약하며, 완벽한 근접 사진 없이도 신뢰할 수 있는 국경 보안 및 감시 체계를 구축하기 위해서는 훨씬 더 나은 기술이 필요합니다.

GaitFace 이야기

현재 보안 카메라의 상태를 추리 소설을 풀기 위해 오직 흐릿한 스냅샷 하나만을 가진 탐정에 비유해 보세요. 이 논문의 저자들은 흐릿함이 얼마나 심각한지, 그리고 우리의 디지털 탐정들이 이를 어떻게 다루는지 알아보기 위해 "미스터리 박스" 형태의 데이터를 만들기로 했습니다. 그들은 얼굴과 걷는 방식(보행)이라는 두 가지 단서를 결합한 공개 데이터셋인 GaitFace를 제작했습니다.

설정은 실제 국경 검문소를 모방하도록 설계되었지만, 한 가지 반전이 있습니다. 여행자가 역에 도착한다고 상상해 보세요. 먼저, 그들은 자신의 휴대폰으로 셀카를 찍습니다. 이것이 "사전 등록(Pre-Enrollment)" 단계로, 그들이 누구인지 보여주는 고화질의 선명한 사진입니다. 그 다음, 여행자는 야외 경로를 걷습니다. 걷는 동안 그들은 두 가지 다른 각도에서 촬영됩니다. 하나는 지면 높이에서의 촬영(근처에 서 있는 보안 요원처럼)이고, 다른 하나는 건물 3층 높이에서의 촬영(기둥 위에 설치된 카메라처럼)입니다. 그들은 카메라로부터 최대 100미터 떨어진 경로를 걷습니다.

연구진은 단순히 여행자들이 정상적으로 걷게만 만든 것이 아닙니다. 진정한 테스트를 위해 그들은 "혼돈"을 추가했습니다. 참가자들은 전화 통화를 하거나, 배낭을 메거나, 다른 재킷을 입거나, 혹은 그냥 평범하게 걷는 등 다양한 상황에서 걸었습니다. 또한 이 과정을 두 번의 서로 다른 날(몇 주 간격)에 수행하여, 머리 모양이 바뀌거나 날씨가 맑은 대신 비가 오는 상황에서도 컴퓨터가 여전히 그들을 인식할 수 있는지 확인했습니다. 총 70명의 인원을 기록하여 약 2.7TB의 영상 및 이미지 데이터를 생성했습니다.

위대한 테스트: 어떤 일이 일어났는가?

연구진은 가장 진보된 얼굴 및 보행 인식 컴퓨터(모델)들을 가져와 이 혼란스럽고 현실적인 데이터에 던져 넣었습니다. 그리고 다음과 같은 사실들을 발견했습니다.

1. "줌(Zoom)"의 마법 vs "흐릿함"의 현실
카메라가 강력한 **광학 줌(optical zoom)**을 사용하여 100미터 거리에서 선명한 고화질 사진을 얻었을 때, 컴퓨터는 환상적이었습니다. 그들은 마치 사람이 바로 앞에 있는 것처럼 매우 높은 정확도로 사람을 식별할 수 있었습니다. 하지만 줌 기능을 제거하고 카메라의 일반 렌즈를 사용하는 순간, 결과는 처참했습니다.

• 줌 없이 100미터 거리에서 촬영된 얼굴은 약 18 x 22 픽셀 크기에 불과했습니다. 이는 우표보다도 작은 크기입니다!
• 이 저화질 모드에서 최고의 컴퓨터들도 실제 사람과 낯선 사람을 구별하는 데 어려움을 겪었습니다. 정확도는 너무 낮아져서 거의 추측하는 수준보다도 못했습니다.
• 흥미롭게도, 연구진은 더 단순하고 가벼운 컴퓨터 모델(예: EdgeFace)이 거대하고 복잡한 모델들보다 때때로 더 나은 성능을 보인다는 것을 발견했습니다. 거대한 모델들은 디테일이 부족할 때 혼란을 겪는 반면, 작은 모델들은 더 유연한 것으로 보입니다.

2. "카메라를 향해 걷기"의 놀라움
연구진은 사람이 100미터 지점에서 3미터 지점까지 걸어올 때 어떤 일이 발생하는지도 테스트했습니다.

• 100미터 끝 지점에서는 컴퓨터가 거의 눈먼 상태였습니다.
• 사람이 가까워질수록 컴퓨터의 성능도 좋아졌지만, 그 개선 과정이 매끄럽지는 않았습니다. 사람이 비교적 가까이 왔을 때조차, 만약 보안 시스템이 오작동을 피하기 위해 매우 엄격하게 설정되어 있다면, 컴퓨터는 여전히 많은 사람을 인식하지 못했습니다.
• 이는 단순히 사람이 가까워지기를 기다리는 것만으로는 완벽한 해결책이 될 수 없음을 보여주었습니다. 즉, 시스템은 흐릿한 순간에도 견딜 수 있는 강건함(robustness)을 갖추어야 합니다.

3. 걷기 퍼즐 (보행)
얼굴이 너무 흐릿할 때를 대비한 백업 플랜으로 사람의 걷는 방식을 인식하는 것이 목표입니다. 하지만 GaitFace 테스트는 이 또한 매우 어렵다는 것을 보여주었습니다.

• 카메라 각도가 바뀌거나(지면에서 3층 높이로), 사람이 옷을 갈아입거나 가방을 들었을 때 컴퓨터는 매우 혼란스러워했습니다.
• 가장 좋은 모델들도 쉬운 시나리오에서 겨우 **20% ~ 28%**의 정확도를 보였으며, 조건이 까다로워지면 성능은 더 떨어졌습니다.
• 연구진은 깨끗한 환경의 짧은 영상(스튜디오에서 걷는 모습 등)으로 학습된 모델들이 GaitFace의 복잡하고 긴 거리 영상을 마주했을 때 처참하게 실패한다는 것을 발견했습니다.

이것이 왜 중요한가

이 논문은 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 현재의 기술이 어디에서 약한지를 정확히 보여주는 조명 역할을 합니다. 이 논문은 우리가 얼굴 인식을 위한 멋진 기술을 가지고 있지만, 장거리 감시라는 실제 세상을 상대하기에는 아직 준비가 되지 않았음을 증명합니다. 여기서 드러난 "취약성"은 만약 우리가 오늘날 국경 통제에 이러한 시스템에 의존한다면, 사람을 놓치거나 실수를 할 수 있음을 의미합니다.

저자들은 미래의 해답이 두 가지 단서(얼굴과 보행)를 결합하는 데 있다고 제안합니다. 즉, 얼굴이 너무 흐릿하다면 걷는 패턴이 도움을 주고, 그 반대의 경우도 마찬가지여야 한다는 것입니다. 하지만 현재로서는 GaitFace가 강력하고 정직한 기준점 역할을 하고 있습니다. 이 데이터는 연구자들에게 이렇게 말합니다. "여기가 진짜 도전 과제입니다. 당신들의 현재 도구들은 아직 충분하지 않습니다. 더 나은 것을 만들어 오십시오." 저자들은 이 데이터를 공개함으로써, 세상의 복잡한 현실을 다룰 수 있는 더 똑똑하고 강인한 차세대 보안 시스템이 탄생하기를 기대하고 있습니다.