First International StepUP Competition for Biometric Footstep Recognition: Methods, Results and Remaining Challenges

본 논문은 보행 시 발바닥 압력 패턴을 기반으로 한 생체 인식 기술의 발전과 남은 과제를 논의하기 위해 UNB StepUP-P150 데이터셋을 활용한 '제1 회 국제 StepUP 보행 생체 인식 대회'의 방법론, 23 개 팀의 참여 결과, 그리고 최우수 팀의 성능과 일반화 한계 등을 종합적으로 보고합니다.

핵심

이 논문은 **'걸음걸이로 사람을 식별하는 기술'**을 더 똑똑하게 만들기 위해 열린 세계 최초의 대회에 대한 이야기입니다. 마치 발자국으로 지문을 확인하는 것과 비슷하죠.

이 대회의 핵심 내용과 결과를 쉬운 비유로 설명해 드릴게요.

1. 배경: 왜 이 대회가 필요했을까요?

우리가 걸을 때 발바닥에 가해지는 압력 패턴은 사람마다 다릅니다. 이를 이용해 보안이나 출입 통제에 쓸 수 있는데, 문제는 실제 상황에서는 너무 변수가 많다는 것입니다.

• 비유: imagine(상상해 보세요) 당신이 친구를 멀리서 봤을 때, 친구가 운동화를 신었는지, 구두를 신었는지, 혹은 맨발인지에 따라 모습이 달라보인다고 가정해 봅시다. 또 천천히 걷는지, 빨리 뛰는지에 따라도 달라보이죠.
• 문제점: 기존 기술은 친구가 항상 같은 신발을 신고 같은 속도로 걸어올 때만 잘 알아봤습니다. 하지만 신발을 바꾸거나 걸음걸이가 변하면 "이 친구가 맞나?"라고 헷갈려 하거나, 아예 못 알아봤습니다.

이를 해결하기 위해 캐나다의 뉴브런즈윅 대학이 150 명의 사람이 다양한 신발을 신고 다양한 속도로 걸은 **20 만 개 이상의 발자국 데이터 (StepUP-P150)**를 공개했습니다. 이 데이터를 바탕으로 전 세계 연구자들이 "어떻게 하면 신발이나 걸음걸이가 바뀌어도 친구를 정확히 알아볼까?"를 겨루는 대회를 열었습니다.

2. 대회 규칙: 어떤 미션을 수행했나요?

참가자들은 150 명의 데이터로 학습한 뒤, 완전히 새로운 30 명의 사람들을 테스트해야 했습니다.

• 미션: "이 발자국은 A 씨의 것일까, 아니면 B 씨의 것일까?"를 판단하는 것입니다.
• 난이도: A 씨의 등록 데이터는 편한 운동화로 평상시 걸음걸이로 찍은 것 10 개뿐입니다. 하지만 테스트할 때는 A 씨가 다른 신발을 신거나 달릴 때의 발자국이 섞여 나옵니다.
• 목표: 적은 정보 (등록 데이터) 로도 다양한 상황 (테스트 데이터) 에서 사람을 정확히 식별하는 모델을 만드는 것입니다.

3. 우승팀의 비법: 어떻게 이겼나요?

23 개 팀이 참가했고, 아일랜드의 Saeid UCC 팀이 1 위를 차지했습니다. (오류율 10.77% 기록)

• 우승팀의 전략 (GRM): 그들은 단순히 모델을 만드는 게 아니라, **"모델을 가르치는 선생님 (AI 에이전트)"**을 만들었습니다.

  • 비유: 보통은 요리사 (모델) 가 재료를 가지고 요리를 해보며 실수를 반복합니다. 하지만 이 팀은 요리사에게 "너는 지금 재료를 섞는 속도가 빨라, 맛을 낼 확률이 높아!"라고 미리 알려주는 AI를 붙였습니다.
  • 이 AI 는 요리사가 요리를 시작하자마자 "이 조합은 실패할 것 같아"라고 말려서 시간을 아끼고, "이 조합은 대박일 것 같아"라고 집중하게 만들었습니다. 결과적으로 가장 좋은 요리법 (모델 설정) 을 가장 빠르게 찾아낸 것입니다.

• 다른 팀들의 전략:

  • 2 위 팀은 "저렴한 재료로 맛을 먼저 보고 비싼 재료로 완성하는" 방식을 썼습니다. (저해상도 데이터로 먼저 학습해서 방향을 잡은 뒤, 고해상도 데이터로 다듬음)
  • 3 위 팀은 "학습 순서 자체를 진화시켰습니다." 처음엔 쉬운 발자국 (맨발, 천천히) 만 보여주고, 점점 어려운 발자국 (다른 신발, 빠르게) 을 보여주는 식으로 학습 과정을 설계했습니다.

4. 결과와 남은 과제: 무엇이 잘 되고, 무엇이 안 됐나요?

• 잘된 점:

  • 알고리즘이 매우 똑똑해졌습니다. 대회 시작 전의 '초보 모델'은 19.5% 의 오류를 냈는데, 우승팀은 10.77% 로 절반 가까이 줄였습니다.
  • 친구가 운동화를 신었거나, 걸음걸이가 조금 변했을 때는 거의 완벽하게 알아맞혔습니다.

• 아직 해결되지 않은 문제 (가장 큰 난관):

  • 신발의 차이가 여전히 치명적입니다.
  • 비유: 친구가 평소 신는 운동화 대신, 전혀 다른 디자인의 샌들을 신거나, 구두를 신으면 시스템이 "이 친구가 아니야!"라고 잘못 판단하거나, "다른 친구네?"라고 헷갈리는 경우가 많았습니다.
  • 특히 샌들을 신은 경우나 운동화를 신은 경우처럼 신발의 형태가 완전히 바뀌면, 발바닥 압력 패턴이 너무 달라져서 AI 가 혼란을 겪었습니다.

5. 결론: 이 대회가 우리에게 주는 메시지

이 대회는 "걸음걸이로 사람을 식별하는 기술"이 실생활에 쓰일 수 있는 가능성을 보여주었습니다. 하지만 아직 신발이라는 변수를 완벽하게 극복하지는 못했습니다.

• 핵심 메시지: "AI 가 데이터를 많이 보고 스스로 배우는 능력은 이미 매우 뛰어납니다. 하지만 사람이 신는 신발처럼 예측 불가능한 변화에 대처하려면, 앞으로도 더 많은 연구와 새로운 아이디어가 필요합니다."

이 대회는 마치 "걸음걸이로 사람을 찾는 기술"이 유치원을 졸업하고 초등학교에 진학하는 순간과 같습니다. 기초는 다졌지만, 이제부터는 더 복잡하고 다양한 세상 (실제 환경) 에서 살아남기 위해 계속 성장해야 합니다.

기술 요약

논문 요약: 생체 인식 보행 발자국 인식 (Biometric Footstep Recognition) 을 위한 첫 번째 국제 StepUP 경쟁

1. 문제 정의 (Problem)

• 배경: 보행 중 발바닥의 고유한 압력 패턴을 기반으로 신원을 식별하거나 인증하는 '보행 발자국 생체 인식 (Footstep Recognition)'은 보안 및 안전 분야에서 유망한 기술로 부상하고 있습니다. 기존 연구는 통제된 실험실 환경에서 높은 정확도를 보였으나, 실제 배포 환경에서는 한계가 있었습니다.
• 핵심 과제:
  • 강건성 부족: 신발 종류, 보행 속도, 인지 부하, 휴대 물품 등 자연스러운 변이 요인에 따른 보행 패턴의 변화 (Domain Shift) 에 대한 시스템의 강건성이 부족합니다.
  • 데이터 부족: 다양한 조건 (다양한 신발, 속도) 과 많은 참가자를 포함하는 대규모 공개 데이터셋의 부재로 인해 딥러닝 기반의 일반화 성능 향상이 더뎌졌습니다.
  • 실제 적용의 어려움: 등록 (Enrollment) 데이터는 제한적이고 동질적인 조건 (예: 특정 신발, 특정 속도) 에서 수집되는 반면, 실제 검증 (Verification) 은 알려지지 않은 조건에서 이루어져야 하므로, 소량의 참조 데이터로 미지의 사용자와 조건을 처리하는 것이 주요 난제입니다.

2. 방법론 및 데이터 (Methodology & Datasets)

이 경쟁은 이러한 문제를 해결하기 위해 UNB StepUP-P150 데이터셋을 기반으로 진행되었습니다.

• 데이터셋 (StepUP-P150):
  • 규모: 150 명의 참가자로부터 약 200,000 개의 고해상도 발자국 압력 데이터.
  • 변수: 4 가지 신발 조건 (맨발/양말, 표준 스니커즈, 개인 신발 2 종) 과 4 가지 보행 속도 (선호 속도, 서서 멈춤, 느림, 빠름) 를 조합.
  • 형식: 3D 압력 맵 (시간, 높이, 너비) 텐서 (101x75x40).
• 경쟁 과제 (Competition Task):
  • 참조 세트 (Reference): 15 명의 등록 사용자의 개인 신발과 선호 속도로 걷는 10 개의 발자국 (등록 데이터).
  • 프로브 세트 (Probe): 10,000 개의 발자국. 이는 참 주장 (True claims, 30%) 과 거짓 주장 (False claims, 70%) 으로 구성되며, 알려진 조건과 미지의 신발/속도 조건을 포함합니다.
  • 목표: 참조 데이터와 프로브 데이터 간의 매칭 여부를 판단하는 검증 (Verification) 모델 개발.

3. 주요 기여 및 솔루션 (Key Contributions & Solutions)

경쟁에는 전 세계 23 개 팀이 참여했으며, 상위 3 개 팀의 접근 방식은 다음과 같습니다.

• 1 위 (Saeid UCC - 아일랜드):
  • 기법: 생성적 보상 머신 (Generative Reward Machine, GRM) 기반의 자동화된 아키텍처 및 하이퍼파라미터 최적화 프레임워크.
  • 특징: 그리드 서치 대신 강화 학습 (RL) 에이전트를 사용하여 초기 훈련 동역학을 분석하고, 아키텍처 (ViT, Swin, ConvNeXt, R(2+1)D 등) 와 하이퍼파라미터의 최적 조합을 효율적으로 탐색.
  • 모델: R(2+1)D CNN 을 베이스로 사용하되, 경량화된 변형과 Triplet Margin Loss, 데이터 증강을 적용.
• 2 위 (Peneter ML - 이란):
  • 기법: 전이 학습 기반 다중 충실도 베이지안 최적화 (Transfer-Initialized Multi-Fidelity Bayesian Optimization, TI-MFBO).
  • 특징: 저비용 프록시 작업 (간단한 2D CNN 또는 다운샘플링 데이터) 으로 서로게이트 모델을 사전 학습시켜 '콜드 스타트' 문제를 해결. 다중 충실도 평가 (저비용 평가로 나쁜 설정 제거 후 고비용 평가) 를 통해 계산 효율성을 극대화.
• 3 위 (CyberTI - 호주):
  • 기법: 진화적 커리큘럼 공동 최적화 (Evolutionary Curriculum Co-Optimization, ECCO).
  • 특징: 모델의 하이퍼파라미터와 **훈련 데이터 커리큘럼 (학습 순서)**을 동시에 진화 알고리즘으로 최적화. 단순한 조건 (맨발, 선호 속도) 에서 시작하여 점차 복잡한 조건 (다양한 신발, 속도) 으로 데이터를 확장하는 전략을 학습.

4. 결과 (Results)

• 성능 지표:
  • 1 위 (Saeid UCC): EER (Equal Error Rate) 10.77% 달성.
  • 2 위 (Peneter ML): EER 11.33%.
  • 3 위 (CyberTI): EER 11.50%.
  • 베이스라인: 제공된 초기 키트 (Naive R(2+1)D) 의 EER 은 19.5% 로, 상위 팀들의 성능이 크게 향상되었음을 보여줌.
• 조건별 성능 분석:
  • 알려진 조건: 참조 세트와 유사한 신발/속도 조건에서는 모든 모델이 높은 정확도 (EER 2.1%~3.2%) 를 보임.
  • 미지의 신발 (Unseen Footwear): 가장 큰 성능 저하 발생. 참가자의 두 번째 개인 신발 조건에서 EER 이 14.7%~19.7% 로 급증. 이는 신발 종류가 발자국 인식에 가장 큰 방해 요인임을 시사.
  • 미지의 속도: 보행 속도 변화에 대해서는 신발 변화보다 상대적으로 강건한 성능을 보임.
• 오분류 분석: 상위 3 개 팀 모두 650 개의 발자국을 오분류했으며, 이는 주로 신발 스타일의 급격한 변화 (예: 슬리퍼와 운동화 간의 차이) 나 특정 브랜드의 신발 (Birkenstock 등) 에서 발생.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터셋의 중요성: UNB StepUP-P150 데이터셋은 이 분야의 새로운 벤치마크를 확립하고, 다양한 변이 요인을 포함한 대규모 데이터를 통해 딥러닝 모델의 강건성 향상을 가능하게 함.
• 기술적 통찰:
  • 복잡한 아키텍처 (ViT 등) 보다는 R(2+1)D CNN과 같은 상대적으로 단순한 구조가 적절한 하이퍼파라미터와 데이터 증강, 손실 함수 (Triplet Loss) 와 결합될 때 우수한 성능을 발휘함.
  • 자동화된 최적화 (AutoML) 기법 (GRM, 베이지안 최적화, 진화 알고리즘) 이 수동 튜닝보다 모델의 일반화 성능을 높이는 데 효과적임.
• 남은 과제:
  • 신발 변이 (Footwear Variability): 미지의 신발에 대한 일반화 성능이 여전히 낮아, 실제 보안 시스템 적용을 위한 핵심 과제로 남음.
  • 향후 연구: 신발과 보행 속도에 대한 불변성 (Invariance) 을 촉진하는 아키텍처 및 손실 함수 설계, 그리고 자동 최적화와 작업 지향적 모델 설계의 결합이 필요함.

이 경쟁은 보행 발자국 생체 인식 분야의 발전 속도를 가속화하고, 실제 환경에서의 배포 가능성을 탐구하는 중요한 이정표가 되었습니다.