Multimodal User Authentication Method via Fusion of Keystroke Dynamics and Glove-Based Hand Kinematics

당신이 누구인지 증명하기 위해 디지털 문지기(bouncer)에게 자신을 증명해야 한다고 상상해 보세요. 보통은 사진(얼굴 스캔 같은 것)이나 지문을 보여줍니다. 하지만 그것들은 문 앞에서 운전면허증을 보여주는 것과 같습니다. 일단 통과하고 나면 문지기는 더 이상 확인하지 않습니다. 만약 해커가 당신의 세션을 훔친다면, 그들은 영원히 안에 머물 수 있습니다. 이를 막기 위해 과학자들은 "행동 생체 인식(behavioral biometrics)"을 사용하는데, 이는 문지기가 당신이 어떻게 걷는지를 관찰하는 것과 같습니다. 한 가지 인기 있는 방법은 "키스트로크 역학(keystroke dynamics)"으로, 컴퓨터가 당신의 타이핑 리듬—키를 얼마나 오래 누르고 있는지, 그리고 다음 키로 얼마나 빨리 넘어가는지—을 관찰하는 것입니다. 이것은 친구의 독특한 걸음걸이 속도로 그를 알아보는 것과 같습니다. 그러나 이 방법에는 결함이 있습니다. 만약 당신이 피곤하거나, 키보드의 느낌이 다르거나, 혹은 로봇이 당신의 리듬을 완벽하게 흉내 낸다면, 시스템은 혼란에 빠져 잘못된 사람을 들여보내거나 올바른 사람을 쫓아낼 수도 있습니다.

이 논문은 훨씬 더 속이기 어려운 두 번째 증명 층을 추가함으로써 이 문제를 다룹니다. 바로 당신의 손의 물리적 움직임과 압력입니다. 연구진은 단순히 타이핑 리듬을 듣는 것에 그치지 않고, 당신이 누르는 정확한 힘을 느끼고 공중에서의 손가락의 미세한 3D 움직임을 추적하는 특별한 "스마트 장갑"을 만들었습니다. 그들은 이 두 종류의 데이터를 강력한 컴퓨터 두뇌(딥러닝 모델의 조합)를 사용하여 결합했고, 이를 통해 타이핑 리듬이 완벽하더라도 가짜를 찾아낼 수 있는지 확인했습니다. 결과는 어떠했을까요? 리듬과 물리적인 "느낌"을 모두 관찰함으로써, 시스템은 매우 속이기 어려워졌으며, 결국 짧은 타이핑 시퀀스를 통해 실수 없이 완벽한 수준에 도달했습니다.

스마트 장갑 이야기

연구진인 히야쿠다 이세이(Issei Hyakuda)와 징 레이(Lei Jing)는 표준적인 타이핑 체크의 "피곤함 또는 속임수" 문제를 해결하고자 했습니다. 그들은 타이핑 속도(시간)에만 의존하는 것은 위험하다는 것을 알고 있었습니다. 왜냐하면 그것은 실수하기 쉽거나 복제하기 쉽기 때문입니다. 그래서 그들은 타이핑의 리듬과 손의 물리적 근육 기억을 결합한 "슈퍼 정체성" 시스템을 구축하기로 결정했습니다.

이를 위해 그들은 커스텀 데이터 장갑을 만들었습니다. 이것을 고성능 버전의 겨울 장갑이라고 생각하세요. 다만 손을 따뜻하게 하는 대신, 손가락을 면밀히 감시합니다. 이 장갑에는 두 가지 주요 초능력이 있습니다:

1. 압력 센서: 열 개의 작은 센서가 손가락 끝과 관절에 배치되어 있습니다. 이것들은 민감한 피부처럼 작동하여, 당신이 키를 얼마나 세게 누르는지 정확히 느낍니다.
2. 모션 센서: 손목에는 9축 IMU(모션 트래커)가 위치합니다. 이것은 마치 소형 자이로스코프처럼, 손가락이 아직 키에 닿기도 전에 당신의 손이 공중에서 어떻게 움직이는지를 추적합니다.

장갑은 당신이 타이핑할 때마다 19가지의 서로 다른 정보(10개의 압력 읽기 값 + 9개의 모션 읽기 값)를 동시에 포착합니다.

"미지의(Unseen)" 테스트

시스템이 실제로 효과적인지 확인하기 위해, 연구진은 단순히 완벽하고 조용한 방에서 테스트하지 않았습니다. 그들은 "미지의(unseen)" 평가라고 부르는 까다로운 도전을 설정했습니다.

• 훈련: 그들은 표준 데스크톱 키보드를 사용하여 특정 인물(대상자) 한 명과 8명의 "알려진" 사칭자를 인식하도록 컴퓨터를 가르쳤습니다.
• 함정: 그런 다음, 그들은 노트북 키보드(다른 장치)와 한 번도 본 적 없는 새로운 "알 unknown" 사칭자를 사용하여 시스템을 테스트했습니다.

이것은 보안 요원에게 스튜디오에서 찍은 사진으로 VIP를 인식하도록 가르친 다음, 그 보안 요원에게 동일한 VIP를 붐비고 비 내리는 거리에서 찾아내면서 동시에 VIP와 전혀 닮지 않은 낯선 사람까지 잡아내라고 요구하는 것과 같습니다.

결과: "아마도"에서 "완벽"으로

결과는 매우 흥미로웠으며, 특히 시스템이 시간에 따라 어떻게 성능을 보이는지를 살펴보았을 때 더욱 그러했습니다.

• 단일 타이핑 순간: 시스템이 단 하나의 키스트로크(600밀리초 창)만을 보았을 때, 꽤 괜찮았지만 완벽하지는 않았습니다. 약 2.12%의 확률로 실수를 저질렀습니다(이를 등가 오차율, 즉 EER이라고 합니다).
• 인내의 힘: 연구진은 한 순간만으로는 확신하기에 충분하지 않다는 것을 깨달았습니다. 그래서 그들은 시스템이 10개의 키스트로크(약 6초간의 타이핑) 시퀀스를 기다리고 관찰하도록 요청했습니다. 그들은 작은 글리치나 실수를 무시하기 위해 마지막 몇 초의 평균을 내는 "스무딩(smoothing)" 기법을 사용했습니다.
• 완벽한 점수: 10개의 키스트로크 전체 시퀀스를 관찰했을 때, 시스템은 결점 없이 완벽해졌습니다. 오차율은 **0.00%**로 떨어졌습니다. 가장 좋은 실험에서, 시스템은 실제 사용자와 사칭자를 매번 완벽하게 구분해 냈습니다.

왜 두 개의 센서가 하나보다 나은가

여러분은 이렇게 물을 수도 있습니다: "만약 모션 센서(IMU)만으로 실험실에서 완벽한 점수를 얻을 수 있다면, 왜 압력 센서까지 신경 써야 하나요?"

연구진은 답을 찾기 위해 깊이 파고들었습니다. 그들은 모션 센서가 통제된 실험실 환경에서는 훌륭하지만, 약점이 있다는 것을 발견했습니다. 모션 센서는 큰 진동(예: 움직이는 차 안에서 타이핑하는 경우)에 의해 속을 수 있거나, 실제로 키를 누르지 않고 공중에서 손의 움직임만을 흉내 내는 "공간적 스푸핑(spatial spoofing)" 공격에 의해 속을 수 있습니다.

반면에, 압력 센서는 당신이 실제로 키보드를 누르고 있는지 아는 데 탁월하지만, 장갑이 손에서 약간 움직이거나 손가락이 피로해지면 혼란을 겪을 수 있습니다.

마법은 이 둘을 **융합(fuse)**할 때 일어납니다. 이것은 두 명의 경비원이 있는 것과 같습니다. 한 명은 당신의 얼굴(모션)을 보고, 다른 한 명은 당신의 신분증(압력)을 확인합니다. 만약 모션 경비원이 움직이는 기차 때문에 혼란에 빠지더라도, 압력 경비원은 당신이 실제로 키보드 앞에 앉아 있다는 것을 알고 있습니다. 반대로 장갑이 미끄러져서 압력 경비가 혼란을 겪더라도, 모션 경비는 여전히 당신의 독특한 손 모양을 보고 있습니다. 이들을 결합함으로써, 시스템은 서로의 약점을 보완하는 "페일 세이프(fail-safe)"를 만들어냅니다.

핵심 요약

이 논문은 타이핑 시간을 측정하는 것이 좋은 시작점이지만, 고도의 보안 상황에서는 충분하지 않다는 것을 보여줍니다. 압력과 손의 3D 춤을 추적하는 장갑을 추가함으로써, 시스템은 믿을 수 없을 정도로 견고해집니다. 이 시스템은 다양한 키보드, 다양한 날, 심지어 알려지지 않은 공격자까지도 처리할 수 있습니다. 현재 이 특정 장갑은 일상적인 사용에는 다소 부피가 크지만, 이 연구는 물리적 특성과 타이밍을 결합하는 것이 디지털 보안을 훨씬 더 깨기 어렵게 만드는 열쇠라는 점을 입증합니다. 저자들은 향에 이 기술이 더 작고 눈에 띄지 않는 웨어러블 기기로 축소되어, 우리가 인지하지 못하는 사이에 우리의 디지털 삶을 더 안전하게 만들 수 있을 것이라고 제안합니다.