Zero-Shot Skeleton-Based Action Anticipation

당신은 영화를 보고 있는데, 불과 몇 초 만에 화면이 갑자기 검게 변했다고 상상해 보십시오. 한 등장인물이 무릎을 굽히고 무게 중심을 낮춥니다. 그가 담장을 넘을 수 있을까요, 아니면 그저 벤치에 앉으려는 것일까요? 컴퓨터 과학의 세계에서 이것은 **행동 예측(Action Anticipation)**이라는 과제입니다. 이는 로봇이나 AI가 사람이 동작을 실제로 끝내기 전에 다음에 무엇을 할지 추측하는 기술입니다. 이는 즉각적으로 반응해야 하는 안전 로봇, 보조 기기, 자율주행 자동차에게 매우 중요합니다.

보통 이러한 컴퓨터들은 교과서를 암기하는 학생처럼 훈련됩니다. "점프"하는 사례 수천 개와 "앉는" 사례 수천 개를 보며 패턴을 찾아내는 법을 배웁니다. 하지만 로봇이 이전에 본 적 없는 완전히 새로운 동작, 예를 들어 특정한 댄스 동작이나 독특한 공 던지기 방식을 보게 된다면 어떻게 될까요? 전통적인 컴퓨터는 그 특정 동작을 암기하지 못했기 때문에 얼어붙어 버립니다. 여기서 **제로샷 학습(Zero-Shot Learning)**이 등장합니다. 이것은 용의자의 얼굴을 직접 보지 않고도, "빨간 모자를 쓰고 지팡이를 든 모습"과 같은 묘사를 통해 그를 식별해 내는 탐정과 같습니다. 이 논문은 이 두 가지 아이디어, 즉 아주 짧은 찰나의 모습만 보고 행동을 추측하는 것과 컴퓨터가 한 번도 배운 적 없는 행동을 수행하는 것의 까다로운 조합을 다룹니다.

---

반쯤 보이는 춤의 미스터리

이 논문에서 저자인 홍송 왕(Hongsong Wang)과 그의 팀은 제로샷 골격 기반 행동 예측(Zero-Shot Skeleton-Based Action Anticipation, 줄여서 ZS-SkAA)이라고 부르는 새로운 과제를 소개합니다. 당신이 노래의 첫 두 음만 듣고 곡을 맞추려고 노력하는데, 그 노래가 당신이 한 번도 들어본 적 없는 노래라고 상상해 보십시오. 당신은 멜로디의 "형태"와 노래에 대한 묘사에 의존하여 그것을 알아내야 합니다.

연구진은 컴퓨터가 전체 동작을 인식하는 데는 능숙해지고 있지만, 동작의 초기 단계(early-stage)만을 보거나 그 움직임이 완전히 새로운 것일 때 어려움을 겪는다는 점에 주목했습니다. 기존 방식들은 컴퓨터가 이전에 모든 가능한 행동을 보았다고 가정하는데, 이는 현실 세계에서는 비현리적입니다. 이를 해결하기 위해 그들은 미래 연구를 위한 출발점이 될 새로운 "베이스라인" 모델을 구축했습니다.

모델의 사고 방식: 탐정의 도구 상자

저자들은 세 가지 주요 기술을 사용하는 매우 똑똑한 탐정처럼 작동하는 시스템을 설계했습니다.

1. 골격 지도 (GCN): 모델은 사람의 얼굴이나 옷을 보는 대신, 3D 관절(팔꿈치, 무릎, 어깨 등)로 만들어진 "졸라맨(stick figure)"을 봅니다. 그들은 **그래프 합성곱 네트워크(Graph Convolutional Network, GCN)**라는 도구를 사용합니다. 이것은 당신의 팔꿈치가 어깨와 어떻게 연결되어 있는지, 무릎이 골반과 함께 어떻게 움직이는지를 이해하는 지도라고 생각하면 됩니다. 이는 신체 부위들의 "가계도"를 아는 것과 같습니다.
2. 타임머신 (Transformer): 모델은 동작의 처음 몇 초만을 보기 때문에, 움직임이 시간에 따라 어떻게 흐르는지 이해해야 합니다. 그들은 트랜스포머(Transformer)(챗봇이 언어를 이해하는 데 도움을 주는 것과 같은 종류의 기술)를 사용하여 움직임의 시퀀스를 관찰합니다. 이는 단어의 순서가 단어 자체만큼이나 중요한 이야기를 읽는 것과 같습니다.
3. 설명 매칭 (상호 정보량, Mutual Information): 이것이 "제로샷"의 마법입니다. 모델은 단순히 졸라맨 형태만 보는 것이 아니라, 동작에 대한 텍lend 설명(예: "점프" 또는 "춤")도 함께 읽습니다. 모델은 시각적인 졸라맨 형태와 텍스트 설명 사이의 "상호 정보량"을 극대화하려고 노력합니다. 마치 개의 흐릿한 사진을 "털이 많고 짖는 동물"이라는 서술된 설명과 일치시키려는 것과 같습니다. 모델은 이전에 본 적 없는 특정 개일지라도 시각적 움직임의 형태를 단어의 의미와 정렬하는 법을 배웁니다.

이를 더욱 개선하기 위해, 모델은 세 가지 방식으로 동시에 골격을 살펴봅니다:

• 관절(Joints): 신체 부위가 어디에 있는지.
• 뼈대(Bones): 부위를 연결하는 선.
• 움직임(Motion): 각 부위가 얼마나 빠르게 움직이는지.
  이 세 가지 관점을 융합함으로써, 모델은 아주 짧은 시간만 주어졌을 때도 더 풍부한 그림을 얻을 수 있습니다.

연구 결과: 빠른 예측이 더 정확하다

팀은 수천 개의 인간 움직임이 기록된 유명한 데이터셋인 NTU RGB+D를 사용하여 모델을 테스트했습니다. 그들은 행동을 두 그룹으로 나누었습니다: 모델이 훈련 중에 "본" 클래스(seen classes)와 모델이 한 번도 보지 못한 "보지 못한" 클래스(unseen classes)입니다.

그들은 비디오의 **10%에서 90%**만 보았을 때 모델이 행동을 얼마나 잘 예측하는지 측정했습니다. 결과는 다음과 같습니다:

• 초기 단계의 이점: 모델이 동작의 아주 초기 단계(비디오의 10%~30%)만을 보았을 때, 세 가지 관점(관절, 뼈대, 움직임)을 모두 함께 사용하는 것이 큰 도움이 되었습니다. 이는 단순히 관절만 보는 것보다 정확도를 최대 **4%**까지 향상시켰습니다. 이는 단 1초의 순간만 보고 판단해야 할 때 돋보기, 손전등, 속도계를 동시에 갖춘 것과 같습니다.
• 후기 단계의 변화: 모델이 비디오를 더 많이 보게 되면(40%~90%), 복잡한 혼합 방식보다 단순히 관절만 보는 것이 비슷하게 좋거나 오히려 약간 더 나은 결과를 보였습니다. 이는 충분한 정보가 확보되면 추가적인 세부 정보가 오히려 노이즈가 될 수 있음을 시사합니다.
• 경쟁 모델 압도: 이전 방식인 SMIE와 비교했을 때, 그들의 새로운 모델은 지속적으로 더 높은 예측력을 보였습니다. 예를 들어, NTU RGB+D 60 데이터셋에서 동작이 **10%**만 보였을 때, 그들의 모델은 **39.62%**의 정확도를 기록한 반면, 기존 방식은 **36.50%**에 그쳤습니다. 더 큰 규모인 NTU RGB+D 120 데이터셋에서도 초기에 그 격차는 더 벌어져, 그들의 모델은 **26.46%**의 정확도를 기록한 반데 기존 방식은 **23.38%**였습니다.

"아하!" 모먼트 (결정적 순간)

저자들은 자신들의 탐정 도구 상자 중 어떤 부분이 실제로 핵심적인 역할을 하는지 확인하기 위해 실험을 진행했습니다.

• 위치의 중요성: 그들은 만약 "위치 인코딩(positional encoding)"(어떤 관절이 어떤 것인지, 프레임의 순서가 어떠한지를 알려주는 부분)을 제거하면 모델이 혼란을 겪는다는 것을 발견했습니다. 이는 마치 단어들이 뒤섞인 책을 읽는 것과 같아서, 모델은 팔이 위로 움직이는지 아래로 움직이는지 구분할 수 없게 됩니다.
• 키 프레임(Key Frames): 그들은 또한 가장 중요한 "키 프레임"(움직임의 가장 극적인 순간)을 찾는 특수 모듈을 테스트했습니다. 이 모듈을 껐을 때 모델의 성능이 떨어졌습니다. 이는 모델이 예측을 하기 위해 동작의 가장 흥미로운 부분에 정말로 집중하고 있음을 증명합니다.

결론

이 논문은 로봇의 예측 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 다른 연구자들이 그 위에서 발전할 수 있도록 새로운 놀이터(벤치마크)와 강력한 출발점(베이스라인 모델)을 설정한 것입니다. 이 논문은 신체 구조에 대한 스마트한 이해, 시간에 대한 예리한 감각, 그리고 이미지와 단어를 매칭하는 영리한 방법을 결합함으로써, 컴퓨터가 한 번도 본 적 없는 행동에 대해서도 인간이 다음에 무엇을 할지 예측하기 시작할 수 있음을 보여줍니다.

결과적으로, 이 접근 방식은 예기치 못한 일이 빈번하게 발생하는 실제 환경에서 인간과 안전하게 상호작용할 수 있는 로봇을 만들기 위한 유망한 방향임을 시사합니다. 저자들이 언급했듯이, 이는 진정으로 적응 가능한 기계를 만들기 위한 필수적인 연구 경로의 시작일 뿐입니다.