TKN: Transformer-based Keypoint Prediction Network For Real-time Video Prediction

이 논문은 기존 비디오 예측 모델의 낮은 처리 속도와 높은 계산 비용 문제를 해결하기 위해, 비지도 방식으로 동적 콘텐츠를 추출하고 병렬 구조와 가속 행렬을 활용하여 초당 1,176 프레임의 실시간 예측이 가능한 'TKN(Transformer 기반 특징점 예측 네트워크)'을 제안합니다.

핵심

이 논문은 **"TKN(Transformer 기반 핵심점 예측 네트워크)"**이라는 새로운 기술을 소개합니다. 이 기술을 쉽게 설명하기 위해 **'비디오 예측'**을 **'내일의 날씨를 예보하는 것'**에 비유해 보겠습니다.

1. 기존 방법의 문제점: "매번 다시 계산하는 비효율적인 예보관"

기존의 비디오 예측 기술들은 미래를 예측할 때 다음과 같은 문제를 겪고 있었습니다.

• 과도한 계산: 마치 매일 아침마다 하늘 전체를 샅샅이 조사하며 구름 하나하나의 움직임을 계산하는 예보관처럼, 매 프레임마다 모든 픽셀 (화면의 점들) 을 분석합니다. 이는 엄청난 시간과 전력을 소모합니다.
• 순차적 작업: 한 장의 그림을 그릴 때마다 그 결과를 바탕으로 다음 장을 그리는 방식입니다. 마치 100 장의 그림을 그리려면 100 번이나 펜을 들어야 하는 것과 같습니다.
• 결과: 정확도는 높을지 몰라도, 속도가 너무 느려서 "실시간"으로 위험을 경고하거나 즉각적인 반응을 필요로 하는 상황 (예: 자율주행차가 급정거해야 할 때) 에는 쓸모가 없었습니다.

2. TKN 의 혁신: "핵심만 쏙쏙 뽑아내는 천재 예보관"

TKN 은 이 문제를 해결하기 위해 두 가지 핵심 아이디어를 결합했습니다.

① '핵심점 (Keypoint)'만 보는 눈

TKN 은 화면 전체를 분석하는 대신, 움직이는 부분 (사람의 팔, 다리, 얼굴 등) 만을 '핵심점'으로 추출합니다.

• 비유: 비가 오는 날, 하늘 전체를 다 보지 않고 구름이 모이는 몇몇 핵심 지점만 보고 비가 올지 말지 예측하는 것과 같습니다.
• 효과: 처리해야 할 데이터 양이 수만 배 줄어듭니다. 화면의 배경 (하늘, 벽 등) 은 변하지 않으므로 무시하고, 움직이는 사람만 추적하면 되기 때문입니다.

② '변환기 (Transformer)'를 이용한 병렬 처리

기존 방식이 "하나를 그릴 때, 그 결과를 보고 다음을 그리는" 순서대로 작업했다면, TKN 은 한 번에 여러 장을 동시에 그리는 방식을 사용합니다.

• 비유: 기존 방식이 100 명의 학생에게 "1 번 문제 답을 쓰면 2 번 문제를 풀어라"라고 시켰다면, TKN 은 **"1 번부터 100 번까지 문제를 한 번에 다 풀어라"**라고 시키는 것입니다.
• 기술적 배경: '변환기 (Transformer)'라는 AI 모델은 과거의 정보를 잊지 않고, 여러 정보를 한눈에 파악하며 동시에 처리하는 데 탁월합니다.

3. TKN 의 작동 원리: "스케치북과 마법 지팡이"

TKN 의 과정은 크게 두 단계로 나뉩니다.

1. 핵심점 탐지기 (Keypoint Detector):
   • 입력된 비디오에서 움직이는 사람이나 물체의 '뼈대'만 쏙쏙 뽑아냅니다.
   • 마치 복잡한 그림을 스케치북에 뼈대만 간략히 그리는 것과 같습니다. 데이터 양이 몇 바이트 (byte) 수준으로 줄어듭니다.
2. 예측기 (Predictor):
   • 이 뼈대 (핵심점) 들이 앞으로 어떻게 움직일지 **변환기 (Transformer)**를 이용해 한 번에 예측합니다.
   • 예측된 뼈대에 **배경 이미지 (이전 프레임의 정적인 부분)**를 다시 입혀 완성된 비디오를 만듭니다.

4. 놀라운 성과: "11 배 빠르고, 메모리도 17% 절약"

이 논문의 실험 결과, TKN 은 기존 최고의 기술들보다 11 배나 더 빠르며, 컴퓨터의 메모리 사용량은 17.4% 줄였습니다.

• 실제 의미: 자율주행차가 3 초 앞의 상황을 예측해야 할 때, 기존 기술은 1 초가 걸려서 사고가 날 수 있었지만, TKN 은 0.1 초도 안 되어 예측을 끝내므로 실시간으로 위험을 피할 수 있습니다.

5. 결론: "미래를 내다보는 실시간 기술의 시작"

이 논문은 **"정확함만 쫓다가 속도를 잃었던 기존 방식"**에서 벗어나, **"핵심만 간추리고 한 번에 처리하는 지혜"**를 통해 실시간 비디오 예측을 현실화했습니다.

마치 복잡한 지도를 다 보지 않고, 중요한 길목 몇 곳만 보고 목적지까지 가는 최적의 경로를 빠르게 찾는 GPS처럼, TKN 은 앞으로 증강현실 (AR), 자율주행, 실시간 안전 경고 시스템 등 다양한 분야에서 혁신을 이끌 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

비디오 예측 (Video Prediction) 은 과거 프레임을 기반으로 미래의 비디오 시퀀스를 예측하는 복잡한 시계열 예측 작업입니다. 그러나 기존 방법론들은 다음과 같은 치명적인 한계를 가지고 있습니다.

• 낮은 예측 속도: 복잡한 모델 구조와 과도한 GPU 메모리 소모로 인해 예측 속도가 느립니다.
• 순차적 예측의 비효율성: 대부분의 기존 방법 (RNN 기반 등) 은 프레임 단위로 순차적으로 예측합니다. 이는 병렬 처리가 불가능하여 긴 시퀀스 예측 시 지연 시간이 길어집니다.
• 실시간 응용의 부재: 자율 주행 차량의 위험 예측 (3 초 이내 반응 필요) 과 같은 실시간 응용 분야에서는 기존 방법 (보통 80~100 FPS) 이 요구되는 속도 (예: 180 FPS 이상) 를 충족하지 못합니다.
• 불필요한 정보 학습: 배경과 같은 정적 정보 (redundant information) 를 반복적으로 학습하여 연산 비용이 증가합니다.

2. 제안 방법론 (Methodology)

저자들은 TKN (Transformer-based Keypoint Prediction Network) 을 제안했습니다. 이는 비지도 학습 기반의 신경망으로, 키포인트 (Keypoint) 추출과 Transformer 기반 예측을 결합하여 실시간 예측을 가능하게 합니다.

A. 핵심 구성 요소

1. 키포인트 감지기 (Keypoint Detector):

   • 목적: 비디오 프레임에서 움직이는 부분 (키포인트) 만 추출하여 배경의 불필요한 정보를 제거합니다.
   • 구조: 인코더 (CNN) 와 디코더 (CNN) 로 구성되며, Skip Connection을 사용하여 인코더의 배경 정보를 디코더로 전달합니다.
   • 작동 원리:
     • 인코더는 입력 프레임을 열지도 (heatmap) 로 변환한 후, 좌표 생성기 (Coordinate Generator) 를 통해 키포인트의 좌표 $(x, y)$ 와 강도 (intensity, $v$) 를 추출합니다.
     • 추출된 키포인트는 매우 적은 데이터 (수십 바이트) 만 차지하여 연산량을 획기적으로 줄입니다.
     • 디코더는 추출된 키포인트와 원본 프레임의 배경 정보를 결합하여 재구성된 프레임을 생성합니다.
   • 학습: 재구성 손실 ($L_{rec}$) 을 최소화하는 비지도 학습으로 수행됩니다.

2. 예측기 (Predictor):

   • 목적: 추출된 키포인트 시퀀스를 기반으로 미래 키포인트를 예측합니다.
   • 구조: Transformer Encoder를 사용합니다.
   • 혁신적 개선:
     • Latent Representation: 키포인트의 명시적 좌표를 고차원 잠재 공간 (Latent Space) 으로 매핑하여 시간적 규칙성을 학습합니다.
     • 병렬 예측 (Parallel Prediction): 기존 RNN 의 순차적 예측과 달리, Transformer 의 병렬 처리 능력을 활용하여 여러 프레임을 동시에 예측합니다.
     • Attention 가속화: 기존 Transformer 의 $O(l^2d)$ 복잡도를 줄이기 위해 가속 행렬 (Acceleration Matrix) 을 도입하여 연산 효율을 높였습니다.

3. 예측 프로세스:

   • TKN (Parallel): 입력된 마지막 프레임의 배경 정보를 고정하고, Transformer 가 예측한 미래 키포인트들을 병렬로 합쳐서 여러 프레임을 한 번에 생성합니다.
   • TKN-Sequential (Sequential Variation): 프레임 간 배경 일관성을 유지하기 위해 이전 예측 프레임의 배경을 다음 프레임의 입력으로 사용하는 변형 모델입니다.

3. 주요 기여 (Key Contributions)

1. 실시간 비디오 예측의 실현: TKN 은 알려진 바에 따르면 실시간 비디오 예측을 가능하게 한 최초의 솔루션입니다.
2. 압도적인 속도 향상: 기존 최첨단 (SOTA) 방법들보다 11 배 빠른 예측 속도를 달성했습니다 (최대 1,176 FPS).
3. 효율성 극대화:
   • GPU 메모리 소비를 17.4% 감소시켰습니다.
   • 부동 소수점 연산 (FLOPs) 을 88.1% 줄였습니다.
4. 성능 유지: 속도와 효율성을 높임에도 불구하고, SSIM 및 PSNR 지표에서 기존 방법들과 유사하거나 더 나은 예측 정확도를 유지했습니다.
5. 새로운 아키텍처 제안: 키포인트 기반의 정보 압축과 Transformer 의 병렬 처리 능력을 결합한 새로운 아키텍처를 제시했습니다.

4. 실험 결과 (Results)

KTH, Human3.6, Moving MNIST, Caltech Pedestrian 등 다양한 데이터셋에서 실험이 수행되었습니다.

• 속도 및 자원 효율성 (KTH 데이터셋 기준):
  • FPS: TKN 은 1,176 FPS를 기록하여, 두 번째로 빠른 방법 (Struct-VRNN, 132 FPS) 보다 약 9 배, E3D-LSTM 보다 19 배 빠릅니다.
  • 메모리: 테스트 시 메모리 사용량을 1,705 MB 로 줄여, 기존 방법들 (최대 21,723 MB) 보다 현저히 낮습니다.
  • FLOPs: 1.6 G 로 기존 방법들 (20~270 G) 에 비해 압도적으로 낮습니다.
• 정확도:
  • KTH 데이터셋에서 SSIM 0.871, PSNR 27.71 을 기록하여 SOTA 방법들과 경쟁력 있는 성능을 보였습니다.
  • Human3.6 데이터셋에서는 SSIM 0.958, PSNR 30.89 로 가장 높은 정확도를 기록했습니다.
• Ablation Study:
  • Transformer Encoder 만 사용: 전체 Transformer 구조를 사용하는 것보다 Encoder 만 사용하는 것이 속도와 정확도 모두에서 더 우수했습니다. (출력이 연속적인 값이기 때문에 NLP 에서의 디코딩 과정이 불필요하고 오차 누적 방지에 유리함)
  • 잠재 표현 (Latent Representation): 명시적 좌표보다 고차원 잠재 공간 표현이 예측 정확도를 높였습니다.
  • 키포인트 수: 키포인트 수가 16~20 개일 때 최적의 성능을 보였으며, 너무 많으면 예측 모듈의 성능이 저하되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 예측 분야에서 정확도와 속도의 트레이드오프를 극복한 획기적인 연구입니다.

• 실시간 응용 가능성: 기존에는 불가능했던 초고속 비디오 예측을 가능하게 하여, 자율 주행, 실시간 위험 감지, 증강 현실 (AR) 등 지연 시간에 민감한 응용 분야에 직접 적용할 수 있는 기반을 마련했습니다.
• 자원 효율성: 고사양 GPU 없이도 고품질 비디오 예측을 수행할 수 있어 에지 디바이스 (Edge Devices) 배포 가능성을 높였습니다.
• 미래 지향성: 다중 인물 비디오 및 고해상도 비디오 예측으로의 확장을 통해 차세대 멀티미디어 기술의 토대를 구축했습니다.

요약하자면, TKN 은 키포인트 추출을 통한 정보 압축과 Transformer 의 병렬 처리를 결합하여, 기존 비디오 예측 모델들이 가진 "느린 속도"와 "높은 비용"이라는 근본적인 문제를 해결한 획기적인 모델입니다.