💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

이 논문은 수정된 디코더, 새로운 디노이징 키포인트 기술, 그리고 확장된 Varifocal 손실을 활용하여 훨씬 적은 파라미터와 더 빠른 추론 속도로 최첨단 정확도를 달상하는, 실시간 엔드투엔드 트랜스포머 기반 다인원 포즈 추정 모델 제품군인 DETRPose를 소개한다.

원저자: Sebastian Janampa, Marios Pattichis

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sebastian Janampa, Marios Pattichis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 파티에 있다고 상상해 보세요. 당신의 목표는 모든 사람의 춤 동작을 사진으로 찍는 것입니다. 당신의 목표는 모든 사람을 즉각적으로 포착하고, 그들 위에 스틱 피겨(졸라맨)를 그려서 모든 관절(어깨, 팔꿈치, 무릎 등)을 올바르게 연결하는 것입니다. 컴퓨터 과학자들은 이것을 **다인원 포즈 추정(Multi-Person Pose Estimation)**이라고 부릅니다.

오랫동안 컴퓨터는 이를 빠르게 수행하는 데 어려움을 겪었습니다. 어떤 모델은 매우 정확하지만 느렸고(마치 예술가가 한 명의 인물을 그리는 데 몇 시간을 들여 정성껏 그리는 것과 같습니다), 어떤 모델은 빠르지만 엉망이었습니다(마치 속사로 그림 그리기 대회에서 팔다리가 서로 뒤섞여 버리는 것과 같습니다).

이 논문은 DETRPose라는 새로운 시스템을 소개합니다. 이 시스템은 '초고속, 초정밀 파티 사진작가'처럼 행동하며, **트랜스포머(Transformer)**라고 불리는 특별한 종류의 AI 두뇌를 사용합니다. 작동 원리는 다음과 같이 간단한 개념으로 나뉩니다.

1. 문제점: "탐색 및 크롭(Search and Crop)"의 병목 현상

대부분의 빠른 방식들은 클럽의 가드(bouncer)처럼 작동했습니다. 먼저 가드가 사람을 발견하면, 이미지에서 그 사람을 잘라내어(크롭) 추출한 다음, 그 사람의 골격을 그리려고 시도합니다.

결함: 만약 파티에 50명이 있다면, 가드는 이 과정을 50번 반복해야 합니다. 사람이 많아질수록 과정은 더 느려집니다.
기존 트랜스포머의 문제: 더 똑똑한 AI 모델(트랜스포머)들은 군중 전체를 한 번에 볼 수 있었지만, 실시간으로 사용하기에는 너무 느렸습니다. 마치 아이가 1분 만에 풀 수 있는 퍼즐을 해결하기 위해 일주일 동안 고민하는 천재와 같았습니다.

2. 해결책: DETRPose

저자들은 실시간으로 이 작업을 수행할 수 있는 최초의 트랜스포머 모델인 DETRPose를 구축했습니다. 이 모델은 이미지 전체를 한 번에 보고 모든 사람의 골격을 동시에 그립니다.

이를 가능하게 하기 위해, 저자들은 세 가지 "비법"을 도입했습니다.

비법 A: "노이즈 제거" 학습 (Denoising Keypoints)

당신이 학생에게 지도상의 특정 지점을 찾는 법을 가르치고 있다고 상상해 보세요.

기존 방식: 단순히 정확한 지점만 보여줍니다.
DETRPose 방식: 정확한 지점을 보여주되, 약간 어긋난 "가짜" 지점들도 함께 보여줍니다(너무 왼쪽이나 오른쪽으로 치우친 지점들). 그리고 학생에게 이렇게 가르칩니다. "이것이 진짜이고, 저것들은 비슷하지만 틀린 것이다."
결과: AI가 "실제" 관절과 "노이즈가 섞인" 가짜 관절을 구별하도록 훈련함으로써, 모델은 훨씬 더 빠르게 학습하고 훨씬 더 확신을 갖게 됩니다. 이것을 **디노이징 키포인트(Denoising Keypoints)**라고 합니다.

비법 B: "품질 관리" 점수 (KSVF Loss)

보통 AI 모델은 관절의 위치를 추측하고 점수를 부여합니다. 하지만 포즈 추정에서 "좋은 추측"이란 단순히 위치가 가까운 것만을 의미하지 않습니다. 그것은 관절이 사람의 신체 형태에 얼마나 잘 들어맞느냐의 문제입니다.

저자들은 키포인트 유사도 변형 포컬(KSVF) 손실 함수라는 새로운 채점 규칙을 만들었습니다.
이것은 단순히 "가까움"만을 기준으로 성적을 매기는 것이 아니라, 답변이 전체적인 맥란 속에서 타당한지를 확인하는 엄격한 선생님과 같습니다. 이는 AI가 잘못된 추측을 무시하고 고품질의 추측에만 집중하게 하여 컴퓨팅 자원을 절약하도록 돕습니다.

비법 C: "정교한 디코더" (GroupPose 업그레이드)

실제로 선을 그리는 부분(디코더)이 업그레이드되었습니다.

속도를 늦추는 불필요한 단계들을 제거했습니다.
Pose-LQE라고 불리는 특별한 레이어를 추가했습니다. 이것은 최종 사진이 전송되기 전에 그림을 재검토하는 '두 번째 눈'과 같습니다. 이를 통해 어깨와 팔꿈치가 완벽하게 배치되도록 보장하면서도 프로세스의 속도를 늦추지 않습니다.

3. 결과: 속도 대 정확도

논문은 DETRPose를 현재의 챔피언들(YOLO 모델 및 다른 무거운 트랜스포머 모델들)과 비교합니다.

"작은" 모델 (DETRPose-S): 가장 크고 무거운 YOLO 모델만큼 정확하면서도, 메모리 자원을 81% 적게 사용하고 속도는 52% 더 빠릅니다.
"큰" 모델 (DETRPose-X): 매우 혼잡한 데이터셋(CrowdPose)에서 거의 모든 다른 트랜스포머 모델을 능가하면서, 13배 적은 컴퓨팅 파워(FLOPs)를 사용합니다.
"분포 외(Out-of-Distribution)" 테스트: 모델이 본 적 없는 매우 이상하거나 혼잡하거나 특이한 포즈의 사람들 데이터셋(OCHuman)에서 테스트했을 때, DETRPose는 다른 모든 모델보다 뛰어난 성능을 보였습니다. 이는 DETRPose가 단순히 훈련 데이터를 암기하는 것이 아니라 견고하다는 것을 보여줍니다.

4. 단 하나의 아쉬운 점

저자들은 한 가지 한계점을 인정합니다. DETRPose가 수학적으로는 효율적이지만, 순수 속도 면에서는 절대적으로 가장 빠른 "YOLO" 모델들보다 약간 느립니다. 이는 사람들을 그룹화하는 방식이 데이터를 재배열하는 과정(마치 카드를 섞는 것과 같은)을 필요로 하여 약간의 추가 시간을 소요하기 때문입니다. 하지만 이는 실시간 작업에 충분히 빠른 수준이며, 이전의 트랜스포머 시도들에 비해 훨씬 더 효율적입니다.

요 요약

DETRPose는 트랜스포머 AI의 "똑똑하고 모든 것을 보는" 힘을 실시간 포즈 추정에 마침내 가져온 획기적인 성과입니다. 이는 AI가 실수로부터 더 빨리 배우도록 하고(디노이징), 답변을 더 지능적으로 채점하며(KSVF loss), 그리고 그리는 과정을 간소화함으로써 가능해졌습니다. 그 결과, 놀라운 정확도를 갖추고 군중을 더 잘 처리하며, 가상 현실이나 활동 인식과 같은 실제 응용 분야에서 실행될 수 있을 만큼 빠른 시스템을 만들어냈습니다.

기술 요약: DETRPose

문제 정의
다인원 포즈 추정(Multi-person pose estimation, MPPE)은 활동 인식, 2D-to-3D 포즈 추정, 가상 현실과 같은 응용 분야에 필수적인 근본적인 컴퓨터 비전 작업입니다. Transformer 기반 모델들이 MPPE에서 높은 정확도를 달ien 성과를 거두었으나, 이들은 일반적으로 높은 지연 시간(latency) 문제를 겪어 실시간 배포가 어렵습니다. 반대로, 빠른 단일 단계(single-stage) 방식(예: YOLO 기반 접근법)은 비최대 억제(Non-Maximum Suppression, NMS)에 의존하여 추론 시간이 일정하지 않거나, 탐지와 포즈 그룹화(pose grouping)를 동시에 학습하는 데 어려움을 겪어 정확도가 낮은 경우가 많습니다. DETR 프레임워크는 NMS 없이 일관된 엔드 투 엔드(end-to-end) 추론을 제공하지만, 기존의 포즈 추정용 적응 모델들은 속도보다 정밀도를 우선시해 왔기에, 실시간 엔드 투 엔드 Transformer 기반 MPPE 솔루션에 대한 공백이 존재해 왔습니다.

방법론
저자들은 실시간 엔드 투 엔드 Transformer 기반 다인원 2D 포즈 추정을 위한 최초의 모델 제품군인 DETRPose를 소개합니다. 이 아키텍처는 D-FINE 프레임워크를 기반으로 하며, 계층적 백본(HGNetv2 변형)과 하이브리드 인코더를 활용합니다. 핵심 혁신은 GroupPose 디코더의 수정과 수렴을 가속화하고 쿼리 품질을 개선하기 위한 새로운 학습 전략의 도입에 있습니다.

주요 방법론적 구성 요소는 다음과 같습니다:

디노이징 키포인트(Denoising Keypoints): 바운딩 박스를 이동시키거나 크기를 조절하는 표준 객체 탐지용 디노이징 기술과 달리, 저자들은 키포인트를 위한 새로운 전략을 제안합니다. 이들은 객체의 분할된 면적과 감쇄 파라미터( $\kappa$ )로 스케일링된, 정답(ground-truth) 키포인트와 샘플링된 점 사이의 거리에 기반한 **키포인트 유사도(Keypoint Similarity, KS)**를 정의합니다. 이 메트릭은 정답 키포인트를 무작위 단위 벡터를 따라 이동시켜 양성 및 음성 쿼리를 생성하며, 초기 학습 단계에서 헝가리안 매처(Hungarian matcher)를 안정화합니다.
Pose-LQE (Localization Quality Estimation) 레이어: 인코더의 가장 높은 공간적 특징 맵에서 각 키포인트의 콘텐츠 정보를 추출하는 보조 분류 레이어입니다. 이는 출력 쿼리, 예측된 위치, 그리고 콘텐츠 특징을 결в combine하여 분류 점수를 정교화하며, DETRPose가 객체 박스가 아닌 키포인트를 예측한다는 점에서 발생하는 문제를 해결합니다.
Keypoint Similarity VariFocal (KSVF) 손실: 포즈 추정에 맞게 조정된 VariFocal 손실의 확장판입니다. DETRPose는 바운딩 박스를 예측하지 않으므로 IoU(Intersection over Union) 손실을 사용할 수 없습니다. KSVF는 키포인트 유사도(OKS) 메트릭과 예측 점수를 활용하여 저품질 예측에 패널티를 부여함으로써, 네트워크가 고유사도 쿼리에 집중하도록 유도하고 허위 양성(false positives)을 줄입니다.
아키텍처 최적화: 디코더는 D-FINE의 pre-pose 및 미세 분포 정교화(Fine-Grained Distribution Refinement, FDR) 레이어를 통합합니다. 지연 시간을 더욱 줄이기 위해 투영 레이어(projection layers)를 제거하였으며, 그룹 셀프 어텐션(group self-attention) 메커니즘을 통해 실시간 추론을 지원하도록 GroupPose 디코더를 적응시켰습니다.

주요 기여
본 논문은 네 가지 주요 기여를 주장합니다:

포즈 추정을 위한 새로운 디노이징 기술: 객체 키포인트 유사도(KS)를 활용하여 양성 및 음성 키포인트 쿼리를 구축하였으며, 이는 포즈 추정 작업에서 최초입니다.
보조 Pose-LQE 분류 레이어: 추론 지연 시간을 증가시키지 않으면서 분류 성능을 향상시키는 경량 모듈입니다.
새로운 손실 함수 (KSVF): KS 메트릭을 사용하여 고품질 객체 쿼리의 선택을 촉진하도록 설계되었습니다.
수정된 GroupPose 디코더: Transformer 기반 모델을 위한 실시간 엔드 투 엔드 다인원 포즈 추정을 가능하게 하도록 적응되었습니다.

결과
COCO, CrowdPose, OCHuman 데이터셋에 대한 광범한 평가 결과, DETRPose는 계산 비용과 학습 시간을 크게 줄이면서도 선도적인 대안 모델들과 대등하거나 이를 상회하는 정확도를 달성했습니다.

COCO 데이터셋: DETRPose-S는 YOLOv8-Pose-X 및 YOLO11-Pose-X의 정확도(67.0 AP vs. 67.3 및 67.2 AP)와 대등한 정확도를 보이면서도, 81% 적은 파라미터(11.5M vs. 69.4M/58.8M)와 52% 빠른 속도(2.39ms vs. 5.23ms/4.93ms)를 요구합니다. DETRPose-L는 4.66ms의 지연 시간으로 71.2 AP를 달성하여, 이전의 엔드 투 엔드 방식들을 능가하고 RTMO-L보다 더 나은 파라미터/지연 시간 트레이드오프를 제공합니다.
CrowdPose 데이터셋: DETRPose-X는 75.1 AP로 실시간 모델 중 새로운 SOTA(State-of-the-art)를 기록했습니다. 이는 Swin-L 백본을 사용하는 Transformer 모델들보다 최소 1 AP 포인트 높으면서도, 훨씬 적은 파라미터(73.3M vs. 210M)를 사용하며 ED-Pose-SwinL-5S 대비 13.1배 적은 FLOPs를 사용합니다.
OCHuman 데이터셋 (Out-of-Distribution): DETRPose-S는 RTMO-L(42.2 vs. 41.6 AP)을 포함한 모든 이전 모델을 능가하여, 분포 외(out-of-distribution) 데이터에 대한 우수한 강건성을 입증했습니다.
학습 효율성: 제안된 모델들은 선도적인 대안 모델들에 비해 수렴하는 데 필요한 학습 에포크(epoch)가 5배에서 10배 적게 필요합니다.

의의 및 한계점
본 논문은 DETRPose가 Transformer 기반 모델이 실시간 다인원 포즈 추정에 효과적으로 적응될 수 있음을 증명하며, 이 분야에서 DETR 프레임워크의 유망한 미래를 열었다고 주장합니다. 이는 역사적으로 Transformer의 실시간 적용을 제한해 온 지연 시간 문제를 해결합니다.

그러나 저자들은 한계점을 겸허히 인정합니다. DET-FLOPs는 YOLO 모델과 유사함에도 불구하고, DETRPose는 약간 더 높은 지연 시간을 보입니다. 이는 그룹 셀프 어텐션 메커니즘 때문이며, 이 메커니즘은 텐서 연속성(tensor contiguity)을 깨뜨리는 여러 번의 전치(transpose) 연산을 필요로 하여 현재 하드웨어에서의 추론 속도에 영향을 미칩니다.