💻 computer science

From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models

이 논문은 YOLO-Pose 모델에 보정된 이변량 예측 분포를 결합하여 공간적 불확실성을 정량화함으로써, 키포인트 수준의 신뢰도 순위 지정과 시각 기반 항공기 착륙과 같은 다운스트림 애플리케이션의 효과적인 개선을 가능하게 하는 경량화된 사후 확률적 확장 기법을 소개한다.

원저자: Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Alexej Klushyn, Juan Rivero Sesma, Florian Seligmann, Richard Kurle, Kinh Tieu, Jayant Sen Gupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 "월리를 찾아라!"의 고난도 게임을 하고 있다고 상상해 보세요. 하지만 대상은 만화 캐릭터가 아니라, 복잡한 공항 활주로처럼 실제 세상의 장면입니다. 당신에게는 사람, 자동차, 또는 활주로 모서리와 같은 특정 부위를 즉각적으로 찾아내고 그 중요한 부분(예: 코, 팔꿈치, 활주로 모서리)을 정확히 가리킬 수 있는 초고속, 초지능형 컴퓨터 비전 시스템(AI의 일종)이 있습니다. 이 시스템은 믿기지 않을 정도로 빠르고 효율적이지만, 한 가지 비밀스러운 결함이 있습니다. 바로 '다 아는 척'을 한다는 것입니다. 시스템은 어떤 지점을 가리키며 "여기가 코라는 것에 100% 확신합니다!"라고 말하지만, "사실 이 부분은 흐릿하거나 그림자일 수도 있어서, 60% 정도만 확신합니다"라는 말은 절대 하지 않습니다.

인공지능의 세계에서 이것은 큰 문제입니다. 컴퓨터가 추측을 할 때는 그 추측을 얼마나 신뢰할 수 있는지 알아야 합니다. 이것을 "불확실성(uncertainty)"이라고 부릅니다. 이것은 마치 일기 예보와 같습니다. 나쁜 예보는 "오후 2시에 비가 올 것입니다"라고 말합니다. 좋은 예보는 "오후 1시 55분에서 2시 5분 사이에 비가 올 확률이 90%입니다"라고 말합니다. 두 번째 예보는 예측 주변에 "신뢰 구간(confidence bubble)"을 제공합니다. 비행기 착륙을 돕거나 로봇이 인파를 헤쳐 나가는 것과 같이 안전이 필수적인 작업에서는, 물체가 어디에 있는지를 아는 것만큼이나 그 신뢰 구간의 크기를 아는 것이 중요합니다. 만약 AI가 틀렸음에도 자신이 맞다고 생각한다면 충돌을 일으킬 수 있습니다. 반대로, 맞았는데도 틀렸다고 생각한다면 결정적인 기회를 놓칠 수도 있습니다. 과제는 이 초고속 AI 시스템들이 기존의 뛰어난 성능을 해치거나 속도를 늦추지 않으면서도, 자신의 정확도에 대한 "직감"을 갖도록 만드는 것입니다.

논문의 핵심 아이디어: YOLO에 "신뢰 구간" 부여하기

이 논문은 YOLO-Pose(You Only Look Once - Pose)라고 불리는 인기 있는 AI 모델 제품군을 사용하여 이 문제를 해결합니다. 이 모델들은 속도의 제왕과 같습니다. 단 한 번의 번개 같은 시선으로 물체와 그 신체 부위(키포인트)를 찾아낼 수 있습니다. 하지만 이 모델들은 보통 각 신체 부위에 대해 단 하나의 점만을 내뱉을 뿐, 그 점이 얼마나 흔들릴 수 있는지에 대해서는 전혀 알지 못합니다. 연구진(Airbus 및 기타 기관의 연구원들)은 간단한 질문을 던졌습니다. 이미 학습된 이 초고속 모델들을 전체적으로 다시 학습시키지 않고도, '신뢰 구간'을 그리도록 가르칠 수 있을까?

그들의 답은 영리한 "사후적(post-hoc)" 기법이었습니다. 전체 AI를 처음부터 다시 구축하는 대신, 기존의 빠르고 고정된 모델은 건드리지 않고 그대로 둡니다. 대신, 그 옆에 아주 작고 가벼운 "확률적 헤드(probabilistic head, 작은 추가 모듈)"를 부착합니다. 이 추가 모듈은 메인 모델과 동일한 이미지와 예측값을 보지만, 단순히 "여기가 코입니다"라고 말하는 대신, "여기가 코이며, 코가 얼마나 흔들릴 수 있는지를 보여주는 타원형의 신뢰 구간은 이 정도입니다"라고 말합니다.

AI에게 걱정하는 법(그리고 진정하는 법)을 가르치는 방법

연구진은 단순히 추측해서 이 구간을 만든 것이 아니라, 메인 모델이 저지른 실수를 통해 이 추가 모듈이 학습하도록 했습니다. 그들은 **중요도 가중 네거티브 로그 가능도(importance-weighted negative log-likelihood)**라는 특별한 수학 도구를 사용했습니다. 쉽게 말해, 이는 추가 모듈이 실험실에서 연습할 때 저지른 실수가 아니라, 실제 현장에서 발생할 수 있는 종류의 실수들에 더 집중하도록 가르치는 방법입니다.

그들은 상황에 따라 이 "구간"의 모양이 달라져야 한다는 것을 발견했습니다. 때로는 불확실성이 완벽한 원형(가우시안 분포)이지만, 그림자나 사람에 의한 가려짐 같은 까다로운 상황 때문에 오차가 "두꺼운 꼬리(heavy-tailed)"를 갖는 경우가 많습니다. 이는 대부분의 추측은 근처에 있지만, 가끔은 완전히 벗어난 극단적인 이상치가 발생함을 의미합니다. 이를 처리하기 위해 그들은 두 가지 유형의 구간을 테스트했습니다:

가우시안 구간(Gaussian Bubble): 표준적이고 매끄러운 타원형입니다. 이는 다른 수학 도구(비행기 항법 등에 사용되는)와 잘 호환되어야 하는 시스템에 적합합니다.
스튜던트 t-구간(Student-t Bubble): 더 "두꺼운" 구간으로, 더 유연하며 가끔 발생하는 극단적인 이상치를 더 잘 포착합니다.

실험 결과, 스튜던트 t-구간이 실제 세상의 복잡한 이미지를 설명하는 데 가장 뛰어났습니다. 이 방식은 표준 가우시안 구간보다 오차의 "두꺼운 꼬리"를 훨씬 더 잘 잡아냈습니다. 하지만 가우시안 구간 역시 다른 시스템들이 사용하기에 용이하다는 점에서 여전히 매우 유용합니다.

"가지치기(Pruning)" 기법: 나쁜 추측 제거하기

저자들이 발견한 가장 멋진 것 중 하나는 이 신뢰 구간을 사용하여 AI의 출력을 정화할 수 있다는 점입니다. 사람의 다리가 흐릿하게 찍힌 사진을 보고 있다고 상상해 보세요. AI는 왼쪽 무릎과 오른쪽 무릎의 위치를 추측할 수 있지만, 혼란에 빠져 두 개를 서로 바꿔버릴 수도 있습니다. 기존의 AI는 두 가지 추측을 모두 제공할 것입니다. 그러나 새로운 시스템은 자신의 신뢰 구간을 살펴보고 이렇게 말할 수 있습니다. "잠깐, 이 무릎 위치는 정말 불확실해. 구간이 너무 크고 엉망이야."

이 논문은 **불확실성 기반 가지치기(uncertainty-based pruning)**라는 방법을 소개합니다. 이는 시스템이 신뢰 구간이 너무 크거나 불확서한 추측을 자동으로 삭제할 수 있음을 의미합니다. "아마도"라는 추측은 버리고 "확실한" 것들만 남김으로써, 시스템은 훨씬 더 신뢰할 수 있게 됩니다. 유명한 COCO 데이터셋(AI 학습에 사용되는 방대한 이미지 모음)을 이용한 테스트에서, 이 가지치기는 좋은 추측의 정확도는 변화시키지 않으면서도 나쁜 추측들을 제거하여 데이터를 훨씬 더 깨끗하게 만들었습니다.

실제 테스트: 비행기 착륙

이것이 단순한 수학 게임이 아님을 증명하기 위해, 연구진은 매우 심각한 과제인 시각 기반 항공기 착륙에 이 방법을 테스트했습니다. 그들은 비행기에 장착된 카메라를 통해 활주로의 모서리를 찾는 데 AI를 사용했습니다. 이는 불확실성을 아는 것이 생사와 직결되는 상황입니다.

그들은 AI가 활주로 모서리를 예측할 수 있을 뿐만 아니라, 더 중요한 것은 각 모서리에 대한 "신뢰 구간"을 제공할 수 있다는 것을 발견했습니다. 이 구간을 사용하여 비행기의 위치를 계산했을 때, 시스템은 훌륭하게 작동했습니다. 불확실성 추정치는 잘 보정(calibrated)되어 있었는데, 이는 시스템이 "95% 확신"이라고 말했을 때 실제로 95%의 확률로 맞았음을 의미합니다. 이를 통해 비행기 항법 시스템은 카메라 데이터를 신뢰하고, 이를 GPS와 같은 다른 센서와 융합하여 안전하게 착륙할 수 있었습니다.

하지만 논문은 한계점도 지적합니다. AI가 한 번도 경험해보지 못한 안개 조건에서 테스트했을 때, 신뢰 구간이 충분히 커지지 않아 시스템이 혼란스러워하고 있다는 것을 경고하지 못했습니다. AI는 안개 속에서도 여전히 "과잉 확신(overconfident)" 상태였습니다. 이는 그들의 방법이 일반적인 조건에서는 훌륭하지만, 완전히 새롭고 예상치 못한 상황(심한 안개 등)을 다루는 데는 여전히 도움이 필요함을 시사합니다.

요약

이 논문은 AI의 모든 불확실성 문제를 해결했다고 주장하지 않습니다. 대신, 기존의 고속 AI 모델에 추가하여 자신의 정확도에 대한 "직감"을 줄 수 있는 실용적이고 가벼운 도구를 제안합니다. (특히 더 정확한 스튜던트 t-분포를 사용하여) "신뢰 구간"을 그리도록 학습하는 영리한 추가 모듈을 사용하고, 이 구간을 통해 나쁜 추측을 걸러냄으로써, 연구진은 빠른 AI 모델을 비행기 착륙과 같은 중요한 작업에 훨씬 더 안전하고 신뢰할 수 있게 만들 수 있음을 보여주었습니다. 이는 AI가 단순히 무엇을 보느냐를 넘어, 자신이 얼마나 확신하는지까지 알게 하는 단계로 향하는 발걸음입니다.

기술 요약: 키포인트에서 예측 분포로

문제 정의

YOLO-Pose 모델은 효율성과 단일 패스 추론 능력 덕분에 실시간 키포인트 국지화(localization)를 위해 널리 배포됩니다. 그러나 이 모델들은 각 키포인트에 대해 하나의 결정론적인 위치와 인스턴스 수준의 신뢰도 점수만을 출력하며, 이는 키포인트별 공간적 불확실성을 정량화하지 못합니다. 센서 퓨전이나 트래킹과 같은 안전 중심의 다운스트림 애플리케이션에서, 개별 키포인트의 신뢰도를 평가할 수 없는 능력은 시스템의 강건성을 제한합니다.

YOLO 제품군 내의 기존 불확실성 정량화 방법들은 주로 객체 탐지(바운딩 박스)에 초점을 맞추거나, 불확실성을 함께 예측하도록 모델을 공동 재학습(joint retraining)해야 합니다. 이러한 공동 학습 패러다임은 인증 요구사항으로 인해 재학습이 제한되거나, 손실 함수를 변경함으로써 확립된 평균 예측 성능이 저하될 수 있는 배포된 모델 환경에서는 바람직하지 않습니다. 또한, 표준 OKS(Object Keypoint Similarity) 손실은 표준 가우시안 가정으로는 제대로 포착하기 어려운 헤비 테일(heavy-tailed) 잔차 분포를 유발하여, 미교정된 불확실성 추정치를 생성합니다.

방법론

저자들은 원래의 키포인트 예측을 변경하지 않고 사전 학습된(pre-trained) 고정된(frozen) YOLO-Pose 모델을 확장하는 경량 포스트 혹(post-hoc) 확률적 확장 방식을 제안합니다. 이 접근 방식은 세 가지 주요 구성 요소로 이루어집니다.

1. 아키텍처 확장

이 방법은 원래의 포즈 헤드와 유사한 추가적인 확률적 헤드를 도입합니다. 이 헤드들은 공유된 다중 해상도 넥(neck) 특징을 활용하여 각 키포인트에 대한 이종(heteroscedastic) 및 입력 의존적 $2 \times 2$ 분산 행렬( $\Sigma$ )을 예측합니다. 이 행렬은 촐레스키 분해(Cholesky decomposition)를 통해 양의 정치행렬(positive definite)로 제약됩니다. 예측 분포의 평균은 원래의 YOLO 예측( $\hat{y}$ )으로 고정되며, 분산 행렬은 공간적 불확실성을 포착합니다.

2. 중요도 가중 GNLL을 이용한 학습

분산 구조를 학습하기 위해, 저자들은 OKS 손실의 대용치(surrogate)로 **가우시안 음의 로그 가능도(Gaussian Negative Log-Likelihood, GNLL)**를 사용합니다. 학습 시의 레이블 할당과 추론 시의 후처리(예: 신뢰도 임계값 설정, NMS) 사이의 불일치를 해결하기 위해, 저자들은 중요도 가중 학습 목적 함수를 도입합니다.

유지 가중치 ( $w_{ret}$ ): 인스턴스 수준의 신뢰도 점수( $c_{det}^\alpha$ )를 기반으로 하며, 추론 시 예측이 유지될 가능성을 근사합니다.
스케일 가중치 ( $w_{scale}$ ): 객체 면적의 역수( $1/s^2$ )를 기반으로 하며, 큰 객체가 최적화 신호를 지배하는 경향을 상쇄하여 다양한 객체 스케일에 걸쳐 균형 잡힌 교정(calibration)을 보장합니다.
목적 함수는 매칭된 예측-지면 진실(ground-truth) 쌍에 대해 가중 GNLL을 최소화합니다.

3. 교정 체계 (Calibration Schemes)

OKS 손실이 (강건하고 이상치를 억제하는 특성 때문에) 헤비 테일 잔차를 유발한다는 점을 인식하여, 저자들은 별도의 교정 데이터셋에 적용되는 두 가지 상호 보완적인 교정 전략을 제안합니다.

가우시안 교정 (Gaussian Calibration): 학습된 분산 행렬에 온도 스케일링( $\tau^2$ )을 적용합니다. 이는 예측 분포 $\mathcal{N}(\hat{y}, \tau^2\Sigma)$ 를 생성하여, 칼만 필터와 같은 다운스트림 공분산 기반 방법들과의 호환성을 보장합니다.
스튜던트 t 교정 (Student-t Calibration): 온도 스케일링( $\tau^2$ )과 자유도 파라미터( $\nu$ )를 모두 분산 행렬에 적용하여, 이를 $T_\nu(\hat{y}, \tau^2\Sigma)$ 분포의 스케일 행렬로 취급합니다. 이는 경험적인 헤비 테일 잔차 특성을 더 잘 포착하면서도, $\nu > 2$ 인 경우 원칙적인 공분산 해석을 유지합니다.

4. 불확실성 기반 프루닝 (Uncertainty-Based Pruning)

교정된 공분산은 국지화 신뢰도 점수(예: 공분산의 트레이스 사용)로 변환됩니다. 검증 세트에서 Youden's J 통계량을 통해 선택된 임계값보다 낮은 점수를 가진 키포인트는 다운스트림 처리 전에 제거(pruning)되어, 신뢰할 수 없는 예측은 제거하면서 유지된 키포인트의 평균 추정치는 보존합니다.

평가 프로토콜

본 논문은 이종 키포인트 회귀를 위한 종합적인 평가 프레임워크를 도입합니다.

평균 키포인트 정밀도 (Average Keypoint Precision, AKP): 키포인트 수준으로 확장된 COCO 스타일의 메트릭입니다. 이는 불확실성 점수가 올바른 정도에 따라 키포인트를 효과적으로 순위 매기는지 평가하여, 신뢰할 수 없는 키포인트의 선택 또는 제거를 가능하게 합니다.
분포 교정 진단 (Distributional Calibration Diagnostics):
- 커버리지 (Coverage): 명목 확률 영역(예: 95% 타원)이 경험적 빈도와 일치하는지 평가합니다 (Average Coverage Error, ACE).
- 분산 교정 (Variance Calibration): 예측된 분산 크기를 경험적 제곱 잔차와 비교합니다 (Expected Normalized Calibration Error, ENCE).
- Q-Q 플롯: 참조 법칙에 대한 예측 분포의 형태와 꼬리(tail) 동작을 평가합니다.

주요 결과

COCO 데이터셋(YOLO-NAS-Pose Nano 및 Large 사용)에 대한 실험 결과는 다음과 같습니다.

신뢰도 순위 (Reliability Ranking): 학습된 불확실성 추정치는 효과적인 키포인트 수준의 신뢰도 순위를 제공하며, 무작위 베이스라인보다 현저히 높은 AKP 점수를 달착합니다.
교정 성능:
- 가우시안 교정은 분산 교정(낮은 ENCE)을 개선하지만, 꼬리 부분의 모델링 오류로 인해 커버리지(높은 ACE) 측면에서 어려움을 겪습니다.
- 스튜던트 t 교정은 ENCE와 NLL을 유지하거나 개선하면서 ACE를 현저히 낮추어(거의 완벽한 커버리지) 전반적으로 가장 우수한 성능을 보입니다. 이는 경험적 잔차 분포가 헤비 테일 성격의 스튜던트 t 분포로 더 잘 모델링됨을 확인시켜 줍니다.
프루닝 효능: 불확실성 기반 프루닝은 신뢰할 수 없는 키포인트(특히 무릎이나 발목과 같이 모호한 사지)를 효과적으로 제거하여, 유지된 세트의 교정 메트릭을 향상시킵니다.
절제 연구 (Ablation Studies): 중요도 가중치(특히 유지 및 스케일 가중치)는 다양한 객체 크기에 걸친 균형 잡힌 교정에 필수적입니다. 전체 이종 공분산 행렬은 등방성(isotropic) 또는 대각(diagonal) 근사보다 우수합니다.

응용 시연: 비전 기반 항공기 착륙

저자들은 대규모 내부 데이터셋을 사용하여 비전 기반 착륙(VBL) 시나리오에서의 방법론의 유용성을 입증합니다.

워크플로우: 활주로 키포인트가 탐지되고, 교정된 2D 공분산이 공분산 가중치 PnP(Perspective-n-Point) 알고리즘을 통해 항공기의 3D 위치 및 공분산 추정으로 전달됩니다.
센서 퓨전: 결과물인 3D 위치 추정치와 공분산은 다른 항법 센서(GNSS, ILS, IRS)와 함께 확장 칼만 필터(EKF)에 통합됩니다.
결과: 가우시안 교정 모델은 잘 교정된 이미지 평면 공분산을 제공하여 불확실성을 고려한 위치 추정을 지원합니다. 이 방법은 VBL의 저지연 요구사항을 충족합니다.
한계점: 안개 조건(분포 외 데이터, OOD)에서 모델은 증가된 에피스테믹(epistemic) 불확실성을 포착하지 못하며, 이는 현재의 포스트 혹 접근 방식이 훈련 분포 내의 알레아토리(aleatoric) 불확실성은 모델링하지만 분포 변화 자체를 감지하는 것은 아님을 보여줍니다.

의의 및 주장

본 논문은 기존 모델을 재학습하거나 원래의 예측을 수정하지 않고도 키포인트 국지화 오차에 대한 교정된 예측 분포를 제공하는 최초의 YOLO-Pose 확장 모델이라고 주장합니다.

주요 기여는 다음과 같습니다:

포스트 혹 유연성: 불확실성 추정을 점 예측으로부터 분리하여, 기존의 인증된 모델을 교정할 수 있게 합니다.
분포 충실도: 강건한 OKS 손실로 인한 헤비 테일 잔차를 포착하기 위해 스튜던트 t 교정이 필요함을 입증하였으며, 이는 표준 가우시안 가정을 능가합니다.
평가 표준: 이진(bivariate) 이종 키포인트 회귀에 특화된 AKP와 일련의 교정 진단 도구를 도입하여, 불확실성이 단순히 정성적이거나 스칼라 신뢰도로만 평가되던 문헌의 공백을 메웁니다.
실용적 유용성: 항공 분야에서의 검증을 통해, 교정된 공분산이 다운스트림 센서 퓨전을 위한 기능적 요구사항이며 불확실성 기반 프루닝이 시스템의 강건성을 향상시킬 수 있음을 보여줍니다.

저자들은 에피스테믹 불확실성에 대해 겸허한 입장을 유지하며, 현재의 접근 방식이 분포 내 잔차에 의존하고 있으며, 극심한 기상 상황과 같은 분포 외 입력(OOD)을 다루기 위해서는 에피스테믹 불확실성 모델링에 대한 향후 연구가 필요함을 인정합니다.