💻 computer science

Learning to Understand Body Language from Flight through Robust 3D Avatar Placing

이 논문은 경량화된 기하학적 세계 모델을 사용하여 의사소통 의도를 가진 3D 아바타를 실제 드론 영상 속에 견고하게 배치함으로써 생성된 새로운 데이터셋인 Drones2BodyLanguage를 소개하며, 이는 장거리 UAV 영상으로부터 인간의 바디 언어와 의도를 학습하고 이해하는 항공 로봇의 능력을 크게 향상시킨다.

원저자: Dragos Costea, Alina Marcu, Cristina Lazar, Marius Leordeanu

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dragos Costea, Alina Marcu, Cristina Lazar, Marius Leordeanu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 번잡한 도시나 조용한 시골 상공을 높이 비행하는 드론이라고 상상해 보세요. 당신은 '사회적 지능'을 가진 로봇입니다. 즉, 아래에 있는 아주 작은 사람들이 무엇을 말하려고 하는지 이해하고 싶어 합니다. 예를 들어, 어떤 등산객이 도움을 요청하며 손을 흔들고 있거나, 한 그룹이 특정 방향을 가리키며 신호를 보내고 있을 수도 있습니다. 과학계에서는 이를 '바디 랭귀지(몸짓 언어)' 또는 '의사소통 의도'를 이해하는 것이라고 부릅니다. 보통 컴퓨터는 셀카처럼 가까이서 찍은 사진을 통해 이러한 신호를 읽는 데 매우 뛰어납니다. 하지만 50에서 100미터 정도의 거리로 줌아웃하면, 사람은 화면에서 단 몇 개의 픽셀로 변해 버립니다. 그들의 움직임은 흐릿해지고, 컴퓨터는 혼란에 빠집니다. 이는 마치 축구 경기장 건너편에서 책을 읽으려는 것과 같습니다. 글자는 분명히 존재하지만, 너무 작아서 의미를 파악할 수 없는 상태인 것이죠.

컴퓨터에게 이 작고 먼 신호를 읽는 법을 가르치기 위해, 과학자들은 보통 수천 개의 예시가 필요합니다. 하지만 여기에는 문제가 있습니다. 드론을 향해 손을 흔드는 사람들을 100미터 거리에서 촬영한 영상 수천 개를 가진 사람은 아무도 없습니다. 촬영하기가 너무 어렵고, 사람들을 너무 멀리서 보면 명확하게 보이지 않을 수도 있기 때문입니다. 그래서 과학자들에게는 두 가지 나쁜 선택지가 주어집니다. 실제 사람을 충분히 촬영하거나(이는 거의 불가능에 가깝습니다), 완전히 가짜인 세상 속에서 컴퓨터로 생성된 가짜 사람들을 만드는 것(이는 너무 완벽해 보여서 실제 영상의 무질서한 현실과 일치하지 않습니다)입니다. 이 논문은 영리한 절충안을 찾고자 합니다. 이 논문은 다음과 같이 질문합니다. "실제 세계의 영상을 유지하면서, 그 안에 실제처럼 보이는 사람들을 마법처럼 붙여 넣는다면 어떨까? 그러면 컴퓨터가 먼 거리에서도 그들의 신호를 읽는 법을 배울 수 있지 않을까?"

이 연구를 이끄는 드라고슈 코스테아(Dragoş Costea)와 그의 팀은 Drones2BodyLanguage라는 새로운 도구를 만들었습니다. 이것을 고도의 기술이 적용된 영상용 '오려 붙이기' 기계라고 생각하면 됩니다. 보통 사진 속 인물을 영상에 붙여 넣으면, 마치 평면적인 스티커가 이상하게 미끄러지는 것처럼 보입니다. 카메라가 움직이면 사람은 지면과 함께 움직이지 않고 그냥 둥둥 떠다니게 됩니다. 이는 학습에 도움이 되지 않습니다. 팀의 큰 돌파구는 디지털 인물을 지면에 단단히 세우고, 드론이 비행하는 동안에도 제 자리에 머물게 하며, 실제 사람처럼 몸을 돌려 올바른 방향을 향하게 하는 방법입니다.

이들의 "마법"은 다음과 같이 작동합니다. 먼저, 드론으로 촬영한 실제 4K 영상을 가져옵니다. 그런 다음, 스마트한 시스템을 사용하여 건물의 모서리나 나무와 같이 지면 위의 안정적인 지점인 '앵커(anchors)'를 찾습니다. 설령 지면이 패턴이 없는 평범하고 지루한 아스팔트처럼 보이더라도, 그들의 시스템은 특수한 깊이 센서를 사용하여 이 지점들이 3D 공간에서 얼마나 높은 위치에 있는지 추측합니다. 그다음, 디지털 아바타를 배치할 '스위트 스팟(최적의 지점)'을 계산합니다. 이들의 핵심 비결은 수학적 트릭입니다. 사람의 발을 직접 추적하는 대신(발은 매끄러운 도로 위에서 사라질 수 있기 때문입니다), 사람 주변의 안정적인 앵커들을 추적하고 공식을 사용하여 드론이 어떻게 움직이든 상관없이 사람의 발이 정확히 어디에 있어야 하는지를 예측합니다. 또한 지면이 어느 방향으로 '기울어져' 있는지 파악하여 사람이 옆으로 기울어져 보이지 않도록 합니다.

사람이 완벽하게 배치되면, 팀은 세 가지 다른 방식으로 그들을 영상에 추가하여 방대한 훈련 데이터 라이브러리를 구축합니다.

실제(Real): 실제 배우들의 영상을 가져와서, 배경에서 잘라낸 뒤 붙여 넣습니다.
리타겟팅(Retargeted): 실제 배우의 움직임을 가져와서 사실적인 3D 컴퓨터 캐릭터에 입힙니다.
생성(Generated): AI를 사용하여 한 번도 촬영된 적 없는 완전히 새로운 움직임을 만들어냅니다.

그들은 33미터에서 98미터 사이의 거리에서 사람들이 열 가지의 서로 다른 의사소통 신호(예: 손 흔들기, 가리키기, 정지 신호 등)를 보내는 모습을 담은 3,500개 이상의 "배치된" 영상 클립으로 구성된 데이터셋을 만들었습니다.

팀은 이 "가짜" 데이터가 실제로 컴퓨터에게 실제 사람을 이해하도록 가르칠 수 있는지 테스트했습니다. 그들은 12개의 서로 다른 컴퓨터 뇌 모델(아키텍처)을 가져와 이 새로운 데이터셋으로 훈련시켰습니다. 결과는 유망했습니다. 이 배치된 영상들로 컴퓨터를 훈련시켰을 때, 모델들은 먼 곳에 있는 사람들이 무엇을 말하려 하는지 맞히는 능력이 훨씬 좋아졌습니다. 실제로 이러한 종류의 데이터를 보지 못한 모델들과 비교했을 때 정확도가 크게 뛰어올랐습니다.

흥미롭게도, 그들은 '움직임의 유형'이 사람의 '외형'보다 더 중요하다는 것을 발견했습니다. "생성된"(완전히 가짜인) 움직임으로 훈련된 모델들은 가장 고전한 반면, "리타겟팅된"(가짜 몸에 실제 인간의 움직임을 입힌) 데이터로 훈련된 모델들은 매우 우수한 성적을 거두었습니다. 이는 컴퓨터가 단순히 3D 캐릭터의 외형이 아니라, 실제 인간 움직임의 리듬과 형태를 배워야 한다는 것을 시사합니다.

그들은 또한 이 시스템을 한 번도 본 적 없는 두 개의 새로운 실제 영상(시골과 리조트)에 대해 테스트했습니다. 비록 컴퓨터가 이 특정 장면들을 본 적은 없었지만, 혼합 데이터셋(실제 데이터와 리타겟팅 데이터를 모두 사용)으로 훈련된 모델들이 가장 좋은 성능을 보였습니다. 이는 사람을 실제 영상에 "배치"하는 그들의 방식이 로봇에게 하늘에서 인간의 신호를 이해하도록 가르치는 견고한 방법임을 시사합니다.

하지만 저자들은 이것이 아직 모든 상황에 적용되는 완벽한 해결책은 아니라는 점을 주의 깊게 언급합니다. 그들의 방식은 평평하고 단단한 지면에서 가장 잘 작동하며, 지면이 어느 정도 고정되어 있어야 합니다. 또한, 영상에서 잘라낸 "실제" 사람들은 과정을 다시 거치지 않고서는 쉽게 변경하거나 재애니메이션화할 수 없습니다. 그럼에도 불구하고, 이 논문은 실제 영상과 영리한 디지털 배치를 결-합하여 드론이 우리의 바디 랭귀지를 더 잘 읽을 수 있도록 가르치는 강력하고 새로운 방법을 보여주며, 우리가 촬영할 수 있는 것과 컴퓨터가 학습해야 하는 것 사이의 간극을 메워줍니다.

기술 요약: 강건한 3D 아바타 배치를 통한 비행 중 바디랭귀지 이해 학습

문제 정의
장거리(50~100미터)에서 인간의 움직임과 의사소통 의도를 인지하는 것은 사회적으로 지능적인 항공 로봇, 특히 비언어적 소통이 유일한 채널인 시나리오(예: 구조 작업 또는 프라이버시 보호형 감시)에서 매우 중요한 전제 조건입니다. 근거리에서는 2D 포즈 기반의 의도 인식이 효과적이지만, 항공 거리에서는 성능이 급격히 저하됩니다. 기존 솔루션들은 데이터 부족 문제에 직면해 있습니다. 이러한 거리에서 레이블링된 데이터를 수집하는 것은 매우 어렵고, 완전히 합성된 렌더링은 원거리 피사체의 광도 통계와 배경 복잡성을 제대로 포착하지 못합니다. 저자들은 "중도적인 길(middle road)"을 제안합니다. 즉, 수정되지 않은 실제 드론 영상에 인간 아바타를 합성함으로써, 원거리 피사체의 실제 배경, 카메라 움직임, 픽셀 예산을 보존하는 동시에 레이블과 샘플 수에 대한 완전한 제어권을 유지하는 방식입니다.

방법론
핵심 과제는 수정되지 않은 드론 영상 내의 질감이 없는 지면(예: 아스팔트) 위에 사람을 설득력 있게 배치하는 "어려운 3D 트래킹 문제"를 해결하는 것입니다. 제안된 솔루션은 4단계 파이프라인을 포함합니다:

장면 준비: 시스템은 드론 영상에서 2분 길이의 윈도우를 추출하여 스트리밍 단안 깊이 맵(monocular depth map)을 생성하고, SAM3 세그멘테이션을 사용하여 "배치 가능한" 마스크(도로, 낮은 식생)와 "앵커링 가능한" 마스크(나무, 건물)를 생성합니다.
3D 앵커 기반 지점 트래킹:
- 시딩(Seeding): 전체 4K 프레임에서 Shi–Tomasi 코너를 검출합니다. 배치 지점은 배치 가능한 마스크 상에 샘플링됩니다.
- 앵커링(Anchoring): 각 배치 지점은 가장 먼 점 선택(farthest-point selection)을 통해 선택된 $K=11$ 개의 의미론적 앵커(정적 구조물의 코너)와 연관됩니다.
- 프레임 불변 중심 바리센트릭 앵커링(Frame-Invariant Barycentric Anchoring): 알고리즘은 세계 정적 지점이 프레임 전반에 걸쳐 일정한 가중치를 가진 정적 앵커들의 아핀 결합(affine combination)이라는 기하학적 성질에 의존합니다. 시스템은 이 가중치를 예측하기 위해 제약된 최소제곱법 문제를 해결합니다. 일단 계산되면, 이 가중치는 강체 좌표 변화 하에서도 불변하므로, 카메라가 움직이더라도 재트래킹 없이 모든 프레임에서 배치 지점을 예측할 수 있습니다.
- 깊이 및 스케일: 예측된 지점의 깊이는 지수 이동 평균을 통해 평활화되며, 이를 통해 아바타의 스케일을 설정합니다.
SVD 적합을 통한 지면 회전: 아바타가 장면(특히 지면 패치의 요, yaw)과 일관되게 회전하도록 하기 위해, 시스템은 특이값 분해(SVD)를 사용하여 앵커 컨스텔레이션에 강체 회전 행렬( $R_t$ )을 적합시킵니다. 이는 배치된 사람이 휘몰아치는 이미지 프레임이 아닌, 장면에 대해 정면을 유지하도록 보장합니다.
아바타 렌더링 및 합성: 아바타는 올바른 스케일과 회전으로 렌더링되어 4K 영상에 알파 합성됩니다. 파이프라인은 타일형 YOLO11x-pose 검출기를 사용하여 배치 타당성을 검증하며, 아바타가 80프레임 이상 연속으로 검출되는 시퀀스만 유지합니다.

주요 기여

Drones2BodyLanguage 데이터셋: 8개의 실제 드론 장면에 걸쳐 검출이 확인된 80프레임 키포인트 시퀀스 3,580개로 구성된 새로운 데이터셋입니다. 이는 33~98미터 거리의 10가지 의사소통 의도를 다룹니다. 데이터에는 세 가지 모션 소스가 포함됩니다:
- Real: 실제 배우의 크로마 추출 컷아웃.
- RealSynth: 사실적인 SMPL-X 캐릭터로 리타겟팅된 실제 퍼포먼스.
- Kimodo: 완전히 합성된 텍스트 조건부 모션.
새로운 3D 아바타 배치 알고리즘: 훈련 없이 노이즈가 있는 단안 깊이와 의미론적 세그멘테이션으로부터 위치, 회전, 스케일을 계산하는 방법입니다. 이는 질감이 없는 표면과 카메라 움직임을 처리하기 위해 프레임 불변 아핀 앵커 조합과 SVD 적합 지면 회전을 활용합니다.
의도 분류 연구: 장면 및 모션이 분리된 분할(split)에 대해 12개 아키텍처를 대상으로 평가를 수행하여, 배치된 데이터로 훈련하는 것이 장거리 의도 인식을 유의미하게 향상시킨다는 것을 입증했습니다.

결과

키포인트 충실도: 드론의 요(yaw)에 의해 유도된 뷰포인트 회전이 합성 과정 자체보다 더 지배적인 충실도 손실 원인(+21% 오차)인 것으로 확인되었습니다.
제로샷 전이(Zero-Shot Transfer): 근거리 벤치마크에서 훈련된 모델은 장거리 데이터에서 낮은 성능(정확도 ~0.20–0.48)을 보였으며, 특히 합성 모션(Kimodo)이 실제 모션에 비해 전이가 잘 되지 않는 상당한 "모션 갭"이 관찰되었습니다.
배치 데이터 훈련: Drones2BodyLanguage 데이터셋으로 훈련했을 때 12개 아키텍처의 평균 의도 정확도가 상승했습니다.
- Zero-shot: ~0.48 (Real), ~0.32 (RealSynth), ~0.20 (Kimodo).
- Fine-tuned: ~0.74 (Real), ~0.67 (RealSynth), ~0.58 (Kimodo).
- 파인튜닝은 처음부터 훈련하는 것보다 일관되게 우수한 성능을 보였으며, 종종 절반의 에포크(epoch)만으로도 더 나은 결과를 달성했습니다.
일반화: 두 개의 새로운 미학습 실제 장면(Countryside 및 Resort)에서 Real과 RealSynth 데이터를 혼합하여 훈련된 모델이 가장 좋은 성능(평균 정확도 ~0.426 및 ~0.407)을 보였으며, 이는 단일 소스로 훈련된 모델을 능가했습니다.
절제 연구(Ablations): 회전의 기하학적 실제성(SVD 적합)은 학습 가능도에 미치는 영향이 미미했으나(<0.003 정확도 차이), 데이터셋에 포함된 특정 모션은 성능에 결정적이었습니다.

의의
본 논문은 견고한 3D 아바타 배치를 통해 인간의 움직임을 실제 UAV 영상에 접지함으로써, 사회적으로 지능적인 항공 로봇을 훈련하는 데 필요한 대규모의 메트릭 정합 데이터를 생성할 수 있다고 주장합니다. 이 연구는 합성 데이터가 올바른 기하학적 제약(스케일, 회전, 깊이)을 가지고 실제 장면에 합성될 때, 장거리 바디랭귀지 이해를 위한 도메인 갭을 효과적으로 메울 수 있음을 보여줍니다. 제안된 "중도적인 길" 접근 방식은 실제 세계의 레이블링 비용을 피하면서도 실제 항공 영상의 광도 및 기하학적 통계를 유지하여, 새로운 미합성 실제 세계 장면으로 전이 가능한 의도 인식 정확도의 상당한 향상을 가능하게 합니다.

유사한 논문