A multimodal dataset for reconstructing common marmoset body-environment interactions in a 3D digital-twin framework

작은 원숭이가 자신의 세상을 어떻게 탐구하는지 이해하려고 노력한다고 상상해 보세요. 하지만 당신에게 주어진 것이라고는 평면적인 2차원 사진이나 단순한 졸라맨 그림뿐이라면 어떨까요? 이것이 지금까지 마모셋(과학 연구에 자주 사용되는 작은 영장류)을 연구할 때 직면했던 한계였습니다. 이 논문은 마모셋과 그 주변 환경의 완전한 3D 디지털 트윈을 생성함으로써 게임의 판도를 바꾸는 거대하고 새로운 "디지털 도구 상자"를 소개합니다.

이 데이터셋을 단순한 비디오 모음이 아니라, 과학자들을 위한 매우 상세한 비디오 게임 에셋 팩이라고 생각하십시오. 일상적인 용어로 나누어 설명하면 이 데이터셋이 왜 특별한지 알 수 있습니다.

• "조각된" 신체: 연구진은 단순히 원숭이의 내부 모습이 어떻게 생겼을지 추측하는 대신, 의료용 CT 스캔(고성능 3D X-ray와 같은 것)을 사용하여 실제 원숭이의 체형과 정확히 일치하는 완벽하고 견고한 메쉬(mesh)를 구축했습니다. 이는 마치 실제 동물의 뼈와 근육에 딱 맞는 디지털 점토 모델을 가진 것과 같습니다.
• "털"과 "피부": 그들은 뼈대에서 멈추지 않았습니다. 실제 사진을 사용하여 원숭이의 털과 피부 질감을 추가했기 때문에, 디지털 모델은 매끄러운 플라스틱 장난감이 아니라 실제 동물처럼 보이고 느껴집니다.
• "인형술사" 시스템: 그들은 "리깅(rigged)"된 모델을 만들었습니다. 이는 보이지 않는 줄이 달린 디지털 마리오네트와 같습니다. 이를 통해 과학자들은 원숭이의 팔다리를 움직여 보고, 마치 영화 속 캐릭터를 애니메이션화하듯 3D 공간에서 걷거나, 뛰거나, 기어오르는 모습을 관찰할 수 있습니다.
• "감시" 설정: 원숭이가 실제로 어떻게 움직이는지 포착하기 위해, 팀은 세 마리의 서로 다른 원숭이를 총 90시간 동안 촬영했습니다. 그들은 동시에 8대의 서로 다른 카메라를 사용하여 360도 뷰를 만들어냈습니다. 이는 마치 눈을 깜빡이지 않는 보안 시스템처럼, 원숭이 삶의 모든 각도를 포착하는 것과 같습니다.
• "가상 방": 그들은 단순히 원숭이를 촬영한 것이 아니라, 설계도를 사용하여 원숭이가 있던 방과 장비의 3D 디지털 복제본도 구축했습니다. 즉, 디지털 원숭이는 허공에 떠 있는 것이 아니라 가상 버전의 실제 케이지 안에서 상호작용하게 됩니다.
• "1인칭" 시점: 연구진은 원숭이의 움직임 데이터와 3D 모델을 결합하여 "의사-자기중심적(pseudo-egocentric)" 뷰를 생성했습니다. 실제 데이터를 바탕으로 컴퓨터가 생성한 것을 통해, 원숭이가 보는 세상을 정확히 보는 것과 같은 경험을 하게 해줍니다.

성공적이었을까요?
팀은 "품질 관리" 점검을 실시했습니다. 그들은 디지털 점토 모델을 실제 CT 스캔과 비교하여 형태가 일치하는지 확인했습니다. 또한 컴퓨터가 비디오에서 원숭이의 팔꿈치와 무릎을 올바르게 찾아낼 수 있는지 확인했습니다. 가상 방의 크기를 측정하여 적절한 크기인지 확인했으며, 컴퓨터로 생성된 이미지를 실제 사진과 비교하여 동일하게 보이는지 검토했습니다. 결과는 디지털 트윈이 정확하고 신뢰할 수 있음을 보여주었습니다.

이것이 왜 중요할까요?
이전에는 과학자들이 주로 화면 위를 움직이는 단순한 점으로서 원숭이를 추적했습니다. 이 데이터셋을 통해 과학자들은 원숭이의 행동을 실제 체형과 환경이 어우러진 하나의 완전한 3차원 이야기로 다룰 수 있게 되었습니다. 이는 더 나끔한 행동 연구를 위한 원재료를 제공하며, 사실적인 시각화를 생성하고, 컴퓨터를 위한 새로운 학습 데이터를 생성하며, 과학자들이 가상 세계에서 이 동물들을 시뮬레이션하고 연구할 수 있는 미래의 "디지털 트윈" 연구를 위한 토대를 마련해 줍니다.