A multimodal dataset for reconstructing common marmoset body-environment interactions in a 3D digital-twin framework

Resumen Técnico

Planteamiento del Problema
El tití común (Callithrix jacchus) sirve como un modelo crítico de primates no humanos en la neurociencia y la investigación biomédica. A pesar de su importancia, los recursos 3D existentes para esta especie se han limitado en gran medida a atlas cerebrales o estimación de puntos clave (keypoints). Persiste una brecha significativa en la disponibilidad de recursos de datos reutilizables que describan conjuntamente la superficie corporal, el pelaje, la estructura articulada y el entorno experimental del tití. En consecuencia, las capacidades actuales para reconstruir interacciones complejas entre el cuerpo y el entorno en tres dimensiones son limitadas.

Metodología
Para abordar estas limitaciones, los autores presentan un conjunto de datos multimodal integral diseñado para facilitar la reconstrucción 3D de las interacciones cuerpo-entorno. La construcción del conjunto de datos involucra varios componentes integrados:

• Modelado Anatómico: Se derivó una malla de superficie de cuerpo completo a partir de imágenes de tomografía computarizada (TC), complementada con representaciones del pelaje basadas en referencias fotográficas. Estos elementos se combinaron en un modelo 3D con rig (rigged) capaz de realizar animaciones impulsadas por la pose.
• Recolección de Datos Conductuales: Se grabaron aproximadamente 90 horas de videos conductuales sincronizados, capturando a tres individuos de tití desde ocho puntos de vista distintos.
• Estimación de Puntos Clave: El conjunto de datos incluye datos de estimación de puntos clave tanto en 2D como en 3D derivados de las grabaciones conductuales.
• Modelado del Entorno: Se construyeron modelos 3D del entorno experimental utilizando información de planos arquitectónicos (blueprints).
• Generación de Vistas Sintéticas: Los autores generaron vistas pseudo-egocéntricas renderizadas mediante la integración de los resultados de la estimación de la pose con los modelos 3D del cuerpo y del entorno.

Validación Técnica
El conjunto de datos se sometió a una rigurosa validación técnica a través de cuatro métricas primarias:

1. Acuerdo Geométrico: Evaluación de la alineación entre la malla derivada de la TC y el modelo de superficie final.
2. Precisión de los Puntos Clave: Evaluación de la precisión de la estimación de puntos clave tanto en 2D como en 3D.
3. Exactitud Dimensional del Entorno: Verificación de la fidelidad dimensional del modelo del entorno reconstruido.
4. Similitud de Imagen: Análisis de la similitud estructural entre las imágenes reales capturadas y las imágenes sintéticas renderizadas.

Contribuciones Clave y Resultados
La contribución principal de este trabajo es la liberación de un conjunto de datos multimodal unificado que va más allá de simples trayectorias de puntos para capturar el comportamiento del tití como un fenómeno tridimensional que involucra la forma corporal y las relaciones espaciales con el entorno. Los resultados de la validación confirman la exactitud geométrica y dimensional de los modelos, así como la similitud estructural de los productos renderizados, estableciendo la fiabilidad del conjunto de datos para tareas posteriores.

Significado
El artículo postula que este conjunto de datos proporciona un recurso fundamental para tratar el comportamiento natural del tití como un fenómeno 3D holístico en lugar de una colección de puntos discretos. Al permitir la integración de la forma corporal, la articulación y el contexto ambiental, el conjunto de datos respalda aplicaciones en análisis conductual, visualización, generación de datos sintéticos y futuros estudios de gemelos digitales (digital twins). El trabajo tiene como objetivo cerrar la brecha entre los recursos dispersos existentes y la necesidad de datos 3D exhaustivos y reutilizables para la investigación con titíes.