Resumen Técnico: Pose Splatter

Planteamiento del Problema

La cuantificación precisa y escalable de la postura y la apariencia de los animales es esencial para la investigación en neurociencia, particularmente para estudiar cambios conductuales sutiles asociados con enfermedades neurológicas. Las técnicas actuales de estimación de pose 3D enfrentan limitaciones significativas:

• Los métodos basados en puntos clave (keypoints) dependen de marcas anatómicas dispersas, lo que requiere una anotación manual laboriosa y no logra capturar la geometría completa, el color o la textura del cuerpo.
• Los métodos basados en mallas (meshes) ofrecen una reconstrucción completa de la superficie, pero típicamente requieren optimización por fotograma, modelos de plantilla especializados (por ejemplo, SMAL) y a menudo fallan al generalizar a posturas no vistas o diferentes especies.
• Los enfoques existentes de 3D Gaussian Splatting (3DGS) generalmente dependen de la optimización por escena o asumen un solapamiento multivista denso, lo que los hace inadecuados para la reconstrucción de animales en vistas dispersas donde el solapamiento entre vistas es mínimo.

Estos cuellos de botella dificultan el análisis conductual longitudinal a gran escala necesario para mapear el genotipo, la actividad neural y el comportamiento a altas resoluciones.

Metodología: Pose Splatter

Pose Splatter es un marco de trabajo (framework) de alimentación directa (feed-forward) que aprovecha el tallado de formas (shape carving) y el 3D Gaussian Splatting (3DGS) para reconstruir la postura 3D completa y la apariencia de animales de laboratorio sin anotaciones manuales, optimización por fotograma o plantillas específicas de la especie.

Flujo de Trabajo Principal (Core Pipeline)

1. Generación de Máscaras: El sistema utiliza un modelo Segment Anything (SAM2) preentrenado para generar máscaras de primer plano a partir de fotogramas de video multivista, eliminando la necesidad de etiquetado manual.
2. Estimación de Pose y Rotación: Para garantizar la invarianza de rotación, el sistema estima el centro 3D del animal mediante la triangulación robusta de los centroides de las máscaras. La rotación azimutal se deriva del eje principal de una distribución Gaussiana 3D ajustada a la masa del animal, la cual se rastrea suavemente a lo largo del tiempo.
3. Tallado de Formas (Shape Carving): Las máscaras multivista se proyectan hacia atrás en una rejilla de vóxeles 3D compartida para crear un "casco visual" (visual hull) grueso. Los vóxeles que quedan fuera de la intersección de los conos visuales son eliminados. Los colores se asignan a los vóxeles restantes basándose en la visibilidad y el promedio ponderado para manejar oclusiones.
4. Refinamiento y Desvoxelización:
   • Una arquitectura de U-Net 3D apilada refina el volumen de vóxeles grueso, produciendo un canal de ocupación y canales de características adicionales.
   • Un MLP (Perceptrón Multicapa) compacto procesa las características de los vóxeles para predecir vectores de desplazamiento 3D, matrices de covarianza y características de apariencia.
   • Crucialmente, la posición media de la Gaussiana se calcula sumando el desplazamiento predicho a la coordenada del vóxel, "desvoxelizando" efectivamente la representación para capturar una geometría de grano fino.
5. Renderizado: Los parámetros de la Gaussiana resultantes se renderizan utilizando el Gaussian splatting estándar para producir imágenes de alta fidelidad desde nuevos puntos de vista.

Técnica de Incrustación Visual (Visual Embedding)

Para facilitar el análisis conductual descendente, los autores proponen una incrustación visual invariante a la rotación:

• Renderizado: La escena de 3D Gaussian Splatting se renderiza desde 32 cámaras virtuales distribuidas en una esfera que rodea al animal.
• Codificación: Cada renderizado de 224×224 se pasa a través de un ResNet-18 preentrenado para extraer vectores de características de 512 dimensiones.
• Expansión de Armónicos Esféricos: Las características se expanden utilizando una base de armónicos esféricos truncada. Para lograr la invarianza a la rotación horizontal (azimutal), se utilizan las magnitudes al cuadrado de los coeficientes armónicos, eliminando la dependencia de fase.
• PCA Adversario: Para eliminar la codificación residual del ángulo azimutal específico del animal (potencialmente causada por una iluminación desigual), se aplica un PCA adversario para encontrar un subespacio de 50 dimensiones que maximice la varianza de la pose mientras minimiza la capacidad de predecir el seno y el coseno del ángulo de rotación.

Contribuciones Clave

• Reconstrucción 3D Libre de Anotación: Pose Splatter recupera la geometría y apariencia 3D completa del animal sin anotación manual de puntos clave, abordando los problemas de escalabilidad de los métodos basados en keypoints.
• Libre de Plantillas y de Optimización: A diferencia de los enfoques basados en mallas, el modelo realiza la inferencia mediante una única pasada hacia adelante (forward pass) y no requiere plantillas específicas de la especie ni optimización por fotograma.
• Robustez ante Vistas Dispersas: El marco está diseñado específicamente para entornos de vistas dispersas (4–6 cámaras) con un solapamiento inter-vista mínimo, un escenario donde los métodos de 3DGS de alimentación directa existentes suelen fallar.
• Eficiencia: El modelo opera con una baja huella de memoria (aprox. 2.5 GB de VRAM) y logra velocidades de inferencia de ~30 ms por fotograma, significativamente más rápido que las líneas base basadas en optimización.
• Incrustación Invariante a la Rotación: La incrustación visual propuesta proporciona un descriptor compacto y de baja dimensión de la postura y la apariencia que es invariante a la posición del animal y a la rotación horizontal, adecuado para el análisis conductual.

Resultados Experimentales

Los autores evaluaron Pose Splatter en conjuntos de datos de ratones, ratas y pinzones de cebra.

• Calidad de Renderizado: Pose Splatter superó a las líneas base de estado del arte de 3DGS de vista dispersa (incluyendo 3DGS, FSGS y GaussianObject) y a los métodos de alimentación directa (PixelSplat, MVSplat) en métricas como la Intersección sobre la Unión (IoU), error de color L1, PSNR y SSIM. Notablemente, mientras que los métodos de optimización como GaussianObject lograron métricas comparables, requirieron aproximadamente una hora de optimización por escena, mientras que Pose Splatter requirió solo ~30 ms.
• Generalización: El modelo demostró una robusta generalización entre especies. Los modelos entrenados en una especie (ej. ratones) pudieron reconstruir vistas no vistas de otra especie (ej. ratas) con solo una degradación modesta del rendimiento, lo que sugiere que las representaciones aprendidas capturan características de forma animal generalizables.
• Análisis Conductual:
  • Preferencia de Vecino Más Cercano: En un estudio con 102 participantes, la incrustación visual fue preferida sobre los vecinos más cercanos basados en keypoints 3D (54% vs. 50%) para identificar poses similares, a pesar de que los keypoints se derivaron de datos anotados manualmente.
  • Detección de Movimientos Sutiles: La incrustación visual capturó con éxito variaciones sutiles en la postura, como la expansión de las plumas y el movimiento de la cabeza, que se reflejaron en los componentes principales de la incrustación.
  • Predicción Descendente: La incustación visual superó a los keypoints 3D en la predicción de comportamientos anotados manualmente (6 de 8 comportamientos) utilizando regresión logística, a pesar de no requerir supervisión manual.

Significancia y Reivindicaciones

El artículo afirma que Pose Splatter permite el análisis de la conducta animal longitudinal y a gran escala al eliminar los cuellos de botella de la anotación manual y la optimización computacional. Al proporcionar geometrías 3D precisas y un descriptor visual invariante a la rotación, el marco facilita una comprensión más profunda de los fundamentos genéticos y neurales del comportamiento.

Los autores reconocen limitaciones, señalando que el método actual está diseñado para grabaciones de un solo sujeto y puede tener dificultades con oclusiones prolongadas en interacciones de múltiples animales. También señalan que, si bien la incrustación visual es efectiva, se necesita más trabajo para mejorar la interpretabilidad y las comparaciones directas entre especies. Sin embargo, el marco representa un paso significativo hacia la cuantificación conductual de alta resolución y escalable en neurociencia.