Resumen Técnico: InterPet4D e InterPetMoGen

1. Planteamiento del Problema

La estimación y generación de interacciones entre humanos y mascotas sigue estando significativamente subexplorada en la visión por computadora y la robótica. La investigación existente se ha centrado principalmente en las interacciones humano-humano o humano-objeto, debido en gran medida a la ausencia de conjuntos de datos a gran escala y de alta calidad que capturen la dinámica natural entre especies. El modelado de estas interacciones presenta desafíos únicos:

• Escasez de Datos: Lograr una coordinación estructurada y repetible entre humanos y animales es difícil sin un entrenamiento controlado, lo que dificulta la recopilación de datos a gran escala.
• Oclusión: Las interacciones de corto alcance suelen resultar en una severa oclusión cruzada, lo que degrada la reconstrucción de detalles finos.
• Asimetría Morfológica: Las diferencias estructurales entre humanos y animales complican el modelado de las distribuciones conjuntas en comparación con las interacciones de la misma especie.
• Falta de Señales Multimodales: Los conjuntos de datos de animales existentes rara vez capturan simultáneamente audio sincronizado, movimiento humano y movimiento de la mascota.

2. Metodología

2.1 El Conjunto de Datos InterPet4D

Los autores presentan InterPet4D, el primer conjunto de datos 4D multimodal a gran escala dedicado a las interacciones naturales entre humanos y perros.

• Recopilación de Datos: El conjunto de datos comprende 6.83 millones de fotogramas recolectados de 23 participantes humanos (incluyendo 11 entrenadores profesionales) y 13 perros de 11 razas distintas.
• Configuración de Captura: Se empleó un sistema sincronizado de múltiples vistas, que contaba con:
  • Vista en Tercera Persona: 12 cámaras GoPro Hero13 sincronizadas por cable (1920×1080, 60 fps) dispuestas en un cuadrado, con 8 cámaras posicionadas en ángulo bajo para capturar detalles de la mascota y de las manos.
  • Vista Egocéntrica: Gafas Ray-Ban Meta utilizadas por los participantes, que proporcionan video RGB y audio en primera persona.
  • Sincronización: Lograda mediante alineación de software utilizando señales de aplausos, con un error máximo de un fotograma.
• Taxonomía de Interacción: Los datos cubren cuatro categorías estructuradas:
  1. Acariciar (Petting): Contacto físico y respuestas posturales.
  2. Comandar (Commanding): Órdenes verbales y gestuales (ej. "siéntate", "da la pata").
  3. Llamar (Calling): Llamado mediante voz y gestos de la mano basados en la distancia.
  4. Libre (Free-form): Interacciones no guionizadas (ej. buscar la pelota, juego de tirar de la cuerda).
• Anotaciones: El conjunto de datos incluye videos multivista/egocéntricos sincronizados, segmentaciones, puntos clave (keypoints) 2D/3D, mallas (SMPL-X/MANO para humanos, SMAL para perros) y pistas de audio alineadas con subtítulos de texto generados mediante Modelos de Lenguaje Grande (LLM).

2.2 Flujo de Procesamiento de Datos

• Reconstrucción Humana: Utiliza un flujo de trabajo que combina Mask R-CNN, HRNet-WholeBody y DeepSORT para localización y seguimiento. Los puntos clave 2D se triangulan y refinan mediante funciones de energía (simetría, suavidad temporal, restricciones de longitud ósea) antes de ajustar los modelos SMPL-X y MANO.
• Reconstrucción de Perros: Detecta perros mediante RTMDet y estima puntos clave 2D usando HRNet. Las máscaras humanas filtran las regiones ocluidas. Los puntos articulares 3D se triangulan y suavizan (suavizador RTS) antes de ajustar el modelo SMAL. Los parámetros de forma se estabilizan mediante ajuste manual en un fotograma canónico.
• Procesamiento de Audio/Texto: El audio bruto se transcribe y traduce al inglés mediante ASR. Los límites temporales se anotan y las descripciones de interacción se generan utilizando un LLM basado en Qwen3.

2.3 Marco de Trabajo InterPetMoGen (IPMG)

Los autores proponen InterPetMoGen, un marco basado en MotionGPT para la generación de movimiento de mascotas a partir de gestos.

• Objetivo: Aprender la distribución condicional $p(P | H, A)$, donde $P$ es la secuencia de movimiento de la mascota, $H$ es el movimiento humano (cuerpo + manos) y $A$ es la secuencia de audio.
• Arquitectura:
  • Tokenización Multimodal:
    • PetVAE: Un Autoencoder Variacional con Cuantificación de Vectores (VQ-VAE) que aprende un espacio latente discreto para el movimiento del perro. Incluye un Regresor de Longitud Ósea para imponer consistencia esquelética.
    • Tokenizador Humano: Codifica por separado los gestos corporales y manuales en tokens discretos utilizando codificadores específicos de la modalidad.
    • Tokenizadores de Traducción y Audio: Codifican las traslaciones globales de la raíz y las características de audio (vía MERT) en tokens discretos.
  • Transformer Autorregresivo: Un modelo GPT de tipo prefix-LM que predice el siguiente token de movimiento de la mascota condicionado por los tokens humanos y de audio.
  • Atención Consciente de la Modalidad (MAA): Un novedoso mecanismo de atención que controla el flujo de información. Los tokens humanos utilizan atención bidireccional (contexto global), mientras que los tokens de traslación y de la mascota utilizan atención causal (autorregresiva), estableciendo una jerarquía de generación de grueso a fino.
• Entrenamiento: El modelo se entrena en dos etapas: primero, los VQ-VAEs se entrenan para tokenizar las modalidades; segundo, el transformer se entrena para generar tokens de movimiento de la mascota condicionados por las otras modalidades.

3. Contribuciones Clave

1. Conjunto de Datos InterPet4D: El primer conjunto de datos 4D multimodal a gran escala de interacciones humano-mascota, que presenta 6.8 millones de fotogramas sincronizados, video en tercera persona de 12 vistas, video egocéntrico, audio y reconstrucciones 3D tanto para humanos como para perros.
2. Protocolo Sistemático: Una taxonomía de interacción estandarizada que cubre cuatro categorías de interacción humano-perro, permitiendo un análisis estructurado del comportamiento entre especies.
3. InterPetMoGen (IPMG): Un marco novedoso que incorpora un tokenizador PetVAE y Atención Consciente de la Modalidad (MAA) para generar respuestas de movimiento de perros diversas y realistas condicionadas por gestos humanos y audio.

4. Resultados Experimentales

Los autores evaluaron IPMG frente a líneas base que incluyen Seq2Seq-Transformer, Diffusion-Transformer (DiT) y variantes de ablación de su propio modelo.

• Desempeño Cuantitativo:

  • FID (Fréchet Inception Distance): IPMG logró un FID cinético ($FID_k$) de 11.21, superando sustancialmente a la línea base Seq2Seq (21.22) y a la línea base DiT (64.37).
  • Alineación (R-Precision): IPMG mostró una alineación superior con las señales de condicionamiento, logrando una $R_{hand}^{Prec.}$ de 0.63 y una $R_{body}^{Prec.}$ de 0.59, comparado con 0.41/0.38 para Seq2Seq.
  • Diversidad: El modelo generó patrones de movimiento más variados (Div$_k$ = 5.93) en comparación con las líneas base.
  • Ablación: Eliminar el módulo PetVAE aumentó el $FID_k$ a 14.15. Eliminar la restricción ósea en PetVAE aumentó el $FID$ a 12.53 y el error de velocidad a 1.79, confirmando la necesidad de las restricciones esqueléticas. El uso de entradas tanto de cuerpo como de manos produjo los mejores resultados en comparación con las entradas de una sola modalidad.

• Estudio Cualitativo y de Usuario:

  • Las visualizaciones demostraron que IPMG produjo movimientos temporalmente suaves y responsivos (ej. girar hacia los comandos), mientras que las líneas base a menudo fallaban al reaccionar a los gestos o producían movimientos inestables.
  • Un estudio de usuario con 12 participantes calificó a IPMG significativamente más alto que todas las líneas base en Naturalidad (6.58 vs. 4.04 para Seq2Seq), Responsividad (6.55 vs. 3.67) y Calidad General (6.63 vs. 3.67). El análisis estadístico confirmó que estas diferencias son significativas.

5. Significado y Reivindicaciones

El artículo afirma que InterPet4D e InterPetMoGen representan un paso fundamental hacia el modelado de interacciones realistas entre especies. Al proporcionar el primer conjunto de datos multimodal sincronizado y un marco de generación especializado, este trabajo aborda la falta crítica de datos y métodos para la dinámica humano-mascota. Los autores sostienen que su enfoque, particularmente el uso de tokens de movimiento discretos y la atención consciente de la modalidad, captura eficazmente las relaciones estructuradas entre los agentes humanos y las respuestas animales, superando las arquitecturas de generación de movimiento genéricas tanto en métricas objetivas como en calidad perceptual.

Limitaciones Reconocidas:

• El conjunto de datos está limitado actualmente a perros; extenderlo a otras especies (ej. gatos) requiere modelos específicos para cada especie.
• El marco no modela las fuerzas de contacto físico, las cuales son relevantes para las interacciones de acarreo.
• La generación actual está limitada a clips de longitud fija (10 segundos); la generación de longitud variable es una dirección futura.