Resumen Técnico: AnyMo

Enunciado del Problema

Los dispositivos portátiles y móviles ofrecen un medio práctico para sensar continuamente el movimiento humano en entornos naturales. Sin embargo, las señales de la unidad de medición inercial (IMU) dependen en gran medida de la configuración de sensado, incluida la ubicación corporal, la posición de montaje, la orientación del sensor, el hardware del dispositivo y los protocolos de muestreo. Esta "dependencia de la configuración" crea una barrera significativa: los modelos entrenados en una configuración a menudo fallan al transferirse a otras, limitando la utilidad más amplia de las IMU portátiles más allá de las tareas de reconocimiento de conjunto cerrado.

Además, cerrar la brecha entre las señales inerciales continuas y multisensores y los conceptos textuales discretos (lenguaje) sigue siendo un desafío. Los enfoques existentes enfrentan tres limitaciones acopladas:

1. Escasez de Datos y Supervisión: Los datos reales de IMU están fragmentados entre diferentes ubicaciones y dispositivos, a menudo limitados a etiquetas de actividad gruesas y de conjunto cerrado en lugar de descripciones ricas.
2. Realismo Limitado de la Aumento Sintético: Las pipelines de generación sintética existentes a menudo dependen de etiquetas específicas o de ubicaciones de sensores dispersas, fallando en capturar el realismo físico de las variaciones densas en la superficie corporal.
3. Brecha de Modalidad: Conectar directamente los flujos crudos de IMU con Modelos de Lenguaje Grandes (LLM) es ineficiente debido a problemas de escalado de tokens, y el alineamiento contrastivo simple no resuelve la brecha a medida que aumenta la complejidad del sensor.

Metodología

Los autores proponen AnyMo, un marco consciente de la geometría para el modelado de movimiento humano agnóstico a la configuración. El marco opera a través de tres etapas principales:

1. Simulación de IMU Consciente de la Geometría y Fundamentada en la Física

En lugar de una simulación centrada en las articulaciones, AnyMo sintetiza señales de IMU sobre ubicaciones densas en la superficie corporal utilizando el modelo corporal Nymeria (23 segmentos anatómicos).

• Modelado de Superficie: Para cada segmento anatómico, el sistema selecciona vértices de superficie candidatos en la malla corporal. Calcula un centreroide del segmento y define un marco de sensor local basado en la normal de la superficie, un eje anatómico y una dirección tangente.
• Síntesis Basada en Física: El sistema simula trayectorias de sensores virtuales transformando el movimiento corporal global en marcos de sensor locales, teniendo en cuenta las variaciones en la orientación de montaje (rotación en el plano e inclinación) y los priores de ruido del dispositivo estimados a partir de datos reales.
• Resultado: Esto genera una distribución diversa de señales sintéticas de IMU plausibles en toda la superficie corporal, cerrando la brecha entre el preentrenamiento sintético y las observaciones dispersas del mundo real.

2. Aprendizaje de Representación Agnóstico a la Configuración Consciente de la Geometría

El marco aprende representaciones robustas tratando la variación de la configuración como variación estructurada de la superficie corporal en lugar de ruido arbitrario.

• Codificador de Grafos: Un codificador de grafos espaciotemporal modela el cuerpo completo como un grafo donde los nodos representan segmentos anatómicos y las aristas siguen el árbol cinemático.
• Aprendizaje Contrastivo Predictivo Cruzado en Vista con Máscara: El modelo se entrena para reconstruir el latente de movimiento de cuerpo completo a partir de una vista dispersa y enmascarada del grafo. Específicamente, construye dos vistas completas del grafo (A y B) muestreando diferentes ubicaciones y orientaciones de superficie. Luego enmascara nodos en una vista y predice el latente de la vista completa de la otra. Esto obliga al codificador a aprender representaciones de movimiento agnósticas a la configuración que son estables a través de diferentes ubicaciones de sensores.

3. Tokenización de IMU de Cuerpo Completo y Alineamiento Movimiento-Lenguaje

Para conectar las entradas portátiles dispersas con los LLM, AnyMo introduce una estrategia de tokenización compacta.

• Tokenización: Un tokenizador VAE cuantizado por producto discretiza los latentes de secuencia continuos y estables en la configuración del codificador en tokens de IMU compactos. Esto evita la ineficiencia de alimentar flujos crudos de IMU a un LLM.
• Modelado Movimiento-Lenguaje: El LLM (Qwen2.5-0.5B) se extiende con el vocabulario de IMU. Los vectores del libro de códigos del tokenizador se proyectan en el espacio de incrustación del LLM para proporcionar incrustaciones conscientes del movimiento.
• Ajuste de Instrucción Contrastivo Multitarea: El modelo se ajusta fino utilizando una combinación de:
  • Generación de Instrucciones: Para la descripción de movimiento y el reconocimiento de opción múltiple.
  • Alineamiento Contrastivo: Una pérdida contrastiva simétrica IMU-texto alinea los tokens de IMU con narraciones de movimiento y etiquetas de actividad. Se utilizan prompts blandos aprendibles para optimizar el contexto textual sin ingeniería de plantillas manual.

Contribuciones Clave

1. Simulación Consciente de la Geometría: Los autores proponen un método de simulación fundamentado en la física sobre ubicaciones densas en la superficie corporal, generando señales sintéticas diversas que cierran la brecha sintético-real de manera más efectiva que los métodos centrados en las articulaciones.
2. Aprendizaje de Representación Agnóstico a la Configuración: Desarrollan un método de preentrenamiento utilizando aprendizaje contrastivo predictivo cruzado en vista con máscara y tokenización de cuerpo completo, permitiendo que el modelo aprenda representaciones de movimiento que se generalizan a través de diferentes ubicaciones y orientaciones de sensores.
3. Modelo Generalista IMU-Lenguaje: AnyMo introduce un modelo unificado que soporta reconocimiento de actividad de cero disparos, recuperación multimodal y descripción de movimiento, fundamentando efectivamente el sensado portátil en el lenguaje.

Resultados Experimentales

AnyMo fue evaluado en tres tareas complementarias a través de 14 conjuntos de datos posteriores completamente no vistos, incluyendo benchmarks en entornos naturales (EgoExo4D, Ego4D) y conjuntos de datos HAR estándar (UCI-HAR, Opportunity, etc.).

• Reconocimiento de Actividad de Cero Disparos: AnyMo logró una Precisión promedio del 35.7%, un macro-F1 del 29.5% y un Recall@2 del 57.5%. Esto representa una mejora del 11.7% en Precisión, del 11.6% en F1 y del 22.6% en Recall@2 sobre la línea base más fuerte (UniMTS).
• Recuperación Multimodal: En el conjunto retenido de Nymeria (transferencia sim-real), AnyMo mejoró la Tasa Media de Reciprocidad (MRR) de IMU a Texto de 10.0 a 44.6 y la MRR de Texto a IMU de 6.7 a 46.7.
• Descripción de Movimiento: En la descripción de cero disparos en EgoExo4D, AnyMo obtuvo una puntuación BERT-F1 de 67.1, superando significativamente a las líneas base basadas en prompts como GPT-5.4 Mini y Gemma 4 26B.

Los estudios de ablación confirmaron que eliminar la simulación consciente de la geometría o el objetivo contrastivo predictivo cruzado en vista con máscara causó una degradación severa del rendimiento, validando la necesidad tanto del modelado de superficie denso como del objetivo específico de preentrenamiento.

Significado y Afirmaciones

El artículo afirma que AnyMo establece un nuevo camino hacia la comprensión generalista del movimiento portátil. Al tratar la variación de la configuración portátil como variación estructurada de la superficie corporal en lugar de ruido arbitrario, y al conectar estas variaciones con el lenguaje a través de tokens compactos de cuerpo completo, AnyMo demuestra que es posible aprender representaciones robustas que se transfieren a través de diversos dispositivos, ubicaciones y conjuntos de datos sin requerir un ajuste fino específico de la tarea.

Los autores posicionan a AnyMo no meramente como un mejor clasificador, sino como un paso fundamental hacia sistemas de IA proactivos y conscientes del contexto que pueden interpretar el movimiento humano en entornos naturales utilizando la rica y abierta semántica del lenguaje. Los resultados sugieren que combinar la simulación consciente de la geometría con el modelado movimiento-lenguaje es una dirección prometedora para superar los desafíos de escasez de datos y dependencia de la configuración que históricamente han limitado las aplicaciones de IMU portátiles.