💻 computer science

HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction

Este artículo presenta HAP, un marco de percepción activa guiada por la mano que predice el movimiento futuro de la cabeza egocéntrica mediante la inferencia de la confianza en el objetivo y el modelado de oclusiones dinámicas a través de un grafo predictivo, validado por un nuevo conjunto de datos llamado Bottle y un rendimiento superior sobre las líneas base existentes.

Autores originales: Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

Publicado 2026-09-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cuando vemos a alguien alcanzar una taza, nuestros ojos no simplemente siguen la mano; anticipan hacia dónde va la mano y se mueven para mantener el objetivo en una visión clara. Esta es la esencia de la percepción activa: la idea de que el sentir no es un registro pasivo del mundo, sino un proceso activo donde movemos nuestros cuerpos para recolectar la información específica que necesitamos. En el contexto de los robots o la inteligencia artificial que intentan comprender el comportamiento humano, esto crea un rompecabezas difícil. La mayoría de los sistemas son buenos prediciendo hacia dónde irá una mano después, pero a menudo fallan al predecir hacia dónde girará la cabeza de una persona. Un robot que solo rastrea la mano podría perderse el hecho de que la persona está a punto de mirar alrededor de una esquina para ver qué es lo que va a agarrar, lo que llevaría a una interacción torpe o fallida. Comprender cómo la cabeza se mueve para revelar objetos ocultos es tan importante como saber hacia dónde se mueve la mano, porque la orientación de la cabeza determina qué evidencia visual adquirirá la persona a continuación.

Un equipo de investigadores de la Universidad de Jiaotong de Shanghái y la Universidad de Minería y Tecnología de China ha desarrollado una nueva forma de resolver este problema. Crearon un sistema llamado HAP, que significa marco de Percepción Activa Impulsada por la Mano (Hand-Driven Active Perception). En lugar de tratar la cabeza como una parte secundaria del cuerpo que simplemente sigue a la mano, HAP trata la cabeza como una herramienta para recolectar información. El sistema funciona observando la mano de una persona mientras alcanza objetos y luego adivinando qué objeto tiene la intención de tocar. No se detiene ahí; también calcula cómo ese objeto podría estar oculto o bloqueado por otros elementos en la escena. Al combinar la suposición sobre el objetivo con un mapa de lo que es actualmente visible y lo que podría llegar a ser visible, el sistema puede predecir exactamente cómo girará la cabeza de la persona para mantener un ojo en su meta.

Para construir y probar esta idea, los investigadores primero tuvieron que crear una nueva colección de datos de video. Grabaron cientos de clips cortos de personas alcanzando objetos sobre una mesa, capturando la escena con cámaras que ven tanto color como profundidad. En estos videos, los objetos permanecen estáticos, pero la visibilidad del objetivo cambia a medida que la persona se mueve, obligando a la persona a cambiar su mirada para ver lo que está haciendo. Este conjunto de datos, que llamaron Bottle, contiene grabaciones sincronizadas de movimientos de manos y movimientos de cabeza, mostrando cómo las personas ajustan su punto de vista cuando el objetivo se vuelve difícil de ver. Los investigadores utilizaron estos datos para entrenar su modelo computacional para reconocer las pistas sutiles en el movimiento de la mano que señalan un objetivo específico, y para entender cómo el cambio de visión de la escena influye en el movimiento de la cabeza.

El núcleo del sistema HAP es un método para razonar sobre lo que está oculto. Cuando una persona alcanza un objeto, el sistema observa la forma del objeto y la trayectoria de la mano para asignar una probabilidad a cada posible objetivo. Luego construye un mapa dinámico de la escena, rastreando qué objetos están bloqueando la vista de otros. Este mapa no es estático; se actualiza a medida que la persona se mueve, calculando no solo lo que está actualmente oculto, sino lo que podría quedar oculto si la persona cambia ligeramente su posición. El sistema utiliza una red que procesa estas relaciones en un orden específico, muy parecido a un flujo de información, para entender cómo cambia la visibilidad del objetivo a lo largo del tiempo. Esto permite al modelo anticipar que, si un objetivo está parcialmente bloqueado, la persona probablemente girará la cabeza para revelarlo, en lugar de simplemente seguir mirando en la misma dirección.

Los resultados del estudio muestran que este enfoque funciona significativamente mejor que los métodos anteriores. Al ser probado tanto en su nuevo conjunto de datos como en una colección pública existente de videos, el sistema HAP cometió menos errores al predecir la posición futura y la orientación de la cabeza en comparación con otros modelos avanzados. Los investigadores encontraron que simplemente adivinar el objetivo no era suficiente; el sistema necesitaba comprender la visibilidad cambiante de ese objetivo para hacer predicciones precisas. También descubrieron que mezclar la predicción compleja con una suposición simple de que la cabeza se mueve a una velocidad constante ayudó a suavizar los resultados, especialmente para el futuro inmediato. Esta combinación de comprender el objetivo, rastrear los obstáculos y respetar el flujo natural del movimiento permitió al sistema predecir los movimientos de la cabeza con alta precisión.

El estudio también exploró qué sucede si el sistema se ve obligado a hacer una única suposición firme sobre el objetivo en lugar de mantener un rango de posibilidades. Los resultados mostraron que mantener un grado de incertidumbre sobre qué objeto está alcanzando la persona en realidad mejoró la predicción final. Esto sugiere que, en las etapas iniciales de un alcance, antes de que la mano haga contacto, el cerebro probablemente considera múltiples opciones, y el movimiento de la cabeza refleja esta flexibilidad. Al preservar esta incertidumbre en el modelo, el sistema pudo adaptarse mejor al resultado final. Los investigadores concluyeron que las predicciones más exitosas provinieron de tratar la cabeza como un sensor activo que se está ajustando constantemente al paisaje cambiante de la escena, en lugar de como un seguidor pasivo de la mano.

Si bien el sistema funcionó bien en el entorno controlado de los experimentos de mesa, los investigadores reconocen que enfrenta desafíos en entornos del mundo real más complejos. El método actual requiere una potencia de cálculo significativa para rastrear las relaciones entre muchos objetos, y depende de datos de video de alta calidad que no siempre estarán disponibles. Sin embargo, los hallazgos proporcionan un camino claro hacia adelante para la creación de robots y asistentes virtuales que puedan interactuar con los humanos de manera más natural. Al comprender que el movimiento de la cabeza es impulsado por la necesidad de ver el objetivo con claridad, estos sistemas pueden anticipar las necesidades humanas y coordinar sus propios movimientos para apoyar una interacción exitosa. El trabajo demuestra que para comprender verdaderamente el comportamiento humano, las máquinas deben aprender a ver el mundo no solo como una colección de partes móviles, sino como un rompecabezas dinámico donde el observador se desplaza constantemente para encontrar las piezas faltantes.

Resumen Técnico: HAP - Un Marco de Percepción Activa Impulsado por la Mano para la Predicción del Movimiento de la Cabeza Egocéntrica

1. Formulación del Problema

El artículo aborda el desafío, poco explorado, de la predicción del movimiento de la cabeza egocéntrica. Mientras que los métodos de predicción existentes se centran predominantemente en las trayectorias de las manos, los puntos calientes de interacción o las secuencias de acciones, a menudo tratan el movimiento de la cabeza como una consecuencia secundaria o no modelan explícitamente las demandas perceptivas que lo impulsan.

Los autores argumentan que la reorientación de la cabeza es un mecanismo de percepción activa: durante la manipulación, la cabeza redirige activamente su orientación para adquirir evidencia visual relevante para la tarea, particularmente cuando los objetivos quedan ocluidos. El problema central se formula como la predicción de trayectorias de la cabeza de 6 grados de libertad (6-DoF) condicionadas a:

El historial de movimiento de la mano observado.
El contexto del objetivo inferido (intención de interacción).
Las relaciones dinámicas de visibilidad y oclusión entre los objetos de la escena.

La tarea presenta dos desafíos primarios:

Inferencia de Intención: Determinar el objetivo de interacción pretendido a partir de observaciones incompletas de la mano y los objetos.
Razonamiento de Oclusión Dinámica: Modelar cómo cambian las demandas perceptivas a medida que el punto de vista cambia y los objetos se ocluyen entre sí, requiriendo que la cabeza se reoriente para mantener el acceso visual.

2. Metodología: El Marco HAP

El marco propuesto Hand-Driven Active Perception (HAP) predice futuras trayectorias de la cabeza de 6-DoF integrando la dinámica del movimiento con el razonamiento perceptivo. El flujo de trabajo consta de cuatro componentes principales:

A. Estimación de la Intención del Objetivo Impulsada por la Mano

HAP infiere la distribución de probabilidad de los candidatos a objetivos basándose en los estados observados de la mano y la geometría del objeto.

Entrada: Posición de la mano ( $h_\tau$ ), máscaras de objetos (propagadas mediante SAM 2) y características de geometría relativa (por ejemplo, reducción de distancia, consistencia direccional del movimiento de la mano hacia un objeto).
Mecanismo: Una red de fusión combina incrustaciones (embeddings) de objetos, incrustaciones de la mano y características de geometría relativa. La atención propia (self-attention) contextualiza a los candidatos dentro del cuadro, seguido de una Unidad Recurrente de Puerta (GRU) para acumular evidencia a lo largo del tiempo.
Salida: Una distribución de probabilidad suave ( $\pi_{\tau, i}$ ) sobre los objetivos candidatos, preservando la incertidumbre en lugar de realizar una asignación rígida.

B. Grafo de Oclusión Amodal Centrado en el Objetivo Predictivo y Dinámico (P-TAOG)

Para capturar la evolución de la demanda perceptiva, HAP construye un grafo dirigido que representa las relaciones de oclusión.

Construcción: Utilizando conjuntos de puntos completados de forma dispersa (desde SAM 3D Objects) registrados a la primera posición de la cámara, el sistema proyecta los puntos en la vista actual de la cámara.
Lógica de Oclusión: Calcula una relación de oclusión actual (basada en la profundidad del búfer Z) y una relación de oclusión potencial (estimando el riesgo bajo perturbaciones locales del plano de la imagen sin acceso a la pose futura).
Estructura del Grafo: Un grafo dirigido totalmente conectado $G_\tau$ donde las aristas $(j, i)$ codifican la influencia de oclusión del objeto $j$ sobre el objeto $i$ . Las características de las aristas incluyen distancias 2D/3D, diferencias de profundidad y tanto la relación de oclusión actual como la potencial.
Codificación: El grafo es procesado mediante capas de Agregación de Vecindad Principal Dirigida (PNA) para agregar por separado los mensajes entrantes y salientes, seguido de un GRU causal para codificar la evolución temporal.

C. Predicción del Movimiento de la Cabeza y Compuerta por Horizonte

La etapa de predicción final fusiona el historial de movimiento con la representación del grafo perceptivo.

Fusión de Características: El movimiento base (desplazamiento de la mano y transformación de la cabeza) se concatena con la representación de P-TAOG.
Codificación Temporal: Un GRU de dos capas codifica el historial. Para cada horizonte de predicción $h$ , una consulta aprendida atiende al historial y lo combina con un prior de velocidad constante (extrapolado de la última transformación observada).
Compuerta por Horizonte: Una compuerta aprendida $\alpha_{t,h}$ mezcla la trayectoria aprendida ( $d_{t,h}$ ) con el prior de velocidad constante ( $c_{t,h}$ ):
$\hat{y}_{t,h} = c_{t,h} + \alpha_{t,h} \odot (d_{t,h} - c_{t,h})$
Esto permite que el modelo se aleje adaptativamente del movimiento previo basado en el horizonte de pronóstico, preservando la continuidad cinemática a corto plazo mientras permite una reorientación significativa cuando es necesario.

D. Objetivo de Entrenamiento

El modelo se entrena utilizando una pérdida Smooth-L1 que asigna un mayor peso a los horizontes posteriores para penalizar la deriva a largo plazo, equilibrando la supervisión de traslación y rotación.

3. Contribuciones Clave

Formulación del Problema: El artículo formula la predicción del movimiento de la cabeza egocéntrica como una tarea condicionada al movimiento de la mano observado y al contexto del objetivo inferido, acoplando explícitamente la dinámica del movimiento corporal con las demandas perceptivas.
Marco HAP: Un novedoso marco de razonamiento que une la intención del objetivo y el movimiento futuro de la cabeza mediante:
- Un P-TAOG dinámico que codifica probabilidades suaves de los objetivos y relaciones de oclusión dirigidas en evolución.
- Un mecanismo de compuerta por horizonte que equilibra el movimiento aprendido con los priors de velocidad constante.
Dataset Bottle: La introducción de Bottle, un nuevo conjunto de datos RGB-D egocéntrico que presenta la manipulación de objetos en escenas desordenadas con visibilidad cambiante de los objetivos. Incluye datos coordinados de movimiento de cabeza y mano diseñados específicamente para probar la predicción bajo oclusión frecuente.

4. Resultados Experimentales

Los autores evaluaron HAP en el conjunto de datos público EgoPAT3Dv2 y en el nuevo conjunto de datos Bottle, comparándolo con líneas base que incluyen heurísticas de velocidad constante, modelos recurrentes (RVAE, VRNN), modelos basados en atención y enfoques basados en difusión.

Rendimiento: HAP logró los errores de traslación más bajos y errores de rotación competitivos en EgoPAT3Dv2. En el conjunto de datos Bottle, HAP superó a todas las líneas base representativas (incluyendo Uni-Hand y modelos de difusión) en las cuatro métricas (tADE, tFDE, rADE, rFDE), mostrando el mayor margen en el error de traslación.
Estudios de Ablación:
- P-TAOG y Compuerta: Ambos componentes resultaron esenciales. La compuerta por horizonte mejoró el rendimiento en todas las variantes, y P-TAOG proporcionó ganancias significativas cuando se combinó con la compuerta.
- Diseño del Grafo: El grafo dirigido con características de oclusión predictivas fue crítico para minimizar los errores de rotación, mientras que las características de oclusión actual ayudaron a la precisión de la traslación.
- Objetivos Suaves vs. Rígidos: El uso de una distribución de objetivos suave (preservando la incertidumbre) produjo mejores resultados que la asignación rígida, lo que indica que la incertidumbre porta información útil para la predicción posterior.
Robustez: El marco se mantuvo estable cuando el backend de localización se cambió de Depth Anything 3 a ORB-SLAM3.

5. Significado y Reivindicaciones

El artículo afirma que HAP demuestra el valor de la intención impulsada por la mano y el razonamiento de oclusión dinámica para anticipar el movimiento de la cabeza humana. Al tratar el movimiento de la cabeza como un proceso de percepción activa en lugar de una consecuencia pasiva del movimiento de la mano, el marco predice con éxito trayectorias de 6-DoF que dan cuenta de la necesidad de revelar los objetivos ocluidos.

Los autores señalan que su evaluación está actualmente limitada a conjuntos de datos de mesa donde el movimiento de la cabeza es representado por una cámara montada rígidamente. Reconocen que la escala cuadrática de aristas de P-TAOG con el número de objetos puede ser computacionalmente costosa en escenas altamente desordenadas. Se propone trabajo futuro para evaluar HAP en entornos de interacción más grandes y diversos, e integrar el marco con sistemas de agarre robótico para investigar el movimiento coordinado de la parte superior del cuerpo.