Resumen Técnico: PoseRefer

Enunciado del Problema

El artículo aborda la resolución de referencias exocéntricas en robótica: la tarea de identificar un objeto específico en una escena 3D basándose en una combinación de lenguaje naturalista y gestos (por ejemplo, una persona señalando y diciendo "pon la taza en esa"). Si bien la anclaje en imágenes 2D está bien estudiado, el anclaje 3D en escenarios de robótica doméstica sigue siendo poco explorado.

Las existentes referencias 3D adolecen de limitaciones significativas para capturar la interacción naturalista:

• ScanRefer, Sr3D/Nr3D: Utilizan descripciones post-hoc en escaneos estáticos sin datos corporales del hablante.
• Ges3ViG: Se basa en lenguaje generado por plantillas y poses 2D sintéticas.
• YouRefIt: Captura la señalización de un solo usuario escenificada para una cámara.

Estos conjuntos de datos sintéticos o escenificados no logran capturar el régimen donde aproximadamente la mitad de las referencias ocurren sin gestos de señalización claros. Además, las arquitecturas existentes a menudo entrelazan las incrustaciones de categoría con las vías de pose y texto mediante parámetros compartidos, lo que dificulta aislar la contribución específica de cada modalidad o el impacto de las elecciones de representación de categoría en el rendimiento de la fusión.

Metodología: PoseRefer

Los autores proponen PoseRefer, un sistema evaluado en el conjunto de datos MM-Conv, que contiene ~4.200 expresiones de referencia de interacciones VR diádicas con captura de movimiento de cuerpo completo (SMPL-X) y grafos de escena 3D de verdad fundamental.

1. Arquitectura de Fusión Tardía Desacoplada

La contribución metodológica central es una arquitectura de fusión tardía desacoplada donde las vías de pose y texto operan de forma independiente, sin parámetros aprendidos compartidos (ni pesos MLP ni tablas de incrustación de categoría).

• Vía de Pose:
  • Calcula la afordancia angular temporal: Calcula el ángulo entre los centroides de los objetos y los canales del hablante (brazos, cabeza, cuerpo) a lo largo de una ventana temporal alineada con la enunciación.
  • Características: Un vector de 6 dimensiones derivado de las puntuaciones de kernel gaussiano de estos ángulos.
  • Incrustación: Concatenada con una incrustación de categoría aprendida de 16-D específica para la vía de pose.
  • Procesamiento: Se pasa a través de un codificador y un evaluador de 2 capas para producir una puntuación de pose ($s_{pose}$).
• Vía de Texto:
  • Codifica la enunciación utilizando un modelo MiniLM-L6 congelado (384-D), proyectado a 128-D.
  • Variación Crucial: La vía incorpora información de categoría por objeto de dos maneras durante la ablación:
    1. Aprendida: Una incrustación de categoría aprendida de 16-D.
    2. Congelada (Predeterminada): Una codificación MiniLM congelada de 384-D del nombre de categoría canónico.
  • Procesamiento: Se pasa a través de un evaluador de 2 capas para producir una puntuación de texto ($s_{text}$).
• Fusión:
  • Las puntuaciones se normalizan-z y se combinan mediante una puerta escalar aprendida ($\alpha$):
    $$s_n = \alpha \hat{s}_{pose} + (1 - \alpha) \hat{s}_{text}$$
  • $\alpha$ es un único escalar aprendido por ejecución de entrenamiento, inicializado en 0.5.

2. Configuración Experimental

• Conjunto de datos: MM-Conv (5 habitaciones, 42–61 objetos/habitación). Las referencias se estratifican en niveles de señalización (T1, T2, T5) y no de señalización (T3, T4).
• Entrenamiento: Validación cruzada Leave-One-Room-Out (LORO).
• Ablación: La arquitectura permite la ablación controlada de las contribuciones de categoría en cada vía de forma independiente, aislando el efecto de la representación de categoría (aprendida vs. congelada) sobre la fusión.

Contribuciones Clave

1. Posicionamiento: Establece los datos de gestos referenciales naturalistas como una prueba crítica, destacando que ~45% de las referencias carecen de señalización clara, un régimen excluido en gran medida por las referencias sintéticas.
2. Método: Introduce una arquitectura de fusión tardía desacoplada con incrustaciones de categoría locales a la vía. Este diseño permite ablaciones controladas para distinguir entre las ganancias de fusión y los artefactos causados por las elecciones de representación de categoría.
3. Hallazgos Empíricos:
   • Sensibilidad de la Puerta: La puerta de fusión $\alpha$ invierte las políticas basándose únicamente en la disponibilidad de categoría. Sin categoría en la vía de texto, $\alpha \approx 0.84$ (confiando en la pose); con categoría, $\alpha \approx 0.22$ (confiando en el texto). Esta es una respuesta arquitectónica determinista, no ruido de entrenamiento.
   • Complementariedad Asimétrica: La pose domina las referencias de señalización (T1/T2/T5), mientras que el texto domina las referencias no de señalización (T3/T4).
   • Rendimiento: Con incrustaciones de categoría MiniLM congeladas en la vía de texto, el modelo fusionado alcanza una precisión top-1 del 31.9%, superando las líneas base solo-pose (18.8%) y solo-texto (25.0%) en todos los tipos de referencia.
4. Implicación de Fiabilidad: Demuestra que las ganancias de fusión en arquitecturas con codificadores compartidos o tablas de categoría compartidas pueden reflejar la elección de la representación de categoría en lugar del mecanismo de fusión en sí mismo.

Resultados

• Rendimiento Agregado: La mejor configuración (PTminilm: Pose + Texto con categorías MiniLM congeladas) alcanza un 31.9% top-1 y un 60.2% top-5.
• Ganancias: Esto representa una ganancia de 13.1 puntos sobre la pose sola y una ganancia de 6.9 puntos sobre la configuración solo-texto más fuerte.
• Comparación con Oráculo: El modelo fusionado supera al "oráculo de singleton" (que selecciona la mejor modalidad única por subconjunto) en 4.3 puntos, demostrando que el mecanismo de fusión combina efectivamente señales complementarias dentro de las muestras en lugar de simplemente cambiar subconjuntos.
• Impacto de la Representación de Categoría: El uso de incrustaciones aprendidas de 16-D para categorías en la vía de texto reduce el rendimiento al 28.2% (una caída de 3.7 puntos), a pesar de una arquitectura idéntica. Esto destaca que la calidad de la representación de categoría (espacio semántico congelado vs. vectores dispersos aprendidos) es un factor de confusión oculto en la evaluación de la fusión.

Significado y Afirmaciones

El artículo argumenta que la representación de categoría es un factor de confusión oculto en la evaluación de sistemas de anclaje semántico.

• Valor Diagnóstico: La configuración desacoplada revela que las afirmaciones de precisión de fusión a menudo son indistinguibles de los artefactos de representación de categoría a menos que las vías estén arquitectónicamente desacopladas.
• Estándar de Informes: Los autores motivan que las futuras evaluaciones de fusión multimodal para anclaje semántico deben informar tanto representaciones de categoría aprendidas como congeladas para garantizar la fiabilidad.
• Necesidad Naturalista: Las referencias sintéticas que excluyen referencias no de señalización no logran capturar la señal complementaria (pose vs. texto) en la que se basan los métodos de fusión.

El trabajo concluye que, para que la selección de acciones aguas abajo en robótica sea fiable, la contribución de las representaciones de categoría debe aislarse y variarse, y los datos naturalistas que incluyen referencias no de señalización son esenciales para una evaluación válida.