Resumen Técnico: WorldComp2D

Enunciado del Problema

Los agentes de inteligencia artificial (IA) encarnados operan bajo estrictas restricciones computacionales y de energía, percibiendo el mundo a través de observaciones locales dependientes del punto de vista en lugar de acceder a vistas globales completas. Los métodos existentes de inferencia espaciotemporal, como la localización de objetos, suelen depender del acceso a imágenes globales, procesando imágenes completas mediante cálculos píxel a píxel, arquitecturas especializadas o cabezales de regresión basados en mapas de calor. Aunque efectivos en benchmarks estándar, estos enfoques incurren en costos computacionales sustanciales y latencia, lo que los hace inadecuados para la implementación en tiempo real en agentes encarnados con recursos limitados. Además, muchos métodos existentes de aprendizaje de representaciones latentes se centran en la predicción temporal para modelos del mundo, fallando en estructurar explícitamente el espacio latente para preservar simultáneamente la proximidad espacial de alta resolución y la identidad a nivel de instancia.

Metodología

Los autores proponen WorldComp2D, un marco de aprendizaje de representaciones ligero diseñado para codificar la estructura espaciotemporal directamente en un espacio latente utilizando observaciones locales. El marco consta de tres componentes principales:

1. Codificador Dependiente de Proximidad (PdEnc):

   • Entrada: El agente observa el entorno a través de dos campos receptivos (RF) multiescala centrados en un punto de fijación $F$. Un parche de pequeña escala ($o^{[1]}$) captura la apariencia de alta resolución, mientras que un parche de mayor escala ($o^{[2]}$) proporciona un contexto más amplio. Estos se concatenan para formar la observación.
   • Arquitectura: Una Red Neuronal Convolucional (CNN) ligera con seis capas convolucionales y dos capas totalmente conectadas.
   • Salida: Un vector latente espaciotemporal normalizado $z$ que yace sobre una hipersfera ($z^T z = 1$).
   • Objetivo de Aprendizaje: El codificador se entrena utilizando Aprendizaje Contrastivo Ponderado por Proximidad (PWConLoss). A diferencia del aprendizaje contrastivo binario estándar, este método modela relaciones pares con valores de afinidad continuos. La función de pérdida fomenta que la distancia latente entre representaciones refleje la distancia espacial real entre el punto de fijación y los objetos circundantes. El peso del par contrastivo se modula por la distancia física $d_{ij}$, asegurando que los objetos más cercanos tengan interacciones positivas más fuertes en el espacio latente.

2. Localizador (Loc):

   • Función: Infiere las coordenadas de objetos proximales directamente a partir de las representaciones espaciotemporales agregadas.
   • Mecanismo: Dado que una sola observación local no puede cubrir todos los objetos en una escena, el Localizador agrega vectores latentes de múltiples puntos de fijación ($N_F$) a través de la imagen. Concatena estos vectores latentes con sus coordenadas de fijación correspondientes y utiliza un Perceptrón Multicapa (MLP) para predecir coordenadas normalizadas para todas las clases de objetos simultáneamente. Esto permite la localización sin un procesamiento exhaustivo píxel a píxel.

3. Localizador Auxiliar (AuxLoc) (Opcional):

   • Función: Un módulo de refinamiento que mejora la precisión de la localización.
   • Mecanismo: Para cada coordenada predicha, extrae un parche local centrado en la estimación y genera un mapa de calor específico de clase utilizando una CNN ligera con convoluciones separables por profundidad. La ubicación final se refina aplicando un desplazamiento derivado del pico del mapa de calor a la estimación gruesa.

Contribuciones Clave

• Diseño del Marco: Introducción de WorldComp2D, un marco centrado en la fijación que aprende representaciones espaciotemporales a partir de vistas locales, permitiendo la localización de objetos sin procesamiento de imagen completa.
• Objetivo de Aprendizaje Novel: Desarrollo de un método de aprendizaje contrastivo ponderado por proximidad que estructura explícitamente la geometría del espacio latente. Este enfoque preserva la identidad del objeto mientras asegura que las distancias latentes reflejen la proximidad espacial real al punto de fijación.
• Eficiencia y Rendimiento: Demostración de que los espacios latentes explícitamente estructurados proporcionan una base eficiente para el razonamiento espaciotemporal, logrando una precisión competitiva con una complejidad computacional significativamente reducida en comparación con los modelos ligeros más avanzados (SoTA).

Resultados Experimentales

El marco se evaluó en tareas de localización de puntos de referencia faciales utilizando los conjuntos de datos COFW, 300W y AFLW.

• Eficiencia: WorldComp2D requiere solo 2.4 millones de parámetros y aproximadamente 293.7–546.8 MFLOPs (dependiendo del conjunto de datos), en comparación con modelos ligeros SoTA como PoPos, que utilizan 9.7M de parámetros y 1.2 GFLOPs. Esto representa una reducción de 4.0× en parámetros y una reducción de 2.2× en FLOPs en el peor de los casos.
• Rendimiento en Tiempo Real: El modelo logra inferencia en tiempo real en CPU, alcanzando 78.48 FPS en el conjunto de datos 300W y 138.41 FPS en COFW utilizando un procesador i5-13400.
• Precisión:
  • Si bien el marco produce un Error Medio Normalizado (NME) ligeramente superior que los métodos de regresión supervisada directa en COFW y 300W, supera a varios métodos SoTA (incluyendo LAB, Awing, ODN y HRNet) en el conjunto de datos AFLW.
  • El módulo opcional AuxLoc proporciona una mejora marginal en la precisión (por ejemplo, reduciendo el NME en ~4.6% en COFW) a costa de una mayor carga computacional.
• Robustez: El modelo demuestra una robustez consistente frente a degradaciones de entrada, incluyendo desenfoque gaussiano, compresión JPEG, desenfoque por movimiento y oclusión, con solo una degradación moderada del rendimiento incluso bajo condiciones extremas.
• Propiedades del Espacio Latente: Los estudios de ablación confirman que el espacio latente agrupa con éxito los objetos por identidad (intraclase) mientras separa diferentes clases (interclase). Crucialmente, la distancia latente se correlaciona con la proximidad espacial real, una propiedad ausente en codificadores entrenados con pérdida contrastiva no ponderada.

Significado y Afirmaciones

El artículo afirma que WorldComp2D ofrece una base general y eficiente para el razonamiento espaciotemporal en IA encarnada. Al estructurar explícitamente la geometría del espacio latente para alinearse con la identidad del objeto y la proximidad espacial, el marco permite a los agentes realizar comprensión a nivel de instancia a partir de un pequeño conjunto de observaciones locales. Este enfoque aborda el conflicto fundamental entre las suposiciones de vista global de la visión por computadora tradicional y la realidad de vista local de los agentes encarnados.

Los autores enfatizan que su trabajo proporciona un compromiso flexible entre precisión y velocidad, permitiendo la implementación en dispositivos de borde con restricciones estrictas de recursos. Los resultados sugieren que alejarse de los mapas de características densos y el procesamiento global hacia representaciones latentes ligeras y explícitamente estructuradas es un camino viable para la percepción encarnada en tiempo real. El marco es de código abierto para facilitar futuras investigaciones en esta dirección.