Resumen Técnico: PGN (Pangu Navigator)

Planteamiento del Problema

La Navegación Visual-Lingüística (VLN) requiere que un agente encarnado interprete instrucciones en lenguaje natural y prediga una secuencia de acciones basadas en observaciones visuales ordenadas temporalmente. Aunque los Modelos de Lenguaje Multimodales Grandes (MLLM) ofrecen representaciones visual-lingüísticas amplias, la adaptación de estos a la navegación continua presenta desafíos específicos:

1. Alineación Visual-Lingüística: Cerrar la brecha entre las características visuales y el espacio de incrustación (embedding) del modelo de lenguaje.
2. Representación Temporal: Codificar eficientemente una secuencia de observaciones sin saturar la ventana de contexto.
3. Anclaje del Espacio de Acción (Action-Space Grounding): Restringir el texto generado a un espacio de acción pequeño y discreto (adelante, izquierda, derecha, detenerse).
4. Restricciones de Hardware: Mantener un entrenamiento estable en hardware específico (NPUs Ascend) donde las operaciones de precisión mixta pueden ser inestables.

Los benchmarks existentes suelen depender de grafos discretos o entornos continuos, pero adaptar un modelo fundacional de escala 7B como OpenPangu-7B a estas tareas requiere una arquitectura especializada y un flujo de entrenamiento que aborde estas restricciones simultáneamente.

Metodología: PGN (Pangu Navigator)

Los autores proponen PGN, un sistema de predicción de acciones VLN offline construido sobre OpenPangu-7B. El sistema emplea un flujo de entrenamiento de dos etapas y una estructura de entrada/salida específica diseñada para el razonamiento temporal y la generación de acciones.

1. Arquitectura del Modelo

• Codificador Visual: Utiliza un EVA-ViT-G/14 congelado para extraer características a nivel de parche de imágenes de observación de $224 \times 224$.
• Alineación Visual-Lingüística (PGMM): Un Q-Former con 32 tokens de consulta (query tokens) aprendibles utiliza atención cruzada para producir una representación visual de tamaño fijo. Esto es seguido por un proyector MLP de dos capas que mapea las representaciones de consulta de 768 dimensiones al espacio de incrustación de 4096 dimensiones de OpenPangu-7B.
• Backbone de Lenguaje: OpenPangu-7B sirve como el modelo de lenguaje central.
• Adaptación: Se inyectan adaptadores LoRA (Low-Rank Adaptation) en el backbone de lenguaje para permitir el aprendizaje específico de la tarea sin un ajuste fino completo.
• Tokens Estructurales: Tres tokens aprendidos marcan el inicio de la imagen, el fin de la imagen y los límites de fotogramas para organizar la entrada multimodal.

2. Formulación de Entrada y Salida

• Entrada: En el paso de tiempo $t$, el modelo recibe una instrucción de navegación $I$ y una ventana de cinco observaciones ordenadas temporalmente ($O_t = \{o_{t-4s}, \dots, o_t\}$), donde $s$ es el salto de muestreo (sampling stride).
• Formato de Salida: El modelo genera un texto de razonamiento ($r_t$) seguido de una acción canónica ($a_t$). El espacio de acción es discreto: $\{forward, left, right, stop\}$ (adelante, izquierda, derecha, detenerse).
  • Factorización: $P(r_t, a_t | I, O_t) = P(r_t | I, O_t)P(a_t | r_t, I, O_t)$.

3. Flujo de Entrenamiento

• Etapa 1: Alineación Visual-Lingüística (PGMM):
  • Datos: Pares imagen-leyenda de Microsoft COCO y Visual Genome.
  • Congelación: El codificador visual (EVA-ViT-G/14) y el backbone de lenguaje (OpenPangu-7B) están congelados.
  • Entrenamiento: Solo se optimizan el Q-Former y el proyector MLP de dos capas para alinear las entradas visuales con el modelo de lenguaje.
• Etapa 2: Adaptación de la Navegación:
  • Datos: Trayectorias de navegación de expertos recolectadas mediante un pipeline compatible con DAgger (usando $\beta=1$, efectivamente una recolección de datos basada solo en expertos seguida de un aprendizaje supervisado de comportamiento).
  • Congelación: La vía visual alineada (EVA, Q-Former, proyector) y los parámetros del modelo de lenguaje base están congelados.
  • Entrenamiento: Las actualizaciones se limitan a los tres embeddings de tokens estructurales y a los adaptadores LoRA.
  • Muestreo: Utiliza una ventana de cinco observaciones con muestreo temporal dependiente de la época ($istart = e \mod s$) y muestreo consciente de la acción para equilibrar las acciones de avance, giro y parada.

4. Detalles de Implementación

• Hardware: Entrenado en ocho NPUs Ascend 910B.
• Precisión: Utiliza computación de precisión mixta con DeepSpeed ZeRO-2. Para manejar el desbordamiento numérico en las operaciones de máscara de atención FP16, el sistema emplea computación selectiva en FP32 para operaciones específicas inestables en lugar de un entrenamiento global en FP32.

Contribuciones Clave

1. Sistema de Dos Etapas: Un flujo que primero alinea las representaciones visuales y lingüísticas (PGMM) y posteriormente adapta el modelo alineado a trayectorias de navegación de expertos utilizando observaciones temporales y LoRA.
2. Formato de I/O Estructurado: Un diseño novedoso de entrada/salida que combina ventanas de observación de cinco fotogramas, tokens de límite temporal, generación de texto de razonamiento y un espacio de cuatro acciones canónicas.
3. Implementación Orientada a Ascend: Un stack de entrenamiento robusto para NPUs Ascend, que cuenta con computación selectiva en FP32 para la estabilidad y un protocolo de evaluación de lazo abierto con forzado de profesor (teacher-forced).

Resultados

El sistema fue evaluado en 500 trayectorias de expertos retenidas utilizando un protocolo de lazo abierto con forzado de profesor (donde el modelo predice acciones basándose en el historial de observación del experto sin ejecutarlas para generar nuevas observaciones).

• Métricas:
  • Coincidencia de Acción Normalizada (NAM): Mide la alineación de la acción predicha con la acción del experto tras normalizar las expresiones de texto.
  • Tasa de No Vacío (NER): La fracción de predicciones que producen una respuesta no vacía.
  • Coincidencia de Cadena Exacta (EM): Igualdad estricta de cadenas (notada como 0% en versiones posteriores debido a la inclusión de texto de razonamiento).
• Desempeño:
  • Versión V9: Logró un 62.29% de NAM y un 100.00% de NER.
  • Versión V8: Logró 62.13% de NAM y 100.00% de NER.
  • Tendencia: Versiones anteriores (V5, V6) mostraron un NAM más bajo (25.40% y 23.18%) y un NER menor (33.98% y 99.17%), lo que indica que la introducción de texto de razonamiento, el prompting de identidad y la mejora en el muestreo en V8/V9 mejoraron significamente la alineación de la acción.

Significancia y Limitaciones (Afirmaciones de los Autores)

El artículo posiciona a PGN como una prueba de concepto para la adaptación del modelo fundacional OpenPangu-7B a tareas de VLN offline en hardware Ascend.

• Factibilidad: Los resultados (62.29% NAM) respaldan la factibilidad de utilizar un enfoque de backbone congelado y adaptado con LoRA para la alineación de acciones de expertos offline.
• Alcance de la Evaluación: Los autores declaran explícitamente que estas métricas cuantifican la alineación de acción de experto offline en lugar de la navegación de lazo cerrado exitosa.
  • La evaluación no mide la acumulación de errores, la eficiencia de la ruta, la finalización del objetivo o la capacidad de recuperarse de acciones incorrectas.
  • No se reportan métricas como Tasa de Éxito (Success Rate), SPL o error de navegación.
• Trabajo Futuro: Los autores señalan que es necesario evaluar el sistema en un entorno de lazo cerrado (ejecutando las acciones predichas en el simulador) para establecer un éxito de navegación real. El presente trabajo sirve como un registro de desarrollo para la alineación del modelo más que como una comparación con sistemas de VLN de lazo cerrado de vanguardia.