🤖 AI

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

Questo articolo presenta PGN, un sistema di navigazione visivo-linguistica offline basato sul modello di fondazione OpenPangu-7B che impiega una strategia di addestramento a due stadi per allineare le modalità visiva e linguistica e adattarsi alle traiettorie degli esperti, raggiungendo un Normalized Action Match del 62,29% su dati non utilizzati durante l'addestramento, utilizzando al contempo il calcolo a precisione mista e DeepSpeed sull'hardware Ascend 910B.

Autori originali: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

Pubblicato 2026-07-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i robot non si limitano a seguire rigide liste di comandi pre-programmati, ma possono effettivamente capirvi come un amico umano. Questo è il sogno dell' "IA incarnata" (embodied AI): dare a una macchina un corpo (o una telecamera e delle ruote) e un cervello capace di vedere la stanza, sentire la vostra voce e capire come muoversi. La grande sfida è connettere due linguaggi molto diversi: il mondo visivo fatto di pixel e colori, e il mondo linguistico fatto di frasi e istruzioni. Pensatelo come cercare di insegnare a un cane come orientarsi in una casa usando solo una mappa scritta in poesia. Avete bisogno di un modo per tradurre "passa accanto alla cucina" in una serie di rotazioni fisiche e passi. Questo è il cuore del puzzle della Navigazione Visivo-Linguistica (VLN). Non si tratta solo di riconoscere oggetti; si tratta di comprendere la storia di una stanza nel tempo, ricordare dove si è stati e decidere cosa fare dopo sulla base di una semplice frase.

Entra in scena PGN, un nuovo sistema creato dai ricercatori della University of Electronic Science and Technology of China, progettato per risolvere questo puzzle utilizzando un "cervello" potente chiamato OpenPangu-7B. Potete pensare a OpenPangu come a un modello linguistico pre-addestrato super intelligente che sa già parlare e scrivere, ma non sa come vedere o muoversi. L'obiettivo dei ricercatori era insegnare a questo gigante del linguaggio come navigare in una casa virtuale mostrandogli immagini e istruzioni. Non hanno semplicemente gettato il robot nel profondo; hanno costruito un campo di addestramento in due fasi. Prima, hanno insegnato al robot come "vedere", collegando il suo cervello linguistico a un occhio con telecamera specializzato (un encoder visivo) tramite un modulo di traduzione chiamato Q-Former. Questo ha permesso al robot di capire che l'immagine di un vaso è correlata alla parola "vaso".

Una volta che il robot è stato in grado di comprendere la connessione tra immagini e parole, è iniziata la seconda fase: imparare a muoversi. Il team ha fornito al sistema migliaia di esempi di percorsi di navigazione perfetti compiuti da un "esperto" (un programma per computer che non commette mai errori). Il robot ha imparato a guardare una sequenza di cinque scatti recenti della stanza, leggere l'istruzione e poi — cosa cruciale — riflettere prima di agire. Invece di dire semplicemente "gira a sinistra", il modello è stato addestrato a generare prima un piccolo testo di ragionamento, come un essere umano che dice: "Ok, vedo la cucina alla mia sinistra, quindi dovrei girare a sinistra", prima di impegnarsi nell'azione. Hanno testato questo sistema su 500 percorsi di test nascosti dove al robot veniva fornita la cronologia corretta di ciò che aveva visto, e gli veniva chiesto di predire la mossa successiva. I risultati sono promettenti: nella versione più recente (V9), il robot ha corrisposto l'azione dell'esperto il 62,29% delle volte e ha quasi sempre fornito una risposta non vuota (il 100% delle volte). Tuttavia, gli autori sottolineano con molta cautela che si tratta di un test "teacher-forced" (con guida del docente). È come uno studente che sostiene un quiz a scelta multipla dove l'insegnante tiene in mano la chiave delle risposte corretta ad ogni passaggio. Il robot non è stato effettivamente testato per capire se sia in grado di recuperare se commette un errore o se può raggiungere con successo un obiettivo in un ambiente reale e disordinato senza aiuto. Sebbene il sistema dimostri che un grande modello linguistico può essere adattato per comprendere le istruzioni di navigazione e allinearsi con le azioni dell'esperto, l'articolo conclude che il vero test per capire se questo robot possa effettivamente navigare in una casa da solo è ancora un compito per il futuro.

Riepilogo Tecnico: PGN (Pangu Navigator)

Definizione del Problema

La navigazione visivo-linguistica (Vision-Language Navigation - VLN) richiede che un agente incarnato interpreti istruzioni in linguaggio naturale e predica una sequenza di azioni basandosi su osservazioni visive temporalmente ordinate. Sebbene i Modelli Linguistici Multimodali Grandi (MLLM) offrano rappresentazioni visivo-linguistiche ampie, l'adattamento alla navigazione continua presenta sfide specifiche:

Allineamento Visivo-Linguistico: Colmare il divario tra le caratteristiche visive e lo spazio di embedding del modello linguistico.
Rappresentazione Temporale: Codificare efficientemente una sequenza di osservazioni senza sovraccaricare la finestra di contesto.
Grounding dello Spazio delle Azioni: Vincolare il testo generato a un piccolo spazio di azioni discrete (avanti, sinistra, destra, stop).
Vincoli Hardware: Mantenere un addestramento stabile su hardware specifico (NPU Ascend) dove le operazioni a precisione mista possono essere instabili.

I benchmark esistenti spesso si affidano a grafi discreti o ambienti continui, ma adattare un modello fondazionale di scala 7B come OpenPangu-7B a questi compiti richiede un'architettura specializzata e una pipeline di addestramento che affronti simultaneamente tali vincoli.

Metodologia: PGN (Pangu Navigator)

Gli autori propongono PGN, un sistema di predizione dell'azione VLN offline basato su OpenPangu-7B. Il sistema impiega una pipeline di addestramento a due stadi e una specifica struttura di input/output progettata per il ragionamento temporale e la generazione di azioni.

1. Architettura del Modello

Encoder Visivo: Utilizza un EVA-ViT-G/14 congelato per estrarre caratteristiche a livello di patch da immagini di osservazione $224 \times 224$ .
Allineamento Visivo-Linguistico (PGMM): Un Q-Former con 32 token di query apprendibili utilizza l'attenzione incrociata (cross-attention) per produrre una rappresentazione visiva di dimensioni fisse. Questo è seguito da un proiettore MLP a due strati che mappa le rappresentazioni di query a 768 dimensioni allo spazio di embedding a 4096 dimensioni di OpenPangu-7B.
Backbone Linguistico: OpenPangu-7B funge da nucleo del modello linguistico.
Adattamento: Adattatori LoRA (Low-Rank Adaptation) sono iniettati nel backbone linguistico per consentire l'apprendimento specifico del compito senza un fine-tuning completo.
Token Strutturali: Tre token appresi segnano l'inizio delle immagini, la fine delle immagini e i confini dei frame per organizzare l'input multimodale.

2. Formulazione di Input e Output

Input: Al passo temporale $t$ , il modello riceve un'istruzione di navigazione $I$ e una finestra di cinque osservazioni temporalmente ordinate ( $O_t = \{o_{t-4s}, \dots, o_t\}$ ), dove $s$ è l'intervallo di campionamento.
Formato di Output: Il modello genera un testo di ragionamento ( $r_t$ $r_{t}$ ) seguito da un'azione canonica ( $a_t$ $a_{t}$ ). Lo spazio delle azioni è discreto: $\{forward, left, right, stop\}$ ${f or w a r d, l e f t, r i g h t, s t o p}$ .
- Fattorizzazione: $P(r_t, a_t | I, O_t) = P(r_t | I, O_t)P(a_t | r_t, I, O_t)$ .

3. Pipeline di Addestramento

Stadio 1: Allineamento Visivo-Linguistico (PGMM):
- Dati: Coppie immagine-didascalia da Microsoft COCO e Visual Genome.
- Congelamento: L'encoder visivo (EVA-ViT-G/14) e il backbone linguistico (OpenPangu-7B) sono congelati.
- Addestramento: Solo il Q-Former e il proiettore MLP a due strati sono ottimizzati per allineare gli input visivi con il modello linguistico.
Stadio 2: Adattamento alla Navigazione:
- Dati: Traiettorie di navigazione esperte raccolte tramite una pipeline compatibile con DAgger (usando $\beta=1$ $β = 1$ , ovvero una raccolta di dati basata esclusivamente sull'esperto seguita da apprendimento per imitazione supervisionata).
  - Congelamento: Il percorso visivo allineato (EVA, Q-Former, proiettore) e i parametri base del modello linguistico sono congelati.
- Addestramento: Gli aggiornamenti sono limitati ai tre embedding dei token strutturali e agli adattatori LoRA.
- Campionamento: Utilizza una finestra di cinque osservazioni con campionamento temporale dipendente dall'epoca ( $istart = e \mod s$ ) e campionamento consapevole dell'azione per bilanciare le azioni di avanzamento, rotazione e arresto.

4. Dettagli di Implementazione

Hardware: Addestrato su otto NPU Ascend 910B.
Precisione: Utilizza il calcolo a precisione mista con DeepSpeed ZeRO-2. Per gestire l'overflow numerico nelle operazioni di maschera di attenzione in FP16, il sistema impiega un calcolo FP32 selettivo per specifiche operazioni instabili anziché un addestramento globale in FP32.

Contributi Chiave

Sistema a Due Stadi: Una pipeline che prima allinea le rappresentazioni visive e linguistiche (PGMM) e successivamente adatta il modello allineato alle traiettorie di navigazione esperte utilizzando osservazioni temporali e LoRA.
Formato I/O Strutturato: Un design innovativo di input/output che combina finestre di osservazione a cinque frame, token di confine temporale, generazione di testo di ragionamento e uno spazio di quattro azioni canoniche.
Implementazione Orientata ad Ascend: Uno stack di addestramento robusto per NPU Ascend, caratterizzato da calcolo FP32 selettivo per la stabilità e un protocolo di valutazione a ciclo aperto con teacher-forcing.

Risultati

Il sistema è stato valutato su 500 traiettorie esperte tenute fuori dal set (held-out) utilizzando un protocollo a ciclo aperto con teacher-forcing (dove il modello predice le azioni basandosi sulla cronologia delle osservazioni dell'esperto senza eseguirle per generare nuove osservazioni).

Metriche:
- Normalized Action Match (NAM): Misura l'allineamento dell'azione predetta con l'azione dell'esperto dopo la normalizzazione delle espressioni testuali.
- Non-empty Rate (NER): La frazione di predizioni che producono una risposta non vuota.
- Exact-string Match (EM): Uguaglianza rigorosa della stringa (indicata come 0% nelle versioni successive a causa dell'inclusione del testo di ragionamento).
Performance:
- Versione V9: Ha raggiunto un 62,29% di NAM e un 100,00% di NER.
- Versione V8: Ha raggiunto il 62,13% di NAM e il 100,00% di NER.
- Trend: Le versioni precedenti (V5, V6) mostravano un NAM inferiore (25,40% e 23,18%) e un NER inferiore (33,98% e 99,17%), indicando che l'introduzione del testo di ragionamento, del prompting di identità e del miglioramento del campionamento in V8/V9 ha migliorato significativamente l'allineamento delle azioni.

Significato e Limitazioni (Rivendicazioni degli Autori)

Il paper posiziona PGN come una prova di fattibilità per l'adattamento del modello fondazionale OpenPangu-7B a compiti VLN offline su hardware Ascend.

Fattibilità: I risultati (62,29% NAM) supportano la fattibilità dell'uso di un approccio con backbone congelato e adattamento LoRA per l'allineamento offline delle azioni esperte.
Ambito di Valutazione: Gli autori dichiarano esplicitamente che queste metriche quantificano l'allineamento offline dell'azione esperta piuttosto che il successo della navigazione a ciclo chiuso.
- La valutazione non misura l'accumulo di errori, l'efficienza del percorso, il raggiungimento dell'obiettivo o la capacità di recuperare da azioni errate.
- Metriche come Success Rate, SPL o errore di navigazione non sono riportate.
Lavoro Futuro: Gli autori notano che la valutazione del sistema in un ambiente a ciclo chiuso (eseguendo le azioni predette in un simulatore) è necessaria per stabilire il vero successo della navigazione. Il lavoro attuale serve come record di sviluppo per l'allineamento del modello piuttosto che come confronto con i sistemi VLN allo stato dell'arte a ciclo chiuso.