🤖 AI

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

Este artigo apresenta o PGN, um sistema de Navegação Visual-Linguística offline construído sobre o modelo de fundação OpenPangu-7B que emprega uma estratégia de treinamento de dois estágios para alinhar as modalidades visual e de linguagem e adaptar-se a trajetórias de especialistas, alcançando um Correspondência de Ação Normalizada de 62,29% em dados não utilizados durante o treinamento, enquanto utiliza computação de precisão mista e DeepSpeed em hardware Ascend 910B.

Autores originais: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

Publicado 2026-07-21

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os robôs não apenas seguem listas rígidas de comandos pré-programados, mas podem realmente entender você como um amigo humano. Este é o sonho da "IA incorporada" — dar a uma máquina um corpo (ou uma câmera e rodas) e um cérebro que possa ver o ambiente, ouvir sua voz e descobrir como se locomover. O grande desafio é conectar duas linguagens muito diferentes: o mundo visual de pixels e cores, e o mundo linguístico de frases e instruções. Pense nisso como tentar ensinar um cachorro a navegar por uma casa usando apenas um mapa escrito em poesia. Você precisa de uma maneira de traduzir "passe pela cozinha" em uma série de curvas e passos físicos. Este é o cerne do enigma da Navegação Visual-Linguística (VLN). Não se trata apenas de reconhecer objetos; trata-se de compreender a história de um cômodo ao longo do tempo, lembrar onde você esteve e decidir o que fazer a seguir com base em uma frase simples.

Apresentamos o PGN, um novo sistema construído por pesquisadores da Universidade de Ciência e Tecnologia Eletrônica da China, projetado para resolver esse enigma usando um "cérebro" poderoso chamado OpenPangu-7B. Você pode pensar no OpenPangu como um modelo de linguagem pré-treinado superinteligente que já sabe falar e escrever, mas não sabe como ver ou se mover. O objetivo dos pesquisadores era ensinar esse gigante da linguagem a navegar por uma casa virtual mostrando-lhe imagens e instruções. Eles não jogaram o robô de cabeça no fundo do poço; eles construíram um campo de treinamento de duas etapas. Primeiro, ensinaram o robô a "ver", conectando seu cérebro de linguagem a um olho de câmera especializado (um codificador de visão) usando um módulo tradutor chamado Q-Former. Isso permitiu que o robô entendesse que a imagem de um vaso está relacionada à palavra "vaso".

Assim que o robô conseguiu entender a conexão entre imagens e palavras, a segunda etapa começou: aprender a se mover. A equipe alimentou o sistema com milhares de exemplos de caminhos de navegação perfeitos realizados por um "especialista" (um programa de computador que nunca comete erros). O robô aprendeu a olhar para uma sequência de cinco instantâneos recentes da sala, ler a instrução e, crucialmente, pensar antes de agir. Em vez de apenas disparar um "vire à esquerda", o modelo foi treinado para gerar um pequeno texto de raciocínio primeiro, como um humano dizendo: "Ok, vejo a cozinha à minha esquerda, então devo virar à esquerda", antes de se comprometer com a ação. Eles testaram este sistema em 500 caminhos de teste ocultos, onde o robô recebeu o histórico correto do que tinha visto e foi solicitado a prever o próximo movimento. Os resultados foram promissores: na versão mais recente (V9), o robô coincidiu com a ação do especialista 62,29% das vezes e quase sempre deu uma resposta não vazia (100% das vezes). No entanto, os autores são muito cuidadosos ao notar que este é um teste de "forçamento do professor". É como um aluno fazendo um teste de múltipla escolha onde o professor segura o gabarito correto em cada etapa. O robô não foi testado de fato para saber se consegue se recuperar se cometer um erro ou se consegue chegar a um objetivo com sucesso em um ambiente real e desordenado sem ajuda. Embora o sistema mostre que um grande modelo de linguagem pode ser adaptado para entender instruções de navegação e alinhar-se com ações de especialistas, o artigo conclui que o verdadeiro teste de se este robô pode realmente navegar em uma casa por conta própria ainda é um trabalho para o futuro.

Resumo Técnico: PGN (Pangu Navigator)

Declaração do Problema

A Navegação Visão-Linguagem (VLN) exige que um agente incorporado interprete instruções de linguagem natural e preveja uma sequência de ações com base em observações visuais ordenadas temporalmente. Embora os Modelos de Linguagem Multimodais (MLLMs) ofereçam representações amplas de visão e linguagem, adaptar modelos para navegação contínua apresenta desafios específicos:

Alinhamento Visão-Linguagem: Preencher a lacuna entre características visuais e o espaço de incorporação (embedding) do modelo de linguagem.
Representação Temporal: Codificar eficientemente uma sequência de observações sem sobrecarregar a janela de contexto.
Fundamentação do Espaço de Ação: Restringir o texto gerado a um espaço de ação pequeno e discreto (frente, esquerda, direita, parar).
Restrições de Hardware: Manter o treinamento estável em hardwares específicos (NPUs Ascend), onde operações de precisão mista podem ser instáveis.

Benchmarks existentes frequentemente dependem de grafos discretos ou ambientes contínuos, mas adaptar um modelo de fundação de escala 7B como o OpenPangu-7B para essas tarefas requer uma arquitetura especializada e um pipeline de treinamento que aborde essas restrições simultaneamente.

Metodologia: PGN (Pangu Navigator)

Os autores propõem o PGN, um sistema de predição de ação VLN offline construído sobre o OpenPangu-7B. O sistema emprega um pipeline de treinamento em duas etapas e uma estrutura específica de entrada/saída projetada para raciocínio temporal e geração de ações.

1. Arquitetura do Modelo

Codificador Visual: Utiliza um EVA-ViT-G/14 congelado para extrair características de nível de patch de imagens de observação de $224 \times 224$ .
Alinhamento Visão-Linguagem (PGMM): Um Q-Former com 32 tokens de consulta aprendíveis usa atenção cruzada para produzir uma representação visual de tamanho fixo. Isso é seguido por um projetor MLP de duas camadas que mapeia as representações de consulta de 768 dimensões para o espaço de embedding de 4096 dimensões do OpenPangu-7B.
Backbone de Linguagem: O OpenPangu-7B serve como o modelo de linguagem central.
Adaptação: Adaptadores LoRA (Low-Rank Adaptation) são injetados no backbone de linguagem para permitir o aprendizado específico da tarefa sem o ajuste fino total.
Tokens Estruturais: Três tokens aprendidos marcam o início das imagens, o fim das imagens e as fronteiras de frames para organizar a entrada multimodal.

2. Formulação de Entrada e Saída

Entrada: No passo de tempo $t$ , o modelo recebe uma instrução de navegação $I$ e uma janela de cinco observações ordenadas temporalmente ( $O_t = \{o_{t-4s}, \dots, o_t\}$ ), onde $s$ é o stride de amostragem.
Formato de Saída: O modelo gera um texto de raciocínio ( $r_t$ $r_{t}$ ) seguido por uma ação canônica ( $a_t$ $a_{t}$ ). O espaço de ação é discreto: $\{frente, esquerda, direita, parar\}$ ${f r e n t e, es q u er d a, d i r e i t a, p a r a r}$ .
- Fatoração: $P(r_t, a_t | I, O_t) = P(r_t | I, O_t)P(a_t | r_t, I, O_t)$ .

3. Pipeline de Treinamento

Estágio 1: Alinhamento Visão-Linguagem (PGMM):
- Dados: Pares de imagem-legenda do Microsoft COCO e Visual Genome.
- Congelamento: O codificador visual (EVA-ViT-G/14) e o backbone de linguagem (OpenPangu-7B) estão congelados.
- Treinamento: Apenas o Q-Former e o projetor MLP de duas camadas são otimizados para alinhar as entradas visuais com o modelo de linguagem.
Estágio 2: Adaptação de Navegação:
- Dados: Trajetórias de navegação de especialistas coletadas via um pipeline compatível com DAgger (usando $\beta=1$ , efetivamente coleta de dados apenas de especialistas seguida por clonagem de comportamento supervisionada).
- Congelamento: O caminho visual alinhado (EVA, Q-Former, projetor) e os parâmetros do modelo de linguagem base estão congelados.
- Treinamento: As atualizações limitam-se aos três embeddings de tokens estruturais e aos adaptadores LoRA.
- Amostragem: Utiliza uma janela de cinco observações com amostragem temporal dependente de época ( $istart = e \mod s$ ) e amostragem consciente da ação para equilibrar ações de avanço, curva e parada.

4. Detalhes de Implementação

Hardware: Treinado em oito NPUs Ascend 910B.
Precisão: Utiliza computação de precisão mista com DeepSpeed ZeRO-2. Para lidar com o overflow numérico em operações de máscara de atenção FP16, o sistema emprega computação seletiva em FP32 para operações específicas instáveis, em vez de um treinamento global em FP32.

Principais Contribuições

Sistema de Duas Etapas: Um pipeline que primeiro alinha as representações de visão e linguagem (PGMM) e, subsequentemente, adapta o modelo alinhado a trajetórias de navegação de especialistas usando observações temporais e LoRA.
Formato de I/O Estruturado: Um design de entrada/saída inovador combinando janelas de observação de cinco frames, tokens de fronteira temporal, geração de texto de raciocínio e um espaço de quatro ações canônicas.
Implementação Orientada para Ascend: Uma pilha de treinamento robusta para NPUs Ascend, apresentando computação FP32 seletiva para estabilidade e um protocolo de avaliação de loop aberto com força do professor (teacher-forced).

Resultados

O sistema foi avaliado em 500 trajetórias de especialistas retidas usando um protocolo de loop aberto com força do professor (onde o modelo prevê ações com base no histórico de observação do especialista sem executá-las para gerar novas observações).

Métricas:
- Correspondência de Ação Normalizada (NAM): Mede o alinhamento da ação prevista com a ação do especialista após normalizar as expressões de texto.
- Taxa de Não-Vazio (NER): A fração de predições que produzem uma resposta não vazia.
- Correspondência de String Exata (EM): Igualdade estrita de string (notada como 0% para versões posteriores devido à inclusão de texto de raciocínio).
Desempenho:
- Versão V9: Alcançou 62,29% de NAM e 100,00% de NER.
- Versão V8: Alcançou 62,13% de NAM e 100,00% de NER.
- Tendência: Versões anteriores (V5, V6) mostraram NAM mais baixo (25,40% e 23,18%) e NER (33,98% e 99,17%), indicando que a introdução de texto de raciocínio, prompting de identidade e amostragem aprimorada em V8/V9 melhorou significativamente o alinhamento de ação.

Significância e Limitações (Alegações dos Autores)

O artigo posiciona o PGN como uma prova de conceito para adaptar o modelo de fundação OpenPangu-7B para tarefas de VLN offline em hardware Ascend.

Viabilidade: Os resultados (62,29% de NAM) apoiam a viabilidade de usar uma abordagem de backbone congelado e adaptado por LoRA para alinhamento offline de ação de especialista.
Escopo de Avaliação: Os autores afirmam explicitamente que estas métricas quantificam o alinhamento de ação de especialista offline, e não a navegação de loop fechado bem-sucedida.
- A avaliação não mede a acumulação de erro, eficiência de trajetória, conclusão de objetivo ou a capacidade de recuperação de ações incorretas.
- Métricas como Taxa de Sucesso, SPL ou erro de navegação não são reportadas.
Trabalho Futuro: Os autores observam que é necessário avaliar o sistema em um ambiente de loop fechado (executando ações previstas no simulador) para estabelecer o verdadeiro sucesso de navegação. O trabalho atual serve como um registro de desenvolvimento de alinhamento de modelo, em vez de uma comparação com sistemas de VLN de loop fechado de estado da arte.