🤖 AI

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

Dit artikel presenteert PGN, een offline Vision-Language Navigation-systeem gebouwd op het OpenPangu-7B basismodel dat een tweestaps trainingsstrategie gebruikt om visuele en talige modaliteiten uit te lijnen en zich aan te passen aan expert-trajecten, waarbij een Normalized Action Match van 62,29% wordt bereikt op gehouden data terwijl gebruik wordt gemaakt van mixed-precision berekening en DeepSpeed op Ascend 910B hardware.

Oorspronkelijke auteurs: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen rigide, vooraf geprogrammeerde lijsten met commando's volgen, maar je ook echt kunnen begrijpen zoals een menselijke vriend dat kan. Dit is de droom van "embodied AI" — een machine een lichaam geven (of een camera en wielen) en een brein dat de kamer kan zien, je stem kan horen en kan uitzoeken hoe het zich moet verplaatsen. De grote uitdaging is het verbinden van twee zeer verschillende talen: de visuele wereld van pixels en kleuren, en de taalkundige wereld van zinnen en instructies. Denk eraan als het proberen te leren aan een hond om door een huis te navigeren met behulp van alleen een kaart die in poëzie is geschreven. Je hebt een manier nodig om "loop langs de keuken" te vertalen naar een reeks fysieke draaiingen en stappen. Dit is de kernpuzzel van Vision-Language Navigation (VLN). Het gaat niet alleen om het herkennen van objecten; het gaat om het begrijpen van het verhaal van een kamer in de loop van de tijd, het onthouden waar je bent geweest, en beslissen wat je nu gaat doen op basis van een eenvoudige zin.

Maak kennis met PGN, een nieuw systeem gebouwd door onderzoekers van de University of Electronic Science and Technology of China, ontworpen om dit puzzelstukje op te lossen met een krachtig "brein" genaamd OpenPangu-7B. Je kunt OpenPangu zien als een superintelligent, vooraf getraind taalmodel dat al weet hoe het moet spreken en schrijven, maar het weet nog niet hoe het moet zien of bewegen. Het doel van de onderzoekers was om deze taalreus te leren hoe hij door een virtueel huis kan navigeren door hem foto's en instructies te tonen. Ze hebben de robot niet zomaar in het diepe gegooid; ze bouwden een trainingskamp met twee stappen. Eerst leerden ze de robot hoe hij kon "zien" door zijn taalbrein te verbinden met een gespecialiseerd camera-oog (een vision encoder) via een vertaalmodule genaamd een Q-Former. Dit stelde de robot in staat om te begrijpen dat een foto van een vaas gerelateerd is aan het woord "vaas".

Zodra de robot de verbinding tussen afbeeldingen en woorden kon begrijpen, begon de tweede fase: leren bewegen. Het team voedde het systeem met duizenden voorbeelden van perfecte navigatiepaden die zijn afgelegd door een "expert" (een computerprogramma dat nooit fouten maakt). De robot leerde om naar een opeenvolging van vijf recente opnames van de kamer te kijken, de instructie te lezen en vervolgens — cruciaal — na te denken voordat hij handelde. In plaats van simpelweg "draai links" te roepen, werd het model getraind om eerst een klein stukje redeneertekst te genereren, zoals een mens die zegt: "Oké, ik zie de keuken aan mijn linkerkant, dus ik moet naar links draaien," voordat het de actie uitvoert. Ze testten dit systeem op 500 verborgen testpaden waarbij de robot de juiste geschiedenis kreeg van wat het had gezien, en werd gevraagd de volgende beweging te voorspellen. De resultaten waren veelbelovend: in de nieuwste versie (V9) kwam de actie van de robot in 62,29% van de gevallen overeen met die van de expert en gaf hij bijna altijd een niet-leeg antwoord (100% van de tijd). De auteurs merken echter zeer zorgvuldig op dat dit een "teacher-forced" test is. Het is als een student die een meerkeuzetoets maakt waarbij de leraar bij elke stap het juiste antwoord laat zien. De robot is nog niet echt getest op de vraag of hij kan herstellen als hij een fout maakt of of hij succesvol een doel kan bereiken in een echte, rommelige omgeving zonder hulp. Hoewel het systeem aantoont dat een groot taalmodel kan worden aangepast om navigatie-instructies te begrijpen en afgestemd te worden op expert-acties, concludeert het artikel dat de echte test om te zien of deze robot daadwerkelijk zelfstandig door een huis kan navigeren, nog een taak is voor de toekomst.

Technische Samenvatting: PGN (Pangu Navigator)

Probleemstelling

Vision-Language Navigation (VLN) vereist een belichaamde agent die natuurlijke taalinstructies kan interpreteren en een sequentie van acties kan voorspellen op basis van tijdelijk geordende visuele observaties. Hoewel Multimodale Grote Taalmodellen (MLLM's) brede visuele-taalrepresentaties bieden, brengt het aanpassen van deze aan continue navigatie specifieke uitdagingen met zich mee:

Visuele-Taal Alignement: Het overbruggen van de kloof tussen visuele kenmerken en de embedding-ruimte van het taalmodel.
Temporele Representatie: Het efficiënt coderen van een sequentie van observaties zonder het contextvenster te overbelasten.
Actieruimte-Gronding: Het beperken van de gegenereerde tekst tot een kleine, discrete actieruimte (vooruit, links, rechts, stop).
Hardwarebeperkingen: Het handhaven van stabiele training op specifieke hardware (Ascend NPUs) waar mixed-precision operaties instabiel kunnen zijn.

Bestaande benchmarks vertrouwen vaak op discrete grafen of continue omgevingen, maar het aanpassen van een OpenPangu-7B foundation model op 7B-schaal aan deze taken vereist een gespecialiseerde architectuur en trainingspipeline die deze beperkingen tegelijkertijd aanpakt.

Methodologie: PGN (Pangu Navigator)

De auteurs stellen PGN voor, een offline VLN actie-voorspellingssysteem gebouwd op OpenPangu-7B. Het systeem maakt gebruik van een twee-fasen trainingspipeline en een specifieke input/output structuur ontworpen voor temporele redenering en actiegeneratie.

1. Modelarchitectuur

Visuele Encoder: Gebruikt een bevroren EVA-ViT-G/14 om patch-niveau kenmerken te extraheren uit $224 \times 224$ observatiebeelden.
Visuele-Taal Alignement (PGMM): Een Q-Former met 32 leerbare query-tokens gebruikt cross-attention om een visuele representatie van vaste grootte te produceren. Dit wordt gevolgd door een twee-laagse MLP-projector die 768-dimensionale query-representaties naar de 4096-dimensionale embedding-ruimte van OpenPangu-7B mapt.
Taal Backbone: OpenPangu-7B dient als het kern-taalmodel.
Adaptatie: LoRA (Low-Rank Adaptation) adapters worden geïnjecteerd in de taal backbone om taakspecifieke leerprocessen mogelijk te maken zonder volledige fine-tuning.
Structurele Tokens: Drie geleerde tokens markeren het begin van de afbeelding, het einde van de afbeelding en de grenzen van frames om de multimodale input te organiseren.

2. Input en Output Formulering

Input: Op tijdstap $t$ ontvangt het model een navigatieinstructie $I$ en een venster van vijf temporeel geordende observaties ( $O_t = \{o_{t-4s}, \dots, o_t\}$ ), waarbij $s$ de sampling-stapbreedte is.
Output Formaat: Het model genereert redeneertekst ( $r_t$ $r_{t}$ ) gevolgd door een canonieke actie ( $a_t$ $a_{t}$ ). De actieruimte is discreet: $\{forward, left, right, stop\}$ ${f or w a r d, l e f t, r i g h t, s t o p}$ .
- Factorisatie: $P(r_t, a_t | I, O_t) = P(r_t | I, O_t)P(a_t | r_t, I, O_t)$ .

3. Trainingspipeline

Fase 1: Visuele-Taal Alignement (PGMM):
- Data: Beeld-bijschrift paren uit Microsoft COCO en Visual Genome.
- Bevriezen: De visuele encoder (EVA-ViT-G/14) en de taal backbone (OpenPangu-7B) zijn bevroren.
- Training: Alleen de Q-Former en de twee-laagse MLP-projector worden geoptimaliseerd om visuele inputs af te stemmen op het taalmodel.
Fase 2: Navigatie Adaptatie:
- Data: Expert navigatie-trajecten verzameld via een DAgger-compatibele pipeline (met gebruik van $\beta=1$ , wat effectief neerkomt op expert-only dataverzameling gevolgd door supervised behavior cloning).
- Bevriezen: Het afgestemde visuele pad (EVA, Q-Former, projector) en de basisparameters van het taalmodel zijn bevroren.
- Training: Updates zijn beperkt tot de drie structurele-token embeddings en de LoRA-adapters.
- Sampling: Maakt gebruik van een venster van vijf observaties met epoch-afhankelijke temporele sampling ( $istart = e \mod s$ ) en actie-bewuste sampling om voorwaartse, draaiende en stoppende acties in balans te houden.

4. Implementatiedetails

Hardware: Getraind op acht Ascend 910B NPUs.
Precisie: Maakt gebruik van mixed-precision berekeningen met DeepSpeed ZeRO-2. Om numerieke overflow in FP16 attention-mask operaties te voorkomen, gebruikt het systeem selectieve FP32 berekening voor specifieke instabiele operaties in plaats van globale FP32 training.

Belangrijkste Bijdragen

Twee-fasen Systeem: Een pipeline die eerst visuele en taalrepresentaties afstemt (PGMM) en vervolgens het afgestemde model aanpast aan expert navigatie-trajecten met behulp van temporele observaties en LoRA.
Gestructureerd I/O Formaat: Een nieuwelijk ontworpen input/output format dat vensters van vijf frames, temporele grens-tokens, de generatie van redeneertekst en een canonieke vier-actie-ruimte combineert.
Ascend-Georiënteerde Implementatie: Een robuuste trainingsstack voor Ascend NPUs, voorzien van selectieve FP32 berekening voor stabiliteit en een teacher-forced, open-loop evaluatieprotocol.

Resultaten

Het systeem werd geëvalueerd op 500 uitgesloten expert-trajecten met behulp van een teacher-forced, open-loop protocol (waarbij het model acties voorspelt op basis van de expert-observatiegeschiedenis zonder ze uit te voeren om nieuwe observaties te genereren).

Metrics:
- Normalized Action Match (NAM): Meet de afstemming van de voorspelde actie met de expert-actie na normalisatie van tekstexpressies.
- Non-empty Rate (NER): Het deel van de voorspellingen dat een niet-lege respons produceert.
- Exact-string Match (EM): Strikte string-gelijkheid (genoteerd als 0% voor latere versies vanwege de inclusie van redeneertekst).
Prestaties:
- Versie V9: Behaalde een 62.29% NAM en 100.00% NER.
- Versie V8: Behaalde 62.13% NAM en 100.00% NER.
- Trend: Eerdere versies (V5, V6) vertoonden lagere NAM (25.40% en 23.18%) en NER (33.98% en 99.17%), wat aangeeft dat de introductie van redeneertekst, identity prompting en verbeterde sampling in V8/V9 de actie-afstemming aanzienlijk heeft verbeterd.

Betekenis en Beperkingen (Claims van de auteurs)

Het artikel positioneert PGN als een proof of concept voor het aanpassen van het OpenPangu-7B foundation model aan offline VLN-taken op Ascend hardware.

Haalbaarheid: De resultaten (62.29% NAM) ondersteunen de haalbaarheid van het gebruik van een frozen-backbone, LoRA-geadapteerde aanpak voor offline expert-actie afstemming.
Omvang van Evaluatie: De auteurs geven expliciet aan dat deze metrieken offline expert-actie afstemming kwantificeren in plaats van closed-loop navigatie succes.
- De evaluatie meet geen foutaccumulatie, pad-efficiëntie, doelbereiking of het vermogen om te herstellen van foutieve acties.
- Metrieken zoals Success Rate, SPL, of navigatiefout worden niet gerapporteerd.
Toekomstig Werk: De auteurs merken op dat het evalueren van het systeem in een closed-loop omgeving (het uitvoeren van voorspelde acties in de simulator) vereist is om echt navigatie succes vast te stellen. Het huidige werk dient als een ontwikkelingsverslag voor model-afstemming in plaats van een vergelijking met state-of-the-art closed-loop VLN systemen.