PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model
Dieses Paper präsentiert PGN, ein Offline-Vision-Language-Navigationssystem, das auf dem OpenPangu-7B-Fundamentmodell basiert, eine zweistufige Trainingsstrategie zur Ausrichtung von visuellen und sprachlichen Modalitäten sowie zur Anpassung an Experten-Trajektorien anwendet und dabei einen Normalized Action Match von 62,29 % auf den gehaltenen Daten erzielt, während es Mixed-Precision-Berechnungen und DeepSpeed auf Ascend 910B-Hardware nutzt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Roboter nicht nur starren, vorprogrammierten Befehlslisten folgen, sondern Sie tatsächlich verstehen können wie ein menschlicher Freund. Dies ist der Traum der „Embodied AI“ – einer Maschine einen Körper (oder eine Kamera und Räder) sowie ein Gehirn zu geben, das den Raum sehen, Ihre Stimme hören und herausfinden kann, wie es sich fortbewegt. Die große Herausforderung besteht darin, zwei sehr unterschiedliche Sprachen miteinander zu verbinden: die visuelle Welt aus Pixeln und Farben und die linguistische Welt aus Sätzen und Anweisungen. Stellen Sie sich das wie den Versuch vor, einem Hund beizubringen, sich in einem Haus zurechtzufinden, indem man ihm lediglich eine in Poesie geschriebene Karte gibt. Man benötigt einen Weg, um „gehe an der Küche vorbei“ in eine Serie von physischen Drehungen und Schritten zu übersetzen. Dies ist das Kernrätsel der Vision-Language Navigation (VLN). Es geht nicht nur darum, Objekte zu erkennen; es geht darum, die Geschichte eines Raumes im Zeitverlauf zu verstehen, sich zu merken, wo man gewesen ist, und zu entscheiden, was als Nächstes zu tun ist, bas sich auf einen einfachen Satz zu stützen.
Hier kommt PGN ins Spiel, ein neues System, das von Forschern der University of Electronic Science and Technology of China entwickelt wurde und darauf ausgelegt ist, dieses Rätsel mithilfe eines leistungsstarken „Gehirns“ namens OpenPangu-7B zu lösen. Sie können sich OpenPangu als ein superintelligentes, vortrainiertes Sprachmodell vorstellen, das bereits weiß, wie man spricht und schreibt, aber nicht weiß, wie man sieht oder sich bewegt. Das Ziel der Forscher war es, diesem Sprachriesen beizubringen, durch ein virtuelles Haus zu navigieren, indem sie ihn mit Bildern und Anweisungen fütterten. Sie haben den Roboter nicht einfach ins kalte Wasser geworfen; sie bauten ein zweistufiges Trainingslager. Zuerst brachten sie dem Roboter das „Sehen“ bei, indem sie sein Sprachgehirn über ein Übersetzermodul namens Q-Former mit einem spezialisierten Kameraauge (einem Vision Encoder) verbanden. Dies ermöglichte es dem Roboter zu verstehen, dass ein Bild einer Vase mit dem Wort „Vase“ zusammenhängt.
Sob>em der Roboter die Verbindung zwischen Bildern und Wörtern verstehen konnte, begann die zweite Phase: das Lernen der Bewegung. Das Team fütterte das System mit tausenden Beispielen perfekter Navigationspfade, die von einem „Experten“ (einem Computerprogramm, das niemals Fehler macht) zurückgelegt wurden. Der Roboter lernte, sich die letzten fünf Aufnahmen des Raums anzusehen, die Anweisung zu lesen und dann – entscheidend – nachzudenken, bevor er handelt. Anstatt einfach nur „links abbiegen“ herauszubrüllen, wurde das Modell darauf trainiert, zuerst einen kleinen Text zur Begründung zu generieren, wie etwa ein Mensch, der sagt: „Okay, ich sehe die Küche auf meiner linken Seite, also sollte ich nach links abbiegen“, bevor es die Aktion vollzieht. Sie testeten dieses System auf 500 verborgenen Testpfaden, bei denen dem Roboter die korrekte Historie dessen gegeben wurde, was er gesehen hatte, und er aufgefordert wurde, den nächsten Schritt vorherzusagen. Die Ergebnisse waren vielversprechend: In der neuesten Version (V9) stimmte der Roboter in 62,29 % der Fälle mit der Aktion des Experten überein und gab fast immer eine nicht-leere Antwort (100 % der Zeit). Die Autoren weisen jedoch vorsichtig darauf hin, dass dies ein „Teacher-Forced“-Test ist. Es ist wie ein Schüler, der einen Multiple-Choice-Test schreibt, bei dem der Lehrer bei jedem Schritt die richtige Antwort vorhält. Der Roboter wurde noch nicht getestet, ob er sich erholen kann, wenn er einen Fehler macht, oder ob er erfolgreich ein Ziel in einer echten, unordentlichen Umgebung ohne Hilfe erreichen kann. Während das System zeigt, dass ein großes Sprachmodell angepasst werden kann, um Navigationsanweisungen zu verstehen und mit Expertenaktionen in Einklang zu bringen, kommt das Paper zu dem Schluss, dass der wahre Test, ob dieser Roboter tatsächlich eigenständig durch ein Haus navigieren kann, noch eine Aufgabe für die Zukunft ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.