💻 computer science

LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation

Dieses Paper präsentiert „LocalNav“, ein Framework, das komplexes räumlich-semantisches Denken von führenden Vision-Language-Modellen in ein leichtgewichtiges Modell mit 4 Milliarden Parametern destilliert und dieses mittels E-RLVR und Quantisierung optimiert, wodurch eine hochperformante, latenzarme Navigation auf Objektziel-Basis auf ressourcenbeschränkten Edge-Geräten ermöglicht wird, ohne auf eine Cloud-Ausführung angewiesen zu sein.

Ursprüngliche Autoren: Nicolas Baumann, Liam Boyle, Pu Deng, Edoardo Ghignone, Boyang Sun, Marc Pollefeys, Luca Benini, Michele Magno

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nicolas Baumann, Liam Boyle, Pu Deng, Edoardo Ghignone, Boyang Sun, Marc Pollefeys, Luca Benini, Michele Magno

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein sehr intelligentes, aber auch sehr schweres Robotergehirn. Dieses Gehirn ist wie eine riesige Bibliothek voller Wissen, die komplexe Anweisungen wie „Finde die Schubladen unter der Mikrowelle“ verstehen kann. Das Problem ist: Dieses Gehirn ist so groß und schwer, dass es nicht in einen kleinen Roboter passt; es muss in einem riesigen Cloud-Computer weit weg leben. Jedes Mal, wenn der Roboter eine Entscheidung treffen muss, muss er eine Nachricht an die Cloud senden, auf eine Antwort warten und sich dann bewegen. Das ist langsam, teuer und funktioniert nicht, wenn sich der Robot an einem Ort ohne Internet befindet.

Das Paper stellt LocalNav vor, eine neue Methode, um dieses riesige Gehirn so zu schrumpfen, dass es in einen kleinen Roboter (wie einen mit einem Jetson Orin Chip) passt und völlig eigenständig arbeiten kann, ohne die Cloud zu benötigen.

So haben sie es gemacht, in drei einfachen Schritten:

1. Der „Schatten-Schüler“ (Distillation)

Stellen Sie sich das riesige Cloud-Gehirn (wie Claude oder GPT) als einen Meisterkoch vor. Der Meisterkoch kann ein perfektes, komplexes Gericht zubereiten, aber das dauert lange und benötigt eine riesige Küche. Die Forscher wollten einem Schüler-Koch (einem viel kleineren Modell mit 4 Milliarden Parametern namens Qwen3.5-4B) beibringen, dieselben Gerichte zu kochen.

Anstatt den Schüler zu zwingen, Millionen von Kochbüchern zu lesen, zeigten sie dem Schüler etwa 500 Beispiele, in denen der Meisterkoch Navigationsrätsel gelöst hat. Sie sagten: „Beobachte, wie der Meisterkoch denkt: ‚Ich sehe eine Mikrowelle, also müssen die Schubladen darunter sein.‘“ Durch das Kopieren dieser spezifischen Beispiele lernte der Schüler-Koch, genauso gut zu navigieren wie der Meisterkoch, aber mit einem Gehirn, das klein genug ist, um in einen Rucksack zu passen.

Das Ergebnis: Das kleine Robotergehirn erreichte eine Erfolgsquote von 34,5 %, was sehr nah an den 39,7 % des riesigen Cloud-Gehirns liegt.

2. Der „Coach für Kürze“ (E-RLVR)

Es gab jedoch einen Haken: Der Schüler-Koch war etwas zu geschwätzig. Wenn man ihn fragte, die Schubladen zu finden, sagte der Meisterkoch vielleicht: „Ich sehe ein silbernes Gerät, das wie eine Mikrowelle aussieht, und ich erinnere mich, dass Schubladen normalerweise unter Mikrowellen sind, also werde ich dorthin gehen.“ Das sind viele Worte zum Tippen! Für einen Roboter mit begrenzter Akkulaufzeit und Rechenleistung dauert das Tippen all dieser Wörter zu lange.

Um dies zu beheben, nutzten die Forscher eine Technik namens E-RLVR (Embodied Reinforcement Learning from Verifiable Rewards). Stellen Sie sich einen strengen Coach vor, der den Schüler-Roboter beobachtet.

Wenn der Roboter zu lange braucht, um zu antworten, oder zu viele Wörter verwendet, gibt der Coach eine „schlechte Note“.
Wenn der Roboter das Objekt schnell findet und nur wenige Wörter sagt wie: „Schubladen gefunden. Fertig!“, gibt der Coach einen „Goldstern“.

Der Roboter lernte, zu „handeln“ statt zu „reden“. Er fand heraus, wie er den Job mit so wenig Worten wie möglich erledigt. Dies senkte die Zeit, die er zum Denken und Sprechen benötigte, um 71,8 %.

3. Der „Kompakte Anzug“ (Quantization)

Um den Roboter schließlich noch schneller zu machen, steckten sie das Gehirn in einen „kompakten Anzug“. Dies ist ein technischer Trick namens Quantisierung, was vergleichbar ist mit dem Komprimieren eines hochauflösenden Fotos in eine kleinere Dateigröße, ohne die wichtigen Details zu verlieren. Dies ließ das Gehirn des Roboters auf seiner kleinen Hardware noch schneller laufen.

Das Endergebnis

Durch die Kombination dieser drei Tricks:

Vom Meister lernen (Distillation),
Lernen, prägnant zu sein (E-RLVR), und
Das Gehirn komprimieren (Quantization),

erschufen die Forscher einen Roboter, der komplexe Anweisungen wie „Finde die Person, die am Tisch sitzt“ verstehen und eine echte Wohnung völlig eigenständig navigieren kann, ohne das Internet zu benötigen.

In ihrem Praxistest schickten sie einen handgehaltenen Roboter in eine Wohnung mit vier verschiedenen Missionen: finde ein Sofa, ein Klavier, eine Badewanne und eine Person. Der Roboter konnte erfolgreich eine mentale Karte der Räume erstellen, die Objekte finden und genau dort anhalten, wo er musste, was bewies, dass ein kleines, lokales Gehirn die Arbeit eines riesigen Cloud-Gehirns leisten kann.

Kurz gesagt: Sie nahmen ein superintelligentes, aber langsames Cloud-Gehirn, brachten einem kleinen lokalen Gehirn bei, wie es zu denken, lehrten das kleine Gehirn, nicht so viel zu reden, und pressten es in ein winziges Paket. Jetzt kann der Roboter direkt auf dem Gerät schnell denken und sich bewegen.

Technisches Resümee: LocalNav

Problemstellung

Vision-Language Models (VLMs) haben die verkörperte Navigation revolutioniert, indem sie eine Open-Vocabulary Object Goal Navigation (ObjectNav) ermöglichen, die es Agenten erlaubt, spezifische, semantisch komplexe Ziele (z. B. „Schubladen unter der Mikrowelle“) zu lokalisieren, anstatt nur generische Kategorien zu finden. Es besteht jedoch ein kritischer Flaschenhals: State-of-the-Art (SotA) VLMs sind für die lokale Ausführung auf ressourcenbeschränkter Roboterhardware (z. B. eingebettete GPUs wie der Jetson Orin) rechentechnisch zu aufwendig. Folglich sind diese Systeme typischerweise auf eine Cloud-Ausführung angewiesen, was Netzwerklatenzen und Abhängigkeiten einführt, die eine niederlätzige, Echtzeit-Robotersteuerung behindern.

Bestehende Ansätze stehen vor einem Dilektoma:

Low-Level Action Prediction (VLAs): Diese Modelle sagen diskrete Aktionen direkt voraus, erfordern jedoch eine kontinuierliche Inferenz (5–10 Hz), was eine schwere Rechenlast darstellt, die auf Edge-Geräten schwer aufrechtzuerhalten ist.
High-Level Decision-Making: Diese Systeme nutzen VLMs spärlich für abstraktes Denken (z. B. über Scene Graphs), während sie die Low-Level-Steuerung an dedizierte Policies delegieren. Während dies die Latenzanforderungen lockert, verlassen sich SotA-Implementierungen auf massive, Cloud-gebundene Frontier-Modelle, wodurch eine vollständig lokale Bereitstellung scheitert.

Die Herausforderung besteht darin, eine SotA Open-Vocabulary ObjectNav-Performance auf lokaler, Edge-fähiger Hardware zu erreichen, ohne die Denkfähigkeiten großer Frontier-Modelle zu opfern.

Methodik

Die Autoren schlagen LocalNav vor, ein auf die Bereitstellung fokussiertes Framework, das eine modulare, auf Scene Graphs (SG)-basierte Architektur mit einer zweistufigen Destillations- und Optimierungspipeline integriert.

1. Systemarchitektur

Das System entkoppelt das High-Level-Reasoning von der Low-Level-Steuerung:

Szenenrepräsentation: Ein expliziter, online aktualisierter Scene Graph (SG), der aus RGB-D-Daten und Odometrie konstruiert wird. Er kodiert Räume, Objekte und Explorations-Frontiers.
Prompting-Strategie: Das VLM erhält einen multimodalen Prompt, bestehend aus:
- Text: Eine Liste des aktuellen Standorts des Agenten, erkundeter/unerforschter Räume sowie beobachteter Objekte mit IDs.
- Bild: Der aktuelle RGB-Frame, ergänzt durch projizierte IDs sichtbarer SG-Objekte (inspiriert durch „Set-of-Marks“-Prompting), um symbolische IDs in visuellen Regionen zu verankern.
Aktionsraum: Das VLM wählt aus vier High-Level-Aktionen: navigate(object_id), explore(room_id), find_new_rooms() oder done(). Eine dedizierte Low-Level PointGoal-Policy führt die physische Bewegung aus.

2. Trainingspipeline

Um die lokale Ausführung zu ermöglichen, setzen die Autoren eine zweistufige Trainingsstrategie auf einem leichtgewichtigen Qwen3.5-4B Modell ein:

Stufe I: Supervised Fine-Tuning (SFT) via Destillation:
- Teacher-Modelle: Reasoning-Trajektorien wurden von Cloud-basierten Frontier-Modellen (Gemini 3.1 Pro, GPT-5.4 und Claude Sonnet 4.6) aufgezeichnet, die ObjectNav in einer Simulation durchführen.
- Dateneffizienz: Nur erfolgreiche Trajektorien (ca. 500 Samples pro Teacher) werden verwendet, um das Student-Modell feinabzustimmen. Dies vermeidet die Notwendigkeit von Millionen von Samples oder komplexer Alignment im Feature-Raum.
- Ziel: Übertragung komplexer räumlich-semantischer Denkfähigkeiten von den großen Cloud-Modellen auf das 4B-Parameter lokale Modell.
Stufe II: Embodied Reinforcement Learning from Verifiable Rewards (E-RLVR):
- Zielsetzung: Adressierung des Latenz-Engpasses, der durch die ausführliche autoregressive Token-Generierung (TG) verursacht wird.
- Mechanismus: Das Modell wird in einer Closed-Loop-Simulation mittels Group Relative Policy Optimization (GRPO) mit Low Rank Adaptation (LoRA) trainiert.
- Belohnungsfunktion ( $R_{tot}$ ): Eine Multi-Objective-Belohnung kombiniert:
  - $R_{done}$ : Erfolg/Misserfolg beim Erreichen des Ziels.
  - $R_{nav}$ : Fortschritt in Richtung des Ziels.
  - $R_{exp}$ : Entdeckung neuer Knoten oder des Ziels im SG.
  - $R_{brev}$ : Token-Brevity. Eine lineare Belohnung, die lange Ausgabensequenzen bestraft und das Modell dazu anregt, sein Reasoning zu komprimieren, ohne die Navigationsgenauigkeit zu verlieren.
- Ergebnis: Das Modell lernt, effizient zu „denken“, indem es die Länge der Ausgabetoken reduziert, während es die Aufgabenleistung beibehält.

3. Deployment-Optimierung

Das fertige System wird auf einem Jetson Orin AGX mittels llama.cpp bereitgestellt. Die Autoren wenden Quantisierung (speziell das IQ4-XS Format) an, um die autoregressive Dekodierungsphase, die den Großteil der Laufzeit beansprucht, weiter zu beschleunigen.

Kernbeiträge

Lokale VLM-Optimierung: Es wurde demonstriert, dass ein 4B-Parameter VLM für ObjectNav optimiert werden kann, wobei es eine Erfolgsrate (SR) von 34,5 % auf dem HM3D OVON Benchmark erreicht und damit die Lücke zu Cloud-basierten Modellen (39,7 % SR) verringert.
Destillations-Analyse: Gezeigt wurde, dass die Destillation von Reasoning aus Frontier-Modellen unter Verwendung eines minimalen Datensatzes (~500 Trajektorien) ausreicht, um komplexe Navigationsfähigkeiten zu übertragen, wodurch riesige SFT-Datensätze vermieden werden.
E-RLVR Trainingsstrategie: Einführung eines Reinforcement-Learning-Ansatzes, der die Länge der Token-Generierung explizit regularisiert. Dies reduzierte die durchschnittliche Ausgabetoken-Länge um 72,1 % und die Inferenzlatenz um 71,8 %, ohne die Navigationsleistung signifikant zu beeinträchtigen.
Performante Systemarchitektur: Aufbau eines modularen, SG-basierten Navigationssystems, das den Austausch von VLMs ermöglicht und eine SotA-Performance (39,7 % SR) mit Cloud-Modellen sowie eine praktikable lokale Bereitstellung erreicht.

Ergebnisse

Benchmark-Performance:
- Cloud-Baseline (Claude Sonnet 4.6): 39,7 % SR, 19,7 % SPL.
- Lokaler Student (Qwen3.5-4B + SFT + E-RLVR): 34,5 % SR, 17,2 % SPL.
- Das lokale Modell weist eine Performance-Differenz von nur 5,2 Prozentpunkten in der SR im Vergleich zum Cloud-Frontier-Modell auf.
Effizienzgewinne:
- Token-Reduktion: E-RLVR reduzierte die durchschnittlichen Ausgabetoken pro Abfrage von ~535 auf ~149 (eine Reduktion um 72,1 %).
- Latenz: In Kombination mit Quantisierung erreichte das System eine Reduktion der gesamten Inferenzlatenz pro Episode um 82,8 % (von 305,2 s auf 52,5 s auf Jetson Orin).
- Abfragehäufigkeit: Die Anzahl der VLM-Abfragen pro Episode wurde von ~30 (Zero-Shot) auf ~8 (optimiert) reduziert.
Realwelt-Validierung: Das System wurde erfolgreich auf einem handgehaltenen Robotik-Gerät in einer echten Wohnung eingesetzt und absolvierte vier aufeinanderfolgende ObjectNav-Aufgaben (Finden eines Sofas, Klaviers, einer Badewanne und einer Person an einem Tisch), indem es den SG für Gedächtnis und Navigation nutzte.

Bedeutung

Das Paper behauptet, dass LocalNav ein tragfähiges Paradigma für niederlätzige, hochperformante verkörperte Intelligenz auf physischer Roboterhardware darstellt. Durch die Kombination von modularer High-Level-Entscheidungsfindung mit effizienter Destillation und Token-Regularisierung zeigen die Autoren, dass ressourcenbeschränkte Edge-Geräte komplexe Open-Vocabulary-Navigationsaufgaben ohne Abhängigkeit von Cloud-Verbindungen ausführen können. Diese Arbeit schließt die Lücke zwischen den Reasoning-Fähigkeiten von Frontier-Modellen und den praktischen Einschränkungen der On-Board-Roboter-Bereitstellung und bietet einen Weg zu wahrhaft autonomen, Open-Vocabulary-Agenten.