Stellen Sie sich eine Welt vor, in der Ihre Drohne nicht nur ein ferngesteuertes Spielzeug ist, sondern ein intelligenter Entdecker, der Ihre Sprachbefehle wie „Fliege zum roten Schuppen hinter der großen Eiche“ verstehen kann. Dies ist der Traum der Vision-Language Navigation. Lange Zeit haben Wissenschaftler versucht, Robotern beizubringen, Wörtern zuzuhören und Bilder zu betrachten, um herauszufinden, wohin sie fliegen sollen. Aber es gibt einen Haken: Das Denken und die Bewegung finden in sehr unterschiedlichen Geschwindigkeiten statt. Ein intelligentes Computergehirn (wie ein großes Sprachmodell) braucht vielleicht eine Sekunde, um zu verstehen, was „roter Schuppen“ bedeutet, aber eine Drohne, die durch die Luft fliegt, muss hunderte Male pro Sekunde Sicherheitsentscheidungen treffen, um nicht gegen einen Ast zu krachen. Wenn die Drohne jedes Mal darauf wartet, dass das Gehirn nachdenkt, wird sie abstürzen. Die große Frage, die sich Forscher stellen: Wie lassen wir ein langsames, kluges Gehirn Wegbeschreibungen geben, ohne dass der schnelle, fliegende Körper Panik bekommt oder abstürzt?

Dieses Paper stellt eine clevere Lösung namens Fly0 vor, die wie ein Übersetzer zwischen einem langsamen, nachdenklichen Gehirn und einem schnellen, reaktionsfähigen Piloten fungiert. Anstatt das kluge Gehirn zu bitten, die Drohne jede Sekunde zu steuern, lässt Fly0 das Gehirn seine Hausaufgaben nur gelegentlich machen – etwa einmal alle zwei Sekunden –, um einen stabilen, unsichtbaren „Zielanker“ in der realen Welt zu setzen. Denken Sie an ein Spiel wie „Murmelwasser“ (Marco Polo). Das kluge Gehirn (der Rufer) ruft einen Ort aus: „Du bist in der Nähe des großen Baumes!“ und dann beginnt die Drohne (der Schwimmer), in Richtung dieses Punktes zu schwimmen. Selbst wenn der Baum hinter einem Busch verborgen wird oder die Kamera ihn für einen Moment aus den Augen verliert, gerät die Drohne nicht in Panik. Sie schwimmt weiter in Richtung des unsichtbaren Ankers, den das Gehirn zuvor gesetzt hat, und nutzt dabei ihre eigenen schnellen Sensoren, um Hindernissen wie Ästen und Felsen auszuweichen. Das Gehirn muss nur dann wieder eingreifen, wenn die Drohne zu weit vom Kurs abkommt oder sich das Ziel ändert.

Die Forscher testeten diese Idee sowohl in hochmodernen Computersimulationen als auch bei echten Flügen mit tatsächlichen Drohnen. Sie fanden heraus, dass dieser „Setz es und vergiss es“-Ansatz viel besser funktioniert, als das kluge Gehirn direkt versuchen zu lassen, die Drohne zu steuern. In ihren Tests half Fly0 den Drohnen etwa 23,7 % häufiger, ihre Ziele in Simulationen zu erreichen, und 21,4 % häufiger im wirklichen Leben, verglichen mit anderen intelligenten Methoden. Es stürzte auch seltener ab und machte weniger Fehler, wenn das Ziel verborgen war oder verwirrende Objekte in der Nähe waren. Das Paper legt nahe, dass das Geheimnis nicht nur in einem klügeren Gehirn liegt, sondern darin, eine bessere Brücke zwischen den langsamen Gedanken des Gehirns und den schnellen Bewegungen der Drohne zu bauen. Indem man das „Denken“ und das „Fliegen“ getrennt, aber dennoch verbunden hält, können Drohnen komplexe Anweisungen endlich verstehen, ohne ihren Verstand – oder ihre Flügel – zu verlieren.

Das Problem: Ein Gehirn, das zu langsam für einen schnellen Körper ist

Um zu verstehen, warum Fly0 besonders ist, muss man sich die zwei Hauptaufgaben der Drohne vorstellen: Denken und Fliegen.

Der Teil des „Denkens“ wird von einem massiven KI-Modell (einem sogenannten MLLM) erledigt. Dieses Modell ist wie ein genialer Bibliothekar, der eine Karte lesen, einen Satz wie „fliege vor den Baum“ verstehen und auf ein Bild zeigen kann. Aber dieser Bibliothekar ist langsam. Es dauert Zeit, zu lesen, nachzudenken und eine Antwort aufzuschreiben.

Der Teil des „Fliegens“ wird vom Flugcontroller der Drohne erledigt. Dies ist wie ein reflexiver Athlet, der die Flügel und Motoren 50 bis 100 Mal pro Sekunde anpassen muss, um in der Luft zu bleiben und nicht gegen Dinge zu prallen.

In älteren Methoden versuchten Wissenschaftler, den Bibliothekar die Drohne steuern zu lassen. Sie baten das langsame Gehirn, jedes Mal, wenn sich die Drohne bewegt, einen neuen Steuerbefehl zu geben. Dies verursachte drei große Probleme:

1. Die Geschwindigkeits-Diskrepanz: Die Drohne wartete darauf, dass das Gehirn nachdachte, und bis die Antwort kam, war die Drohne bereits abgetrieben oder stand kurz davor, gegen eine Wand zu prallen.
2. Die Gedächtnislücke: Wenn die Drohne den Kopf drehte und das Ziel (wie ein Baum) aus dem Sichtfeld der Kamera verschwand, vergaß das langsame Gehirn, wo es war. Die Drohne stoppte oder flog verwirrt im Kreis.
3. Das Präzisionsproblem: Das Gehirn mag sagen „fliege zum Baum“, aber die Drohne muss genau wissen, wo sie im 3D-Raum stoppen muss, damit sie nicht gegen den Stamm kracht. Eine einfache Textantwort ist für den Hochgeschwindigkeitsflug nicht präzise genug.

Die Lösung: Der persistente Anker

Fly0 löst dies, indem es die Regeln des Spiels ändert. Anstatt das Gehirn zu bitten zu steuern, bittet es das Gehirn, ein Ziel zu setzen und sich dann zurückzuziehen.

So funktioniert Fly-0 Schritt für Schritt:

1. Der „Vertrag“ (Strukturierte Ausgabe): Wenn die Drohne ein Bild und einen Befehl (z. B. „Fliege vor den Strommast auf der rechten Seite“) an das Gehirn sendet, rät das Gehirn nicht einfach. Es folgt einem strengen Regelwerk. Es muss ein spezifisches Paket an Informationen zurückgeben: einen Punkt im Bild, ein Rechteck um das Objekt, ein Beziehungswort (wie „vor“ oder „über“) und einen Konfidenzwert (wie sicher es sich ist). Dies verhindert, dass das Gehirn vage oder unordentliche Antworten gibt.

2. Der „3D-Lift“ (Unsicherheitsscheck): Die Antwort des Gehirns ist nur ein 2D-Punkt auf einem Bild. Fly0 nimmt diesen Punkt und nutzt Tiefensensoren (wie eine 3D-Kamera), um ihn in die reale Welt zu „heben“. Aber hier liegt der kluge Teil: Es prüft auf Fehler. Wenn die Tiefendaten instabil sind oder das Objekt verborgen ist, sagt Fly0: „Ich vertraue diesem Wert nicht“ und ignoriert die schlechten Daten. Es akzeptiert das Ziel nur, wenn es solide ist.

3. Die „Freiraum“-Anpassung: Wenn der Befehl „fliege vor den Baum“ lautet, zeigt das Gehirn vielleicht auf den Baumstamm. Aber die Drohne kann nicht in den Baum fliegen. Fly0 hat eine Regel, die besagt: „Okay, der Baum ist hier, aber der ‚Vorne‘-Punkt ist tatsächlich 2 Meter vor ihm, in der leeren Luft.“ Es verschiebt das Ziel an einen sicheren, offenen Ort, an dem die Drohne tatsächlich schweben kann.

4. Der „Persistente Anker“ (Der magische Trick): Sobald das Ziel gesetzt ist, speichert Fly0 es als persistenten 3D-Anker. Dies ist wie eine GPS-Koordinate, die im Speicher der Drohne bleibt, selbst wenn die Kamera den Baum nicht mehr sehen kann. Die schnelle Flugsteuerung der Drohne übernimmt nun das Kommando. Sie ignoriert das langsame Gehirn und fliegt einfach auf diesen gespeicherten Anker zu, wobei sie ihre eigenen schnellen Sensoren nutzt, um Hindernissen auszuweichen. Das Gehirn muss nur wieder aufwachen, wenn die Drohne dem Ziel nahe kommt oder sich das Ziel ändert.

Was die Ergebnisse zeigen

Die Forscher testeten dieses System auf zwei Arten: in einer superrealistischen Computersimulation und im echten Leben mit tatsächlichen Drohnen, die in Parks und auf Campusgeländen flogen.

• Erfolgsraten: In den Computertests war Fly0 23,7 % erfolgreicher als die nächstbeste Methode. Im wirklichen Leben war es 21,4 % erfolgreicher. Das ist ein riesiger Sprung.
• Sicherheit: Die Drohnen stürzten seltener ab. Die Kollisionsrate sank signifikant, was zeigt, dass die „Anker“-Methode die Drohne sicherer hält, als wenn man das langsame Gehirn direkt steuern ließe.
• Umgang mit Verwirrung: Wenn es mehrere ähnliche Bäume gab (ein „Wiederholungs-Objekt-Problem“) oder wenn das Ziel hinter Blättern verborgen war, bewältigte Fly0 dies viel besser. Da es den Anker im Gedächtnis behielt, wurde es nicht verwirrt, wenn die Sicht blockiert war.
• Geschwindigkeit: Das System funktioniert selbst dann, wenn die Verbindung zum „Gehirn“ (das auf einem leistungsstarken Server lief) langsam oder verzögert ist. Die Drohne flog weiterhin reibungslos weiter, da sie nicht jede Sekunde nach neuen Richtungen fragen musste.

Was Fly0 NICHT ist

Es ist wichtig anzumerken, was dieses Paper darüber sagt, was Fly0 nicht ist.

• Es ist kein neuer Flugcontroller. Die Drohne verwendet weiterhin Standard-, bewährte Flugsoftware (Ego-Planner), um sich tatsächlich zu bewegen.
• Es ist kein neues KI-Gehirn. Sie haben bestehende große Sprachmodelle (wie Qwen2.5VL) verwendet und kein neues erfunden.
• Es ist keine magische Lösung für alles. Wenn die Drohne in einem sehr dichten Wald ohne freien Raum ist oder wenn die Anweisungen unglaublich komplex und verschachtelt sind (wie „der Baum hinter dem Schild, das links neben der Lampe steht“), kann das System immer noch verwirrt werden. Das Paper gibt zu, dass das Verständnis komplexer räumlicher Beziehungen nach wie vor ein schwieriges Problem ist.

Das Fazit

Die wichtigste Lektion von Fly0 ist, dass wir, um Drohnen intelligent zu machen, nicht nur klügere Gehirne brauchen. Wir brauchen bessere Schnittstellen – bessere Wege, um den langsamen, nachdenklichen Teil des Systems mit dem schnellen, reaktionsfähigen Teil zu verbinden. Indem man die KI als „Zielsetzer“ statt als „Steurer“ behandelt und der Drohne einen stabilen Gedächtnisanker gibt, an dem sie sich festhalten kann, können wir den autonomen Flug sicherer, zuverlässiger und fähig machen, die chaotische, reale Welt zu verstehen. Das Paper legt nahe, dass diese Trennung der Aufgaben der Schlüssel zur Freisetzung der nächsten Generation fliegender Roboter ist.