"Don't Do That!": Guiding Embodied Systems through Large Language Model-based Constraint Generation

Die vorgestellte Arbeit stellt STPR vor, ein Framework, das Large Language Models nutzt, um natürliche Sprachanweisungen zu vermeidenden Handlungen in ausführbare Python-Funktionen zu übersetzen und so Roboter bei der Navigation unter komplexen räumlichen und mathematischen Bedingungen präzise zu steuern.

Das Wesentliche

🤖 Der Roboter, der „Nein" sagen kann

Stell dir vor, du hast einen Putzroboter. Normalerweise weiß er nur: „Fahr von A nach B und vermeide Wände." Aber was, wenn du ihm sagst: „Fahr nicht in die Küche, wenn dort ein Hund ist" oder „Halte Abstand zum Kamin, er wird sehr heiß"?

Das ist für einen normalen Roboter wie ein Rätsel. Er hat keine Sinne dafür (keine Thermometer, keine Hundesensoren) und kann nicht „denken" wie ein Mensch. Wenn man ihm das einfach per Sprache befiehlt, passiert oft eines von zwei Dingen:

1. Der Roboter ignoriert den Befehl, weil er ihn nicht versteht.
2. Der Roboter „halluziniert" – er erfindet einen Weg, der klingt gut, aber führt ihn direkt durch die Wand oder in den Kamin.

Die Autoren dieses Papers haben eine clevere Lösung namens STPR gefunden. Man kann es sich wie einen Übersetzer und einen Sicherheitsingenieur vorstellen, die zusammenarbeiten.

🧩 Die Idee: Vom „Gedanken" zum „Code"

Statt dass der Roboter versucht, die Sprache direkt in einen Fahrplan zu verwandeln (was oft schiefgeht), nutzen sie einen Trick:

1. Der Übersetzer (Die große KI):
   Du sagst dem Roboter: „Pass auf, der Kamin strahlt Hitze aus, bleib 1 Meter weg!"
   Eine große Sprach-KI (wie ein sehr schlauer Assistent) nimmt diesen Satz und übersetzt ihn nicht in einen Fahrplan, sondern in eine kleine Computer-Formel (Python-Code).

   • Vergleich: Stell dir vor, du gibst einem Architekten eine mündliche Beschreibung eines Hauses. Anstatt das Haus direkt zu bauen, zeichnet er dir erst einen perfekten, mathematisch exakten Bauplan.

2. Der Sicherheitsingenieur (Der klassische Algorithmus):
   Dieser Code-Plan wird dann an einen sehr strengen, alten und bewährten Rechner übergeben (den sogenannten Suchalgorithmus, z. B. A* oder RRT*).
   Dieser Rechner ist nicht kreativ, aber er ist perfekt im Mathematik und im „Nicht-Verletzen-Regeln". Er nimmt den Code des Übersetzers und sagt: „Okay, hier ist eine unsichtbare Mauer um den Kamin. Ich suche jetzt den besten Weg, der diese Mauer nicht berührt."

🎯 Warum ist das so genial?

Das Paper vergleicht das mit zwei Extremen:

• Nur KI: Wie ein Mensch, der versucht, im Dunkeln zu laufen. Er könnte denken, er sieht eine Tür, aber es ist nur ein Schatten. Er läuft gegen die Wand.
• Nur alte Roboter: Wie ein Roboter, der nur weiß, wo Mauern sind, aber nicht weiß, dass er den Hund nicht berühren darf.

STPR ist die perfekte Mischung:

• Die KI ist gut darin, die menschliche Sprache zu verstehen und die „unsichtbaren Regeln" (Hitze, Hunde, Kameras) in harte Fakten zu verwandeln.
• Der klassische Rechner ist gut darin, diese Fakten zu nutzen und einen Weg zu finden, der zu 100 % sicher ist.

🌟 Die Ergebnisse im Test

Die Forscher haben das in einer virtuellen Welt (Gazebo) getestet, die wie ein echtes Haus aussieht. Sie haben vier schwierige Szenarien durchgespielt:

1. Die Überwachungskamera: Der Roboter darf nicht in den Sichtbereich einer Kamera kommen.
   • Ergebnis: Die KI schrieb eine Formel für den „Sichtkegel". Der Roboter umrundete ihn geschickt.
2. Das unsichtbare Loch: Ein Loch im Boden, das man nicht sieht (wie eine Teppichfalle).
   • Ergebnis: Der Roboter fiel nicht hinein, weil die KI ihm sagte: „Hier ist eine Zone, die du meiden musst."
3. Das Tier in der Küche: Wenn ein Tier da ist, darf der Roboter nicht rein.
   • Ergebnis: Der Roboter blieb draußen, obwohl die Tür offen war. Er „verstand" die Logik.
4. Der heiße Kamin: Der Roboter musste Abstand halten, basierend auf der Hitze.
   • Ergebnis: Er fuhr einen Umweg, um nicht zu verbrennen.

💡 Das Wichtigste für dich

• Es funktioniert auch mit kleinen Computern: Man braucht keine riesigen, teuren Super-Computer. Selbst kleinere KI-Modelle, die gut im Programmieren sind, können diese Übersetzungsarbeit leisten.
• Es ist schnell: Der Roboter braucht nur wenige Sekunden, um den Befehl zu verstehen, den Code zu schreiben und den Weg zu planen.
• Keine Halluzinationen: Da der eigentliche Fahrplan von einem strengen Mathematiker (dem Algorithmus) erstellt wird, gibt es keine „Erfindungen". Der Roboter hält sich zu 100 % an die Regeln.

Zusammengefasst:
Die Forscher haben einen Weg gefunden, wie Roboter menschliche Warnungen („Tu das nicht!") nicht nur hören, sondern sie in eine unverrückbare mathematische Regel verwandeln können. So werden Roboter sicherer, intelligenter und gehorsamer, ohne dass sie „verrückt" werden.

Technische Zusammenfassung

1. Problemstellung

Die autonome Navigation von Robotern in der realen Welt erfordert nicht nur das Erreichen eines Ziels, sondern auch die Einhaltung komplexer, oft informeller menschlicher Anweisungen. Diese Anweisungen können räumliche, mathematische oder konditionale Einschränkungen enthalten (z. B. „Halte Abstand zum Kamin" oder „Betritt die Küche nicht, wenn ein Tier anwesend ist").

Das zentrale Problem besteht darin, diese natürlichen Sprachanweisungen in eine für Planungsalgorithmen verarbeitbare, formale Repräsentation zu übersetzen.

• Herausforderungen bei reinen LLM-Ansätzen: Direkte Planung durch Large Language Models (LLMs) führt häufig zu Halluzinationen (plausible, aber physikalisch unmögliche Pläne), mangelnder Interpretierbarkeit und unzuverlässiger Einhaltung von Bedingungen (teilweise Compliance).
• Herausforderungen bei reinen klassischen Ansätzen: Traditionelle Navigationsalgorithmen (wie A* oder RRT*) können natürliche Sprache nicht verstehen und ignorieren kontextuelle oder semantische Einschränkungen, die nicht in Sensordaten kodiert sind.

2. Methodik: STPR (Safe Trajectory Planning with Restrictions)

Die Autoren stellen STPR vor, ein neuro-symbolisches Framework, das die Stärken von LLMs (Sprachverständnis und Code-Generierung) mit der mathematischen Strenge klassischer Suchalgorithmen kombiniert. Statt einen Pfad direkt zu generieren, übersetzt STPR die Einschränkung in eine ausführbare Python-Funktion.

Der Prozess gliedert sich in drei Hauptschritte:

A. LLM-basierte Constraint-Code-Generierung

Ein sorgfältig gestalteter Prompt-Template zwingt das LLM, eine selbstständige Python-Funktion zu generieren, anstatt freitextliche Pläne zu liefern.

• Eingabe: Natürlichsprachliche Anweisung (z. B. „Vermeide die Hitze des Kamins") + Umgebungsparameter (Koordinaten, physikalische Werte).
• Ausgabe: Eine boolesche Funktion f(x, y, z) -> True/False, die prüft, ob ein Punkt im Raum eine Einschränkung verletzt.
• Vorteil: Durch die Nutzung der starken Code-Trainingsdaten von LLMs werden syntaktisch korrekte, interpretierbare und präzise mathematische Modelle (z. B. für Hitzestrahlung oder Sichtfelder) erzeugt, was Halluzinationen minimiert.

B. Punktwolken-Sampling (Rejection Sampling)

Die generierten Python-Funktionen werden genutzt, um die Umgebung als Punktwolke zu repräsentieren.

• Verfahren: Es wird eine Form des Rejection Sampling angewendet. Für jede Einschränkung wird eine Punktwolke generiert, die die verbotenen Bereiche (Forbidden Regions) markiert.
• Optimierung: Um ineffizientes Sampling zu vermeiden, fragt das System das LLM zusätzlich nach einer über-approximierenden Begrenzungskiste (Bounding Box) für die Einschränkung, aus der dann Punkte gesampelt und durch die Python-Funktion gefiltert werden.
• Struktur: Die Punkte werden in einem kd-Baum gespeichert, um schnelle Nachbarschaftsabfragen während der Pfadplanung zu ermöglichen.

C. Eingeschränkte Pfadplanung

Ein klassischer Suchalgorithmus (in der Arbeit A* für diskrete Gitter und RRT* für kontinuierliche Räume) plant den Pfad innerhalb dieser eingeschränkten Zustandsraumdarstellung.

• Kollisionsprüfung: Jeder Knoten im Suchbaum wird gegen die generierte Punktwolke geprüft. Liegt ein Punkt innerhalb des Radius des Roboters zu einem verbotenen Punkt, wird der Knoten verworfen.
• Garantien: Da die Entscheidung über die Gültigkeit des Pfades beim Suchalgorithmus liegt, bleiben die theoretischen Garantien von A* (Optimalität, Vollständigkeit) und RRT* (asymptotische Optimalität, probabilistische Vollständigkeit) erhalten.

3. Wichtige Beiträge

1. Neuro-symbolischer Ansatz: STPR trennt die Aufgaben: LLMs übersetzen Sprache in Code (Constraint-Generierung), klassische Algorithmen treffen die Entscheidungen (Pfadplanung). Dies umgeht die Schwächen von reinen LLM-Planern.
2. Code als Schnittstelle: Die Nutzung von Python-Funktionen als Zwischenschicht ermöglicht es, komplexe physikalische und mathematische Modelle (z. B. Hitzedissipation, Sichtkegel) präzise zu kodieren, ohne dass das LLM den gesamten Plan berechnen muss.
3. Kompatibilität mit kleinen Modellen: Die Studie zeigt, dass STPR auch mit kleineren, spezialisierten Code-LLMs (z. B. Granite-34B-Code) funktioniert, was die Rechenkosten senkt und die Anwendbarkeit erhöht.
4. Kein Feinabstimmung nötig: Das System funktioniert robust mit Standard-Inferenz-Einstellungen und erfordert kein aufwendiges Fine-Tuning des LLMs.

4. Ergebnisse und Evaluation

Die Evaluation fand in einer simulierten Gazebo-Umgebung (ROS) mit vier Szenarien statt:

• S1: Vermeidung eines Sicherheitskameras (Sichtfeld-Einschränkung).
• S2: Vermeidung eines unsichtbaren Lochs (vertikale Gefahr).
• S3: Konditionale Regel („Keine Küche bei Tier").
• S4: Physikalische Hitzevermeidung am Kamin.

Ergebnisse im Vergleich:

• Vergleich mit reinen Suchalgorithmen (A/RRT ohne STPR):** Diese ignorierten alle Einschränkungen und generierten ungültige Pfade (0% Erfolg).
• Vergleich mit naiven VLM-Planern (GPT-4o/o3-mini): Diese zeigten hohe Raten an Halluzinationen und Verletzungen von Einschränkungen (Erfolgsraten zwischen 0% und 10%).
• STPR-Ergebnisse:
  • Erfolgsrate: 100% Compliance in allen Szenarien. Das System fand entweder einen gültigen Pfad oder bewies korrekt, dass keiner existiert.
  • Qualität: Die Pfade waren optimal (bei A*) oder asymptotisch optimal (bei RRT*).
  • Laufzeit: Die Gesamtlaufzeit lag zwischen 12 und 18 Sekunden (inkl. Prompting und Sampling), was für viele Anwendungen akzeptabel ist. Die reine Planung war sehr schnell.
  • Modell-Variationen: Auch kleinere Modelle (Llama-3.1-70B, Granite-34B) erreichten hohe Zuverlässigkeit, während sehr kleine Modelle (1B) scheiterten.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Integration von LLMs in die Roboternavigation am zuverlässigsten funktioniert, wenn sie als Constraint-Generatoren und nicht als direkte Planer eingesetzt werden.

• Sicherheit: Durch die Trennung von Sprachverständnis und mathematischer Planung werden Sicherheitsgarantien gewahrt, die bei reinen LLM-Ansätzen fehlen.
• Flexibilität: Das System kann dynamisch neue, komplexe Regeln (z. B. physikalische Gesetze) integrieren, ohne das Robotersystem neu zu trainieren.
• Praktische Anwendbarkeit: STPR ist kompatibel mit bestehenden SLAM-Pipelines (z. B. ROS SLAM Toolbox) und kann auch auf ressourcenbeschränkten Hardware-Plattformen mit kleineren Modellen eingesetzt werden.

Zusammenfassend bietet STPR einen robusten Weg, um die semantische Flexibilität von LLMs mit der mathematischen Sicherheit klassischer Robotik zu vereinen, und adressiert damit ein zentrales Hindernis für den Einsatz von autonomen Robotern in komplexen, menschlichen Umgebungen.