🤖 AI

2.5-D Decomposition for LLM-Based Spatial Construction

Dieser Beitrag stellt eine neuro-symbolische Pipeline vor, die eine 2,5-D-Zerlegung nutzt, um die räumliche Konstruktionsgenauigkeit auf Basis von LLMs erheblich zu verbessern, indem das Modell auf 2D-Planung beschränkt wird, während ein deterministischer Executor vertikale Platzierungen übernimmt, wodurch eine nahezu maximale Leistung auf Benchmarks erreicht und eine erfolgreiche Übertragung auf Edge-Hardware sowie diverse kollaborative Aufgaben demonstriert wird.

Ursprüngliche Autoren: Paul Whitten, Li-Jen Chen, Sharath Baddam

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Paul Whitten, Li-Jen Chen, Sharath Baddam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas ungeschickten Roboter beizubringen, wie man aus bunten Blöcken einen Turm baut, basierend auf einer mündlichen Anweisung wie: „Bauen Sie eine T-Form und fügen Sie oben einen lila Block hinzu."

Das Problem ist, dass das Gehirn des Roboters (ein Large Language Model, oder LLM) zwar hervorragend darin ist, die Idee der Form zu verstehen, aber schrecklich darin, die Mathematik dafür zu berechnen, wo die Blöcke im 3D-Raum platziert werden müssen. Es vergisst oft, dass die Schwerkraft existiert, und stapelt Blöcke in der Luft oder zählt falsch, wie hoch ein Stapel sein sollte.

Dieser Artikel stellt eine clevere Lösung namens 2.5-D-Zerlegung vor. So funktioniert sie, unter Verwendung einfacher Analogien:

Das Problem: Der „ungeschickte Architekt"

Stellen Sie sich das LLM als einen brillanten Architekten vor, der eine perfekte 2D-Grundrisszeichnung auf ein Stück Papier zeichnen kann. Er weiß genau, wo die Wände im Grundriss hingehören. Wenn Sie diesen Architekten jedoch bitten, auch die exakte Höhe jedes einzelnen Ziegels in einem 3D-Turm zu berechnen, fängt er an, Fehler zu machen. Er könnte sagen: „Legen Sie einen Ziegel hierhin", ohne zu bemerken, dass bereits ein Ziegel darunter liegt, oder er stapelt sie zu hoch.

Die Lösung: Der „schwerkraftsichere Polier"

Die Autoren erkannten, dass bei vielen Bauaufgaben die Höhe eines Blocks keine freie Wahl ist; sie wird durch die Physik bestimmt. Wenn Sie auf einem ebenen Boden mit Schwerkraft bauen, muss ein neuer Block oben auf dem höchsten bereits vorhandenen Block sitzen. Die Höhe ist automatisch.

Daher teilten sie die Aufgabe in zwei Teile auf:

Der Architekt (Das LLM): Dieser Teil darf nur den 2D-Grundriss zeichnen. Er sagt: „Legen Sie einen roten Block an Position X und einen blauen Block an Position Z." Es ist ihm verboten, über die Höhe (Y) zu sprechen. Er plant nur den „Grundriss" des Gebäudes.
Der Polier (Das deterministische Programm): Dies ist ein einfaches, nicht nachdenkendes Computerprogramm. Seine einzige Aufgabe ist es, den Grundriss anzusehen und zu sagen: „Okay, Sie wollen einen Block an X und Z? Nun, die Schwerkraft sagt, er muss oben auf dem liegen, was bereits dort ist." Es berechnet die Höhe automatisch.

Indem sie die „Höhen"-Entscheidung vom ungeschickten Architekten nahmen und dem nicht nachdenkenden Polier gaben, eliminierten sie eine riesige Kategorie von Fehlern.

Der „Peephole"-Trick

Der Artikel erwähnt auch eine „Peephole-Prompt-Optimierung". Stellen Sie sich vor, der Architekt neigt zu bestimmten, vorhersehbaren Tagträumen. Wenn Sie zum Beispiel sagen „verlängern Sie das Ende", könnte der Architekt versehentlich einen Turm bauen, anstatt den Boden zu verlängern.

Die Forscher entwickelten ein „Spot-Check"-System. Bevor der Architekt den Plan zeichnet, scannt ein schneller Scanner die Anweisungen. Wenn er eine Phrase sieht, die bekanntermaßen Probleme verursacht (wie „jedes Ende"), schiebt er eine winzige, spezifische Notiz ins Ohr des Architekten: „Hey, wenn Sie 'jedes Ende' sehen, denken Sie daran, seitwärts zu erweitern, nicht nach oben." Dies wirkt wie ein Sicherheitsnetz für die bekannten Schwachstellen des Architekten.

Die Ergebnisse

Als sie dieses System testeten:

Der alte Weg: Die Verwendung nur des LLM für alles (3D-Planung) ergab eine Genauigkeit von etwa 76 % bis 90 %.
Der neue Weg: Die Verwendung der 2.5-D-Aufteilung (Architekt + Polier) steigerte die Genauigkeit auf 94,6 %.
Die Überraschung: Ein kleineres, günstigeres KI-Modell (GPT-4o-mini), das diese neue Methode verwendete, schlug tatsächlich ein viel größeres, teureres Modell (GPT-4o), das die Methode nicht verwendete.

Übertragbarkeit in die reale Welt

Der Artikel zeigte auch, dass dieser Trick nicht nur für einen bestimmten Computer gilt. Sie führten dasselbe System auf einem kleinen, leistungsstarken Computerchip (einem NVIDIA Jetson Thor) aus, der auf dem Kopf eines Roboters sitzen könnte, und es funktionierte genauso gut wie die riesigen Cloud-Computer.

Das Fazit

Die Hauptaussage ist einfach: Fordern Sie kein Sprachmodell auf, Mathematik zu betreiben, in der es schlecht ist. Wenn ein Teil einer Aufgabe durch die Naturgesetze festgelegt ist (wie die Schwerkraft, die die Höhe bestimmt), lassen Sie ein einfaches Computerprogramm diesen Teil übernehmen. Lassen Sie die KI sich nur auf die kreativen, flexiblen Teile des Plans konzentrieren. Dies macht das gesamte System viel zuverlässiger, selbst wenn die KI selbst nicht perfekt ist.

Hinweis: Der Artikel erwähnt, dass etwa 5 % der verbleibenden Fehler von einem anderen „Architekten-Agenten" stammten, der Klärungsfragen beantwortet, was eine separate Einschränkung ist, die sie mit dieser spezifischen Methode nicht beheben konnten.

Technische Zusammenfassung: 2,5-D-Zerlegung für LLM-basierte räumliche Konstruktion

Problemstellung

Autonome Systeme, die mit dem Aufbau physischer Strukturen aus natürlichen Sprachanweisungen betraut sind, stehen vor einer kritischen Zuverlässigkeitslücke: Während Large Language Models (LLMs) hervorragende Leistungen bei der Erfassung übergeordneter Absichten zeigen, versagen sie systematisch bei präziser räumlicher Reasoning, insbesondere bei der Generierung dreidimensionaler Koordinaten. Frühere Benchmarks deuten darauf hin, dass LLMs häufig Fehler bei der vertikalen Platzierung, beim Stapeln mit Abweichungen von einer Einheit und bei doppelten Positionen machen. Diese Fehler resultieren aus dem Fehlen interner Weltmodelle zur Durchsetzung physikalischer Constraints wie der Schwerkraft, die vorschreiben, dass die vertikale Position eines Blocks strikt durch die Belegung der darunterliegenden Säule bestimmt wird.

Methodik

Der Artikel schlägt eine neuro-symbolische Pipeline auf Basis einer 2,5-D-Zerlegung vor, um diese Koordinatenfehler zu beheben. Die zentrale Erkenntnis besteht darin, dass in schwerkraftbeschränkten Konstruktionsdomänen die vertikale Achse ( $y$ ) keine freie Variable ist, sondern eine deterministische Funktion der horizontalen Position ( $x, z$ ) und des aktuellen Zustands des Gitters.

Die 2,5-D-Zerlegungspipeline

Das System trennt Planungs- und Ausführungsaufgaben in separate Module:

LLM-Planer (2D): Das LLM ist darauf beschränkt, einen Plan in der zweidimensionalen horizontalen Ebene zu generieren. Es gibt ausschließlich $(x, z)$ -Koordinaten, Blockfarben, Aktionstypen und Mengen an. Die Ausgabe vertikaler ( $y$ ) Koordinaten wird ihm explizit untersagt.
Deterministischer Executor (3D): Eine symbolische Engine berechnet die vertikale Platzierung für jeden Block basierend auf der Säulenbelegung. Die vertikale Koordinate $y^*$ für einen neuen Block bei $(x, z)$ wird als die minimale Höhe berechnet, bei der die Zelle leer ist, wodurch die Einhaltung der Schwerkraft-Constraints sichergestellt wird:
$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$
Dies eliminiert eine ganze Klasse von Koordinatenfehlern, indem die $y$ -Dimension aus dem Ausgaberaum des LLMs entfernt wird.

Unterstützende Komponenten

Die Pipeline umfasst vier zusätzliche Mechanismen zur Behandlung von Mehrdeutigkeiten und systematischen Fehlermodi:

Strukturanalysator: Erkennt geometrische Primitive (z. B. T-Formen, L-Formen) im bestehenden Gitter, um den Planer zu informieren.
Underspezifikations-Detektor: Nutzt einen entscheidungstheoretischen Rahmen, um zu bestimmen, wann Klärungsfragen gestellt werden müssen. Er berechnet den erwarteten Wert des Ratschlags im Vergleich zum Stellen einer Frage und priorisiert bei Mehrdeutigkeiten Farbanfragen vor Mengenabfragen.
Peephole-Prompt-Optimierer: Scannt Anweisungen nach spezifischen Auslöserphrasen (z. B. „jedes Ende", „vor"), die bekanntermaßen systematische LLM-Fehler hervorrufen. Bei Erkennung injiziert er gezielte, mustergerechte Korrekturen und durchgearbeitete Beispiele in den Prompt vor dem LLM-Aufruf.
Planverifizierer: Ein regelbasiertes Modul, das den generierten Plan gegen die Anweisung und den Gitterzustand validiert und Korrekturen für Richtungskonsistenz und Stapelplausibilität vornimmt.

Hauptbeiträge

2,5-D-Zerlegung: Ein neuartiges Architekturmuster, das die LLM-Planung auf eine 2D-horizontale Ebene beschränkt und die vertikale Platzierung einem deterministischen Executor überträgt, wodurch vertikale Koordinatenfehler effektiv eliminiert werden.
Peephole-Prompt-Optimierung: Eine Methodik zur Identifizierung systematischer LLM-Fehlermodi, die durch spezifische Eingabemuster ausgelöst werden, und deren Korrektur durch dynamische Prompt-Injektion, analog zur Compiler-Optimierung.
Empirische Validierung: Der Nachweis, dass diese Pipeline ein kleineres, kosteneffektives Modell (GPT-4o-mini) befähigt, ein größeres, teureres Modell (GPT-4o) in der strukturellen Genauigkeit zu übertreffen.
Entscheidungstheoretischer Rahmen: Ein formaler Ansatz zum Umgang mit underspezifizierten Anweisungen (fehlende Farben oder Mengen) durch Abwägung der Wahrscheinlichkeit eines korrekten Ratschlags gegen die Strafe des Stellen einer Klärungsfrage.

Experimentelle Ergebnisse

Das System wurde am Build What I Mean (BWIM)-Benchmark evaluiert, der aus 160 Runden von Blockkonstruktionsaufgaben besteht.

Genauigkeit: Die vollständige Pipeline mit GPT-4o-mini erreichte über 12 unabhängige Durchläufe eine mittlere strukturelle Genauigkeit von 94,6 %.
Vergleich: Dieses Ergebnis übertrifft das beste konkurrierende System (unter Verwendung von GPT-4o ohne Zerlegung) mit 76,3 % sowie die direkte GPT-4o-Baseline mit 90,3 %.
Ablationsstudie: Die Entfernung der 2,5-D-Zerlegung führte zum signifikantesten Leistungsabfall und reduzierte die Genauigkeit um 50,7 Prozentpunkte (auf 43,8 %), was sie als den dominierenden Erfolgsfaktor bestätigt. Die Behandlung von Underspezifikation und die Peephole-Optimierung trugen ebenfalls signifikant bei (jeweils 17,9 pp bzw. 11,3 pp).
Edge-Bereitstellung: Die Pipeline wurde erfolgreich auf lokale Edge-Hardware übertragen. Nemotron-3 120B, lokal auf einem NVIDIA Jetson Thor AGX ausgeführt, erreichte 94,5 % Genauigkeit ohne Prompt-Modifikationen und entsprach damit den cloud-basierten GPT-4o-mini-Ergebnissen.
Generalisierung: Ein Transferexperiment mit 500 Aufgaben aus dem kollaborativen Baudatensatz IGLU zeigte, dass die 2,5-D-Zerlegung allein die Block-level-F1-Scores von 0,723 auf 0,798 verbesserte und damit die Anwendbarkeit des Ansatzes über den primären Benchmark hinaus bestätigt.

Bedeutung und Behauptungen

Der Artikel argumentiert, dass die primäre Einschränkung bei LLM-basierten räumlichen Konstruktionen nicht in einem Mangel an Reasoning-Fähigkeiten liegt, sondern in der Einbeziehung deterministischer Dimensionen in den Ausgaberaum des Modells. Durch die Identifizierung von Dimensionen, die aus physikalischen Constraints (wie der Schwerkraft) berechenbar sind, und deren Entfernung aus der Verantwortung des LLMs erreicht das System eine Zuverlässigkeit, die der theoretischen Obergrenze entspricht, die durch die Qualität des Klärungsagents (des „Architekten") auferlegt wird.

Die Autoren behaupten, dass diese 2,5-D-Struktur ein generalisierbares Prinzip für jedes autonome System darstellt, bei dem physikalische Gesetze die Montage oder Platzierung einschränken. Genannte Beispiele umfassen die Geländefolgung bei UAV-Pfadplanung (wobei die Höhe eine Funktion der horizontalen Position und der Geländedaten ist) sowie die automatisierte Wartung von Geräten (wobei Einfügepfade für Teile durch die Maschinengeometrie eingeschränkt sind). Die Arbeit legt nahe, dass eine zuverlässige LLM-gesteuerte Operation in physikalisch eingeschränkten Umgebungen nicht durch das Training größerer Modelle erreichbar ist, sondern durch die Architektur von Systemen, die deterministisches Reasoning an symbolischen Code auslagern.

Die Autoren vermerken eine harte Obergrenze für die erreichbare Genauigkeit: etwa 97,6 %, begrenzt durch Fehler im Architekten-Agenten (ein LLM, das Klärungsfragen beantwortet). Die aktuelle Genauigkeit des Systems von 94,6 % lässt nur noch einen Spielraum von 3,0 Prozentpunkten für Verbesserungen auf der Baustelle-Seite, was darauf hindeutet, dass die vorgeschlagene Pipeline das Potenzial der Baustelle-Komponente nahezu maximiert hat.