🤖 AI

2.5-D Decomposition for LLM-Based Spatial Construction

본 논문은 수직 배치를 결정론적 실행기가 처리하는 동안 모델이 2 차원 계획에 국한되도록 하여 2.5 차원 분해를 활용한 신경-상징 파이프라인을 소개함으로써 LLM 기반 공간 구성 정확도를 획기적으로 향상시켰으며, 이는 벤치마크에서 거의 최대 성능을 달성하고 엣지 하드웨어 및 다양한 협업 작업으로의 성공적인 이전을 입증합니다.

원저자: Paul Whitten, Li-Jen Chen, Sharath Baddam

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Whitten, Li-Jen Chen, Sharath Baddam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 조금은 서툰 로봇에게 "T 자 모양을 만들고 꼭대기에 보라색 블록을 추가해라"와 같은 구두 지시를 바탕으로 다채로운 블록으로 탑을 쌓는 법을 가르친다고 상상해 보세요.

문제는 로봇의 두뇌인 대규모 언어 모델 (LLM) 은 모양의 '개념'을 이해하는 데는 뛰어나지만, 3 차원 공간에서 블록을 '어디에' 놓아야 하는지 계산하는 수학에는 매우 서툴다는 점입니다. 로봇은 종종 중력이 존재한다는 사실을 잊고, 공중에 블록을 쌓거나 쌓아야 할 높이를 잘못 세는 실수를 저지릅니다.

이 논문은 **2.5 차원 분해 (2.5-D Decomposition)**라는 영리한 해결책을 제시합니다. 간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

문제: "서툰 건축가"

LLM 을 완벽한 2 차원 청사진을 종이에 그릴 수 있는 천재 건축가로 생각해 보세요. 이 건축가는 평면도에서 벽이 어디에 가야 하는지 정확히 알고 있습니다. 하지만 이 건축가에게 3 차원 탑의 모든 벽돌의 정확한 높이를 계산하도록 요청하면 실수가 시작됩니다. 그 아래에 이미 벽돌이 있는지 깨닫지 못한 채 "여기에 벽돌을 놓아라"라고 하거나, 너무 높이 쌓는 실수를 범할 수 있습니다.

해결책: "중력 방지 감독관"

저자들은 많은 건축 작업에서 블록의 높이는 자유로운 선택이 아니라 물리학에 의해 결정된다는 사실을 깨달았습니다. 중력이 작용하는 평평한 바닥에서 쌓는다면, 새로운 블록은 반드시 이미 있는 가장 높은 블록 위에 놓여야 합니다. 높이는 자동으로 결정되는 것입니다.

그래서 그들은 작업을 두 부분으로 나눴습니다.

건축가 (LLM): 이 부분은 오직 2 차원 평면도만 그릴 수 있습니다. "X 위치에는 빨간색 블록을, Z 위치에는 파란색 블록을 놓아라"라고 말합니다. 높이 (Y) 에 대해서는 말하지 못하며, 건물의 '발자국'만 계획합니다.
감독관 (결정론적 코드): 이는 단순하고 생각하지 않는 컴퓨터 프로그램입니다. 유일한 임무는 평면도를 보고 "알겠습니다, X 와 Z 에 블록을 원하시나요? 중력에 따르면 그것은 이미 있는 무언가 위에 놓여야 합니다"라고 말하는 것입니다. 높이를 자동으로 계산합니다.

"높이" 결정권을 서툰 건축가에게서 빼앗아 생각하지 않는 감독관에게 넘겨줌으로써, 그들은 방대한 범위의 실수를 제거했습니다.

"구멍" 트릭

논문은 또한 "구멍 (Peephole) 프롬프트 최적화"를 언급합니다. 건축가가 특정하고 예측 가능한 공상에 빠지기 쉽다고 상상해 보세요. 예를 들어, "끝을 연장하라"고 말하면 건축가는 바닥을 연장하는 대신 실수로 탑을 쌓을 수 있습니다.

연구자들은 "spot-check" 시스템을 만들었습니다. 건축가가 계획을 그리기 전에 빠른 스캐너가 지시를 살펴봅니다. 만약 문제가 되는 구절 (예: "각 끝") 을 발견하면, 건축가의 귀에 작고 구체적인 메모를 슬쩍 넣습니다. "hey, '각 끝'을 볼 때는 위가 아닌 옆으로 연장해야 한다는 것을 기억해." 이는 건축가의 알려진 약점을 위한 안전망 역할을 합니다.

결과

이 시스템을 테스트했을 때:

옛 방식: 모든 것 (3 차원 계획) 을 LLM 만으로 수행했을 때 정확도는 약 76% 에서 90% 였습니다.
새 방식: 2.5 차원 분해 (건축가 + 감독관) 를 사용하면 정확도가 **94.6%**까지 향상되었습니다.
놀라운 사실: 이 새로운 방법을 사용한 더 작고 저렴한 AI 모델 (GPT-4o-mini) 이 이 방법을 사용하지 않은 훨씬 크고 비싼 모델 (GPT-4o) 을 능가했습니다.

현실 세계의 이식성

논문은 또한 이 트릭이 특정 컴퓨터에만 국한되지 않는다는 것을 보여주었습니다. 그들은 로봇의 머리에 장착할 수 있는 작고 강력한 컴퓨터 칩 (NVIDIA Jetson Thor) 에서 동일한 시스템을 실행했는데, 거대한 클라우드 컴퓨터만큼 잘 작동했습니다.

결론

핵심 메시지는 간단합니다. 언어 모델에게 자신이 서툰 수학을 시키지 마십시오. 작업의 일부가 물리 법칙 (예: 중력에 의해 결정되는 높이) 에 의해 고정되어 있다면, 그 부분은 간단한 컴퓨터 프로그램이 처리하게 하십시오. AI 에게는 계획의 창의적이고 유연한 부분에만 집중하게 하십시오. 이렇게 하면 AI 자체가 완벽하지 않더라도 전체 시스템의 신뢰성이 훨씬 높아집니다.

참고: 논문은 나머지 오류의 약 5% 는 명확화 질문에 답하는 별도의 "건축가 에이전트"에서 비롯된 것이라고 언급하며, 이는 이 특정 방법으로 해결할 수 없는 별도의 한계라고 설명합니다.

기술 요약: LLM 기반 공간 구축을 위한 2.5-D 분해

문제 정의

자연어 지시를 받아 물리적 구조물을 구축하는 자율 시스템은 중요한 신뢰성 격차에 직면해 있습니다. 대규모 언어 모델 (LLM) 은 고수준 의도를 이해하는 데 뛰어나지만, 특히 3 차원 좌표 생성과 관련하여 정밀한 공간 추론에서는 체계적으로 실패합니다. 이전 벤치마크에 따르면 LLM 은 수직 배치, 1 단위 오차 쌓기, 중복 위치 등에서 빈번한 오류를 발생시킵니다. 이러한 실패는 중력과 같은 물리적 제약을 강제하는 내부 세계 모델의 부재에서 비롯됩니다. 예를 들어, 블록의 수직 위치는 그 아래 열의 점유 상태에 의해 엄격하게 결정됩니다.

방법론

본 논문은 이러한 좌표 오류를 해결하기 위해 2.5-D 분해에 기반한 신호 - 심볼릭 파이프라인을 제안합니다. 핵심 통찰력은 중력에 제약된 구축 영역에서 수직 축 ( $y$ ) 이 자유 변수가 아니라 수평 위치 ( $x, z$ ) 와 그리드의 현재 상태에 따른 결정론적 함수라는 점입니다.

2.5-D 분해 파이프라인

이 시스템은 계획 및 실행 작업을 별도의 모듈로 분리합니다:

LLM 플래너 (2D): LLM 은 2 차원 수평면에서 계획을 생성하는 것으로 제한됩니다. 이는 $(x, z)$ 좌표, 블록 색상, 작업 유형 및 개수만 지정합니다. LLM 은 명시적으로 수직 ( $y$ ) 좌표를 출력하지 못하도록 방지됩니다.
결정론적 실행기 (3D): 심볼릭 엔진은 열 점유 상태에 기반하여 각 블록의 수직 배치를 계산합니다. $(x, z)$ 위치의 새 블록에 대한 수직 좌표 $y^*$ 는 해당 셀이 비어 있는 최소 높이로 계산되어 중력 제약이 엄격히 준수되도록 합니다:
$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$
이는 $y$ 차원을 LLM 의 출력 공간에서 제거함으로써 좌표 오류의 전체 범주를 제거합니다.

지원 구성 요소

파이프라인은 모호성과 체계적 실패 모드를 처리하기 위해 네 가지 추가 메커니즘을 포함합니다:

구조 분석기: 기존 그리드에서 T 자형, L 자형과 같은 기하학적 원시 요소를 감지하여 플래너에 정보를 제공합니다.
미세명시성 감지기: 의사결정 이론적 프레임워크를 사용하여 언제 명확화 질문을 해야 할지 결정합니다. 모호성이 존재할 때 색상 문의를 개수 문의보다 우선시하며, 추측과 질문 간의 기대 가치를 계산합니다.
피홀 프롬프트 최적화기: "각 끝", "앞에"와 같이 LLM 의 체계적 오류를 유발하는 것으로 알려진 특정 트리거 구문을 지시에서 스캔합니다. 감지되면 LLM 호출 전에 프롬프트에 표적화된 패턴 매칭 수정 사항과 해결된 예제를 주입합니다.
계획 검증기: 생성된 계획을 지시 및 그리드 상태와 비교하여 방향 일관성과 쌓기 타당성에 대한 수정을 수행하는 규칙 기반 모듈입니다.

주요 기여

2.5-D 분해: LLM 계획을 2 차원 수평면으로 제한하고 수직 배치를 결정론적 실행기에 위임함으로써 수직 좌표 오류를 효과적으로 제거하는 새로운 아키텍처 패턴입니다.
피홀 프롬프트 최적화: 특정 입력 패턴으로 인해 발생하는 체계적인 LLM 실패 모드를 식별하고 동적 프롬프트 주입을 통해 수정하는 방법론으로, 컴파일러 최적화와 유사합니다.
실증적 검증: 이 파이프라인이 더 크고 비싼 모델 (GPT-4o) 보다 작고 비용 효율적인 모델 (GPT-4o-mini) 이 구조적 정확도에서 더 우수한 성과를 내도록 함을 입증했습니다.
의사결정 이론적 프레임워크: 올바른 추측의 확률과 명확화 질문을 하는 데 따른 페널티를 저울질하여 누락된 색상 또는 개수와 같은 미세명시 지시를 처리하는 공식적 접근법입니다.

실험 결과

이 시스템은 160 라운드의 블록 구축 작업으로 구성된 Build What I Mean (BWIM) 벤치마크에서 평가되었습니다.

정확도: GPT-4o-mini 를 사용한 전체 파이프라인은 12 회 독립 실행에서 평균 구조적 정확도 **94.6%**를 달성했습니다.
비교: 이 결과는 분해 없이 GPT-4o 를 사용한 가장 우수한 경쟁 시스템 (76.3%) 과 직접적인 GPT-4o 베이스라인 (90.3%) 을 능가합니다.
절대 실험: 2.5-D 분해를 제거하면 성능이 가장 크게 저하되어 정확도가 50.7 퍼센트 포인트 감소 (43.8% 로 하락) 하여, 이것이 성공의 주된 기여 요인임을 확인했습니다. 미세명시성 처리와 피홀 최적화 또한 각각 17.9 pp 와 11.3 pp 로 크게 기여했습니다.
에지 배포: 파이프라인은 로컬 에지 하드웨어로 성공적으로 이전되었습니다. Nemotron-3 120B는 프롬프트 수정 없이 NVIDIA Jetson Thor AGX 에서 로컬로 실행되어 **94.5%**의 정확도를 달성했으며, 클라우드 기반 GPT-4o-mini 결과와 일치했습니다.
일반화: IGLU 협업 구축 데이터셋의 500 개 작업에 대한 전이 실험에서 2.5-D 분해만으로도 블록 수준 F1 점수가 0.723 에서 0.798 로 향상되어, 이 접근법이 주요 벤치마크를 넘어 적용 가능함을 확인했습니다.

중요성과 주장

본 논문은 LLM 기반 공간 구축의 주요 한계가 추론 능력의 부재가 아니라 모델의 출력 공간에 결정론적 차원이 포함되는 것이라고 주장합니다. 물리적 제약 (예: 중력) 에서 계산 가능한 차원을 식별하고 이를 LLM 의 책임에서 제거함으로써, 시스템은 명확화 에이전트 (즉, "건축가") 의 품질에 의해 부과되는 이론적 한계와 견줄 만한 신뢰성을 달성합니다.

저자들은 이 2.5-D 구조가 물리 법칙이 조립이나 배치를 제약하는 모든 자율 시스템에 적용 가능한 일반화 원칙이라고 주장합니다. 인용된 예로는 수평 위치와 지형 데이터의 함수인 고도를 갖는 지형 추종 UAV 경로 계획, 그리고 기계 기하학에 의해 제한된 부품 삽입 경로를 갖는 자동 장비 유지보수가 있습니다. 이 연구는 물리적으로 제약된 환경에서 신뢰할 수 있는 LLM guided 운영은 더 큰 모델을 훈련시키는 것이 아니라, 결정론적 추론을 심볼릭 코드로 위임하는 시스템을 아키텍처함으로써 달성 가능함을 시사합니다.

저자는 달성 가능한 정확도에 대한 엄격한 상한선이 약 **97.6%**라고 지적하며, 이는 명확화 질문을 답변하는 건축가 에이전트 (LLM) 의 오류에 의해 제한됩니다. 현재 시스템의 94.6% 정확도는 건축가 측 개선에 대해 3.0 퍼센트 포인트의 여력만 남겨두고 있어, 제안된 파이프라인이 건축가 구성 요소의 잠재력을 거의 극대화했음을 나타냅니다.