기술 요약: 멀티모달 거대 언어 모델을 위한 규칙 준수 시각 공간 계획(Rule-Compliant Visual Spatial Planning)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 추론 및 언어 이해 측면에서 상당한 능력을 입증해 왔다. 그러나 이들의 규칙 준수 시각 공간 계획(rule-compliant visual spatial planning) 능력은 아직 충분히 탐구되지 않았다. 이 특정 능력은 에이전트가 다음을 동시에 수행할 것을 요구한다:

1. 복잡한 시각적 공간 레이아웃 인지.
2. 명시적인 자연어 규칙(동적이거나 이전에 본 적 없는 규칙일 수 있음) 해석.
3. 이러한 제약 조건을 엄격히 준수하는 다단계 행동 계획 생성.

현재의 벤치마크와 방법론들은 종종 제약이 없는 계획을 가정하거나, 외부 규칙 준수를 강제하지 않은 채 단일 목적 함수를 최적화한다. 자율 주행이나 체화된 지능(embodied intelligence)과 같은 실제 응용 분야에서는 고정된 글로벌 목표가 아니라 변화하는 맥락 특화적 제약 조건 하에서 작동하는 에이전트를 필요로 한다. 기존의 접근 방식들은 다음과 같은 이유로 어려움을 겪는다:

• 데이터 희소성: 실제 장면은 동적으로 변하는 규칙 세트에 대한 정답(ground-truth) 행동 시퀀스를 거의 제공하지 않으므로, 지도 학습(supervised learning)은 비용이 많이 들고 확장이 어렵다.
• 방법론적 한계: 엔드 투 엔드(end-to-end) 공식화는 인지, 실행, 규칙 추론을 서로 얽히게 만든다. 이는 모델이 다단계 제약이나 새로운 규칙에 직면했을 때 취약한 동작을 유발하는데, 규칙이 바뀔 때마다 모델이 안정적인 능력을 다시 학습해야 하기 때문이다.

2. 방법론

본 논문은 두 갈래의 해결책, 즉 평가를 위한 제어 가능한 벤치마크와 분리된(disentangled) 프레임워크를 제안한다.

2.1 RuleMaze: 제어 가능한 벤치마크

체계적인 평가의 부재를 해결하기 위해, 저자들은 절차적으로 생성된 미로-규칙 쌍의 데이터셋인 RuleMaze를 도입한다.

• 언어-논리-함수 하이브리드화: 수동 엔지니어링 없이 확장 가능한 규칙 구축을 가능하게 하기 위해, 저자들은 다음과 같은 파이프라인을 제안한다:
  1. 규칙 아이디어 생성(Rule Ideation): LLM이 다양하고 언어적으로 풍부한 자연어 규칙(예: "주황색 구역에 있다면 위로 이동하라")을 생성한다.
  2. 논리적 정형화(Logical Formalization): 규칙을 구조화된 논리 표현(예: $Zone(t, orange) \rightarrow Move(t, up)$)으로 변환한다.
  3. 검증기 합성(Validator Synthesis): LLM이 후보 궤적이 논리적 규칙을 만족하는지 확인하는 실행 가능한 파이썬 함수(검증기)를 자동으로 생성한다.
• 제약 기반 휴리스틱 매칭: 규칙이 의미 있는 미로와 규칙을 쌍으로 묶기 위해 전략이 사용된다. 미로는 다음 조건을 만족할 때만 규칙에 대해 선택된다:
  1. 규칙이 유효한 궤적의 집합을 제한하는가 (제약성, Restrictiveness).
  2. 규칙을 준수하는 솔루션이 적어도 하나 존재하는가 (존재성, Existence).
• 데이터셋 시나리오:
  • RegularMaze: 정적 목표와 국소적 제약(예: 색상이 있는 구역 피하기)에 집중한다.
  • QuestMaze: 의미론적 객체(열쇠, 보물)와 상태 의존적 규칙을 도입하여, 메모리와 동적 목표 조건 처리를 요구한다.
• 난이도 레벨: 규칙은 그 정형화의 구문적 복잡성(논리 연결사의 수)에 따라 쉬움(Easy), 중간(Medium), 어려움(Hard)으로 분류된다.

2.2 분리된 멀티모달 계획 (Disentangled Multimodal Planning, DMP)

일반화와 규칙 준수를 개선하기 위해, 저자들은 엔드 투 엔드 학습에 의존하는 대신 계획 과정을 모듈화하는 DMP 프레임워크를 제안한다.

• 도구 기반 아키텍처: DMP는 MLLM에 세 가지 범주로 구성된 해석 가능하고 호출 가능한 도구 세트를 갖춘다:
  1. 인지 도구(Perception Tools): 미로 이미지로부터 기호적 정보(예: 현재 셀 유형, 시작/목표 위치 식임)를 추출한다.
  2. 실행 도구(Execution Tools): 이동 동작을 적용하여 시각적 상태를 결정론적으로 업데이트한다(예: ExecuteMove).
  3. 검증 도구(Verification Tools): 데이터셋 구축 시 합성된 검증기를 사용하여 규칙 준수 및 목표 달성 여부를 평가한다(예: VerifyRule, VerifyEndpoint).
• 반복적 결정 프로세스: 모델은 내부 추론과 외부 도구 호출을 교대로 수행하는 컨트롤러 역할을 한다. 각 단계에서 모델은 도구를 선택하고 매개변수를 지정하는 프로그램을 생성한다.
• 핵심 장점: 안정적인 구성 요소(인지, 실행, 검증)를 도구로 외재화함으로써, 컨트롤러는 오직 도구를 언제, 어떻게 조율할지만 학습하면 된다. 이를 통해 시스템은 핵심 컨트롤러를 재학습하지 않고도 새로운 규칙에 일반화될 수 있는데, 새로운 규칙은 단순히 새로운 검증기만을 필요로 하기 때문이다.

3. 주요 기여

1. RuleMaze 벤치마크: 실행 가능한 검증 도구에 의해 뒷받침되어 모호하지 않은 평가를 보장하는, 다양하게 절차적으로 생성된 미로와 체계적으로 구축된 규칙 세트를 특징으로 하는 원칙적인 벤치마크를 제시한다.
2. 언어-논리-함수 하이브리드화: 복잡성이 제어된 규칙 세트를 자동화되고 확장 가능하게 구축하기 위한 파이프라인을 제공하며, 수동 규칙 엔지니어링의 필요성을 제거한다.
3. 분리된 멀티모달 계획 (DMP): 인지, 실행, 검증을 재사용 가능한 도구로 분리하여 규칙 준수를 향상시키고, 제약 조건 하에서의 해석 가능한 다단계 추론을 가능하게 하는 프레임워크를 제안한다.
4. 경험적 검증: DMP가 텍스트 기반 엔드 투 엔드 계획 베이스라인보다 특히 보지 못한(unseen) 규칙과 복잡한 규칙에 대한 제로샷 일반화에서 크게 우수함을 보여주는 광범위한 실험을 수행하였다.

4. 실험 결과

저자들은 Qwen2.5-VL-3B 백본을 사용하는 DMP를 직접 프롬프팅(Direct prompting), 생각의 사슬(CoT), 지도 미세 조정(SFT), 그리고 독점 모델(Gemini 2.5 Pro/Flash)을 포함한 베이스라인들과 비교 평가하였다.

• RegularMaze 성능:
  • 본 적 있는 규칙(Seen Rules): DMP는 98.0%의 Exact Match(EM)를 달성하여 SFT(94.0%)를 능가했다.
  • 보지 못한 규칙(Unseen Rules): DMP는 90.0% EM을 달성하였으며, 이는 SFT(70.3%)보다 실질적으로 향상된 수치이며, 오픈 소스 모델들이 거의 0% 근처에서 고전했던 프롬프팅 기반 방법들보다 현저히 높았다.
  • 복잡도: DMP는 쉬움, 중간, 어려움의 규칙 복잡도 전반에 걸쳐 높은 성능을 유지했으나, 베이스라인들은 복잡도가 증가함에 따라 성능 격차가 벌어졌다.
• QuestMaze 성능:
  • 더 복잡한 의미론적 환경에서, DMP는 본 적 있는 규칙에 대해 91.4% EM, 보지 못한 규칙에 대해 88.0% EM을 달성했다.
  • DMP는 SFT(88.0% vs 56.3%) 대비 보지 못한 규칙 성능을 +31.7% 개선했다.
  • Gemini 2.5 Pro와 같은 독점 모델이 RegularMaze보다 QuestMaze에서 더 강한 성능을 보였으나, DMP는 특히 어려운 규칙 시나리오에서 여전히 이들을 능가했다.
• 정성적 분석: 베이스라인 모델들은 제약 구역에 진입한 후 규칙을 위반하거나, 경로가 막혔을 때 휴리스틱하게 규칙을 무시하는 경로를 택하며 실패하는 경우가 많았다. 반면 DMP는 단계별 검증 도구를 성공적으로 활용하여 실행 전 잠재적 위반을 감지하고 계획을 수정했다.

5. 의의 및 주장

본 논문은 RuleMaze가 MLLM의 접지되고(grounded) 해석 가능한 규칙 기반 공간 계획을 연구하기 위한 원칙적인 프레임워크를 구축한다고 주장한다. 이 연구의 의의는 다음과 같다:

• 공백 메우기: 실제 체화된 지능에 필수적인, 명시적이고 동적인 규칙 제약 조건 하에서 작동하는 비판적이지만 연구가 미진했던 능력을 겨냥한다.
• 확장성: 제안된 하이브리드 파이프라인은 복잡한 규칙-미로 쌍의 생성을 자동화함으로써 데이터 병목 현상을 해결한다.
• 일반화: DMP 프레임워크는 안정적인 능력과 조정 로직을 분리함으로써, 모델이 재학습 없이도 이전에 보지 못한 규칙에 일반화될 수 있음을 보여주며, 더욱 견고하고 적응력 있는 멀티모달 에이전트로 가는 길을 제시한다.

저자들은 현재의 MLLM이 유망한 모습을 보이지만, 복잡한 환경에서 신뢰할 수 있는 규칙 준수 공간 계획을 달려하기 위해서는 DMP와 같은 구조화된 접근 방식이 필요하다고 결론짓는다.