기술 요약: LEGO-Puzzles

문제 정의

멀티모달 거대 언어 모델(MLLM)은 공간 지능 측면에서 진전을 보여왔으나, 이들의 다단계 순차적 공간 추론(multi-step sequential spatial reasoning) 능력은 여전히 미개척 영역으로 남아 있습니다. 기존 벤치마크는 주로 정적인 공간 이해(예: 단일 이미지 내의 객체 속성이나 관계 식별)나 단일 단계의 행동 계획에 집중되어 있습니다. 그러나 로봇 제어, 자율 주행, 자동 조립와 같은 실제 응용 분야에는 장면을 인지하고, 가설적 행동의 결과를 상상하며, 여러 단계에 걸쳐 공간 이해를 순차적으로 적용하는 능력이 필요합니다. 현재의 평가 방식은 기초적인 공간 인지부터 복잡한 장기 계획(long-horizon planning)에 이르기까지 MLLM을 체계적으로 테스트할 수 있는 프레임워크가 부족합니다.

방법론

저자들은 LEGO 조립 방식에서 영감을 받은 점진적 프레임워크를 통해 MLLM의 공간 추론 능력을 평가하도록 설계된 벤치마크인 LEGO-Puzzles를 소개합니다. 이 벤치마크는 단계별 조립 설명서가 포함된 오픈 소스 LEGO 프로젝트로부터 파생된 두 가지 주요 태스크 세트로 구성됩니다.

1. 기초 세트 (The Elementary Set)

이 세트는 11개의 서로 다른 태스크에 걸쳐 1,100개 이상의 정교하게 큐레이션된 시각 질의응답(VQA) 쌍을 포함하며, 난이도가 높아지는 세 가지 수준으로 구성됩니다:

• 레벨 1: 공간 이해 (Spatial Understanding): 높이 구분, 인접성, 회전 각도, 다각도 예측을 포함한 3D 관계에 대한 기초적인 인지 능력을 테스트합니다.
• 레벨 2: 단일 단계 순차 추론 (Single-Step Sequential Reasoning): 회전 상태 결정, 올바른 조립 위치 식별, 다음 상태 예측, 의존성 식별과 같은 즉각적인 조립 동작에 대한 추론을 요구합니다.
• 레벨 3: 다단계 순차 추론 (Multi-Step Sequential Reasoning): 목표물로부터 중간 단계를 식별하는 역방향 추론(backward reasoning), 조립 순서 정하기, 시퀀스 내 이상치 탐지 등 여러 시퀀스를 가로지르는 추론 능력을 평가합니다.

2. 계획 세트 (The Planning Set)

이 세트는 목표 구조물을 조립하기 위한 명시적인 다단계 계획 생성 능력을 평가합니다. 두 가지 태스크 유형을 포함합니다:

• Plan-k-Step-VQA: 모델이 초기 상태에서 목표 상태로 전이하기 위해 $2k$개의 옵션(방해 요소 포함) 중에서 $k$개의 올바른 중간 단계를 선택하고 순서를 정하는 객관식 태스크입니다. 계획 범위 $k$는 1에서 8까지입니다.
• Plan-k-Step-Generation: 모델이 이전 출력에 조건화되어 다회차 대화(multi-turn dialogue)를 통해 단계별로 중간 조립 상태의 이미지를 생성하도록 하는 생성형 태스크로, 전체 단계의 계획 궤적을 시뮬레이션합니다.

데이터 큐레이션

데이터셋은 다음의 파이프라인을 통해 구축되었습니다:

1. 데이터 수집: 다양한 오픈 소스 LEGO 프로젝트(동물, 차량, 가구 등)를 수집하고 적절한 복잡성을 가진 프로젝트를 필터링했습니다.
2. 렌더링 및 변환: Studio1을 사용하여 프로젝트를 고정된 카메라 뷰포트를 가진 PDF로 렌더링하는 한편, 특정 태스크 시나리오를 만들기 위해 변환(예: 조명 조절, 의도적인 오류 삽입)을 적용했습니다.
3. 메타데이터 추출 및 통합: 구조화된 정보(부품, 객체)를 추출하고 QA 생성을 위해 자산을 정리했습니다.
4. 품질 관리: 중복 필터링, 이미지 품질 검증, 숙련된 3인의 검수자에 의한 어노테이션 검증을 포함한 다단계 인간 참여형(human-in-the-loop) 프로세스를 거쳤습니다.

주요 기여

1. 포괄적인 평가 프레임워크: 기초적인 공간 이해부터 다단계 계획에 이르기까지 점진적으로 증가하는 복잡성을 포괄하는 벤치마크를 제공합니다.
2. 자연스러우면서도 도전적인 태스크: 기존 연구에서 발견되는 단순화되거나 매우 추상적인 환경을 넘어, 최첨단 MLLM에게 상당한 도전 과제를 제시하는 실제 인간 설계 LEGO 프로젝트로부터 구성된 태스크를 제공합니다.
3. 다회차 이미지 생성 평가: 로봇 조작과 같은 실제 응용 분야에서 필수적이지만 기존 공간 추론 벤치마크에서는 테스트되지 않았던, 계획된 중간 상태를 이미지로 생성하는 MLLM의 능력을 평가하는 새로운 방식을 도입했습니다.

실험 결과

저자들은 GPT-5(proprietary 모델)와 Qwen, InternVL, LLaVA 시리즈(open-source 모델)를 포함한 29개의 최첨단 MLLM을 평가했습니다.

• 기초 세트 성능: 가장 강력한 모델인 GPT-5조차 기초 태스크에서 인간의 성능보다 최소 20% 뒤처집니다. 많은 오픈 소스 모델은 무작위 추측보다 약간 나은 수준에 불과합니다. 구체적인 실패 사례는 다음과 같습니다:
  • 높이 태스크: 모델들이 실제 3D 투영이 아닌 2D 투영에 의존하는 경향을 보입니다.
    기 모델들이 방향 변화를 안정적으로 인지하는 데 어려움을 겪습니다.
  • 다단계 추론: 단일 단계에서 순서 정하기 또는 역방향 추론으로 넘어갈수록 정확도가 급격히 떨어집니다.
• 계획 세트 성능 (VQA): 계획 범위 $k$가 증가함에 따라 정확도가 빠르게 저하됩니다.
  • $k > 3$인 경우, 모든 모델의 정확도가 50% 미만으로 떨어집니다.
  • $k = 8$일 때, 대부분의 모델이 **0%**에 가까운 정확도를 보이는 반면, 인간 참가자는 **100%**의 정확도를 달달성합니다.
  • 독점 모델은 오픈 소스 모델보다 더 나은 "세트 매칭"(올바른 요소 식별) 능력을 보이지만, 여전히 순서를 올바르게 정하는 데는 실패합니다.
• 계획 세트 성능 (이미지 생성): 객관식에서 이미지 생성으로 전환하면 성능이 붕괴됩니다.
  • $k=3$인 경우에도 정확도가 **0%**로 떨어집니다.
  • 모델들은 일반적인 외형은 맞게 생성하지만, LEGO 부품을 정확한 위치나 방향에 배치하는 데 실패합니다.
  • 오류가 생성의 아주 첫 단계부터 나타나는데, 이는 일관된 시각적 상상력과 시간적 추론의 결여를 나타냅니다.

의의 및 주장

본 논문은 LEGO-Puzzles가 현재 MLLM의 공간 추론 능력에 있는 결정적인 한계를 드러낸다고 주장합니다. 연구 결과는 다음을 강조합니다:

• 현재 모델들은 **장기 계획(long-horizon planning)**과 순차적 공간 추론에 어려움을 겪으며, 여러 단계에 걸쳐 공간적 변환을 추적하고 통합하는 데 실패합니다.
• 시각적 이해와 정밀한 생성 사이에는 상당한 격차가 존재합니다. 모델은 정적인 이미지 내의 공간 관계는 인식할 수 있지만, 이를 신뢰할 수 있는 단계별 시각적 출력 생성에 적용하지 못합니다.
• 본 벤치마크는 LEGO-Puzzles와 자연 이미지 벤치마크(3DSRBench) 간의 강력한 양의 상관관계(Pearson $r > 0.9$)를 통해 검증된, 실제 세계의 공간 이해를 대변하는 대리 지표 역할을 합니다.

저자들은 현재의 MLLM과 인간 수준의 공간 지능 사이의 간극을 메우기 위해서는, 특히 순차적 추론과 생성적 계획 영역에서 상당한 발전이 필요하다고 결론짓습니다.