🤖 machine learning

Generation of High-Level Concepts in 3D Scene Graphs via Autoregressive Diffusion

본 논문은 관측된 기하학적 원시 요소로부터 완전한 계층적 실내 3D 장면 그래프를 생성하기 위해 그래프 구조와 공간적 특징을 공동으로 학습하는 통합된 자기회귀 확산 기반 모델을 제안하며, 이는 다양한 데이터셋에 걸쳐 기존 베이스라인들을 능가하고 원칙적인 평가를 위한 새로운 융합 그로모프-와서스타인(Fused Gromov-Wasserstein) 지표를 도입한다.

원저자: Jose Andres Millan-Romera, Samuel Cognolato, Holger Voos, Jose Luis Sanchez-Lopez, Luciano Serafini

게시일 2026-09-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jose Andres Millan-Romera, Samuel Cognolato, Holger Voos, Jose Luis Sanchez-Lopez, Luciano Serafini

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

건물 내부를 이동하는 로봇들은 근본적인 문제에 직면합니다. 바로 세상을 가공되지 않은 데이터 포인트들의 혼란스러운 집합체로 본다는 점입니다. 레이저 스캐너는 벽, 천장, 바닥와 같은 수천 개의 평면을 감지할 수 있지만, 기계에게 이것들은 의미가 없는 단순한 기하학적 형상일 뿐입니다. 효과적으로 탐색하기 위해서 로봇은 이러한 형상들이 하나의 방을 형성하고, 방들이 모여 하나의 층을 이루며, 층이 모여 하나의 건물을 구성한다는 것을 이해해야 합니다. '3D 장면 그래프(3D Scene Graph)'라고 불리는 이 정신적 지도는 로原始적인 센서 입력과 인간이 주변 환경을 묘사할 때 사용하는 고차원적 개념 사이를 잇는 가교 역할을 합니다. 수년 동안 연구자들은 로봇에게 이러한 지도를 자동으로 구축하는 법을 가르치기 위해 애써왔습니다. 전통적인 방식은 직사각형 모양의 방과 같은 단순한 형태만을 인식할 수 있는 경직된 수동 규칙에 의존했으며, 최신 학습 기반 접근 방식들은 구조와 객체의 위치를 파악하기 위해 별도의 시스템을 필요로 하는 경우가 많아 복잡한 다층 환경으로 확장하는 데 어려움이 있었습니다.

한 연구팀은 로봇이 감지한 기본적인 벽면에서부터 시작하여 건물 전체와 도시 수준까지 올라가며 복잡한 다층 지도를 구축할 수 있게 하는 새로운 접근 방식을 도입했습니다. 이들은 레이아웃을 추측하는 도구와 방을 배치하는 도구를 따로 사용하는 대신, 전체 계층 구조를 한 번에 생성하도록 학습하는 단일화된 통합 프로세스를 사용합니다. 이 방법은 로봇이 보는 초기 평면 집합을 가져와서 점진적으로 새로운 의미의 층을 추가하는 방식으로 작동합니다. 시스템은 새로운 요소(예: 새로운 방이나 새로운 층)를 얼마나 추가해야 하는지 결정하고, 그 요소들의 이름을 정하며, 3D 공간 내에서 정확히 어디에 위치해야 하는지를 계산합니다. 이 과정은 단계별로 진행되며, 시스템은 전체 지도가 완성될 때까지 자신의 추측을 정교하게 다듬어 나갑니다.

연구진은 컴퓨터로 생성된 합성 장면, 실제 건축 평면도, 그리고 레이저 센서를 장착한 로봇이 기록한 실제 데이터를 포함한 매우 다양한 환경에서 이 시스템을 테스트했습니다. 그들은 고정된 규칙이나 작업의 각 부분에 대해 서로 다른 모델에 의존하는 기존 기술들과 이 새로운 방법을 비교했습니다. 결과에 따르면, 이들의 통합된 접근 방식은 기존 방법들보다 일관되게 더 정확하고 완전한 지도를 생성했습니다. 이 시스템은 완벽한 직사각형이 아닌 복잡한 레이아웃도 성공적으로 처리했으며, 이전의 학습 기반 시스템들이 수행할 수 없었던 도시 수준까지 확장된 지도를 생성할 수 있었습니다. 실제로 건물과 도시 전체를 포함하는 가장 복잡한 데이터셋에서, 이 시스템은 지도를 생성하기 전에 방과 층의 정확한 개수를 미리 알고 있는 비밀스러운 이점을 가진 강력한 원샷(one-shot) 모델보다도 더 뛰어난 성능을 보였습니다.

이 연구의 가장 중요한 측면 중 중 하나는 현실 세계의 불확실성을 처리하는 방식입니다. 일반적인 시나리오에서 로봇은 탐사를 시작하기 전까지 건물에 얼마나 많은 방이나 층이 존재하는지 알지 못합니다. 기존 방식들은 지도의 최종 크기를 미리 알고 있어야 했기 때문에 이 문제로 어려움을 겪는 경우가 많았습니다. 그러나 새로운 시스템은 스스로 지도가 완성되었음을 결정하는 법을 배웁니다. 시스템은 더 이상의 정보가 필요하지 않다고 판단될 때까지 새로운 구조의 층을 계속해서 추가하며, 지도를 구축하면서 환경의 규모를 효과적으로 파악합니다. 이러한 능력은 건물의 규모와 복잡성을 미리 알 수 없는 경우가 많은 실제 로보틱스 분야에서 이 기술을 훨씬 더 실용적으로 만들어 줍니다.

시스템이 실제로 제대로 작동하는지 확인하기 위해 연구진은 성공을 측정하는 새로운 방법을 개발했습니다. 단순히 로봇이 방의 개수를 맞췄는지 확인하는 대신, 생성된 지도가 형태, 위치, 그리고 서로 다른 부분 간의 관계 측면에서 실제 지도와 얼마나 잘 일치하는지를 평가하는 지표를 만들었습니다. 기하학적 거리와 구조적 유사성을 결합한 이 새로운 측정 도구는, 이 시스템이 생성한 지도가 다른 방법들이 생성한 지도보다 진실에 훨씬 더 가깝다는 것을 확인시켜 주었습니다. 연구팀은 데이터와 코드를 공개하여 다른 과학자들이 이 연구를 바탕으로 후속 연구를 진행할 수 있는 토대를 마련했습니다. 단일한 통합 모델이 복잡한 다층 공간 계층 구조를 생성하는 법을 학습할 수 있음을 입증함으로써, 이 연구는 로봇이 인간 세계의 복잡한 구조를 진정으로 이해하고 탐색할 수 있는 유망한 길을 제시합니다.

기술 요약: 자기회귀 확산 모델을 통한 고수준 개념의 3D 씬 그래프 생성

문제 정의
실내 3D 씬 그래프(3DSG)는 저수준 기하학적 프리미티브(예: 센서로 탐지된 평면)를 고수준의 메트릭-시맨틱 개념(예: 벽, 방, 바닥, 건물)과 연결하는 환경의 압축된 표현 역할을 한다. 기존 방법들은 관찰된 노드 간의 관계를 생성할 수는 있지만, 저수준 관측으로부터 완전한 다층적 공간 계층 구조를 추론하는 것은 여전히 해결되지 않은 과제로 남아 있다. 전통적인 접근 방식은 특정 개념 클래스에 특화된 수작업 기반 휴리스틱(예: 점유 맵을 이용한 방 분할)에 의존하여, 새로운 클래스나 복잡한 계층 구조로의 확장성을 제한한다. 반대로, 학습 기반 방법들은 그래프 구조와 공간 노드 특징(예: 중심점)을 위한 별도의 모델을 사용하거나, 단 하나 또는 두 개의 계층 수준으로 제한되는 경우가 많다. 이러한 한계는 별도의 임의적인 정의 없이 플로어, 빌딩, 도시를 아우르는 복잡한 다층 계층 구조를 생성하는 것을 방해한다.

방법론
저자들은 관찰된 수직 평면으로부터 하향식(bottom-up)으로 완전한 3DSG를 구축하기 위해 구조와 특징을 공동으로 학습하는 통합된 자기회귀 확산 기반 그래프 생성 모델을 제안한다. 이 접근 방식은 관측된 평면의 초기 그래프를 반복적으로 확장하는 FLexible Autoregressive Graph Generation (FLAGG) 프레임워크를 기반으로 한다.

각 단계 $t$ 에서의 생성 과정은 세 가지 모듈형 구성 요소로 이루어진다:

삽입(Insertion): Graph Isomorphism Network with Edges (GINE)가 다음에 추가될 노드 블록의 크기( $m_t$ )를 예측한다.
채우기(Fill): 생성 모델이 현재 그래프 상태를 조건으로 하여 새로운 블록의 연결성(에지), 시맨틱 레이블, 그리고 연속적인 기하학적 속성(중심점)을 원샷(one-shot)으로 샘플링한다. 저자들은 이 모듈에 대해 두 가지 변형을 구현하고 비교하였다:
- OURS-FD4: Distance and Discrete Denoising Diffusion Model (D4)을 채택한다. 먼저 이산 확산 모델(DiGress)을 사용하여 토폴로지와 레이블을 샘플링한 후, 새로운 에지에 대한 쌍별 거리를 샘플링하고, 마지막으로 다차원 척도법(MDS)을 통해 3D 중심점을 복구한다.
- OURS-MIDI: Mixed Graph and 3D Denoising (MiDi) 모델을 채택한다. 조건부 그래프를 중심으로 하는 좌표계 내에서 등변성(equivariant) Graph Transformer를 사용하여 범주형 레이블, 에지, 연속적 좌표를 공동으로 디노이징한다.
중단(Halt): GINE가 생성 프로세스를 중단할지 아니면 다음 반복으로 진행할지를 결정하는 이진 신호를 예측한다.

노출 편향(inference 시 실제 정답 대신 모델 자신의 노이즈 섞인 예측값에 의존하는 문제)을 해결하기 위해, 저자들은 훈련 중에 **노이즈 증강(noise augmentation)**을 사용한다. 이는 이전에 생성된 고수준 노드의 레이블과 위치를 섭동시키고 에지를 무작위로 누락시키거나 삽입하는 과정을 포함하며, 초기 관찰된 평면 노드는 보호한다.

평가를 위해, 저자들은 Fused Gromov–Wasserstein (FGW) 거리의 변형을 도입하였다. 이 메트릭은 관계적 충실도(그래프 구조에 대한 Gromov-Wasserstein 거리)와 메트릭-시맨틱 충실도(중심점 및 레이블과 같은 노드 특징에 대한 Wasserstein 거리)를 공동으로 고려하여, 정답에 대한 원칙적인 그래프 수준 비교를 제공한다.

주요 기여

최초의 3DSG를 위한 자기회귀 확산 모델: 본 논문은 로봇이 관측한 평면 그래프를 조건으로 다층 계층 구조를 생성할 수 있는 최초의 자기회귀 확산 기반 심층 그래프 생성(DGG) 모델을 제시하며, 이를 통해 개념 특화형 수작업 규칙의 필요성을 제거하였다.
통합된 구조 및 특징 생성: 구조 예측과 속성 생성을 분리하는 기존 방법들과 달리, 이 모델은 임의의 계층 깊이에 걸쳐 그래프 토폴로지, 시맨틱 레이블, 3D 중심점을 공동으로 생성한다.
새로운 평가 메트릭: 저자들은 관계적, 시맨틱 및 메트릭 일관성을 동시에 포착하는, 계층적 3DSG 평가에 특화된 FGW 메트릭의 변형을 제안한다.
포괄적인 벤치마킹: 다양한 합성 장면, 공공 건축 평면도(MSD), 실제 로봇 센서 데이터로부터 파생된 다양한 데이터셋을 사용하여 계층 깊이(도시 수준까지)를 아우르는 새로운 벤치마크를 구축하였다. 데이터셋과 코드는 공개적으로 배포된다.

실험 결과
모델은 합성, MSD, 실제 환경 데이터셋에 대해 단일 층에서 전체 도시 수준에 이르는 계층 깊이에 따라 평가되었다.

베이스라인 대비 성능: 제안된 방법들(OURS-FD4 및 OURS-MIDI)은 수작업 기반 휴리스틱(EC-□, EC-L) 및 무작위 추측 베이스라인(RAND)을 포함한 모든 비-오라클(non-oracle) 베이스라인보다 일관되게 우수한 성능을 보였다. 모든 데이터셋에서 FGW와 그 구성 요소(구조에 대한 GW, 메트릭-시맨틱 거리에 대한 W) 모두에서 개선이 관찰되었다.
One-Shot Oracle 대비 성능: 타겟 그래프 크기에 대한 오라클 접근 권한을 가진 최신 원샷 모델(MiDi)과 비교했을 때, 자기회귀 방식은 경쟁력 있는 성능을 유지했다. 특히, 가장 큰 계층(M-C, 도시 수준)과 실제 단일 층 데이터(R-F)에서는 자기회귀 모델이 오라클이 활성화된 원샷 모델을 능가하였는데, 이는 구조적 복잡성이 증가할수록 사전에 그래프 크기를 아는 것의 이점이 감소함을 입증한다.
강건성: 거리 기반 변형(OURS-FD4)은 좌표 기반 변형(OURS-MIDI)에 비해 훈련 데이터에서 실제 로봇 기록 환경으로 전이될 때 더 높은 강건성을 보였으며, 이는 기존 그래프에 대한 쌍별 거리를 통해 새로운 중심점을 제약하는 것이 일반화에 도움이 됨을 시사한다.

의의 및 주장
본 논문은 임의적인 알고리즘에 의존하지 않고 저수준 관측으로부터 완전한 다층 공간 계층 구조를 추론하는 문제를 해결한다고 주장한다. 자기회귀 프레임워크 내에서 구조와 특징 생성을 통합함으로써, 이 방법은 기존의 학습 기반 접근법으로는 접근하기 어려웠던 복잡한 환경(플로어, 빌딩, 도시)에 대한 확장 가능한 3DSG 완성을 가능하게 한다. 저자들은 본 모델이 일관된 고수준 구조 표현을 제공함으로써 SLAM, 글로벌 위치 추정, 경로 계획과 같은 다운스트림 로봇 응용 분야를 촉진한다고 주장한다. 또한, FGW 메트릭이 생성된 그래프와 정답 사이의 전반적인 유사성을 평가하기 위한 잘 균형 잡힌 지표를 제공하여, 이 분야의 원칙적인 평가 방법의 부재를 해결한다고 기술한다. 결론적으로, 하향식 접근 방식의 한계로 인해 오차 누적이 발생할 수 있으나, 제안된 방법은 3DSG 생성의 범위를 첫 두 계층 수준 너머로 성공적으로 확장하였다.

유사한 논문