💻 computer science

SlotDiT: Object-Centric Representations for Diffusion Transformers

이 논문은 객체 중심의 슬롯 기반 잠재 표현을 활용하여 기존의 VAE 기반 방식에 비해 경쟁력 있는 비디오 생성 품질과 로봇 응용 분야에서의 현저히 향상된 작업 완료율을 달성하는 텍스트 가이드 디퓨전 트랜스포머인 SlotDiT를 소개한다.

원저자: Gjergj Plepi, Sven Behnke

게시일 2026-09-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gjergj Plepi, Sven Behnke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 세상을 단순히 픽셀의 흐릿한 덩어리가 아니라, 움직이고 상호작용하는 별개의 사물들의 집합체로 이해하는 데 어려움을 겪어 왔습니다. 수년 동안 비디오를 생성하거나 로봇의 행동을 계획하도록 설계된 인공지능 시스템은 모든 이미지를 거대한 색 점들의 격자로 취급하는 방식에 의존해 왔습니다. 이러한 접근 방식은 놀라울 정도로 사실적인 그림을 만들어내지만, 로봇이 컵을 집어 올리거나 테이블 위에서 블록을 미끄러뜨리는 방법을 파악해야 할 때는 종종 실패하곤 합니다. 문제는 이 시스템들이 고해도상으로 상세하게 세상을 보면서도, 그 안에 있는 개별 객체들에 대한 명확한 정신적 지도를 갖추지 못했다는 점입니다. 그들은 장면이 어떻게 보이는지는 알지만, 그 안에서 무엇이 일어나고 있는지는 이해하는 데 어려움을 겪습니다. 이러한 '보는 것'과 '이해하는 것' 사이의 간극은 기계가 단순한 지시를 따르거나 실제 환경에서 복잡한 움직임을 계획하는 능력을 제한해 왔습니다.

본 대학교(University of Bonn)의 연구진은 기계가 세상을 보는 다른 방식을 제안했습니다. 인공지능이 비디오의 모든 픽셀을 처리하도록 강요하는 대신, 그들은 장면을 소수의 구별되는 움직이는 부분들로 분해하도록 가르쳤습니다. 그들은 이 부분들을 "슬롯(slots)"이라고 부릅니다. 북적이는 주방 조리대를 바라보며 커피 머그잔, 토스터, 과일 바구니를 혼란스러운 모양과 색의 덩어리가 아닌 별개의 개체로 즉각 인식하는 것을 상상해 보십시오. 연구진이 'SlotDiT'라고 명명한 이 새로운 시스템은 이러한 객체 중심적 접근 방식을 사용하여 강력한 비디오 생성 컴퓨터 모델을 안내합니다. 배경 소음보다는 객체 자체에 집중함으로써, 이 시스템은 "빨간 블록을 파란 그릇으로 옮겨라"와 같은 간단한 텍로 지시를 받았을 때 장면이 시간이 지남에 따라 어떻게 변할지를 훨씬 더 높은 정확도로 예측할 수 있습니다.

연구진은 두 가지 주요 단계로 작동하도록 이 시스템을 구축했습니다. 먼저, 컴퓨터는 비디오 프레임을 보고 이를 개별적인 객체 슬롯들로 분리하는 법을 배웁니다. 시스템은 장면 내의 엔티티를 식별하고 각 엔티티에 압축된 디지털 표현을 할당합니다. 장면이 분해되면, 시스템은 텍el 지시를 사용하여 다음 상황에 대한 예측을 유도합니다. 미래의 모든 픽셀 색상을 추측하려고 노력하는 대신, 모델은 단지 이 몇 개의 객체 슬롯들이 어떻게 움직이고 변할지를 예측합니다. 그런 다음 이 예측들을 다시 결합하여 미래의 비디오를 만들어냅니다. 연구진은 이 방법을 전통적인 픽셀 중심 접근 방식에 의존하는 기존 시스템들과 비교 테스트했습니다. 그들은 탁자 게임의 단순한 컴퓨터 시뮬레이션부터 로봇이 가사 노동을 수행하는 복잡한 실제 영상에 이르기까지 네 가지 서로 다른 데이터셋을 대상으로 실험을 진행했습니다.

결과는 세상을 상세하게 보는 것과 구조적으로 이해하는 것 사이에 명확한 차이가 있음을 보여주었습니다. 시각적 충실도에 집중했던 기존 시스템들은 인간의 눈에는 매끄럽고 사실적인 비디오를 생성하는 경우가 많았습니다. 그러나 특정 지시를 따르라는 요청을 받았을 때, 이 시스템들은 빈번하게 실패했습니다. 그들은 블록이 미끄러지는 아름다운 영상을 만들어낼 수는 있지만, 블록이 엉뚱한 곳에 위치하거나 요청된 대로 대상 객체와 상호작용하는 데 실패할 수 있습니다. 반면, 새로운 SlotDiT 시스템은 때때로 시각적으로는 약간 덜 완벽한 영상을 생성할지라도, 실제 과업을 수행하는 데 있어서는 일관되게 성공했습니다. 로봇이 특정 블록을 특정 그릇에 놓아야 하는 CLIPort라는 데이터셋에서, 새로운 시스템은 50%에 불과했던 차순위 방법론을 훨씬 뛰어넘어 73.0%의 성공률을 달성했습니다. 더욱 복잡한 실제 가사 노동 시나리오에서도, 이 객체 중심 시스템은 픽셀 중심의 경쟁 모델들보다 더 높은 성공률을 유지했습니다.

단순히 과업을 수행하는 것을 넘어, 이 새로운 접근 방식은 현저히 빠르고 효율적이라는 것이 증명되었습니다. 시스템은 수천 개의 픽셀 대신 소수의 객체 슬롯만을 추적하면 되기 때문에, 예측을 생성하는 데 훨씬 적은 컴퓨팅 파워를 요구합니다. 연구진은 실험을 통해 새로운 시스템이 표준 고해상도 모델보다 5배 이상 빠르게 예측을 생성할 수 있다는 것을 발견했습니다. 이러한 속도 우위는 기계가 실시간으로 생각하고 반응해야 하는 로보틱스 분야에서 매우 중요합니다. 이 연구는 로봇이 진정으로 유용해지기 위해서 반드시 완벽한 고해도상으로 세상을 볼 필요는 없으며, 자신에게 중요한 객체들을 강조하여 볼 필요가 있다는 점을 시사합니다. 장면의 미세한 세부 사항보다 구조를 우선시함으로써, 연구진은 기계가 지시를 따르고 스스로 행동을 계획하는 데 훨씬 더 나아질 수 있음을 보여주었습니다.

이 연구는 또한 인공지능에 대한 놀라운 진실을 강조합니다: 더 잘 보이는 것이 항상 더 잘 생각하는 것을 의미하지는 않는다는 것입니다. 연구진은 가장 시각적으로 인상적인 영상을 만들어내는 시스템이 종-종 과업을 해결하는 데 있어서는 최악인 경우가 많다는 것을 명시적으로 발견했습니다. 이는 비디오 생성의 현재 표준인 '얼마나 사실적으로 보이는가'가, 기계가 물리적 세계와 상호작용하도록 만드는 것이 목표일 때는 오해의 소지가 있을 수 있음을 나타냅니다. 이 연구는 로봇에게 객체 중심적인 시각을 제공하는 것이 그들의 움직임을 계획하고 제어하는 능력을 향상시키는 강력한 방법이라고 결론짓습니다. 비록 추적해야 할 객체의 수가 고정되어 있어야 한다는 등의 한계가 여전히 존재하지만, 이 결과는 유망한 길을 제시합니다. 이는 로봇 지능의 미래가 기계가 더 많이 보게 만드는 것이 아니라, 그들이 보고 있는 것을 이해하도록 돕는 데 있을 수 있음을 시사합니다.

기술 요약: SlotDiT: 확산 트랜스포머를 위한 객체 중심 표현

문제 정의

텍스트 조건부 잠재 확산 모델(Latent Diffusion Models)은 비디오 생성 분야에서 상당한 성공을 거두었으며, 로봇 공학의 계획(planning), 정책 학습(policy learning), 월드 모델링(world modeling)과 같은 응용 분야에서도 가능성을 보여주고 있습니다. 그러나 기존 방식은 주로 픽셀 수준 또는 변이형 오토인코더(VAE) 기반의 잠재 표현에 의존합니다. 이러한 표현은 주로 재구성 중심의 목적 함수(예: Stable Diffusion VAE)를 통해 학습되어, 명시적인 의미적 구조보다는 높은 시각적 충실도(visual fidelity)를 우선시합니다. 결과적으로, 잠재 공간은 픽셀 단위의 완벽한 재구성보다 작업 완료 및 계획이 더 중요한 로봇 공학의 다운스트림 태스크에 필요한 구조화된 객체 수준의 분해 능력이 부족합니다. 객체 중심 표현이 역학 모델링(dynamics modeling)과 제어에 유익하다는 점은 입증되었으나, 이를 확산 기반 생성 모델링의 잠재 공간으로 통합하는 연구는 아직 미개척 분야로 남아 있습니다.

방법론

저자들은 압축된 객체 중심 슬롯 기반 잠재 공간 내에서 작동하는 텍스트 가이드형 확산 트랜스포머(Diffusion Transformer, DiT)인 SlotDiT를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 구성됩니다.

1. 슬롯 기반 표현 학습

첫 번째 단계는 장면의 객체 중심 분해를 학습하는 과정입니다.

인코더(Encoder): 동결된 DINOv2 비전 트랜스포머(ViT)가 입력 프레임으로부터 시각적 특징을 추출합니다.
슬롯 어텐션(Slot Attention): 슬롯 어텐션 모듈은 시각적 특징에 어텐션을 수행함으로써 일련의 잠재 벡터(슬롯)를 반복적으로 정제합니다. 이는 슬롯 간의 경쟁을 유도하여 서로 다른 장면 엔티티를 표현하도록 합니다.
디코더(Decoder): 2단계 디코더(MLP 기반 브로드캐스트 디코더 후 CNN 기반 이미지 디코더)가 슬로트로부터 장면을 재구성하며, 특징 및 이미지 재구성 손실을 모두 최적화합니다.
출력: 각 프레임은 특정 엔티티에 대응하는 $N_S$ 개의 객체 중심 슬롯 세트로 표현됩니다.

2. 슬롯 기반 텍스트 조건부 확산 트랜스포머

두 번째 단계는 학습된 슬롯 공간 내에서 생성 모델을 훈련합니다.

아키텍처: SlotDiT는 양방향 셀프 어텐션(bidirectional self-attention), 텍스트-투-슬롯 크로스 어텐션(text-to-slot cross-attention), 그리고 MLP를 포함하는 동일한 블록들로 구성된 확산 트랜스포머 백본을 활용합니다.
조건화(Conditioning): 모델은 언어 지시문(T5 인코더를 통해 인코딩됨)과 관찰된 장면 문맥(초기 슬롯 세트)에 의해 조건화됩니다.
생성 과정: 참조 이미지와 지시문이 주어지면, 모델은 미래의 슬롯 궤적(trajectories)을 자기회귀적(autoregressively)으로 노이즈를 제거(denoise)합니다. 모델은 고정된 길이의 시간 창(temporal window) 내에서 작동하며, 컨텍스트 슬롯과 텍스트 임베딩을 수신하는 동시에 미래 프레임에 가우시안 노이즈를 주입합니다.
훈련: 모델은 Diffusion Forcing Transformer (DFoT) 프레임워크를 따르며, 각 프레임이 독립적인 노이즈 레벨로 오염되는 노이즈-애즈-마스킹(noise-as-masking) 패러다임을 사용합니다. 목적 함수는 디노이징 과정의 속도( $v$ -prediction)를 예측하는 것입니다.
추론: 생성은 DDIM 샘플러를 사용하여 자기회귀적으로 진행됩니다. 조건부 예측과 무조건부 예측을 결합하여 지시 이행 능력을 높이기 위해 분류기 없는 가이던스(classifier-free guidance)가 사용됩니다.

핵심 기여

SlotDiT 모델: 로봇 환경을 위한 구조화된 생성 모델링을 가능하게 하는, 객체 중심 잠재 공간에서 작동하는 텍스트 가이드형 확산 트스포머를 도입했습니다.
통제된 비교 연구: VAE 기반(SD-VAE, ImageVAE, VA-VAE, VideoVAE) 및 의미론적 정렬(DINOv2 기반) 잠재 공간과 슬롯 기반 표현을 동일한 DiT 프레임워크 내에서 체계적으로 비교 조사했습니다. 이를 통해 아키텍처와 훈련 절차를 일정하게 유지하면서 잠재 공간 설계의 영향을 격리하여 분석했습니다.
경험적 검증: 객체 중심 구조가 강력한 귀납적 편향(inductive bias)으로 작용하여, 경쟁력 있는 비디오 생성 품질을 제공하는 동시에 텍스트 가이드형 비디오 생성 및 로봇 제어 태스크에서의 작업 성공률을 크게 향 향상시킨다는 것을 입증했습니다.

결과

저자들은 시뮬레이션 및 실제 환경을 모두 포함하는 네 가지 로봇 데이터셋(LanguageTable-Synthetic, CLIPort, LanguageTable-Real, Bridgev2)에 대해 SlotDiT를 평가했습니다.

작업 성공 vs. 시각적 충실도: 시각적 품질 지표와 작업 성공률이 분리되어 있다는 결정적인 발견을 했습니다. VAE 기반 베이스라인들은 종종 우수한 지각 점수(LPIPS, FVD, JEDi)를 달성했지만, 지시를 따르거나 작업을 완료하는 데 실패하는 경우가 빈번했습니다. 예를 들어, CLIPort에서 DiT + VideoVAE는 VAE 베이스라인 중 가장 높은 시각적 충실도를 보였으나 작업 성공률은 57.1%에 그친 반면, SlotDiT는 87.8%의 작업 성공률을 달성했습니다. 마찬가지로 LanguageTable-Synthetic에서 DiT + VideoVAE는 시각적 지표에서는 SlotDiT보다 뛰어났지만, 작업 성공률은 현저히 낮았습니다 (55.8% vs. 79.7%).
로봇 제어: 폐루프(closed-loop) 및 개루프(open-loop) 로봇 제어 평가에서 SlotDiT는 객체 중심 트랜스포머 예측기(TextOCVP)와 VAE 기반 DiT를 포함한 모든 베이스라인을 능가했습니다. LanguageTable-Synthetic에서 SlotDiT는 정답(ground-truth) 미래 슬롯을 사용하는 오라클(oracle)의 성능에 거의 근접했는데, 이는 생성된 궤적이 필수적인 태스크 관련 정보를 잘 보존하고 있음을 시사합니다.
효율성: 슬롯 표현의 압축된 특성(예: 프레임당 10개의 슬롯 vs. VAE의 256개 토큰) 덕분에 상당한 계산 효율성을 확보했습니다. SlotDiT는 확산 샘플링 단계에서의 토큰 수 감소 덕분에 DiT + SD-VAE 베이스라인 대비 5.68배 빠른 추론 처리량을 달성했습니다.
강건성 및 제어 가능성: SlotDiT는 분포 외(out-of-distribution) 장면 구성(예: 증가된 객체 수) 및 미학습 지시문 템플릿에 대해 강건함을 보여주었습니다. 또한 수정된 텍스트 지시문에 따라 생성된 궤적을 성공적으로 조정하면서도 장면의 일관성을 유지하는 강력한 제어 가능성을 보였습니다.

의의 및 주장

본 논문은 객체 중심 구조가 로봇 환경을 위한 확산 기반 생성 모델링에 있어 강력한 귀납적 편향이다라고 주장합니다.

저자들은 고충실도의 시각적 재구성이 일반적인 비디오 생성에는 가치가 있지만, 로봇 계획 및 제어에는 최우선 요구 사항이 아니라고 주장합니다. 대신, 장면을 의미적 엔티티(슬롯)로 명시적으로 분해하는 잠재 공간이 태스크 관련 역학을 모델링하는 데 더 효율적이고 효과적인 표현을 제공한다는 것입니다. 결과는 표준 비디오 생성 지표가 다운스트림 로봇 태스크를 위한 잠재 공간의 유용성을 완전히 포착하지 못할 수 있음을 시사합니다. SlotDiT는 픽셀 수준의 충실도보다 구조화된 객체 수준의 의미론을 우선시함으로써, 생성 모델링과 실제 로봇 응용 사이의 간극을 메우고, 계획 정확도와 작업 완료율을 모두 개선하는 계산 효율적인 대안을 제시합니다.