🤖 AI

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

FlowMaps는 인간-사물 상호작용의 시공간적 패턴을 학습하여 미래의 사물 위치에 대한 다중 모드 분포를 예측함으로써, 역동적인 가정 환경에서의 로봇 내비게이션 및 탐색 성능을 크게 향상시키는 잠재 흐름 매칭(latent flow matching) 모델이다.

원저자: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 함께 사는 룸메이트가 있는 집에서 잃어버린 열쇠를 찾고 있다고 상상해 보세요. 만약 당신이 표준적인 로봇에게 "내 열쇠 어디 있어?"라고 묻는다면, 그 로봇은 어제 열쇠를 두었던 테이블을 확인할 것입니다. 하지만 실제 집에서는 물건들이 움직입니다. 당신의 룸메이트가 열쇠를 주방 카운터로 옮겼을 수도 있고, 혹은 그들의 일상적인 루틴에 따라 세면대에 두었을 수도 있습니다.

이것이 바로 FlowMaps가 해결하고자 하는 문제입니다. FlowMaps는 집 안의 물건들이 정지된 조각상이 아니라, 인간의 습관에 따라 움직이는 연극 속 배우와 같다는 것을 로봇이 이해하도록 돕기 위해 설계된 새로운 유형의 AI입니다.

다음은 일상적인 비유를 사용한 작동 방식의 간단한 설명입니다.

1. 문제점: "움직이는 표적"

집 안에서 인간은 끊임없이 물건을 옮깁니다. 커피 머그잔은 아침에는 카운터 위에, 정오에는 식기세척기에, 저녁에는 식탁 위에 있을 수 있습니다.

기존의 로봇들: 마치 기억상실증에 걸린 것처럼 행동합니다. 이들은 어제 어떤 물건이 특정 위치에 있었다면 오늘도 그곳에 있을 것이라고 가정합니다. 만약 당신이 안경을 찾아달라고 하면, 그들은 마지막으로 안경을 보았던 곳만 확인하고 실패합니다.
과제: 로봇은 물건이 '어디에 있었는지'가 아니라, '어디에 있을지'를 추측해야 합니다. 하지만 인간마다 습관이 다르기 때문에 정답은 단 하나가 아닙니다. 안경은 협탁, 욕실 세면대, 혹은 책상 위에 있을 수 있습니다. 로봇은 이 모든 가능성을 동시에 고려해야 합니다.

2. 해결책: "FlowMaps" (수정구슬)

연구진은 FlowMaps라는 시스템을 만들었습니다. 이것을 물체의 일기예보라고 생각하세요.

일기예보가 "오후 2시에 반드시 비가 올 것이다"라고 말하는 대신, 한 지역에는 비가 올 확률이 70%, 다른 지역에는 30%라고 지도로 보여주는 것과 같습니다. FlowMaps 역시 물체의 위치를 단 하나의 지점으로 추측하지 않습니다.
대신, 그것은 가능성의 구름을 생성합니다. "인간의 일반적인 행동 패턴을 바탕으로 볼 때, 휴대폰이 책상 위에 있을 확률은 높고, 협탁 위에 있을 확률은 중간이며, 거실에 있을 확률은 낮다"라고 말해주는 것입니다.

3. 학습 방법: "패턴 탐정"

로봇은 명시적인 가르침 없이 어떻게 이러한 습관을 배울까요?

훈련: 연구팀은 로봇에게 "사람들은 협탁 위에 안경을 둔다"라고 가르치지 않았습니다. 대신, 비디오 게임 시뮬레이터(ProcTHOR)를 사용하여 수천 개의 가상 집을 생성했습니다. 그들은 "가상의 인간"이 이 집들에서 몇 주 동안 살면서 물건을 현실적인 방식으로 옮기도록 프로그래밍했습니다(예: 책을 선반에서 테이블로 옮기는 행동).
학습: 로봇은 이 가상의 인간들이 물건을 옮기는 모습을 관찰했습니다. 로봇은 집의 리듬을 배웠습니다. 로봇은 인간이 왜 컵을 옮겼는지는 몰라도, 움직임의 패턴은 일관적이라는 사실을 깨달았습니다.
마법: 로봇은 현재의 장면과 물체의 라벨(예: "휴대폰")을 보고, 해당 물체를 이동시킨 구체적인 인간의 활동이 무엇인지 알 필요 없이 미래의 위치를 예측하는 법을 배웠습니다.

4. 핵심 기술: "Flow Matching"

이 기술의 이면에 있는 기술적 엔진은 Flow Matching이라 불립니다.

비유: 물 컵에 잉크 한 방울을 떨어뜨렸다고 상상해 보세요. 당신은 10초 후에 잉크가 어디에 있을지 알고 싶습니다.
- 전통적인 방식은 잉크가 이동하는 정확한 경로를 추측하려고 할 것입니다.
- Flow Matching은 물의 흐름(조류)을 배우는 것과 같습니다. 잉크를 시작점에서 끝점으로 밀어내는 "흐름"을 배우는 것입니다.
이 논문에서 "잉크"는 물체의 위치이며, "흐름"은 인간의 습관입니다. 모델은 물체를 집 안에서 시간의 흐름에 따라 이동시키는 보이지 않는 흐름을 학습합니다. '흐름'을 학습하기 때문에, 모델은 단순히 하나의 직선적인 경로가 아니라 여러 가지 가능한 목적지(다중 모드)를 예측할 수 있습니다.

5. 결과: 잃어버린 휴대폰 찾기

연구진은 두 가지 방식으로 테스트를 진행했습니다.

시뮬레이션 내 테스트: 가상의 집에서 로봇이 물건을 찾는 600개 이상의 시나리오를 실행했습니다. FlowMaps는 이전 방식들보다 훨씬 뛰어난 성능을 보였습니다. 단순히 한 곳을 추측하는 데 그치지 않고, 가장 가능성 높은 장소들을 순위별로 제시하여 로봇이 최선의 추측지를 먼저 확인하도록 했습니다.
실제 환경 테스트: 연구진은 실제 로봇(TIAGo 로봇)에 이 시스템을 적용하여 실험실 환경을 구축했습니다. 사람이 책상 사이로 휴대폰을 옮겨 놓았고, 로봇은 FlowMaps를 사용하여 몇 시간 후 휴대폰이 어디에 있을지 예측해야 했습니다. 로봇은 예측된 장소들을 순서대로 확인하며 성공적으로 휴대폰을 찾아냈습니다.

요약

FlowMaps는 로봇에게 인간의 습관을 읽는 "육감"을 부여하는 것과 같습니다. 물건이 '어디에 있었는지'를 기억하는 대신, 물건이 루틴에 따라 '어떻게 움직이는지'를 이해합니다. 단일 지점이 아닌 가능한 위치의 구름(확률 분포)을 예측함으로써, 로봇이 복잡하고 변화하는 집 안을 훨씬 더 효과적으로 탐색하고, 더 빠르게, 더 적은 실수로 잃어버린 물건을 찾을 수 있도록 돕습니다.

핵-심 요점: 이 논문은 이 방법이 물체의 움직임을 고정된 추측이 아닌 연속적인 가능성의 흐름으로 모델링함으로써, 시뮬레이션과 실제 로봇 모두에서 동적인 가정 환경 내 물체 찾기에 있어 현재의 최첨단 방식들보다 더 효과적이라고 주장합니다.

기술 요약: FlowMaps

문제 정의

인간이 거주하는 환경에서 작동하는 로봇 에이전트는 이러한 공간의 본질적인 역동성으로 인해 상당한 어려움에 직면합니다. 정적인 장면과 달리, 일상적인 사물들은 인간의 상호작용에 의해 빈번하게 이동하며, 이로 인해 시간이 지남에 따라 위치가 변하게 됩니다. 이는 로봇이 타겟 물체(예: "내 안경을 찾아줘")를 찾아야 하는 물체 탐색(Object Navigation, ObjNav) 작업에서, 해당 물체가 이전에 관찰된 위치에 그대로 머물러 있다는 보장이 없기 때문에 발생하는 결정적인 난제입니다.

본 연구에서 다루는 핵심 문제는 현재 장면 지도 $M_\tau$ , 쿼리된 물체 레이블 $l_q$ , 그리고 예측 호라이즌 $\tau_f$ 가 주어졌을 때, 동적 물체의 미래 바운딩 박스에 대한 분포 $p(b_{q,\tau_f} | M_\tau, l_q, \tau_f)$ 를 추론하는 것입니다. 기존 방식들은 주로 이산적인 수납 용기(receptacle) 수준의 관계에 의존하거나, 정적인 장면을 가정하거나, 비용이 많이 드는 시각-언어 모델(VLM) 및 수작업으로 설계된 사전 지식(prior)에 의존합니다. 또한, 물체의 변위는 본질적으로 **다봉성(multimodal)**을 띠며(물체가 여러 개의 서로 다른 위치로 이동할 가능성이 있음), 연속적인 3D 공간에서 발생하므로, 인간의 활동을 명시적으로 라벨링하지 않고도 공간적 연속성과 여러 가능한 모드(mode)를 모두 포착할 수 있는 모델링 접근 방식이 필요합니다.

방법론: FlowMaps

저자들은 연속적인 3D 공간에서 물체의 미래 위치에 대한 다봉 분포를 추정하기 위해 설계된 잠재 흐름 매칭(latent flow matching, FM) 프레임워크인 FlowMaps를 제안합니다. 이 아키텍처는 두 가지 주요 모듈로 구성됩니다:

변이형 오토인코더 (VAE):
- 물체 토큰(정규화된 3D 바운딩 박스와 시맨틱 레이블로 구성)을 압축된 잠재 공간 $z \in \mathbb{R}^{d_z}$ 로 인코딩합니다.
- VAE는 기하학적 구조(바운딩 박스 파라미터)와 시맨틱(물체 클래스 레이블)을 모두 재구성하도록 학습됩니다.
- 학습이 완료되면, 인코더는 흐름 모델(flow model)을 위한 타겟 잠재 변수를 제공하기 위해 고정되며, 디코더는 생성된 잠재 변수를 다시 물체 예측값으로 매핑합니다.
잠재 흐름 매칭 네트워크 (Latent Flow Matching Network):
- 조건부 디퓨전 트랜스포머(Conditional Diffusion Transformer, CDiT) 아키텍처를 기반으로 구축된 이 네트워크는 단순한 가우시안 기저 분포 $p_0$ 에서 타겟 잠재 분포 $p_1$ (미래 물체 상태를 나타냄)로 샘플을 운송하는 벡터장 $u_\theta^t$ 를 학습합니다.
- 맵 인코더 (Map Encoder): 장면 컨텍스트(동적 물체 및 정적 배경 가구)를 트랜스포머 인코더를 사용하여 컨텍스트화된 토큰 시퀀스로 집계합니다. 이 인코더는 순열 불변(permutation-invariant)하며, 공간적 구조를 위해 바운딩 박스 임베딩에 의존합니다.
- CDiT 블록: CDiT 블록 스택은 장면 컨텍스트에 교차 주의(cross-attention)함으로써 노이즈가 섞인 쿼리 잠재 변수를 정교화합니다. 컨디셔닝 벡터에는 흐름 시간 $t$ , 최종 타임스탬프 $\tau_f$ , 그리고 쿼리된 레이블 $l_q$ 가 포함됩니다.
- 학습: 모델은 조건부 최적 운송 경로(conditional optimal transport path) 상에서 조건부 흐름 매칭(CFM)을 사용하여 학습됩니다. 타겟 잠재 변수는 고정된 VAE에 의해 인코딩된 실제 미래 바운딩 박스로부터 도출됩니다. 더 곧은 궤적을 보장하기 위해 정확한 미니 배치 최적 운송 계획을 통해 소스-타겟 쌍이 매칭됩니다.
- 추론: 장면과 쿼리가 주어지면, 맵 인코더는 컨텍스트 토큰을 한 번 계산합니다. 그 후, 샘플링된 노이즈 벡터 $z_0$ 로부터 최종 잠재 변수 $z_1$ 까지 흐름이 통합되며, 이는 예측된 바운딩 박스로 디코딩됩니다. 반복적인 샘플링을 통해 가능한 미래 위치의 다봉 분포를 생성합니다.

데이터 생성:
모델을 대규모로 학습시키기 위해 저자들은 ProcTHOR를 사용하여 동적인 실내 환경을 생성합니다. 이들은 시맨틱하게 일관된 물체 이동 패턴을 만들기 위해 세 가지 뚜렷한 인간 습관(루틴)을 시뮬레이션합니다:

습관 #1: 선호도 기반 (Preference-driven) (물체가 선호되는 작은 위치 세트로 돌아감).
습관 #2: 균형 잡힌 (Balanced) (시간이 관련 위치에 균등하게 분포됨).
습관 #3: 고도로 역동적인 (Highly dynamic) (위치 간의 빈번한 전환 발생).
이 과정은 180만 개 이상의 학습 샘플을 생성하여, 모델이 명시적인 활동 레이블 대신 데이터로부터 잠재적인 규칙성을 학습할 수 있도록 합니다.

주요 기여

FlowMaps 아키텍처: 이산적인 수납 용기 카테고리가 아닌, 3D 공간에서 직접 작동하며 연속적이고 다봉적인 시공간적 물체 분포를 표현하고 예측하기 위한 새로운 FM 기반 프레임워크를 제시합니다.
다운스트림 애플리케이션 (ObjNav): 동적인 장면에서의 물체 탐색을 위한 사전 지식으로서 FlowMaps의 성능을 입증했습니다. 이 방법은 로봇이 시간이 지남에 따라 물체가 배치될 가능성이 높은 위치를 추론할 수 있게 하며, 제로샷 베이스라인 및 학습된 전문가 정책보다 우수한 성능을 보입니다.
포괄적인 평가: 서로 다른 환경과 실제 환경 배포에 걸쳐 600개 이상의 시뮬레이션된 ObjNav 에피소드를 다루는 광범위한 정량적 및 정성적 평가를 수행했습니다. 이 연구는 방법론의 건전성, 효과성, 교차 환경 일반화 능력 및 실질적인 실행 가능성을 검증합니다.

실험 결과

평가는 시뮬레이션(ProcTHOR/AI2-THOR)과 실제 환경(TIAGo 로봇) 모두에서 수행되었습니다.

분포 성능: FlowMaps는 minFDE 0.342m를 달성하여 가장 강력한 베이스라인인 FreqPrior(0.370m)보다 7.6% 우수한 성능을 보였습니다. 또한 베이스라인 대비 우수한 밀도(density, 0.886) 및 커버리지(coverage, 0.999) 지표를 보여, 샘플이 실제 정답 모드 주변에 밀집하면서도 가능한 공간을 효과적으로 커버함을 입증했습니다. 단일 지점 예측기(예: EmpiricalMean)는 훨씬 낮은 성능(minFDE > 2m)을 보여 다봉 모델링의 필요성을 강조했습니다.
물체 탐색 (ObjNav): 세 가지 뚜렷한 습관에 대해, FlowMaps는 일관되게 가장 높은 **평균 성공률(mSR)**과 **경로 길이 가중 평균 성공률(mSPL)**을 달 Ach성했습니다.
- 습관 #1에서 FlowMaps는 **69.26%**의 mSR을 달성하여, 차순위 방법인 SGM(67.26%)을 앞질렀습니다.
- 습관 #3(가장 역동적이고 도전적인 환경)에서 FlowMaps는 **64.39%**의 mSR을 달성하여, 그래프 기반 방법(HOMER: 58.93%, SGM: 56.84%) 및 제로샷 LLM 베이스라인을 크게 능가했습니다.
- 특히, FlowMaps의 SR@1(첫 번째 예측에서의 성공)은 종종 경쟁 베이스라인의 SR@5보다 높았으며, 이는 상위 예측의 높은 정밀도를 나타냅니다.
실제 환경 배포: 실제 실험실 환경에서 "CellPhone"을 찾기 위해 TIAGo 로봇에 성공적으로 배포되었으며, 학습된 사전 지식을 물리적 환경으로 전이하는 능력을 입증했습니다.

의의 및 주장

본 논문은 연속적이고 다봉적인 시공간 분포를 통해 물체 역학을 모델링하는 것이 변화하는 가계 환경에서 로봇의 탐색 및 내비게이션을 크게 개선한다고 주장합니다. 주요 핵심 주장은 다음과 같습니다:

암시적 학습 (Implicit Learning): 물체의 위치를 예측하는 데 있어 물체의 변위를 일으키는 인간의 활동을 명시적으로 식별할 필요가 없습니다. 구조는 데이터로부터 직접 나타납니다.
일반화 (Generalization): 학습된 사전 지식은 유사한 물체 루틴(습관)을 공유한다면, 별도의 가구별 미세 조정 없이도 보지 못한 가구 레이아웃과 물체 배치에 일반화됩니다.
효율성 (Efficiency): 추론 시 명시적인 장면 그래프 구축이나 무거운 VLM 추론을 피함으로써, FlowMaps는 효율성을 유지하면서도 기존의 동적 ObjNav 방법들보다 뛰어난 성능을 보입니다.
모달리티 (Modality): 이 접근 방식은 물체 변위의 본질적인 다봉성을 효과적으로 처리하여, 정적인 장면 가정이나 이산적인 상태 예측보다 더 풍부한 로봇 추론을 위한 사전 지식을 제공합니다.

저자들은 현재의 폐쇄된 물체 클래스 및 수납 용기 집합에 대한 의존성, 시뮬레이션으로 완화되기는 했으나 상당한 학습 데이터가 필요하다는 점, 그리고 평가가 세 가지 특정 습관 유형에 국한되었다는 점을 포함한 한계를 인정합니다. 향후 연구는 오픈 보캐블러리(open-vocabulary) 설정을 다루고 온라인 미세 조정을 위한 샘플 효율성을 개선하는 것을 목표로 합니다.