💻 computer science

Hierarchical Denoising For Multi-Step Visual Reasoning

이 논문은 계층적 잠재 변수와 희소 주의 집중(sparse attention)을 활용하여 비디오 생성에서 효율적이고 지연 시간이 낮은 다단계 시각적 추론을 가능하게 함으로써, 기존의 스트리밍 자기회귀 및 양방향 확산 모델보다 추론 정확도와 추론 속도 모두에서 성능을 크게 향상시킨 통합 프레임워크인 HDR을 소개한다.

원저자: Zezhong Qian, Xiaowei Chi, Chak-Wing Mak, Tianze Zhou, Ruibin Yuan, Yuhan Rui, Hengzhe Sun, Zhuoqun Wu, Yuming Li, Siyuan Qian, Sirui Han, Shanghang Zhang

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zezhong Qian, Xiaowei Chi, Chak-Wing Mak, Tianze Zhou, Ruibin Yuan, Yuhan Rui, Hengzhe Sun, Zhuoqun Wu, Yuming Li, Siyuan Qian, Sirui Han, Shanghang Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 퍼즐, 예를 들어 미로 찾기나 체스 게임 같은 것을 푸는 법을 가르치려 한다고 상상해 보세요. 하지만 단순히 움직임을 생각하는 것을 넘어, 로봇은 게임이 진행되는 동안 매 프레임마다 전체 게임을 '그려내야' 합니다. 이것이 바로 비디오 생성 모델이라는 흥미롭고도 까다로운 세계입니다. 이들은 단순히 영상을 보는 것이 아니라, 무에서 유를 창조하여 영상을 만들어내는 AI 시스템입니다. 최근 과학자들은 이러한 모델을 단순히 실감 나게 보이게만 하는 '비디오 화가'에서, 다단계 문제를 추론할 수 있는 '비디오 사고가'로 업그레이드하기 위해 노력해 왔습니다.

여기서 큰 과제는 두 가지 사고방식 사이의 줄다리기입니다. 한 가지 방식은 이야기를 한 단어씩 써 내려가는 것과 같습니다. 이는 빠르고 효율적이지만, 일단 단어를 썼다면 페이지 전체를 다시 쓰지 않고서는 쉽게 되돌아가 수정할 수 없습니다. 다른 방식은 초안을 통째로 작성한 다음, 줄거리가 논리적으로 맞는지 확인하기 위해 한꺼번에 전체를 편집하는 것과 같습니다. 이는 논리적인 면에서는 훌륭하지만, 영화를 촬영하는 도중에 영화 전체를 편집하려는 것처럼 믿을 수 없을 정도로 느리고 무겁습니다. 모두가 던지는 질문은 이것입니다. 우리는 인간처럼 깊고 논리적으로 생각하면서도, 실시간으로 유용하게 사용할 수 있을 만큼 빠르게 영상을 생성할 수 있는 비디오 모델을 만들 수 있을까?

여기에 연구자들이 제안한 새로운 프레임워크인 HDR(Hierarchical Denoising for Visual Reasoning, 시각적 추론을 위한 계층적 디노이징)이 등장합니다. HDR을 단순히 장면을 처음부터 끝까지 한 번에 촬영하는 것이 아니라, 영화의 전체적인 윤곽을 먼저 잡는 스마트한 감독이라고 생각해 보세요. 감독은 먼저 전체 영화의 거칠고 흐릿한 윤곽(coarse plan)을 그려서, 큰 이야기의 흐름과 캐릭터가 어디로 가야 하는지를 파악합니다. 그 후, 이 큰 그림이 확정된 후에야 감독은 줌인을 하여 셔츠의 색깔이나 손의 정확한 움직임 같은 아주 세밀한 디테일을 채워 넣습니다.

논문에서 저자들은 이전의 빠른 모델들(streaming autoregressive diffusion이라 불리는)이 너무 성급했다고 설명합니다. 그들은 마치 미로에서 경로가 실제로 확보되었는지 확인하기도 전에 왼쪽으로 돌기로 결정해 버리는 로봇처럼, 너무 일찍 결정을 내려버렸습니다. 일단 결정이 내려지면, 설령 그것이 막다른 길로 이어지더라도 로봇은 갇혀버리게 됩니다. 반면에 느린 '양방향(bidirectional)' 모델들은 전체 타임라인을 살펴보고 실수를 바로잡을 수 있었지만, 계산량이 너무 많아 실시간으로 실행할 수 없었습니다.

HDR은 비디오 생성 과정을 트리 구조로 조직함으로써 이 간극을 메웁니다. 시간의 가계도라고 상상해 보세요. 트리의 꼭대기에서 모델은 전체 계획에 대한 '노이즈가 섞인' 추측들을 생성합니다. 이 추측들은 흐릿하고 불확실한데, 이는 사실 좋은 현상입니다! 이는 모델이 여러 가지 가능한 경로를 유지하며 선택지를 열어두고 있다는 것을 의미하기 때문입니다. 과정이 트리를 따라 더 '세밀한(finer)' 층으로 내려갈수록, 모델은 서서히 노이즈를 제거하며 그 흐리멍덩한 아이디어들을 선명하고 구체적인 비디오 프레임으로 변환합니다. 결정적으로, 모델은 상위 레이어를 통해 전체 여정을 계획한 '후에' 비로소 최종적이고 상세한 비디오를 확정합니다.

결과는 인상적입니다. 미로 찾기, 하노이의 탑 퍼즐 풀기, 물을 쏟지 않고 튜브에 붓기 등 6가지 서로 다른 추론 작업에 대해 테스트했을 때, HDR은 기존의 성급한 모델들을 크게 압도했습니다. HDR은 다단계 퍼즐의 성공률을 약 **34%**에서 **60%**로 끌어올렸는데, 이는 엄청난 도약입니다. 더욱 중요한 점은, HDR이 이 일을 수행하면서도 속도가 느려지지 않았다는 것입니다. 모든 것을 편집해야 하는 느린 모델들이 단 한 단계를 생성하는 데 거의 38초가 걸린 반면, HDR은 단 0.70초 만에 이를 해냈습니다. 이는 느린 방식보다 약 54배 더 빠르면서도 훨씬 더 똑똑한 결과를 보여준 것입니다.

연구진은 또한 HDR이 매우 효율적인 학습자라는 것을 발견했습니다. 일반적인 데이터 양의 **2%**만으로 훈련했을 때도, HDR은 **82.9%**의 성공률을 유지한 반면, 다른 모델들은 약 **52%**로 떨어졌습니다. 이는 '계층적' 사고방식, 즉 큰 틀을 먼저 계획하고 나중에 세부 사항을 채우는 방식이 단순히 예시를 암기하는 것이 아니라 규칙을 배우는 강력한 방법임을 시사합니다.

이것이 컴퓨터 화면 속의 속임수가 아님을 증명하기 위해, 팀은 실제 장난감 블록으로 만든 물리적 미로를 항해하는 실제 로봇 팔을 대상으로 HDR을 테스트했습니다. 조명 변화나 블록이 약간 기울어져 있는 것과 같은 현실 세계의 무질서하고 예측 불가능한 환경에도 불구하고, HDR의 논리를 사용하는 로봇은 인형을 미로를 통해 성공적으로 이동시켰으며, 이는 '먼저 생각하고 나서 그려라'라는 접근 방식이 물리적 세계에서도 작동함을 보여주었습니다.

요약하자면, HDR은 우리가 빠름과 똑똑함 중 하나를 선택할 필요가 없다는 것을 시사합니다. 비디오 생성을 계획과 디테일의 계층 구조로 조직함으로써, 우리는 AI에게 복잡한 다단계 문제를 추론할 수 있는 능력을 부여하는 동시에, 여전히 실용적으로 사용할 수 있을 만큼 빠른 생성 속도를 유지할 수 있습니다. 이것은 기계에게 발을 내딛기 전에 앞을 내다보는 법을 가르치는 새로운 방법입니다.

기술 요약: 다단계 시각적 추론을 위한 계층적 디노이징 (HDR)

1. 문제 정의

최근 비디오 모델들은 미로 탐색이나 도구 사용 시뮬레이션과 같은 추론 작업을 수행할 수 있는 범용 시각 기초 모델로 진화하고 있습니다. 그러나 **다단계 추론(multi-step reasoning)**과 저지연 스트리밍 생성(low-latency streaming generation) 사이에는 근본적인 긴장 관계가 존재합니다.

스트리밍 자기회귀 확산(Streaming Autoregressive Diffusion): CausVid 및 CausalForcing과 같은 모델은 각 단계를 과거의 컨텍스트에만 의존하여 조건화함으로써 효율적으로 생성합니다. 이들은 저지연 스트리밍과 KV-캐시 재사용을 지원하지만, "좌에서 우로" 향하는 결정 방식 때문에 초기 결정을 수정할 수 없습니다. 일단 프레임이나 잠재 청크(latent chunk)가 생성되면, 이후의 예측은 이미 확정된 이력에 기반해야 하므로 긴 궤적 전반에 걸친 논리적 불일치를 교정하기 어렵습니다
양방향 확산(Bidirectional Diffusion): Cosmos나 Wan과 같은 모델은 고정된 비디오 시퀀스를 공동으로 디노이징함으로써 전역적인 수정을 허용합니다. 이는 여러 단계에 걸쳐 불확실한 가설을 유지하고 정교화하는 것을 지원합니다. 그러나 이는 매 디노이징 단계마다 조밀하고 전체 시퀀스 업데이트를 요구하므로, 추론 비용이 높고 스트리밍 생성과의 호환성이 떨어집니다.

핵심 과제는 양방향 추론의 논리적 일관성을 유지하면서도 스트리밍 자기회귀 생성의 효율성과 저지연 능력을 보존할 수 있는 프레임워크를 설계하는 것입니다.

2. 방법론: HDR (계층적 디노이징을 통한 시각적 추론)

HDR은 계층적 잠재 변수(hierarchical latents)를 인과적 비디오 생성 과정에 통합하는 통합 프레임워크입니다. HDR은 비디오 잠재 변수를 트리 구조의 계층으로 구성하여 스트리밍 출력 전 단계적으로 조립(coarse-to-fine) 추론을 수행합니다.

2.1 계층적 잠재 표현 (Hierarchical Latent Representation)

HDR은 비디오를 $L$ 개의 계층 레벨을 가진 트리 형태의 잠재 토큰 $T = \{V_1, V_2, \dots, V_L\}$ 로 표현합니다.

조립 단계 레벨 ( $V_1$ ): 전역적 시간 구조를 요약하고 고수준의 계획을 나타냅니다. 이 토큰들은 여러 가능한 전역 가설을 보존하기 위해 더 높은 노이즈 레벨 상태로 유지됩니다.
세밀한 단계 레벨 ( $V_L$ ): 국소적인 시각적 세부 사항을 인코딩하고 최종 비디오 역학을 구체화합니다. 이 토큰들은 조립된 계획을 구체적인 시각적 상태로 정교화하기 위해 더 강력한 디노이징을 거칩니다.
부모-자식 관계: 루트가 아닌 각 토큰은 이전 단계의 부모 토كن을 가지며, 이를 통해 세밀한 토큰이 부모에 의해 정의된 조립된 시간적 세그먼트를 정교화할 수 있도록 합니다.

2.2 레이어별 플로우 매칭 목적 함수 (Layer-wise Flow-Matching Objective)

모델은 레이어별 플로우 매칭 목적 함수를 사용하여 학습됩니다. 모든 레이어에 동일한 추론 예산을 할당하는 대신, HDR은 $K_1 < K_2 < \dots < K_L$ 인 레벨 의존적 샘플링 예산을 채택합니다.

엔트로피 매칭 스케줄: 조립 단계의 레이어들은 무작위성을 유지하고 전역적 계획 옵션을 보존하기 위해 의도적으로 더 높은 노이로 레벨에서 중단됩니다. 세밀한 단계의 레이어는 특정 시각적 상태로 불확실성을 해소하기 위해 더 많은 디노이징 단계를 거칩니다.
손실 함수: 학습 목적 함수는 모든 계층 레벨에 대해 속도 회귀 손실(velocity regression loss)을 합산하며, 각 레벨이 자신의 시간적 추상화(전역 계획 대 국소 운동 세부 사항)에 적합한 속도장을 학습하도록 유도합니다.

2.3 희소 계층적 어텐션 패턴 (Sparse Hierarchical Attention Pattern, SHAP)

플래튼(flattened)된 트리 토큰에 대한 효율적인 추론을 가능하게 하기 위해, HDR은 구조화된 어텐션 마스크인 SHAP을 도입합니다.

희소 컨텍스트: 각 토큰은 다음의 고정된 컨텍스트 세트에만 어텐션을 수행합니다:
1. 동일 레벨의 이전 토큰 (자기회귀적 연속성).
2. 상위 단계의 부모 토큰.
3. 경계 정보를 위한 인접한 부모 토큰 (좌우).
4. 루트 토큰을 위한 첫 번째 프레임 조건.
효율성: 이 패턴은 시간적 어텐션 복잡도를 계층 토큰 수에 따른 이차 $O(N^2)$ (양방향 및 표준 AR 확산의 경우)에서 선형 $O(N)$ 으로 감소시킵니다.
KV-캐시 공유: 생성된 토큰은 공유된 전역 계층 캐시에 기록됩니다. 하위 레벨 토큰은 SHAP 마스크에 의해 선택된 캐시된 상태만을 검색하여, 밀집한 전체 시퀀스 어텐션 없이도 다중 스케일 정보 흐름을 가능하게 합니다.

3. 주요 기여

핵심 긴장 관계 식별: 본 논문은 긴 궤적에서의 논리적 일관성 유지와 현재 비디오 모델의 저지연 스트리밍 생성 지원 사이의 트레이드오프를 규명했습니다.
HDR 프레임워크: 스트리밍 자기회귀 확산에 계층적 잠재 변수를 통합하여, 프레임 수준의 생성을 확정하기 전에 조립-세밀(coarse-to-fine) 추론을 수행하는 통합 프레임워크를 제시했습니다.
새로운 메커니즘:
- 계층 매칭 디노이징: 조립 단계에서 높은 수준의 가설을 보존하면서 세밀한 단계에서 이를 정교화하는 스케줄을 제공합니다.
- SHAP: 시간적 어텐션 비용을 줄이면서 다중 스케일 정보 흐로를 보존하는 희소 어텐션 패턴을 제안합니다.
벤치마크 구축: 미로 탐색, 하노이의 탑, 한 줄 그리기, 슬라이딩 퍼즐, 소코반(Sokoban), 물 붓기 등 6가지 태스크를 포함하며, 분포 외(OOD) 케이스를 다루는 계층화된 다단계 비디오 추론 벤치마크를 구축했습니다.

4. 실험 결과

저자들은 구축된 벤치마크에서 HDR을 풀 어텐션 베이스라인(양방향 확산, VideoMAE) 및 스트리밍 베이스라인(CausalForcing, VideoGPT)과 비교 평가했습니다.

추론 정확도: HDR은 스트리밍 자기회귀 베이스라인(CausalForcing)보다 성능이 크게 향상되었습니다.
- 전체 성공률: 34.22(CausalForcing)에서 60.29(HDR)로 개선되어, 76.2%의 상대적 이득을 보였습니다.
- 평균 진행도: 76.00에서 89.56으로 개선되어, 보다 일관된 중간 추론 궤적을 보여주었습니다.
- HDR은 최상의 전체 성공률과 평균 진행도를 달성했으며, 양방향 확산의 효율성을 능가하면서도 그 추론 능력을 대등하거나 그 이상으로 구현했습니다.
스트리밍 효율성: HDR은 저지연 스트리밍 성능을 유지합니다.
- 지연 시간: 잠재 변수당 0.70초로, CausalForcing(0.72초)과 유사하며 양방향 확산(37.92초)보다 54.2배 빠릅니다.
데이터 효율성: HDR은 제한된 데이터에서도 강력한 견고성을 보여줍니다.
- 단 **2%**의 데이터로 학습했을 때, HDR은 전체 데이터 대비 **82.9%**의 성공 점수를 유지한 반면, 양방향 확산은 **52.0%**에 그쳤습니다.
견고성: 디노이징 예산이 감소된 상황(예: 1단계)에서도 HDR은 전체 단계 성능의 **57.6%**를 유지하여, CausalForcing(32.9%)과 양방향 확산(29.6%)을 크게 앞질렀습니다.
물리 세계 전이: 실제 로봇 미로 실험(단 50개의 실제 비디오로 파인튜닝)에서 HDR은 쉬움, 중간, 어려움 및 OOD 미로 모두에서 강력한 성공률을 유지하며 계층적 추론의 물리적 상호작용 전이성을 입증했습니다.
체화된 세계-행동 모델링: RoboDojo 벤치마크에서 HDR-WAM(사전 학습 제외)은 사전 학습 없는 모델 중 새로운 SOTA를 달성했으며, 특히 장기 실행(Long-Horizon) 태스크에서 탁월한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 생성적 비디오 모델링에서의 전역적 추론이 반드시 밀집한 전방위적(all-to-all) 시간적 계산을 필요로 하는 것은 아님을 입증함으로써, 물리 세계 모델링을 위한 새로운 패러다임을 제시한다고 주장합니다.

비디오 잠재 변수를 조립-세밀 시간 트리로 구성하고 구조화된 희소 어텐션을 활용함으로써, HDR은 전체 시간적 어텐션에 의존하지 않고도 양방향 확산의 추론 능력을 상당 부분 회복했습니다. 저자들은 구조화된 다중 스케일 잠재 계획을 통해 모델이 세밀한 시각적 세부 사항을 확정하기 전에 수정 가능한 고수위 가설을 유지할 수 있으며, 이는 효율적인 스트리밍 생성과 신뢰할 수 있는 다단계 논리적 일관성 사이의 간극을 효과적으로 메운다고 주장합니다. 이 접근 방식은 계층적 디노이징이 합성 및 물리적 환경 모두에서 복잡하고 장기적인 태스크로 비디오 추론을 확장하기 위한 유망한 경로임을 시사합니다.