💻 computer science

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

이 논문은 비디오 확산 모델의 추론 시간 확장 효율성을 높이기 위해 잠재 공간에서 중간 보상을 제공하는 'Latent Reward-Guided Search(LatSearch)'를 제안하여, 보상 기반 재샘플링 및 가지치기 기법을 통해 Wan2.1 모델의 생성 품질과 효율성을 크게 향상시켰음을 보여줍니다.

원저자: Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: AI 영상 만들기의 '막막함'

지금까지 AI 가 영상을 만들 때 (예: "나비 날개가 하얀색에서 노란색으로 변한다"라고 입력하면) 는 다음과 같은 문제가 있었습니다.

완성된 요리를 맛보기 전까지는 알 수 없음: AI 는 영상을 만드는 과정 (노이즈를 제거하며 그림을 그려나가는 과정) 을 시작하면, 최종 결과가 나올 때까지 중간에 "이게 잘 되고 있나?"라고 확인해 볼 수 없었습니다.
실수 누적: 처음에 잘못된 방향으로 그림을 그리기 시작하면, 그 실수가 끝까지 이어져 엉망이 된 영상을 만들어냅니다.
시간 낭비: "아, 이거 망했구나"라고 깨닫는 건 다 그렸을 때뿐이라, 이미 많은 시간을 써버린 상태입니다.

기존 방법들은 "처음에 좋은 재료를 고르자 (초기 노이즈 최적화)"거나, "완성된 요리를 여러 개 만들어서 가장 맛있는 거 하나를 고르자 (최종 결과 검색)"는 방식이었습니다. 하지만 전자는 실패 확률이 높고, 후자는 너무 많은 시간과 비용이 듭니다.

2. 해결책: LatSearch (잠재적 보상 가이드 탐색)

이 논문이 제안한 LatSearch는 "요리하는 중간중간 맛을 보고, 재료를 갈아치우는 스마트한 요리사" 같은 역할을 합니다.

🌟 핵심 비유 1: "등산 중의 나침반"

영상 만들기는 안개 낀 산을 오르는 것과 같습니다.

기존 방식: 등산 시작점 (초기 노이즈) 만 잘 고르거나, 정상에 다다랐을 때 "어? 이 길이 아니었네?"라고 후회하는 방식입니다.
LatSearch 방식: 등산하는 중간중간 (잠재 공간, Latent) 에 나침반을 꺼내 봅니다. "지금 이 방향이 목표 (텍스트 설명) 와 맞고, 풍경 (화질) 이 좋은가?"를 실시간으로 체크합니다.

🌟 핵심 비유 2: "스마트한 길 찾기 (검색과 가지치기)"

LatSearch 는 한 번에 여러 개의 등산로 (후보 경로) 를 동시에 탐색합니다.

중간 점검 (잠재 보상 모델): 등산 도중 몇 번씩 멈춰서 "지금 이 길이 잘 가고 있나?"를 점수 매깁니다. 이때 완성된 영상을 다 그릴 필요 없이, 그림의 '초안' 단계 (잠재 공간) 에서만 빠르게 점수를 줍니다. (이게 시간을 아껴주는 비결입니다!)
재샘플링 (Resampling): 점수가 높은 길은 더 많이 탐색하고, 점수가 낮은 길은 덜 탐색합니다. 하지만 무조건 점수 높은 길만 고집하지 않고, 가끔 다른 길도 시도해 봅니다. (너무 한쪽으로 치우치지 않게 합니다.)
가지치기 (Pruning): 등산이 거의 끝날 때쯤, 가장 좋은 점수를 받은 한 개의 길만 남기고 나머지는 모두 잘라냅니다. 그 한 개의 길만 완성해서 영상을 만듭니다.

3. 왜 이것이 혁신적인가요?

이 방법은 두 가지 큰 장점이 있습니다.

⚡ 속도 향상 (79% 더 빠름): 완성된 영상을 다 만들어서 비교하는 게 아니라, 중간 단계 (초안) 에서만 빠르게 좋은 방향을 골라내기 때문에, 불필요한 계산을 줄여줍니다. 마치 "요리 다 끝낸 후 맛보다, 조리 중간에 간을 보고 재료를 고치는 게 훨씬 빠르다"는 원리입니다.
🎨 퀄리티 향상: 중간중간 "이게 텍스트와 맞나?", "동작이 자연스러운가?"를 체크하며 수정하기 때문에, 엉망이 될 확률이 줄어듭니다.

4. 요약

LatSearch는 AI 가 영상을 만들 때, **"완성된 결과물을 다 만들어서 고르는 게 아니라, 만드는 과정 중간중간 맛을 보고 방향을 수정하며 가장 좋은 길로 빠르게 가는 기술"**입니다.

기존: "일단 10 개 다 만들어서 가장 좋은 거 고르기" (시간 오래 걸림)
LatSearch: "만드는 도중 10 개를 지켜보다가, 중간에 망한 건 바로 버리고, 잘 가는 건 계속 키워서 최종 1 개만 완성하기" (빠르고 효율적)

이 기술을 사용하면 AI 가 더 적은 시간으로 더 멋진 영상을 만들어낼 수 있게 됩니다.

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 에서 성공한 추론 시간 확장 (Inference-Time Scaling) 기법이 비디오 생성 모델에도 적용되고 있습니다. 기존 연구들은 초기 노이즈를 최적화하거나 ('Golden Noise'), 여러 후보를 생성하여 최종 비디오를 비교하는 방식 (Best-of-N, Beam Search 등) 을 통해 품질을 향상시키려 했습니다. 그러나 이러한 접근법에는 다음과 같은 치명적인 한계가 존재합니다.

중간 상태 평가의 부재: 기존 방법들은 노이즈 초기화 시에만 의존하거나, 완전히 디코딩된 최종 비디오만을 평가합니다. 이로 인해 생성 과정 중간에 발생한 오류가 누적되어 최종 결과물의 품질을 저하시킵니다.
지연된 보상 신호 (Reward Delay): 최종 비디오를 생성하고 디코딩한 후에야 보상을 평가하므로, 생성 과정 중 실시간으로 수정하거나 나쁜 후보를 제거할 수 없습니다.
높은 계산 비용: 여러 후보를 생성하고 각각을 완전히 디코딩하여 평가해야 하므로, 검색 알고리즘을 강화할수록 계산 비용이 기하급수적으로 증가합니다. 이는 더 강력한 검색 알고리즘의 적용을 방해합니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 Latent Reward-Guided Search (LatSearch) 를 제안합니다. 이는 비디오 확산 (Diffusion) 과정의 잠재 공간 (Latent Space) 에서 중간 단계를 직접 평가하고, 이를 기반으로 효율적으로 탐색하는 프레임워크입니다.

A. 잠재 보상 모델 (Latent Reward Model)

개념: 비디오를 디코딩하지 않고, 부분적으로 노이즈가 제거된 잠재 벡터 (Partially Denoised Latents) 를 입력으로 받아 품질 점수를 매기는 모델입니다.
평가 지표: 시각적 품질 (VQ), 운동 품질 (MQ), 텍스트 정렬 (TA) 의 세 가지 차원을 평가합니다.
학습 데이터 구성:
- 최종 클린 비디오에 대한 보상 (Ground Truth) 을 얻은 후, 이를 중간 잠재 상태에 할당하기 위해 코사인 유사도 (Cosine Similarity) 를 기반으로 한 크레딧 할당 (Credit Assignment) 전략을 사용합니다.
- 중간 잠재 상태가 최종 상태와 얼마나 유사한지를 측정하여, 최종 보상을 중간 단계에 비례하여 할당합니다.
손실 함수: 회귀 손실 (Regression Loss) 과 선호도 손실 (Preference Loss, RLHF 기반) 을 결합하여 모델의 정확도와 상대적 순서 판단 능력을 동시에 향상시킵니다.

B. LatSearch 알고리즘 (Reward-Guided Resampling and Pruning, RGRP)

생성 과정에서 여러 후보 경로 (Candidate Trajectories) 를 유지하며 다음과 같은 단계를 거칩니다.

후보 생성: 초기 노이즈에 작은 변형을 가해 $N$ 개의 후보를 생성합니다.
보상 기반 리샘플링 (Resampling): 정해진 스케줄 (예: t=10, 15, 20) 에서 잠재 보상 모델이 각 후보를 평가합니다. 보상에 비례한 확률로 후보를 리샘플링하되, 중복 제거 (Uniqueness Pruning) 를 통해 동일한 시드 (Seed) 가 반복되는 것을 방지하여 탐색 다양성을 유지합니다.
최종 가지치기 (Pruning): 최종 스케줄 단계에서 누적 보상이 가장 높은 단일 후보만 선택하여 최종 비디오로 디코딩합니다.

이 과정을 통해 불필요한 디코딩 과정을 제거하고, 저품질 후보를 초기에 제거하여 계산 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

잠재 공간 보상 모델 제안: 비디오 디코딩 없이 중간 잠재 단계에서 시각적, 운동적, 텍스트 정렬 품질을 실시간으로 평가할 수 있는 모델을 최초로 도입했습니다.
RGRP 알고리즘: 확률적 리샘플링과 누적 보상 기반 가지치기를 결합하여, 탐색의 효율성과 품질을 동시에 개선하는 새로운 추론 시간 확장 알고리즘을 설계했습니다.
효율성과 성능의 동시 달성: 기존 최첨단 방법들보다 훨씬 적은 계산 비용으로 더 높은 품질의 비디오를 생성할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

VBench-2.0 벤치마크를 통해 Wan2.1-1.3B 모델을 기반으로 실험한 결과는 다음과 같습니다.

품질 향상: Baseline 대비 3.35% 향상된 평균 점수를 기록했습니다 (Creativity, Commonsense, Human Fidelity 등 다양한 차원에서 개선).
속도 효율성:
- 기존 최첨단 검색 방법인 EvoSearch와 유사한 품질을 달성하면서도, 약 4.77 배 빠른 추론 속도를 보입니다 (EvoSearch: ~783 초 vs LatSearch: ~164 초).
- VideoReward 대비 약 5 배 빠르며, FreqPrior와 동일한 계산 비용 대비 2.44% 더 높은 품질을 달성했습니다.
확장성: Wan2.1-14B 와 같은 더 큰 모델 백본에서도 일관된 성능 향상을 보였으며, 모델 아키텍처에 구애받지 않는 모델 중립적인 특성을 가집니다.
인간 선호도 평가: 시각적 품질, 운동 품질, 텍스트 정렬 측면에서 인간 평가자들이 LatSearch 를 75% 이상 선호했습니다.

5. 의의 및 결론 (Significance)

LatSearch 는 비디오 생성 분야에서 추론 시간 확장 (Inference-Time Scaling) 의 새로운 패러다임을 제시합니다.

중간 피드백의 중요성: 생성 과정의 중간 단계 (Latent Space) 에서 보상을 평가함으로써, 오류 누적을 방지하고 탐색의 효율성을 획기적으로 높였습니다.
실용성: 고비용의 반복 디코딩을 제거하여, 강력한 검색 알고리즘을 실제 응용에 적용 가능하게 만들었습니다.
미래 방향: 이 연구는 비디오 편집, 세계 모델링, 오디오 - 비디오 생성 등 다양한 생성 작업으로 확장될 수 있는 기반을 마련했습니다.

결론적으로, LatSearch 는 더 빠르고, 더 저렴하며, 더 높은 품질의 비디오 생성을 가능하게 하는 효율적인 프레임워크로, 비디오 확산 모델의 실용적 적용 가능성을 크게 높였습니다.