💻 computer science

Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization

이 논문은 분석적인 폐쇄형 해법(closed-form solution)과 온더플라이(on-the-fly) 주입 메커니즘을 통해 정밀한 객체 위치 추적을 달성하며, 계산 오버헤드를 최소화하면서도 기존 베이스라인보다 정확도 면에서 크게 뛰어난 성능을 보이는 공간적으로 근거가 있는 텍스트 기반 비디오 생성을 위한 새로운 학습 불필요 및 그래디언트 불필요 방식인 GATO-Vid를 소개한다.

원저자: Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

게시일 2026-08-14

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Guillaume Jeanneret, Mathis Koroglu, Hugo Caselles-Dupré, Arnaud Dapogny, Matthieu Cord

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 목소리만으로 전체 세계를 꿈꿀 수 있는 마법의 영화 카메라를 가지고 있다고 상상해 보세요. 만약 당신이 "용이 성 위를 날아간다"라고 말하면, 카메라는 즉시 그 영상을 만들어냅니다. 이것이 바로 단순한 문장을 움직이는 그림으로 바꾸는, 급격히 성장하는 분야인 텍스트-투-비디오(Text-to-Video) 생성의 세계입니다. 하지만 함정이 하나 있습니다. 이 AI 카메라는 열정적이지만 서투른 예술가와 같습니다. 용이라는 '아이디어'를 포착하는 데는 뛰어나지만, 당신이 원하는 정확한 위치에 배치하는 데는 서툽니다. 만약 당신이 왼쪽 상단에 용을 넣어달라고 요청하면, AI는 용을 가운데에 두거나 화면 밖으로 사라지게 만들 수도 있습니다.

이를 해결하기 위해 과학자들은 보통 두 가지 방법을 시도합니다. 첫 번째는 **훈련(training)**인데, 이는 AI에게 새로운 기술을 가르치기 위해 튜터를 고용하는 것과 같지만, 이는 수년간의 학습과 엄청난 양의 컴퓨터 자원을 필요로 합니다. 두 번째는 영상 제작 과정 중에 사용되는 **경사 기반 최적화(gradient-based optimization)**로, 매우 정밀한 GPS 역할을 합니다. 이 방법은 영상을 끊임없이 확인하고, 용을 올바른 위치에 두기 위해 픽셀을 어떻게 미세하게 조정해야 하는지 계산한 다음, 다시 되감아서 다시 시도합니다. 문제는 이 "GPS"가 너무 무겁고 느려서 오늘날 사용되는 현대적인 거대 컴퓨터들을 다운시켜 버린다는 점입니다. 이는 마치 엔진이 돌아가는 동안 모든 나사의 궤적을 수동으로 계산하며 우주선을 조종하려는 것과 같습니다.

이 논문은 무거운 GPS나 수년간의 훈련 없이도 이러한 AI 카메라를 조종할 수 있는 영리한 새로운 방법을 소개합니다. 연구진인 기욤 제네레(Guillaume Jeanneret)와 그의 팀은 GATO-Vid라고 불리는 방법을 제안합니다. 이 방법은 경사(gradient)를 계산하는 무거운 수학적 과정(즉, "되감아서 다시 시도하는" 루프)을 수행하는 대신, 수학적 지름길을 찾아냈습니다. 이렇게 생각해보세요. 언덕 위로 무거운 바위를 밀어 올리기 위해 어느 방향으로 밀어야 할지 추측하는 대신, 경사의 정확한 각도를 계산하여 바위를 즉시 제자리로 미끄러뜨려 놓는 것과 같습니다. **그래디언트 프리 아날리티컬 트래젝토리 옵티마이제이션 비디오 제너레이션(Gradient-free Analytical Trajectory Optimization Video Generation)**이라 불리는 이 방식은, 슈퍼컴퓨터나 AI의 뇌를 변경하지 않고도 특정 캐릭터를 화면의 특정 구석처럼 당신이 원하는 곳에 정확히 배치할 수 있게 해줍니다. 그들은 이를 현대적인 비디오 생성 모델들에 테스트했으며, 이전의 "free" 방식들보다 사물을 훨씬 더 정확하게 배치한다는 것을 발견했습니다. 다만, 때때로 배경이 조금 덜 역동적으로 변하기도 합니다.

문제점: 서투른 AI 예술가

이야기는 많은 이들이 AI 비디오 생성기를 사용하며 느끼는 좌절감에서 시작됩니다. 당신이 "고양이가 울타리를 뛰어넘는다"라는 프롬프트를 입력하면 AI는 영상을 만듭니다. 하지만 만약 당신이 화면에 상자를 하나 그려 넣고 "고양이를 이 상자 안에 넣어줘"라고 말한다면, AI는 종종 당신의 말을 무시합니다. 고양이를 상자 안에 1초 정도 두었다가 다시 밖으로 나가게 하거나, 울타리를 상자 안에 넣고 고양이는 밖에 두기도 합니다.

연구진은 이를 해결하기 위해 대부분의 현재 방법들이 **경사 기반 최적화(gradient-based optimization)**라고 불리는 기술에 의존한다고 설명합니다. 당신이 눈을 가린 채 과녁을 맞히려고 하는 상황을 상상해 보세요. 기존 방식은 화살을 던지고, 화살이 어디에 맞았는지 느낀 다음, 그것을 더 가깝게 옮기기 위해 필요한 정확한 각도와 힘을 계산한 뒤 다시 던지는 것입니다. AI의 세계에서 이는 컴퓨터가 영상을 생성하고, 물체가 어디에 있는지 확인하고, 얼마나 벗어났는지 나타내는 "손실(loss)"을 계산한 다음, 영상을 목표에 가깝게 수정하기 위해 "역전파(backpropagation)"라는 거대한 계산을 실행하는 것을 의미합니다.

논문은 이 방법이 병목 현상이라고 지적합니다. 현대의 AI 모델은 수십억 개의 파라미터를 가진 거대한 모델입니다. 이 "역전파" 계산을 실행하려면 너무 많은 메모리(VRAM)가 필요하여 일반적인 소비자용 컴퓨터를 다운시키는 경우가 많습니다. 예를 들어, 연구진은 Wan2.2와 같은 대규모 모델의 경우, 이 역방향 패스(backward pass)를 계산하는 데 단일 80GB GPU 이상의 메모리가 필요하며, 이는 일반적인 사용자가 가진 수준을 훨씬 뛰어넘는다고 언급합니다. 이는 마치 루빅스 큐브를 움직일 때마다 큐브를 분해하고, 모든 조각을 측정하고, 다시 조립하는 방식으로 문제를 해결하려는 것과 같습니다.

해결책: 수학적 지름길

여기서 GATO-Vid가 등장합니다. 팀은 질문했습니다. "눈을 가리고 화살을 던지는 대신, 한 번에 완벽한 투구를 계산할 수는 없을까?"

그들은 AI가 사물이 어디에 갈지를 결정하기 위해 **교차 주의(cross-attention)**라는 메커니즘을 사용한다는 것을 깨달았습니다. 이것은 AI가 비디오의 서로 다른 부분(예: "고양이"라는 단어)에 비추는 스포트라이트와 같아서, 어떤 픽셀이 고양이가 되어야 하는지를 결정합니다. 연구진은 이 "스포트라이트"의 복잡하고 비선형적인 수학(Softmax 함수 포함)을 계산하는 대신, 이를 대신할 수 있는 더 단순한 선형 버전의 수학(logits)을 사용할 수 있다는 점에 주목했습니다.

여기에 마법 같은 기술이 있습니다:

대리 점수(The Surrogate Score): 그들은 새로운, 더 단순한 점수 함수를 만들었습니다. 오류를 최소화하기 위해 추측하고 확인하는 대신, "스포트라이트"가 목표를 얼마나 잘 비추고 있는지를 직접 측정하는 공식을 작성했습니다.
해석적 해법(The Analytical Solution): 이 새로운 공식은 단순하기 때문에, 종이에 적힌 수학(해석적 해법)으로 풀 수 있었습니다. 그들은 AI가 물체를 올바른 위치에 두기 위해 비디오를 어떤 방향으로 밀어야 하는지 정확한 방향을 찾아냈습니다. 이는 고양이를 상자 안에 넣기 위해 단순히 추측할 필요 없이, 비디오 토큰을 상자의 정확한 방향으로 밀기만 하면 된다는 것을 깨닫는 것과 같습니다.
주입 메커니즘(The Injection Mechanism): 그런 다음 그들은 이 "밀기(push)"를 비디오를 만드는 동안 AI의 뇌에 직접 주입하는 방법을 구축했습니다. 이를 **온더플라이 주입(on-the-fly injection)**이라고 부릅니다. 그들은 AI의 내부 생각(쿼리 벡터)을 가져와서, 계산된 "밀기(bias)"를 더한 다음, 그것이 다시 AI의 정상적인 사고 방식에 맞도록 정교하게 재구성합니다.

결정적으로, 그들은 AI를 망가뜨리지 않도록 주의해야 했습니다. AI의 내부 숫자들은 RMSNorm이라는 정규화 과정 덕분에 특정 형태(하이퍼 엘립소이드, hyper-ellipsoid) 위에 존재합니다. 만약 숫자를 무작위로 더하기만 한다면 이 형태가 깨지게 됩니다. 따라서 GATO-Vid는 "밀기"가 올바른 수학적 표면 위에 머물 수 있도록 특수한 투영(projection)을 사용하여 비디오 생성을 안정적으로 유지합니다.

결과: 정밀함과 그 대가

팀은 현재 사용 가능한 가장 강력한 오픈 소스 비디오 생성기 중 하나인 Wan2.2 모델을 대상으로 GATO-Vid를 테스트했습니다. 그들은 이를 Peekaboo, VideoTetis, SwitchCraft와 같은 다른 "훈련이 필요 없는(training-free)" 방식 및 기본(unmodified) 모델과 비교했습니다.

결과는 놀라웠습니다.

국지화(Localization): GATO-Vid가 명백한 승자였습니다. 테스트 결과, 하나의 데이터셋에서 0.363의 **IoU (Intersection over Union)**를 달성했고, 더 어려운 데이터셋에서는 0.324를 달성했습니다. 이는 다른 방식들이 0.15에서 0.17 사이를 맴돌았던 것에 비해 물체가 목표 상자 안에 있을 확률이 훨씬 높음을 의미합니다.
속도: 이 방식은 믿을 수 없을 정도로 빨랐습니다. 비디오 생성에 걸리는 총 시간에 단 **0.4%**만을 추가했습니다. 반면, 다른 방식들은 **6%**에서 **92%**까지 더 많은 시간을 소요했습니다.
함정(The Catch): 논문은 이러한 정밀함에는 작은 대가가 따른다고 시사합니다. 물체는 올바른 위치에 있지만, 비디오의 전반적인 "분위기(vibe)"가 때때로 저하되었습니다. 미적 품질(Aesthetic Quality, AQ) 점수가 약간 낮아졌고, 역동성 정도(Dynamic Degree, DD)(영상 내 움직임의 양)도 낮아졌습니다. 연구진은 물체를 특정 상자 안에 강제로 고정함으로써 AI가 배경을 다소 정적이거나 덜 활기차게 만들 수 있다고 설명합니다. 이는 트레이드오프입니다. 완벽하게 배치된 고양이를 얻는 대신, 장면이 조금 덜 흥미로워질 수 있습니다.

왜 중요한가

이 논문은 GATO-Vid가 거대한 AI 모델을 재학습시키거나 슈퍼컴퓨터를 사용하지 않고도 비디오 생성에 대한 정밀한 제어를 얻을 수 있음을 입증한다고 결론짓습니다. 영리한 수학적 지름길을 사용함으로써, 그들은 "역전파"(무겁고 느린 계산)가 필요했던 문제를 단순하고 즉각적인 계산으로 바꾸었습니다.

저자들은 이것이 훈련이 필요 없고 그래디언트가 필요 없는(training-free and gradient-free) 접근 방식임을 강조합니다. 이는 누구나 표준적인 컴퓨터를 사용하여 새로운 데이터를 수집하거나 AI가 새로운 기술을 "배울" 때까지 기다릴 필요 없이 더 나은 비디오를 만들 수 있음을 의미합니다. 이 방법이 완벽한 공간 제어가 장면의 예술적 역동성을 약간 감소시킬 수 있음을 시사하긴 하지만, 사용자가 마침내 "용을 여기에 둬"라고 말하면 AI가 그 말을 듣게 되는, 제어 가능한 비디오 생성의 새로운 시대를 열어줍니다.

연구진은 또한 "절제 연구(ablation studies)"(방법의 일부를 제거하여 테스트하는 과정)를 수행하여, 그들의 퍼즐 조각 하나하나가 필수적임을 보여주었습니다. 만약 "투영(projection)" 단계를 제거하면 비디오에 이상한 아티팩트가 발생했습니다. 만약 "음의 편향(negative bias)"(잘못된 위치로부터 물체를 밀어내는 부분)를 제거하면 물체가 상자 안에 머물지 못했습니다. 이는 그들의 특정 수학 및 기하학적 조합이 성공의 핵심이었음을 확인시켜 주었습니다.

요약하자면, GATO-Vid는 AI에게 길을 찾는 법을 추측하라고 요구하는 대신 지도와 나침반을 주는 것과 같습니다. 이는 거대한 영화 제작팀의 비용 없이도 감독의 정밀함으로 AI 영화를 가이드할 수 있게 만드는, 작고 우아한 수학적 트릭입니다.

기술 요약: GATO-Vid

문제 정의

Diffusion Transformer (DiT) 기반의 텍스트-비디오(T2V) 모델들은 높은 합성 품질을 달 achievement 했으나, 세밀한 공간 제어 능력이 부족합니다. 사용자들은 텍스트 프롬프트만으로는 특정 객체의 시공간적 위치(예: 특정 객체를 지정된 위치에 배치하는 것)를 신뢰성 있게 지정할 수 없습니다. 기존 솔루션은 다음 두 가지 범주로 나뉩니다:

학습 기반 방법: 대규모 주석 데이터셋에 전용 모듈을 미세 조정하거나 학습시켜야 하며, 이는 막대한 계산 비용을 초래합니다.
학습이 필요 없는 그래디언트 기반 방법: 이 방식은 추론 중에 생성기에 그래디언트를 역전파하여 크로스 어텐션 맵과 타겟 위치 사이의 유사도를 극대화함으로써 공간 제어를 최적화합니다. 그러나 이 접근법은 계산 비용이 매우 높으며, 현대적인 아키텍처(예: Wan2.2)의 경우 80GB를 초과하는 상당한 VRAM을 요구하고 추론 시간을 300% 이상 증가시킵니다. 또한, 메모리 절약을 위해 FlashAttention을 사용하는 현대적인 엔진들이 흔히 피하는 명시적인 어텐션 맵 계산을 필수로 합니다.

현재의 그래디언트 프리(gradient-free) 대안들(예: 하드 마스킹)은 특히 DiT 아키텍처에서 일반적으로 더 약하거나 덜 신뢰할 수 있는 공간 제어력을 제공합니다.

방법론: GATO-Vid

저자들은 **그래디언트가 필요 없는 분석적 궤적 최적화 비디오 생성(GATO-Vid)**을 제안합니다. 이는 역전파 없이 정밀한 공간 가이드를 달성하는, 학습이 필요 없고 그래디언트도 필요 없는 프레임워크입니다. 핵심 통찰은 비용이 많이 드는 그래디언트 기반의 크로스 어텐션 맵 최적화를 분석적으로 해결 가능한 대리 목적 함수(surrogate objective)로 대체하는 것입니다.

1. 대리 목적 함수 구축

그래디언트를 통해 손실 함수를 최적화하는 대신, GATO-Vid는 표준 로컬라이제이션 손실의 동작을 근사하기 위해 프리-소프트맥스 로짓(pre-softmax logits, 쿼리와 키의 내적)을 기반으로 한 점수 함수 $s$ 를 정의합니다. 이 점수는 세 가지 항으로 구성됩니다:

항 (i): 타겟 비디오 토큰(타겟 영역 $M$ 에서의 쿼리)과 타겟 텍스트 토큰(집합 $T$ 에서의 키) 사이의 내적을 극대화합니다.
항 (ii): 비타겟 텍스트 토큰( $T^c$ )이 타겟 영역에 미치는 영향을 최소화합니다.
항 (iii): 타겟 텍스트 토큰이 비타겟 영역( $M^c$ )에 미치는 영향을 최소화합니다.

이 합산 과정을 인수분해함으로써, 이 방법은 복잡도를 $O(|Q| \cdot |K|)$ 에서 세 개의 벡터 내적으로 줄여 명시적인 어텐션 맵 계산을 피합니다.

2. 분석적 최적화

저자들은 이 점수를 극대화하기 위한 폐쇄형 해(closed-form solution)를 도출합니다. 그들은 최적의 방향 벡터(편향) $b^+$ 와 $b^-$ 를 결정합니다:

$b^+$ 는 타겟 토큰의 평균 키와 비타겟 토큰의 평균 키 사이의 차이 $\mathcal{K}(T) - \mathcal{K}(T^c)$ 와 공선(collinear)입니다.
$b^-$ 는 타겟 토큰의 음의 평균 키인 $-\mathcal{K}(T)$ 와 평행합니다.

3. 기하학 인지 주입 메커니즘 (Geometry-Aware Injection Mechanism)

이러한 편향을 쿼리 벡터에 직접 교체하거나 추가하는 것은 DiT 아키텍처가 벡터를 하이퍼-엘립소이드(hyper-ellipsoid) 표면으로 투영하는 RMS Normalization을 사용하기 때문에 네트워크의 내부 표현을 방해합니다. 이 기하학적 매니폴드를 존중하기 위해, GATO-Vid는 특정 주입 메커니즘을 채택합니다:

스케일링(Scaling): 편향은 원래 쿼리의 크기( $\|q_j\|$ )와 하이퍼파라미터 $\lambda$ 에 의해 스케일링됩니다.
직교 투영(Orthogonal Projection): 배경 토큰( $M^c$ )의 경우, 기존 특징을 덮어쓰지 않도록 음의 편향을 원래 쿼리의 직교 보컴플리먼트(orthogonal complement)로 투영합니다.
재정규화(Renormalization): 수정된 벡터는 RMSNorm 엘립소이드 표면으로 다시 투영됩니다.
공간적 변조(Spatial Modulation): 부자연스러운 균질성을 피하기 위해, 가이던스 스케일 $\lambda^+$ 는 타겟 바운딩 박스에 적합된 정규화된 2D 가우시안 분포를 사용하여 공간적으로 변조됩니다.

이 프로세스는 레이아웃에 가장 중요한 크로스 어텐션 점수가 발생하는 디노이징 반복의 초기 15% 및 초기 20개 트랜스포머 블록 내에서 온더플라이(on-the-fly)로 적용됩니다.

주요 기여

GATO-Vid 프레임워크: 현대적인 DiT 모델에서 역전파 없이 공간적으로 접지된(grounded) T2V 생성을 가능하게 하는, 학습이 필요 없고 그래디언트가 필요 없는 접근 방식입니다.
분석적 폐쇄형 솔루션: 크로스 어텐션 로컬라이제이션을 분석적으로 해결 가능한 대리 목적 함수로 재구성하여, 어텐션 맵이나 그래디언트를 계산하지 않고도 최적의 조향 방향을 제공합니다.
기하학 인지 주입: RMS 정규화 매니폴드를 엄격히 준수하면서 트랜스포머 블록 내에서 분석적 조향 방향을 적용하여 안정적이고 효율적인 추론을 보장하는 메커니즘입니다.

실험 결과

이 방법은 Peekaboo, VideoTetris, SwitchCraft 등의 베이스라인과 함께 최첨단 오픈 소스 T2V 모델인 Wan2.2에서 평가되었습니다.

로컬라이제이션 정확도: GATO-Vid는 모든 베이스라인을 크게 앞섭니다. Set 1(다양한 객체)에서 IoU 0.363을 달성했으며, 이는 가장 우수한 베이스라인인 Peekaboo의 0.249 및 기타 모델의 ~0.16과 대조됩니다. Set 2(합성, 도전적인 궤적)에서는 Peekaboo의 0.171 대비 0.324의 IoU를 기록했습니다.
계산 효율성: GATO-Vid는 **0.4%**라는 최소한의 런타임 오버헤드를 도입합니다. 반면, 그래디언트 기반 방법은 약 300% 더 많은 시간과 거대한 VRAM을 필요로 합니다. 다른 그래디언트 프리 베이스라인들은 6%에서 92% 사이의 오버헤드를 추가했습니다.
비디오 품질: GATO-Vid는 우수한 로컬라이제이션을 달성하지만, 비디오 품질 지표(VBench) 측면에서는 트레이드오프를 보입니다. 구체적으로, 미적 품질(AQ) 및 동적 정도(DD) 점수가 바닐라 모델보다 낮으며, 이는 엄격한 공간적 제약이 더 정적인 구성과 배경 저하를 유발할 수 있음을 시사합니다. 그러나 피사체 일관성(SC) 및 배경 일관성(BC)은 기본 모델과 대등한 수준을 유지합니다.

의의 및 주장

본 논문은 GATO-Vid가 대규모 DiT 아키텍처에서 발생하는 과도한 비용의 그래디언트 최적화라는 결정적인 병목 현상을 해결한다고 주장합니다. 분석적 솔루션을 도출함으로써, 저자들은 학습이나 역전파 없이도 정밀한 공간 제어가 가능하다는 것을 입증하였으며, 이를 통해 소비자급 GPU(32GB VRAM 미만)를 가진 사용자들도 접근 가능하게 만들었습니다.

저자들은 강력한 공간 제어가 일부 경우 장면의 역동성과 미적 매력을 희생시킨다는 점을 인정합니다. 그러나 GATO-Vid를 비용이 많이 드는 학습 기반 방법과 메모리 집약적인 그래디언트 기반 추론 모두에 대한 실행 가능한 대안으로서, DiT 기반 아키텍처를 위한 효율적이고 확장 가능하며 정밀한 제어를 향한 중요한 단계로 포지셔닝합니다. 이 연구는 분석적 어텐션 조작이 제어 가능한 생성을 위한 근본적인 도구로서 가질 수 있는 잠재력을 강조합니다.