💻 computer science

Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

이 논문은 다중 이벤트 비디오 생성 시 발생하는 의미적 혼란을 해결하고 시간적 정밀도를 높이기 위해, 추가적인 구조 변경이나 계산 비용 없이 교차 주의 메커니즘에 페널티를 도입하여 각 시간 구간이 해당 구간의 프롬프트에만 집중하도록 하는 '프롬프트 릴레이 (Prompt Relay)'라는 추론 시 제어 방법을 제안합니다.

원저자: Gordon Chen, Ziqi Huang, Ziwei Liu

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gordon Chen, Ziqi Huang, Ziwei Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 "프롬프트 릴레이 (Prompt Relay)": 비디오 생성 AI 를 위한 '시간 관리 전문가'

이 논문은 최신 AI 비디오 생성 기술이 가진 가장 큰 약점을 해결하는 방법을 소개합니다. 바로 **"시간을 정확히 통제하는 것"**입니다.

기존의 AI 는 "한 남자가 카페에 앉아서 커피를 마시고, 그다음에 비가 오고, 마지막에 우산을 펴는" 같은 복잡한 이야기를 한 문장으로 입력하면, 커피를 마시는 동안 비가 오거나 우산이 갑자기 나타나는 등 시간이 뒤죽박죽 섞인 영상을 만들어냈습니다.

이 문제를 해결하기 위해 제안된 **'프롬프트 릴레이 (Prompt Relay)'**는 어떻게 작동할까요? 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 문제: "혼란스러운 오케스트라" 🎻🎺

기존 AI 모델은 모든 지시사항을 한 번에 다 듣고 영상을 만듭니다. 마치 지휘자가 없는 오케스트라 같습니다.

바이올린 연주자 (커피 장면) 가 트럼펫 연주자 (비 장면) 의 악보를 보고 갑자기 트럼펫 소리를 내려고 하거나,
모든 악기가 동시에 소리를 내어 소음이 섞이는 것처럼, 원하는 장면이 섞여버립니다.

2. 해결책: "시간표가 있는 열차" 🚂

'프롬프트 릴레이'는 이 오케스트라에 정교한 시간표와 신호등 시스템을 도입합니다.

역할 분담: 각 장면 (프롬프트) 을 특정 시간 구간 (예: 0~~2 초, 2~~4 초) 에 딱 맞게 배정합니다.
신호등 (Attention Penalty): AI 가 영상을 만들 때, 현재 시간이 '커피' 구간이라면 '비'나 '우산'에 대한 신호는 약하게만 받아들이거나 아예 차단합니다. 반대로 '비' 구간이 되면 '커피' 신호는 잊어버리고 '비'에만 집중합니다.

3. 핵심 기술: "부드러운 교차로" vs "갑작스러운 벽" 🌉

이 기술의 가장 멋진 점은 **전환 (Transition)**을 어떻게 처리하느냐입니다.

기존 방식 (단단한 벽, Hard Masking):
- 2 초가 되면 '커피' 신호를 완전 차단하고 '비' 신호를 완전 켜는 방식입니다.
- 결과: 영상이 갑자기 끊기거나, 커피 잔이 갑자기 우산으로 변하는 등 부자연스러운 끊김이 발생합니다. (마치 영화에서 장면을 자르는 것 같습니다.)
프롬프트 릴레이 방식 (부드러운 다리와 경사, Boundary-Attention Decay):
- 2 초가 다가오면 '커피' 신호를 서서히 줄이고, '비' 신호를 서서히 키웁니다.
- 결과: 커피 잔이 천천히 사라지면서 비가 내리기 시작하는 매우 자연스러운 흐름을 만들어냅니다.
- 비유: 마치 계단을 올라가는 것이 아니라, 부드러운 경사로를 타고 넘어가는 것과 같습니다. 두 장면이 서로 충돌하지 않고 자연스럽게 섞였다가 분리됩니다.

4. 왜 이 기술이 특별한가요? 🌟

학습 불필요 (Plug-and-Play): 새로운 AI 모델을 새로 만들거나, 방대한 데이터를 다시 학습시킬 필요가 없습니다. 기존에 만들어진 AI 모델 위에 **바로 끼워 쓸 수 있는 '플러그'**처럼 작동합니다.
비용 없음: 추가적인 계산 비용이나 시간이 들지 않습니다.
영화 같은 퀄리티: 복잡한 스토리텔링 (예: "소년이 침대에서 뛰어놀다가, 장난감 비행기를 타고 날아오르자, 갑자기 그 장면이 TV 화면으로 드러난다") 처럼 여러 사건이 순서대로 일어나는 영화 같은 영상을 만들 수 있게 해줍니다.

5. 요약: 한 줄로 정리하면?

"프롬프트 릴레이는 AI 에게 '지금 이 시간에는 커피만 보여주고, 2 초 뒤에는 비만 보여줘'라고 정확히 지시하는 시간 관리 전문가입니다. 덕분에 AI 가 만든 영상은 장면이 뒤섞이지 않고, 영화처럼 자연스럽게 이어집니다."

이 기술은 앞으로 우리가 AI 로 영화나 드라마를 만들 때, 시간의 흐름을 완벽하게 조절할 수 있는 토대가 될 것입니다.

1. 문제 정의 (Problem Statement)

기존의 비디오 확산 모델 (Video Diffusion Models) 은 고품질의 단일 이벤트 비디오 생성에는 탁월한 성과를 보이지만, 복잡한 다중 이벤트 (Multi-Event) 비디오 생성에서는 다음과 같은 한계를 보입니다.

시간적 제어의 부재: 사용자는 특정 사건이 언제 발생하고, 얼마나 지속되며, 어떤 순서로 이어지는지를 명시적으로 지시할 수 없습니다.
의미적 얽힘 (Semantic Entanglement): 하나의 긴 텍스트 프롬프트로 여러 사건을 설명할 때, 모델은 모든 프레임을 전체 프롬프트에 동시에 조건부 (Conditioning) 로 처리합니다. 이로 인해 서로 다른 시간대에 발생해야 할 개념들이 서로 섞여 나타나거나 (bleeding), 시간적 정렬이 무너져 텍스트와 비디오 간의 불일치가 발생합니다.
기존 방법의 한계:
- 파인튜닝 기반: 대량의 주석 데이터와 추가 학습이 필요하며, 사전 학습된 모델의 분포를 변경합니다.
- 기존 추론 시간 제어: 어텐션 메커니즘에 구조적 제약을 가해 경계에서 시각적 아티팩트 (Artifacts) 를 유발하거나, 일반성이 떨어집니다.

2. 방법론 (Methodology): Prompt Relay

저자들은 Prompt Relay라는 새로운 방법을 제안합니다. 이는 추가 학습이나 아키텍처 수정 없이, 추론 시간 (Inference-time) 에만 작동하는 플러그 앤 플레이 (Plug-and-play) 방식입니다.

핵심 메커니즘: 시간적 크로스 어텐션 라우팅 (Temporal Cross-Attention Routing)

기존의 크로스 어텐션 (Cross-Attention) 메커니즘에 **페널티 항 (Penalty Term)**을 도입하여, 각 텍스트 프롬프트가 지정된 시간 구간 (Temporal Segment) 에만 집중하도록 유도합니다.

시간 구간 할당: 사용자는 각 프롬프트 $P_s$ 에 대해 시작 시간 ( $t_{start}$ ) 과 종료 시간 ( $t_{end}$ ) 을 정의합니다.
어텐션 페널티 (Boundary-Attention Decay):
- 크로스 어텐션 로짓 (Logits) 에 페널티 함수 $C(Q, K)$ 를 적용합니다.
- 자유 어텐션 윈도우 (Free-Attention Window): 쿼리 (Video Token) 가 해당 프롬프트의 시간 구간 내에 있을 때는 페널티가 0 이 되어 자유롭게 어텐션합니다.
- 부드러운 감쇠 (Smooth Decay): 시간 구간을 벗어날수록 가우시안 형태의 페널티가 적용되어 어텐션 점수가 자연스럽게 감소합니다.
- 수식: $C(i, j) = \text{ReLU}(|f(i) - m_s| - w)^2 / 2\sigma^2$ $C (i, j) = ReLU (∣ f (i) - m_{s} ∣ - w)^{2} /2 σ^{2}$
  - $f(i)$ : 쿼리 토큰의 프레임 인덱스, $m_s$ : 구간 중점, $w$ : 윈도우 크기, $\sigma$ : 감쇠율.

하드 마스킹 (Hard Masking) vs. Boundary-Attention Decay

하드 마스킹: 구간 경계에서 어텐션을 완전히 차단 ( $-\infty$ ) 하는 방식입니다. 이는 경계에서 크로스 어텐션과 셀프 어텐션 간의 불연속성을 유발하여 시각적 붕괴나 갑작스러운 전환을 초래합니다.
Prompt Relay (Boundary-Attention Decay): 경계 근처에서 인접한 프롬프트들을 부드럽게 공활성화 (Co-activate) 시킵니다. 이를 통해 모델이 전환을 점진적으로 계획하고 시각적 표현에 반영할 수 있게 하여, 자연스러운 전환을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

추론 시간 플러그 앤 플레이 방법: 추가 학습이나 계산 오버헤드 없이 기존 비디오 확산 모델에 적용 가능한 Prompt Relay 제안.
Boundary-Attention Decay 메커니즘: 구간 경계에서 의미적 간섭을 부드럽게 억제하는 가우시안 페널티 도입.
성능 입증: 시간적 프롬프트 정렬 (Temporal Prompt Alignment) 향상, 의미적 간섭 감소, 그리고 시각적 품질 개선 효과 입증.

4. 실험 결과 (Results)

실험 설정: 최신 비디오 생성 모델인 Wan2.2-T2V-A14B를 베이스로 사용하며, Sora Storyboard, Veo 3.1, Kling 2.6 등 다른 모델들과 비교했습니다.
평가 지표: 20 가지 다중 이벤트 시나리오에 대해 30 명의 참가자가 시간적 정렬, 전환의 자연스러움, 시각적 품질을 1~5 점으로 평가했습니다.
결과:
- Temporal Prompt Alignment: Prompt Relay 를 적용한 Wan 2.2 가 가장 낮은 점수 (1.10, 낮을수록 좋음) 를 기록하여 시간적 정렬이 가장 뛰어났습니다.
- Transition Naturalness: 경계에서의 전환이 가장 자연스러웠습니다 (1.17).
- Visual Quality: 기존 Wan 2.2 보다 시각적 품질이 개선되었습니다. 이는 불필요한 어텐션 경쟁이 줄어들어 모델이 활성 의미 개념에 더 집중할 수 있기 때문입니다.
- 한계: Kling 2.6 과 Veo 3.1 은 여전히 전체적인 시각적 충실도 (Visual Fidelity) 에서 더 높은 점수를 받았으나, 이는 백본 모델의 용량 한계로 판단됩니다.

5. 의의 및 결론 (Significance)

영화급 비디오 합성 (Movie-grade Synthesis) 의 진전: 복잡한 스토리텔링을 위해 사건들의 순서, 지속 시간, 전환을 정밀하게 제어할 수 있는 첫 번째 추론 시간 기반 솔루션을 제시했습니다.
효율성: 추가 학습이나 모델 구조 변경 없이 기존 모델을 즉시 고도화할 수 있어 실용성이 매우 높습니다.
미래 방향: 지속적인 시각적 요소 (캐릭터, 배경) 의 일관성을 유지하기 위해 '글로벌 프롬프트'를 함께 사용하는 것이 중요함을 시사하며, 향후 제어 가능한 비디오 생성 연구의 중요한 이정표가 됩니다.

요약: Prompt Relay 는 텍스트 프롬프트를 시간 구간에 따라 정밀하게 라우팅하여, 다중 이벤트 비디오 생성 시 발생하는 의미적 혼란을 해결하고 자연스러운 시간적 흐름을 구현하는 혁신적인 방법론입니다.