💻 computer science

Tempered Self-Similarity Alignment for Physically Plausible Video Generation

본 논문은 실제 세계의 물체 상호작용과 역동성을 더 잘 포착하기 위해 생성된 비디오의 시공간 자기유사성 분포를 시각 기반 모델의 분포와 정렬함으로써 생성된 비디오의 물리적 타당성을 향상시키는 새로운 학습 방법인 템퍼드 자기유사성 정렬 (TSA) 을 소개합니다.

원저자: Manjin Kim, Suha Kwak, Minsu Cho

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Manjin Kim, Suha Kwak, Minsu Cho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

재능은 있지만 경험이 부족한 화가가 손이 장난감 트럭을 밀고 있는 움직이는 장면을 그리는 법을 가르친다고 상상해 보세요. 화가 (비디오 생성 모델) 는 사물을 아름답게 그리는 데는 뛰어나지만, 물리 법칙을 자주 어깁니다. 트럭이 굴러가야 할 때 얼음 위를 미끄러지듯 그리거나, 손이 사라졌다가 이상한 곳에 다시 나타나는 식입니다. 이를 '외관 드리프트 (appearance drift)'와 '비현실적인 운동 (unrealistic motion)'이라고 부릅니다.

이 논문의 연구자들은 **Tempered Self-Similarity Alignment (TSA, 온화한 자기 유사성 정렬)**라는 이름으로, 엄격한 전문가 예술 비평가 (시각 기반 모델) 를 고용해 화가를 안내하는 교묘한 방법을 고안해냈습니다.

다음은 그들의 방법이 간단한 개념으로 분해된 작동 원리입니다:

1. 문제: 화가 대 전문가

화가 (비디오 모델): 화가가 프레임 시퀀스를 그리려 할 때, '분위기'는 제대로 잡지만 세부 사항은 놓칩니다. 공이 튀는 장면이라면, 화가는 공이 공중에 떠 있거나 모양이 기이하게 변하는 것처럼 그릴 수 있습니다.
전문가 (기반 모델): 이는 수백만 개의 비디오를 본 초지능 AI 입니다. 색상을 보는 것을 넘어 사물 간의 관계를 이해합니다. 손이 움직이면 장난감 트럭이 반드시 특정한 방식으로 함께 움직여야 한다는 것을 알고 있습니다. 이는 시간 흐름에 따라 사물들이 어떻게 연결되는지 그 '이야기'를 파악합니다.

2. 해결책: '자기 유사성' 지도

연구자들은 화가를 가르치는 최선의 방법이 최종 그림을 보여주는 것이 아니라, 연결의 지도를 보여주는 것이라고 깨달았습니다.

자기 유사성이란 무엇인가? 비디오의 스냅샷을 찍고 "프레임 1 의 장난감 트럭에 있는 이 특정 픽셀이 프레임 2 에서는 어디로 가고, 프레임 3 에서는 어디로 가나요?"라고 묻는다고 상상해 보세요.
전문가 AI 는 이러한 연결을 보여주는 지도를 생성합니다. "첫 번째 프레임의 트럭에 있는 이 픽셀은 두 번째 프레임의 저 픽셀과 강하게 연결되어 있다"고 말합니다.
화가의 지도는 보통 지저분하고 흐릿합니다. 목표는 화가의 지도가 전문가의 지도와 정확히 일치하도록 만드는 것입니다.

3. 비결: '템퍼링 (Tempering, 온화하게 조절)' (초점 선명화)

연구자들은 화가에게 전문가의 지도를 그대로 복사하라고만 하면, 지도가 너무 '부드럽고' 모호해서 화가가 혼란을 겪는다는 것을 발견했습니다. 마치 "공원 근처 어딘가로 가세요"라고 방향을 알려주는 것과 같습니다.

해결책 (템퍼링): 그들은 '템퍼링'이라는 수학적인 트릭을 적용했습니다. 이는 사진의 대비를 높이거나 흐릿한 이미지를 선명하게 만드는 것과 같습니다.
결과: "아마도 여기일지도"라는 모호함 대신, 지도는 사물이 정확히 어디로 가야 하는지를 가리키는 날카롭고 명확한 화살표가 됩니다. 이는 모호한 추측을 정밀한 지시로 바꿉니다: "트럭의 이 특정 부분이 반드시 이 특정 지점으로 이동해야 한다." 이를 통해 화가는 운동의 미세한 세부 사항을 배울 수 있습니다.

4. 효율성 트릭: 배경 무시

저글링하는 법을 배우려 한다고 상상해 보세요. 만약 선생님이 벽, 바닥, 천장을 계속 가리킨다면 당신은 산만해집니다. 당신은 공과 손에만 관심이 있을 뿐입니다.

문제: 비디오의 대부분은 실제로 지루한 정적 요소 (벽, 하늘, 테이블) 입니다. 전문가 AI 는 이러한 정적 부분에 대한 연결을 계산하는 데 에너지를 쏟는데, 이는 화가를 혼란스럽게 합니다.
해결책 (마스크링): 연구자들은 시스템에게 정적 배경을 무시하라고 지시했습니다. 그들은 지루한 부분에 '마스크'를 씌워 화가가 **움직이는 부분 (동적 영역)**에만 집중하도록 했습니다.
이점: 이는 에너지를 절약할 뿐만 아니라, 화가가 물리 법칙이 실제로 중요한 곳, 즉 움직이는 사물에만 주의를 기울이도록 강제합니다.

5. 결과: 더 현실적인 세계

이 새로운 방법을 VideoPhy 와 VideoPhy2 라는 두 가지 주요 테스트에서 실험했을 때, 결과는 인상적이었습니다:

이전: 비디오는 종종 사물이 공중에 뜨거나, 녹아내리거나, 순간이동하는 마술처럼 보였습니다.
이후: 비디오는 실제 생활처럼 보였습니다. 손이 장난감을 밀면 장난감은 굴러갔습니다. 배가 물에 닿으면 배가 지나간 후에 물보라가 일어났지, 그 전이 아니었습니다.

요약

이 논문은 시간 흐름에 따라 사물들이 서로 어떻게 관련되는지 이해하는 초지능 AI 의 '직관'을 가져와 비디오 생성기가 그 직관을 복사하도록 강제하는 시스템을 소개합니다. 지시를 선명하게 (템퍼링) 하고 지루한 배경을 무시 (마스크링) 함으로써, 그들은 비디오 생성기가 물리 법칙을 준수하는 영화를 만들도록 가르쳤으며, 이로 인해 운동이 자연스럽고 믿을 수 있게 보입니다.

기술 요약: 물리적으로 타당한 비디오 생성을 위한 온화한 자기유사성 정렬

문제 제기
비디오 생성 모델, 특히 텍스트-비디오 확산 모델의 상당한 발전에도 불구하고, 이러한 모델들은 종종 물리적으로 현실적인 비디오를 생성하지 못합니다. 일반적인 실패 양상은 외관의 변화 (drift), 비현실적인 변형, 그리고 일관되지 않는 운동 역학입니다. 이러한 한계는 로봇 훈련 및 가상 환경 구축과 같이 정확한 운동 시뮬레이션이 필요한 분야에서 비디오 생성의 적용을 방해합니다. 물리적 현실성을 개선하기 위한 기존 접근법들은 고유한 과제에 직면해 있습니다: 물리 시뮬레이터는 계산량이 많고 도메인 특화적이며, 멀티모달 대규모 언어 모델 (MLLM) 은 지연 시간을 증가시키고 추론 능력에 제한을 받는 반복적 정리에 의존하며, 광학 흐름 (optical flow) 신호는 주로 단기 변위를 포착하여 장거리 역학이나 구조적 변화를 감독하는 데 어려움을 겪습니다.

방법론
저자들은 사전 훈련된 시각 기반 모델 (예: DINOv3) 에 인코딩된 **시공간 자기유사성 (STSS)**에 포함된 관계 지식을 비디오 생성 모델 (예: CogVideoX) 로 이전하기 위해 설계된 온화한 자기유사성 정렬 (TSA) 프레임워크를 제안합니다.

시공간 자기유사성 (STSS): 이 방법은 공간과 시간에 걸친 시각적 특징 간의 쌍별 유사성을 나타내는 STSS 를 활용합니다. 원시 외관 특징과 달리, STSS 는 색상, 질감 등의 광도 변이를 억제하여 관계 구조를 강조함으로써 비디오 전반에 걸쳐 객체가 어떻게 상호작용하고, 이동하며, 변형되는지를 효과적으로 포착합니다.
온화한 정렬 (Tempered Alignment): 원시 STSS 텐서를 직접 정렬하는 것 (이는 종종 지나치게 매끄럽고 모호한 대응 분포를 초래함) 대신, 저자들은 온화화 메커니즘을 도입합니다. 그들은 STSS 를 선명한 확률적 대응 분포로 변환하기 위해 온도 스케일링 정규화를 적용합니다.
- 시각 기반 모델과 비디오 확산 모델 모두 특징 맵을 생성합니다.
- 두 모델에 대해 쌍별 코사인 유사성 행렬이 계산됩니다.
- 소프트맥스 연산 전에 온도 매개변수 ( $\tau$ ) 가 적용되어 대응 확률 분포를 선명하게 만듭니다. $\tau$ 를 낮추면 대응의 세분성이 객체 수준에서 부분 수준 또는 점 수준으로 이동합니다.
- TSA 손실은 기반 모델 (교사) 과 확산 모델 (학생) 의 대응 분포 간의 켈러블-라이블러 (KL) 발산을 최소화합니다. 이는 균일한 기울기 접근법보다 정렬되지 않은 영역에 대해 더 강력한 기울기를 제공합니다.
운동 중심 마스킹 (M-TSA): 대부분의 비디오 영역이 정적이라는 점을 인식하여, 저자들은 운동-주목도 마스크를 도입합니다. 이 마스크는 프레임 간의 시간적 차이를 계산하고 가장 큰 변이를 가진 상위- $k$ 개의 토큰을 선택함으로써 동적 영역을 식별합니다. 정렬 손실은 이러한 동적 영역에만 제한되어 계산 오버헤드를 줄이고 모델이 정적 배경으로 편향되는 것을 방지합니다.

주요 기여

TSA 손실: 확률적 시공간 대응 분포를 정렬함으로써 시각 기반 모델의 관계 지식을 비디오 확산 모델로 이전하는 새로운 손실 함수.
온화화 메커니즘: 온도 스케일링을 통해 STSS 를 선명한 분포로 변환하는 기술로, 직접 텐서 정렬보다 더 정밀하고 세분화된 운동 감독을 가능하게 함.
동적 영역 제한: 학습 효율성과 물리적 기반을 개선하기 위해 운동-주목도 영역에 감독을 집중시키는 배경 마스킹 (M-TSA) 의 도입.

실험 결과
이 방법은 다양한 상호작용 시나리오 (고체 - 고체, 고체 - 유체, 유체 - 유체, 그리고 인간 - 객체 상호작용) 에서 물리적 타당성과 의미적 준수를 평가하는 VideoPhy 및 VideoPhy2 벤치마크에서 평가되었습니다.

VideoPhy: 제안된 방법 (LM-TSA) 은 물리적 상식 (PC) 점수 **30.8%**를 달성하여 베이스라인 CogVideoX-2B(25.0%) 와 최첨단 VideoREPA(27.6%) 를 능가했습니다. 가장 두드러진 개선은 고체 - 고체 상호작용에서 관찰되었으며, PC 점수가 15.4% 에서 21.0% 로 상승했습니다.
VideoPhy2: 인간 - 객체 상호작용 벤치마크에서 이 방법은 결합 점수 (SA $\ge$ 4 및 PC $\ge$ 4) **24.4%**를 달성하여 이전 방법들을 능가했습니다.
VBench: VBench 에 대한 평가는 이 방법이 전반적인 비디오 품질이나 텍스트 조건 일관성을 훼손하지 않으면서 물리적 타당성을 향상시킨 것을 확인했습니다.
절대 실험 (Ablation Studies): 실험은 최적의 온도 ( $\tau = 0.1$ ) 가 세분화된 운동 단서와 구조적 맥락 사이의 균형을 맞추며, $k=20\%$ 의 마스킹 비율이 중복된 정적 영역을 필터링하여 최상의 성능을 산출함을 보여주었습니다. 이 접근법은 NOVA 자동회귀 모델에서도 검증되어 아키텍처의 일반성을 입증했습니다.

의의 및 주장
이 논문은 TSA 가 객체 역학에 관한 관계 지식을 이전함으로써 현재 비디오 생성 모델이 물리적으로 타당한 콘텐츠를 생성하는 데서 겪는 한계를 효과적으로 해결한다고 주장합니다. STSS 를 선명한 확률적 분포로 변환하고 정렬을 동적 영역으로 제한함으로써, 이 방법은 광학 흐름이나 원시 특징 정렬보다 장거리 역학과 구조적 변형을 더 잘 포착하는 정밀한 운동 감독을 제공합니다. 저자들은 이 접근법이 기반 모델에서 생성 모델로 관계 지식을 이전하는 효과성을 검증하여 다양한 시나리오에서 물리적으로 현실적인 비디오 생성 분야에서 최첨단 성능을 달성했다고 주장합니다.