💻 computer science

OmniVR: Joint Video-Audio Conditional Generation for Restoring Degraded Historical Films

OmniVR은 손상된 역사적 영화를 시각 및 오디오 열화 문제를 동시에 해결하면서 교차 모달 일관성과 자연스러운 채색을 보장하는 통합 멀티모달 DiT 내의 조건부 생성 작업으로 정식화하여 복원하는 선구적인 22B 파라미터 결합 오디오-비디오 생성 모델입니다.

원저자: Xin Lu, Zihao Fan, Mingchen Zhong, Jie Huang, Xueyang Fu, Zheng-Jun Zha

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xin Lu, Zihao Fan, Mingchen Zhong, Jie Huang, Xueyang Fu, Zheng-Jun Zha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 과거만을 볼 수 있는 마법의 카메라를 가진 시간 여행자라고 상상해 보세요. 당신은 100년 전의 낡고 먼지 쌓인 필름 릴을 발견했습니다. 그것을 재생하자 화면은 흐릿하고 깜빡거리며 흑백으로 나타나고, 소리는 마치 양철 통 안에서 들리는 것처럼 지직거리고 쉬익거리는 소음이 가득합니다. 수십 년 동안 과학자들은 이 영화들을 복원하려고 노력해 왔지만, 그들은 영상과 소리를 별개의 문제로 취급해 왔습니다. 한 팀은 영상을 깨끗하게 만드는 예술가들이고, 다른 팀은 소음(노이즈)을 고치는 오디오 엔지니어들이며, 이들은 서로 고립되어 작업합니다. 하지만 현실 세계에서 영상과 소리는 가장 친한 친구입니다. 즉, 서로에게 영향을 미칩니다. 오디오가 웅얼거리면 캐릭터가 속삭이는 것인지 아니면 단순히 멀리 있는 것인지 구분하기 어렵습니다. 영상이 흐릿하면 효과음이 동작과 일치하는지 알기 어렵습니다.

이 논문은 OmniVR라고 불리는 새로운 종류의 "디지털 복원가"를 소개합니다. 이것을 두 개의 별도 수리팀이 아니라, 엉망이 된 그림과 시끄러운 소리를 함께 보면서 원래의 장면이 실제로 어떻게 보이고 들렸는지를 알아내는 단 하나의 똑똑한 탐정이라고 생각해보세요. 연구진은 원래 무에서 유를 창조하도록 학습된 거대한 220억 개의 파라미터(AI 모델의 일종)를 가진 '두뇌'를 사용하여 이 탐정을 구축했습니다. 단순히 무언가를 만들어내는 대신, 그들은 이 두뇌가 엉망이 된 옛날 영화의 나쁜 부분들을 단서로 삼아 깨끗한 부분을 재구성하도록 "역-확산(un-diffuse)"하는 법을 가르쳤습니다. 그들은 단순히 흐릿함을 제거하거나 잡음을 없애는 것에 그치지 않고, 영상과 오디오가 서로 대화하게 만들었습니다. 이를 통해 캐릭터가 입을 움직일 때 소리가 완벽하게 일치하고, 음악이 고조될 때 장면의 분위기가 적절하게 느껴지도록 했습니다.

거대한 문제: 한쪽만 고치는 것이 충분하지 않은 이유

역사적 영화들은 타임캡슐과 같지만, 종종 망가져 있습니다. 논문은 이러한 오래된 영화들이 이중고를 겪고 있다고 지적합니다. 영상은 흐릿하고 입자가 거칠며 깜빡거리는 반면, 오디오는 쉬익거리고, 툭툭 끊기며, 소리가 빠지기도 합니다. 저자들은 이전의 방식들이 놓쳤던 중요한 점을 발견했습니다: 손상이 동시에 발생한다는 것입니다. 영상을 고친다고 해서 소리가 마법처럼 좋아지기를 기대하거나 그 반대의 경우를 기대해서는 안 됩니다. 실제로 영상을 고쳤는데 오디오를 그대로 두거나(혹은 그 반대로), 두 요소 사이의 싱크가 맞지 않게 됩니다. 이는 마치 다른 비트에 맞춰 춤을 추는 파트너와 춤을 추려는 것과 같습니다. 결과는 어색하고 부자연스러워집니다.

연구진은 연구한 대부분의 오래된 클립에서 눈과 귀가 함께 고통받고 있다는 것을 발견했습니다. 또한, 영상과 오디오를 함께 생성하도록 설계된 AI 모델의 두뇌에는 "교차 연결(cross-wiring)"이 있다는 것도 발견했습니다. 모델의 오디오 부분은 영상을 주목하고, 영상 부분은 오디오를 주목합니다. 만약 오디오를 무음 처리하면 영상 생성 방식이 변합니다. 즉, 영화를 진정으로 복원하려면 오디오와 영상을 서로 남남처럼 취급하는 것이 아니라, 서로가 서로를 도울 수 있게 해야 합니다.

해결책: 세 명의 팀

OmniVR을 만들기 위해 저자들은 "영화 제작자" AI를 "영화 복원가" AI로 바꾸기 위한 3단계 전략을 만들었습니다.

1. "가짜 오래된 영화" 공장
먼저, 팀은 AI에게 망가진 오래된 영화가 어떤 모습인지 가르쳐야 했습니다. 완벽한 "전과 후"의 쌍이 존재하는 실제 망가진 영화를 충분히 찾을 수 없었기 때문에, 그들은 디지털 공장을 건설했습니다. 그들은 고화질의 현대적인 영상과 오디오를 가져와 의도적으로 망가뜨렸습니다. 영상에는 디지털 스크래치, 먼지, 깜빡임, 흐릿함을 추가했고, 오디오에는 쉬익거리는 소리, 툭툭 튀는 소리, 웅얼거림을 추가했습니다. 이 "가짜" 손상들이 역사서에서 발견되는 실제 모습과 소리처럼 보이도록 만들었습니다. 이를 통해 AI는 이전에 본 적 없는 문제를 해결하는 연습을 할 수 있었고, 실제 얼굴과 흐릿한 덩어리의 차이를 식별하는 법을 배웠습니다.

2. "침묵의 파트너" 기술
그들이 시작한 AI는 텍est 설명(예: "달리는 고양이")으로부터 영화를 만드는 거대한 모델이었습니다. 그들은 이 모델을 처음부터 다시 학습시키고 싶지 않았습니다. 왜냐하면 시간이 너무 오래 걸릴 뿐만 아니라 모델이 창의성을 잃을 수도 있기 때문입니다. 대신, 그들은 영리한 기술을 사용했습니다. 그들은 AI에게 이렇게 말했습니다: "영화를 만드는 능력은 유지하되, 이제 텍스트 설명을 듣는 대신 우리가 주는 망가진 영화를 들어라."
그들은 망가진 영상과 망가된 오디오를 AI의 "귀"(입력 채널)에 입력함으로써 이 작업을 수행했으며, 이때 "두뇌"는 거의 동일하게 유지했습니다. 또한 **프롬프트 어닐링(prompt annealing)**이라는 특별한 기술을 사용했습니다. AI가 새로운 언어를 배우고 있다고 상상해 보세요. 처음에는 AI가 장면의 원래 텍est 설명을 읽게 하여 온기를 유지하게 했습니다. 그러다 서서히 그 설명들을 하나의 고정된 지시 사항인 "이것을 선명하고 깨끗하며 동기화되게 만들어라"로 교체했습니다. 이는 AI가 창의적인 불꽃을 잃지 않으면서도 "새로운 것을 만드는 것"에서 "오래된 것을 고치는 것"으로 부드럽게 전환할 수 있도록 도왔습니다.

3. 긴 영화를 위한 "닻(Anchor)"
오래된 영화는 매우 길 수 있지만, AI는 한 번에 짧은 구간(약 5초 또는 121 프레임)만 처리할 수 있습니다. 만약 이 구간들을 그냥 이어 붙이기만 한다면, 한 구간의 끝이 다음 구간의 시작과 약간 다르게 보여 영상이 튀거나 색상이 변할 수 있습니다. 이를 해결하기 위해 저자들은 "첫 프레임 닻(first-frame anchor)"을 사용했습니다. AI가 한 구간의 복원을 마치면, 방금 만든 마지막 프레임을 다음 구간의 "시작점"으로 사용합니다. 이는 마치 주자가 다음 사람에게 바통을 넘겨주는 이어달리기와 같습니다. 다음 주자는 앞선 주자가 멈춘 바로 그 지점에서 시작합니다. 이를 통해 긴 영화에서도 영상이 매끄럽고 연속적으로 유지됩니다.

결과: 복원의 새로운 기준

팀은 200개의 실제 역사적 클립이 포함된 OmniVRBench라는 새로운 벤치마크를 만들어 OmniVR을 테스트했습니다. 그들은 기존의 가장 뛰어난 도구들(보통 영상과 오디오를 따로 고치거나 흑백 영화에 색을 입히는 방식)과 비교했습니다.

결과는 명확했습니다: OmniVR은 영상, 오디오, 그리고 색상을 한꺼번에 성공적으로 복원한 첫 번째 방법입니다.

시각적 품질: 이미지가 얼마나 "자연스럽고" 선명한지를 측정하는 척도에서, OmniVR은 다른 모든 방법보다 현저히 높은 점수를 받았습니다. 단순히 흐릿함을 제거한 것이 아니라, 사라졌던 피부 질감이나 직물의 패턴 같은 미세한 디테일을 다시 살려냈습니다.
오디오 품질: 복원된 소리는 훨씬 더 선명해졌고, 쉬익거리는 소리가 줄었으며 음량도 개선되었습니다. 마치 로봇이 양철 통 안에서 말하는 것이 아니라 실제 인간이 말하는 것처럼 들렸습니다.
동기화: 영상과 오디오가 함께 복원되었기 때문에, 입 모양이 단어와 완벽하게 일치했습니다. 다른 방식들은 오디오는 좋게 만들었지만 입 모양이 맞지 않거나, 그 반대의 경우가 많았습니다.
색상: 단순히 무작위로 색을 입힌 것이 아니라, 조명과 장면의 분위기에 맞는 그럴듯한 색상을 입혀 흑백 영화가 컬러로 촬영된 것처럼 보이게 했습니다.

연구진은 또한 영상 복구 도구와 오디오 복구 도구를 단순히 결합하는 방식("계단식" 접근법)이 효과적이지 않다는 것을 보여주었습니다. 별개의 도구들은 서로 대화할 수 없기 때문에 실수를 범하기 쉬웠지만, 결합형 모델인 OmniVR은 이를 피했습니다. 예를 들어, 별도의 오디오 복구 도구는 타이밍을 아주 미세하게 변경하여 영상과 싱크가 어긋나게 만들 수 있지만, OmniVR은 이들을 단단히 묶어두었습니다.

핵심 요약

OmniVR은 역사를 복원하는 것이 단순히 그림이나 소리 파일을 깨끗하게 하는 것이 아니라, 둘 사이의 관계를 이해하는 것임을 증명합니다. 영상과 오디오를 하나의 연결된 이야기로 다룸으로써, 이 모델은 이전에는 잃어버린 것으로 여겨졌던 디테일을 회복할 수 있었습니다. 비록 논문에서는 프레임 자체가 완전히 사라진 극도로 손상된 영화의 경우 여전히 까다로울 수 있으며, AI가 빈틈을 메우기 위해 가끔 디테일을 "환각(hallucinate)"할 수 있다고 언급했지만, 결과는 거대한 도약입니다. 이는 과거를 단순히 정지된 이미지가 아니라, 살아 숨 쉬고 동기화된 경험으로서 다시 불러오는 방법을 제시합니다. 코드와 모델이 공개되었으므로, 이제 누구나 이 "시간 여행하는 탐정"을 사용하여 자신만의 오래된 기억을 복원할 수 있습니다.

기술 요약: OmniVR – 퇴화된 역사적 영화 복원을 위한 결합형 비디오-오디오 조건부 생성

1. 문제 정의

역사적 영화는 블러(blur), 노이즈, 플리커(flicker), 압축 아티팩트, 히스(hiss), 클리핑(clipping), 대역폭 손실을 포함하여 시각 및 음향 스트림 모두에서 동시에 발생하는 퇴화 현상을 겪습니다. 기존의 복원 방식은 일반적으로 이러한 양상들을 독립적으로 처리합니다. 예를 들어, 시각적 복원 모델(예: DeepRemaster, RealBasicVSR)은 사운드트랙을 무시하며, 오디오 복원 도구(예: VoiceFixer)는 시각적 문맥 없이 작동합니다. 이러한 분리는 품질의 격차와 교차 모달 불일치를 초래합니다. 즉, 복원된 얼굴과 불안정한 사운드트랙 사이의 시간적 정렬 불량, 또는 깨끗한 오디오와 결합된 깜빡이는 프레임 등이 발생할 수 있습니다. 본 논문은 역사적 영화 복원이 시간적 정렬과 양상 간의 상호 일관성을 보존하기 위해 통합된 접근 방식을 필요로 하는 근본적인 오디오-비디오 문제라고 주장합니다.

2. 방법론

OmniVR은 22B 파라미터 규모의 멀티모달 디퓨전 트랜스포머(DiT) 백본(LTX-2)을 기반으로 구축된 최초의 결합형 오디오-비디오 생성 복원 모델입니다. 이 모델은 저품질(LQ) 비디오와 오디오가 노이즈 제거 과정(denoising process)을 가이드하는 잠재 조건(latent conditions) 역할을 하는 조건부 생성 작업으로 복원을 정식화합니다. 이 방법론은 세 가지 핵심 기술 설계에 의존합니다.

A. 결합형 오디오-비디오 퇴화 파이프라인

인터넷에서 수집한 깨끗한 클립으로 학습하면서 실제 기록물 특성을 시뮬레이션하기 위해, 저자들은 온라인 퇴화 연산자 $\mathcal{D}$ 를 사용합니다. 이 파이프라인은 고품질(HQ) 쌍 $(V_h, A_h)$ 로부터 시각 및 오디오 양상에 대한 독립적인 무작위 브랜치를 사용하여 LQ 쌍 $(V_l, A_l)$ 을 합성합니다.

시각적 브랜치: 시간적으로 일관된 구형 필름 아티팩트(플리커, 스크래치, 먼지, 마모 밴드, 그레이스케일 변환)를 포함하도록 Real-ESRGAN 스타일의 고차(high-order) 모델을 확장했습니다.
오디오 브랜치: 레거시 아날로그 결함(히스, 럼블, 클릭, 클리핑, 대역폭 손실)과 생성 모델의 실패 모드(스펙트럼 과도 평활화, 하모닉 박약)를 결합합니다.
심각도 스칼라(Severity Scalars): 손실 재가중(loss reweighting)을 용이하게 하기 위해 각 샘플에 정규화된 심각도 스칼라( $d_v, d_a$ )를 할당합니다.

B. 구조 보존형 T2AV-to-AV2AV 전환

모델은 백본 토폴로지를 변경하지 않고, 사전 학습된 텍스트-오디오-비디오(T2AV) 파운데이션 모델을 오디오-비디오-오디오-비디오(AV2AV) 복원에 적응시킵니다.

채널 결합 조건 주입(Channel-Concat Condition Injection): 퇴화된 잠재 조건은 노이즈가 섞인 타겟 토큰과의 채널 결합을 통해 주입됩니다. 새로운 패치화(patchify) 파라미터는 0 근처에서 초기화되어, 모델이 기능적인 T2AV 생성기로 시작하여 점진적으로 LQ 조건을 통합하는 법을 배우도록 합니다.
프롬프트 어닐링(Prompt Annealing): 텍스트 조건은 다양한 묘사적 캡션(학습 초기)에서 고정된 복원 프롬프트("선명하고 안정적이며 노이즈가 제거된 비디오와 깨끗하게 동기화된 오디오")로 선형 어닐링을 통해 전환됩니다. 이는 추론 시 클립마다 캡션이 필요하지 않으면서도 사전 학습된 모델의 생성적 사전 지식(generative prior)을 유지하면서 작업을 복원으로 전환합니다.
교차 모달 상호작용(Cross-Modal Interaction): 학습 가능한 교차 모달 게이트를 통해 오디오와 비디오 토큰이 서로에게 어텐션을 수행할 수 있게 하여, 상호 단서(예: 입 모양 움직임이 오디오를 가이드하거나, 오디오 에너지가 시각적 선명도를 가이드함)를 촉진합니다.

C. 첫 프레임 앵커링 및 최적화

일관된 롱 비디오 복원을 가능하게 하고 오디오 충실도를 보장하기 위해 다음을 수행합니다.

첫 프레임 I2V 앵커링: 모델은 121프레임 윈도우 단위로 작동합니다. 학습 중 윈도우의 첫 프레임은 가끔 깨끗한 잠재 토큰으로 교체되며( $p_{ff}=0.5$ ), 이 앵커 토큰에 대한 손실은 마스킹됩니다. 추론 시에는 한 윈도우의 복원된 마지막 프레임이 다음 윈도우의 첫 프레임 앵커 역할을 하여 시간적 연속성을 보장합니다.
손실 재가중(Loss Reweighting): 퇴화 인지 재가중 스킴은 각각의 심각도 스칼라( $d_v, d_a$ )에 따라 비디오와 오디오의 손실 기여도를 조정하여, 모델이 쉬운 양상에 압도되지 않고 공동으로 퇴화된 샘플을 우선시하도록 합니다.
파형 감독(Waveform Supervision): 디코딩된 오디오 파형에 대해 선택적으로 다중 해상도 단시간 푸리에 변환(STFT) 손실을 적용하여, 사전 학습된 오디오 사전 지식을 압도하지 않으면서 스펙트럼 세부 사항을 안정화하는 직접적인 파형 도메인 피드백을 제공합니다.

3. 주요 기여

OmniVR 모델: 22B 멀티모달 DiT를 T2AV 합성에서 AV2AV 복원으로 적응시킨 최초의 통합형 오디오-비디오 복원 프레임워크입니다.
OmniVRBench: 결합형 오디오-비디오 복원 평가를 위해 특별히 설계된 최초의 벤치마크입니다. 이는 200개의 실제 역사적 영화 클립으로 구성되며 다음과 같이 나뉩니다.
- 실제 역사적 트랙(Real Historical Track, 129개 클립): 정답(ground truth)이 없는 실제 아카이브 영상으로, 참조 없는 시각/오디오 품질, 시간적 일관성 및 립싱크를 평가합니다.
- 제어된 퇴화 트랙(Controlled Degradation Track, 71개 클립): 깨끗한 참조 영상을 가진 토킹 페이스(talking-face) 클립으로, 전체 참조 및 립싱크 평가를 가능하게 합니다.
기술적 혁신: 결합형 퇴화 파이프라인, 프롬프트 어닐링을 통한 구조 보존형 T2AV-to-AV2AV 전환, 그리고 장기적 일관성을 위한 첫 프레임 앵커링 전략의 도입입니다.

4. 실험 결과

OmniVR는 최신 시각 복원 방법(DeepRemaster, RealBasicVSR, MambaOFR), 컬러화 방법(DDColor, ColorMNet), 오디오 복원 도구(VoiceFixer) 및 계단식(cascaded) 베이스라인들과 비교 평가되었습니다.

시각적 품질: RTN 올드 필름 벤치마크(정답 없음)에서 OmniVR는 모든 6가지 참조 없는 지표에서 최고의 점수를 기록했습니다(예: MUSIQ 64.77 vs. RealBasicVSR 52.18). OmniVRBench에서, OmniVR는 시각적 지표에서 모든 베이스라인을 능가했습니다(Real 트랙에서 RealBasicVSR 52.38 대비 MUSIQ 61.87).
오디오 품질: OmniVR는 최고의 오디오 품질을 달성했습니다. Real 트랙에서 DNSMOS는 2.04(퇴화된 입력)에서 2.43으로 향상되었으며, VoiceFixer에 비해 FAD가 유의미하게 감소했습니다.
동기화: OmniVR는 우수한 립싱크 성능(Real 트랙에서 VoiceFixer 0.87 대비 LSE-C 1.12)을 보여주었으며, 이는 종종 시간적 정렬을 저해하는 계단식 접근 방식보다 뛰어난 결과입니다.
컬러화: 그레이스케일을 유지하거나 톤 편향/플리커를 유발하는 베이스라인들과 달리, OmniVR은 자연스럽고 시간적으로 일관된 컬러화를 생성했습니다.
인간 평가: 129개의 실제 클립에 대해 12명의 주석가(annotator)가 참여한 쌍체 비교 연구에서, OmniVR는 전반적으로 80.0%의 선호도를 보였으며, 시각적 품질에서 82.5%, 오디오에서 79.2%, 동기화에서 75.8%의 승률을 기록하여 가장 강력한 베이스라인들을 50 퍼센트 포인트 이상 크게 앞질렀습니다.

5. 의의 및 주장

본 논문은 OmniVR을 단순한 독립적 향상이 아닌 조율된 생성 작업으로서 복원을 바라보는 새로운 관점을 제시하며, 오디오-비디오 향상의 이정표로 자리매김합니다. 저자들은 다음과 같이 주장합니다.

결합 생성의 필수성: 경험적 분석에 따르면 역사적 영화의 결함은 양상 전반에 걸쳐 동시에 발생하며, 독립적인 복원은 오디오-비주얼 일관성을 능동적으로 손상시킬 수 있습니다. 결합 생성은 양상 간의 상호 촉진을 가능하게 합니다.
생성적 사전 지식의 세부 사항 복구 능력: 22B 멀티모달 DiT를 활용함으로써, 모델은 회귀 기반 방법들이 놓치는 미세한 디테일과 자연스러운 컬러화를 재구성할 수 있으며, 제안된 컨디셔닝 메커즘(앵커링, 프롬프트 어닐링)은 생성이 퇴화된 소스에 근거하도록 하여 환각(hallucination)을 방지합니다.
실용적 복원: 모델은 일관된 움직임, 자연스러운 색상, 정제된 오디오를 갖춘 긴 형태의 역사적 영상을 성공적으로 복원하며, 기존 방법들이 전체 오디오-비주얼 스펙트럼을 동시에 처리하지 못하는 공백을 메웁니다.

저자들은 정답이 없는 실제 아카이브 영상에 대한 참조의 부재(대리 지표 기반 평가 필요) 및 극도로 손상된 영상에서의 잠재적 시간적 드리프트(temporal drift)와 같은 한계를 인정합니다. 이들은 더 큰 규모의 쌍을 이룬 실제 데이터와 무제한 길이의 복원을 위한 스트리밍(인과적) 생성을 포함한 향후 연구를 제안합니다. 모든 코드와 모델 가중치는 공개될 예정입니다.