기술 요약: OmniNFT

문제 정의

최근 결합된 오디오 - 비디오 생성 분야의 발전은 유망한 결과를 보여주었으나, 실제 응용 분야는 높은 모달리티별 충실도, 강력한 교차 모달 의미 일관성, 그리고 세밀한 오디오 - 비디오 동기화를 결합할 것을 요구합니다. 검증 가능한 보상을 통한 강화 학습 (RLVR), 특히 그룹 상대 정책 최적화 (GRPO) 는 텍스트 - 이미지/비디오 생성에서 성공을 거두었으나, 결합된 오디오 - 비디오 생성에 직접 적용할 경우 여전히 최적이지 않습니다.

저자들은 단일 목적 함수가 아닌 다목적, 다모달 작업에 대한 순수 RL 의 효과적인 적용을 방해하는 세 가지 주요 최적화 병목 현상을 식별했습니다:

1. 다목적 이점 불일치: 단일 다모달 출력 내의 비디오 및 오디오 구성 요소에 대한 보상은 종종 불일치합니다. 고품질 비디오가 반드시 고품질 오디오와 상관관계를 가지지는 않으므로, 단일 전역 이점을 사용할 경우 상충되는 기울기 신호가 발생합니다.
2. 다모달 기울기 불균형: 듀얼 스트림 확산 모델에서 모달리티 내 생성은 주로 얕은 층에서 발생하고, 교차 모달 상호작용은 더 깊은 층에서 발생합니다. 그러나 역전파 중 비디오 분기에서 비롯된 기울기가 얕은 오디오 층의 업데이트 방향을 지배하여 모달리티 내 오디오 생성 과정을 방해합니다.
3. 균일한 신용 할당: 오디오 - 비디오 동기화 및 세밀한 정렬은 소리 발생 영역과 같은 특정 핵심 영역에 의존합니다. 표준 RL 업데이트는 모든 영역을 균일하게 처리하여 이러한 중요한 영역을 탐색 및 최적화하는 데 우선순위를 두지 못합니다.

방법론: OmniNFT

이러한 과제를 해결하기 위해 저자들은 OmniNFT(모달리티별 Omni 확산 부정 인식 미세 조정) 를 제안합니다. 이는 모달리티 인식 온라인 확산 RL 프레임워크입니다. 이 방법은 듀얼 스트림 확산 백본 (특히 LTX-2) 을 기반으로 작동하며 세 가지 조율된 혁신을 도입합니다:

1. 모달리티별 이점 라우팅

모든 보상으로부터 단일 스칼라 이점을 계산하는 대신, OmniNFT 는 각 보상 함수 (비디오 품질, 오디오 품질, 오디오 - 비디오 동기화) 에 대해 독립적인 이점을 계산합니다.

• 라우팅 논리: 비디오 이점 ($A_v$) 과 오디오 이점 ($A_a$) 은 각각의 생성 분기로만 라우팅됩니다. 정렬을 측정하는 동기화 이점 ($A_{av}$) 은 공유 감독 신호로 두 분기에 모두 브로드캐스트됩니다.
• 복합 이점: 라우팅된 이점은 $\tilde{A}_v = A_v + A_{av}$ 및 $\tilde{A}_a = A_a + A_{av}$로 결합됩니다. 이 설계는 단일 모달 보상에 대한 모달리티별 감독을 보장하면서도 공유 교차 모달 신호를 유지하여 보상 불일치를 완화합니다.

2. 층별 기울기 수술

모달리티 내 생성을 담당하는 얕은 오디오 층을 비디오 기울기가 손상하는 것을 방지하기 위해, 저자들은 선택적 기울기 분리 메커니즘을 구현합니다.

• 메커니즘: 오디오 - 비디오 (A2V) 교차 어텐션 블록에서 오디오 스트림의 키 ($K$) 및 값 ($V$) 벡터가 얕은 층에서 부분적으로 분리됩니다.
• 구현: $l < L$인 층 (여기서 $L$은 얕은 경계, 예: 10) 에서 오디오 KV 쌍의 일부에 stop-gradient 연산자가 적용됩니다. 기울기 흐름은 분리 비율인 $\alpha$에 따라 $(1 - \alpha)$로 스케일링됩니다. 이를 통해 RL 기울기는 교차 모달 정렬을 담당하는 깊은 층을 자유롭게 통과하는 동시에 얕은 오디오 층으로의 누출을 억제합니다.

3. 영역별 손실 재가중치

균일한 신용 할당 문제를 해결하기 위해, 이 프레임워크는 오디오와 의미적으로 연결된 비디오 프레임 내의 핵심 영역을 식별하고 우선순위를 지정합니다.

• 내재적 프록시: 저자들은 오디오 분기에서 가져온 비디오 - 오디오 (V2A) 교차 어텐션 맵을 소리 발생 영역의 내재적 지표로 활용합니다. 이러한 맵은 자연스럽게 말하는 주제 및 관련 시각 영역을 강조합니다.
• 가중치 전략: 깊은 블록과 후기 탈노이즈 단계의 어텐션 맵을 집계하여 토큰별 점수를 생성합니다. 이러한 점수는 정규화되어 비디오 분기 손실을 재가중치하는 데 사용되며, 지각적으로 중요한 영역에 최적화 역량을 집중시키는 동시에 오디오 손실은 표준으로 유지합니다.

주요 기여

1. 문제 식별: 본 논문은 이점 불일치, 기울기 불균형, 그리고 균일한 신용 할당으로 인해 순수 RL 이 결합된 오디오 - 비디오 생성에서 실패한다는 것을 심층 분석을 통해 규명했습니다.
2. 프레임워크 제안: OmniNFT 는 모달리티별 이점 라우팅, 층별 기울기 수술, 그리고 영역별 손실 재가중치를 결합하여 다목적 및 다모달 최적화를 용이하게 하는 솔루션으로 소개되었습니다.
3. 실증적 검증: 광범위한 실험을 통해 OmniNFT 는 상당한 계산 오버헤드를 도입하지 않으면서 지각적 품질, 교차 모달 정렬, 동기화 측면에서 강력한 베이스라인보다 일관된 개선을 달성함을 입증했습니다.

실험 결과

저자들은 JavisBench와 VBench에서 LTX-2백본을 사용하여 OmniNFT 를 평가했습니다.

• 지각적 품질: OmniNFT 는 기본 LTX-2 모델 대비 시각 품질 (VQ) 을 2.038 에서 3.326으로 (+63.2%), 오디오 품질 (AQ) 을 5.197 에서 5.715로 (+10.0%) 향상시켰습니다. 또한 VBench 이미지 품질에서도 눈에 띄는 개선 (+10.5%) 을 보였습니다.
• 교차 모달 일관성: 이 방법은 LTX-2 대비 텍스트 - 오디오 ImageBind (TA-IB) 를 15.2% 개선했으며, 더 큰 LTX-2.3 모델을 능가했습니다. CLAP 점수 (오디오 - 텍스트 정렬) 는 0.412 에서 0.445로 증가했습니다.
• 동기화: 비동기화 정도를 측정하는 DeSync 가 0.569 에서 0.269로 (-52.7%) 크게 감소하여 기본 모델과 GDPO 베이스라인 (0.412) 모두를 크게 능가했습니다.
• 애블레이션 연구: 연구는 각 구성 요소가 고유하게 기여함을 확인했습니다: 이점 라우팅은 일관성과 동기화를 개선했고, 기울기 수술은 오디오 충실도를 향상시켰으며, 영역별 재가중치는 AV 일관성과 동기화를 최고 성능으로 끌어올렸습니다.

중요성 및 주장

본 논문은 OmniNFT 가 실제 세계 오디오 - 비디오 응용 분야의 복잡하고 다면적인 요구 사항과 생성 모델을 정렬하는 데 있어 중요한 진전을 의미한다고 주장합니다. 다모달 RL 에 내재된 최적화 불일치를 명시적으로 해결함으로써, 이 프레임워크는 충실도, 정렬, 동기화의 동시 개선을 가능하게 합니다. 저자들은 이 작업을 결합된 오디오 - 비디오 생성에서 이러한 특정 병목 현상을 체계적으로 식별하고 해결한 최초의 작업으로 위치시키며, 기존 RLVR 접근법과 더 큰 베이스라인 모델보다 우수한 확장 가능하고 효과적인 사후 훈련 패러다임을 제시합니다.