⚡ electrical engineering

ScalablePromptus: Scalable and High-Fidelity Prompt-Based Video Streaming

ScalablePromptus는 드롭아웃 학습 전략과 고급 보간 기술을 채택하여 기존 프롬프트 기반 방식이 네트워크 변동에 취약한 점을 극복함으로써, 임의로 절단된 프롬프트로부터 고충실도 비디오 재구성을 가능하게 하고 손실 조건에서의 성능 저하를 82%~95% 줄이는 강력한 비디오 스트리밍 프레임워크이다.

원저자: Zehao Cao, Bowei Xu, Xun Cao, Zhan Ma, Hao Chen

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zehao Cao, Bowei Xu, Xun Cao, Zhan Ma, Hao Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

폭풍우가 치는 바다 너머에 있는 친구에게 비밀 메시지를 보내려고 한다고 상상해 보세요. 옛날 방식이라면, 픽셀 하나하나가 완벽하게 구현된 일몰 사진이 담긴 거대하고 무거운 상자를 보내려 했을 것입니다. 하지만 파도는 거칠고, 상자는 너무 무거우며, 판자 하나라도 부서지면 사진 전체를 망치게 됩니다. 이것이 기존의 비디오 스트리밍 방식입니다. 사진의 모든 미세한 디테일을 파일 안에 억지로 구겨 넣으려다 보니, 인터넷 연결이 흔들리면 화면이 흐릿하고 뭉개진 덩어리로 변해버리는 것입니다.

이제 더 똑똑한 방법을 상상해 보세요. 무거운 픽셀 상자를 보내는 대신, "주황색 구름과 보라색 하늘이 있는 일몰을 그려줘"라고 적힌 작고 마법 같은 쪽지를 보내는 것입니다. 그러면 집에 있는 아주 똑똑한 예술가 로봇이 그 쪽지를 읽고 즉시 그림을 그려냅니다. 이것이 바로 "프롬프트 기반 비디오 스트리밍(prompt-based video streaming)"의 개념입니다. 이는 우리가 그림 자체를 보내는 것이 아니라, 그림을 만들기 위한 '지침(instructions)'을 보내기 시작하는 컴퓨터 과학의 새로운 개척지입니다. 목표는 비디오를 아주 작게 만들어, 가장 가느다란 인터넷 연결 속에서도 길을 잃지 않고 날아갈 수 있게 만드는 것입니다. 하지만 함정이 있습니다. 만약 바다가 너무 거칠어져서 쪽지가 반으로 찢어진다면, 로봇은 보라색 태양을 그리거나 국물로 만든 하늘을 그릴지도 모릅니다. 이것이 바로 이 논문이 해결하고자 하는 문제입니다.

문제점: 쪽지가 찢어졌을 때

연구진은 이미 저 무거운 사진 파일 대신 마법 같은 "이것을 그려라"라는 쪽지를 보내는 데 꽤 능숙했던 "Promptus"라는 멋진 시스템에서 시작했습니다. 하지만 Promptus에는 치명적인 약점이 있었습니다. 바로 취약하다는 점이었습니다. 만약 인터넷 연결이 툭 끊겨서 쪽지가 절반만 도착한다면, 반대편의 로봇은 패닉에 빠질 것입니다. 로봇은 부서진 지침을 가지고 그림을 그리려 할 것이고, 그 결과는 처참한 붕괴—영상을 알아볼 수 없게 만드는 완전한 품질 저하—로 이어질 것입니다.

이것을 요리법에 비유해 봅시다. 만약 당신이 "밀가루 2컵, 설탕 1컵, 달걀 3개를 넣으세요"라고 적힌 케이크 레시피를 보냈는데, 우체부가 가방을 떨어뜨려 "밀가루 2컵" 부분만 도착했다면, 친구는 절반짜리 케이크를 만들 수 없습니다. 그들은 밀가루만 가지고 요리를 시도하다가 결국 벽돌을 만들 수도 있습니다. 기존의 시스템(Promptus)은 바로 그런 레시피와 같았습니다. 작동하려면 전체 목록이 필요했고, 끝부분을 잃어버리면 전체가 실패했습니다.

해결책: "순위가 매겨진" 레시피

난징 대학교의 Zehao Cao와 Hao Chen이 이끄는 팀은 ScalablePromptus라는 새로운 시스템을 구축했습니다. 그들의 핵심 아이디어는 지침에 "순위(rank-order)"를 매기는 것이었습니다.

당신이 요리법을 쓰는데, 특별한 방식으로 쓴다고 상상해 보세요. 첫 몇 줄은 가장 중요합니다: "밀가루, 설탕, 달걀." 다음 줄은 세부 사항입니다: "소금 한 꼬집, 바닐라 약간." 마지막 줄은 화려한 장식입니다: "금가루 뿌리기." 기존 시스템에서는 마지막 줄을 잃어버리면 괜찮았지만, 첫 줄을 잃어버리면 파멸이었습니다. ScalablePromptus에서 시스템은 쪽지가 얼마나 찢겨 나가더라도 남은 부분이 여전히 말이 되도록 훈련됩니다.

만-약 폭풍우 치는 바다가 첫 두 줄("밀가루, 설탕")만 전달했다면, 친구는 여전히 괜찮은 케이크를 만들 수 있습니다. 만약 다섯 줄을 전달했다면, 케이크는 훨씬 더 좋아질 것입니다. 만약 전체를 다 전달했다면, 그것은 걸작이 됩니다. 이것을 "순위가 매겨진 표현(rank-ordered representation)"이라고 합니다. 이 시스템은 가장 중요한 정보가 쪽지의 맨 앞에 오도록 강제하여, 아주 짧게 잘려 나간 쪽지라도 알아볼 수 있는 영상을 만들어낼 수 있게 합니다.

어떻게 해냈는가: 세 가지 마법 기술

이것을 가능하게 하기 위해 연구팀은 세 가지 영리한 기술을 사용했습니다.

"똑똑한 예술가" 훈련 (드롭아웃/Dropout): 그들은 "숨바꼭질" 게임을 통해 AI 로봇을 훈련시켰습니다. 훈련 중에 지침의 일부를 무작위로 숨기거나(예: 레시피의 마지막 몇 단어를 가리는 것), 남은 것만으로도 좋은 그림을 그리는 법을 로봇에게 강제로 학습시켰습니다. 이를 통해 로봇은 가장 중요한 세부 사항을 쪽지의 맨 앞부분에 배치하는 법을 배웠습니다. 이것이 그들의 "드롭아웃 훈련 전략"의 핵심입니다.
"색상 체크" (의미 및 색상 손실/Semantic and Color Loss): 때때로 로봇은 일몰을 제대로 그리긴 했지만 느낌이 이상할 때가 있었습니다. 예를 들어 하늘이 너무 회색빛이거나 색이 탁할 때 말이죠. 이를 고치기 위해 그들은 "색상 체크"와 "의미 체크"를 추가했습니다. 로봇이 단순히 픽셀을 복사하는 것이 아니라, 장면의 '분위기'와 '색상'을 실제로 이해하도록 만들었습니다. 또한, 프레임 사이를 이동할 때 로봇의 지침이 "찌그러지는" 수학적 문제도 해결했습니다. 이 때문에 영상이 색이 바랜 것처럼 보일 수 있었는데, 그들은 직선 형태의 수학적 기법을 곡선 형태인 "구형(spherical)" 기법(Slerp라고 불림)으로 교체하여 색감을 풍부하게 유지하고 형태를 선명하게 만들었습니다.
"리셋 없는" 업그레이드 (No-Reset Upgrade): 기존 시스템에서는 영상 중간에 인터넷 속도가 빨라지더라도, 이미 보낸 낮은 품질의 지침을 버리고 새로운 더 큰 세트로 다시 시작해야 했습니다. 이는 낭비였습니다. ScalablePromptus를 사용하면, 연결 상태가 좋아질 경우 송신자는 이미 있는 것에 더할 "나머지 쪽지"(금가루와 바닐라 부분)를 그냥 추가로 보내기만 하면 됩니다. 다시 시작할 필요도, 낭비할 필요도 없습니다.

결과: 강철처럼 단단한 성능

연구진은 자연 경관부터 움직이는 사람에 이르기까지 다양한 영상으로 새로운 시스템을 테스트했습니다. 그들은 데이터 패킷이 유실되거나 잘려 나가는 폭풍우 치는 인터넷 환경을 시뮬레이션했습니다.

결과는 인상적이었습니다. 인터넷 연결이 완벽할 때, 그들의 시스템은 기존 시스템보다 약간 더 나은 영상을 만들어냈습니다. 하지만 연결 상태가 나빠져서 쪽지가 조각조각 잘렸을 때, 그 차이는 엄청났습니다. 기존 시스템의 영상 품질은 폭락하고 무너졌지만, ScalablePromptus는 계속해서 잘 작동했습니다. 논문에 따르면, 이 방식은 이러한 끊김으로 인한 성능 저하를 82%에서 95%까지 줄였습니다.

쉽게 말해, 만약 기존 시스템이 쪽지가 찢어졌을 때 품질의 100%를 잃었다면, 새 시스템은 아주 적은 부분만을 잃었습니다. 이는 예측 불가능하고 불안정한 연결 속에서도 영상이 '국물'처럼 변하지 않고 스트리밍될 수 있음을 증명했습니다.

왜 중요한가

이것은 단순한 실험실 실험이 아닙니다. 인터넷 연결이 결코 완벽하지 않은 현실 세계에서 비디오 스트리밍이 작동하게 만드는 단계입니다. 북적이는 경기장에 있든, 달리는 기차 안에 있든, 혹은 와이파이가 불안정한 외딴 지역에 있든, ScalablePromptus는 우리가 무거운 픽셀 파일 대신 더 똑똑하고 탄력적인 지침을 보냄으로써, 영상이 멈추거나 깨지지 않고 고화질로 스트리밍될 수 있다는 것을 보여줍니다. 이는 취약한 시스템을 견고한 시스템으로 바꾸어 놓으며, 인터넷의 무질서한 현실에 대비할 수 있게 해줍니다.

기술 요약: ScalablePromptus

문제 정의

프롬프트 기반 비디오 스트리밍은 전통적인 픽셀 압축(예: H.264/H.265)에서 생성적 재구성을 위한 압축된 시맨틱 프롬프트를 전송하는 방식으로의 패러다임 전환을 의미한다. 최첨단 프레임워크인 Promptus는 비디오 프레임을 저차원 프롬프트 임베딩으로 역전(inversion)하고 Stable Diffusion을 사용하여 재생성함으로써 상당한 대역폭 절감을 달부터 하지만, 실제 배포를 저해하는 두 가지 결정적인 한계점을 가지고 있다:

최적화되지 않은 품질: Promptus는 픽셀 수준의 손실 함수(MSE 및 LPIPS)에만 의존하며, 프롬프트 공간의 시맨틱 용량을 충분히 활용하지 못한다. 또한, 중간 프레임을 생성하기 위해 선형 보간(Lerp)을 사용하는 과정에서 하이퍼스피어(hyperspherical) 임베딩 공간 내의 "노름 붕괴(norm collapse)"를 유발하여 채도가 낮아지고 디테일이 손실되는 현상이 발생한다.
네트워크 변동에 대한 취약성: Promptus는 패킷 손실이나 대역폭 변화를 처리할 메커니즘이 부족하다. 다양한 랭크(rank)에 대해 여러 개의 프롬프트를 사전 피팅(pre-fitting)해야 하므로 저장 공간 소모가 크다. 결정적으로, 전송된 프로프트가 네트워크 손실로 인해 잘릴(truncated) 경우, 수신 측은 의미 있는 비디오를 재구성할 수 없어 치명적인 품질 붕고가 발생한다. 반대로, 스트리밍 도중 대역폭이 증가하더라도 이미 받은 데이터를 버리고 다시 다운로드하지 않고는 품질을 점진적으로 업그레이드할 수 없다.

방법론

저자들은 품질을 개선하고 절단(truncation)에 대한 견고성을 확보하기 위해 설계된 향상된 프레임워크인 ScalablePromptus를 제안한다. 파이프라인은 송신 측의 프롬프트 역전, 전송, 그리고 수신 측의 생성 단계로 구성된다.

1. 시맨틱 및 기하학적 프롬프트 강화

품질 문제를 해결하기 위해 저자들은 복합 손실 함수와 기하학적 보간 전략을 도입한다:

시맨틱 유사도 손실 (Semantic Similarity Loss): 생성된 프레임과 그라운드 트루스(ground truth) 사이의 시맨틱 임베딩 간의 코사인 유사도 손실을 추가한다. 이는 고정된 CLIP ViT-B/32 인코더를 통해 추출되며, 픽셀 수준의 차이를 넘어 시맨틱 정렬을 보장한다.
색상 통계 정렬 손실 (Color Statistics Alignment Loss): 전역적인 색상 변화(예: 회색조 현상)를 교정하기 위해, 생성된 프레임과 그라운드 트루스 프레임 간의 채널별(RGB) 평균 및 표준 편차를 일치시키는 손실 함수를 사용한다.
구면 선형 보간 (Slerp): 선형 보간을 대체하여, 중간 프레임을 생성하기 위해 훈련과 추론 모두에 Slerp를 사용한다. 프롬프트 임베딩은 하이퍼스피어 매니폴드 상에 존재하므로, Slerp는 측지선(geodesic)을 따라 이동하여 임베딩 노름(norm)을 보존한다. 이는 Lerp와 관련된 "노름 붕괴"를 방지하여 컨디셔닝 강도를 유지하고 색상 채도 저하를 막는다.

2. 스케일러블 스트리밍을 위한 드롭아웃 훈련

핵심 기여는 **계층적 랭크 표현(rank-ordered representations)**을 생성하기 위한 **중첩 드롭아웃(Nested Dropout)**에서 영감을 받은 훈련 전략이다:

메커니즘: 훈련 중에 각 반복(iteration)마다 프롬프트 차원의 무작위 서브셋(랭크 $k$ )이 드롭된다. 모델은 가장 중요한 시각적 정보를 선행 차원( $1 \dots k$ )에, 그리고 점진적으로 더 미세한 디테일을 후행 차원에 인코딩하도록 강제된다.
계층적 랭크 표현: 이는 프롬프트 요소들이 중요도에 따라 정렬되도록 강제한다. 처음 몇 개의 차원은 거칠고 필수적인 콘텐츠를 포함하며, 이후의 차원들은 디테일을 정교화한다.
훈련 기법:
- 웜업(Warmup): 무작위 절단이 시작되기 전 모든 차원이 의미 있게 초기화될 수 있도록 초기에는 풀 랭크(full-rank) 훈련을 수행한다.
- 보조 정규화(Auxiliary Regularization): 선택되지 않은(후행) 차원의 크기에 작은 페널티를 적용하여, 사용되지 않을 때 해당 차원이 표류하거나 노이즈를 유발하는 것을 방지한다.
- 매끄러운 최악 단계 선택 (Smoothed Worst-Step Selection): 무작위 절단 변동성에 의한 편향을 완화하기 위해 손실의 지수 이동 평균(EMA)을 사용하여 훈련할 프레임을 선택한다.
추론: 수신자는 재훈련이나 적응 없이 프롬프트의 어떠한 절단된 접두사(prefix, 즉 처음 $k$ 개 차원)로부터도 비디오를 재구성할 수 있다. 대역폭이 증가하면, 이전에 받은 데이터를 버리지 않고도 후행 차원을 점진적으로 추가할 수 있다.

주요 결과

저자들은 QST 및 UVG 데이터셋(512×512 해상도, 30 fps)을 대상으로 H.265, H.266, VAE 기반 압축 및 기존 Promptus와 비교하여 ScalablePromptus를 평가한다.

안정적인 네트워크: 이상적인 전송 조건 하에서, 시맨틱 및 기하학적 강화는 베이스라인인 Promussa 대비 완만하지만 일관된 품질 향상을 보여준다.
절단 탄력성 (Truncation Resilience): 프롬프트가 절단될 때(대역폭 저하 시뮬레이션), ScalablePromptus는 우아하게 성능이 저하된다. 정량적 결과에 따르면, 이 방법은 베이스라인 대비 성능 저하(LPIPS 증가로 측정)를 82%~95% 감소시킨다. 베이스라인은 유효 랭크가 훈련된 랭크 미만으로 떨어지면 치명적인 실패를 겪는 반면, ScalablePromptus는 낮은 랭크(예: $k=4$ )에서도 구조적으로 의미 있는 출력을 유지한다.
패킷 손실 탄력성: 5%~20%의 패킷 손실을 시뮬레이션하는 Gilbert-Elliott 버스트 손실 모델 하에서, ScalableProm务는 Promussa보다 현저히 낮은 LPIPS 점수를 유지한다. 예를 들어, 20% 손실 시 베이스라인의 LPIPS는 0.4491까지 상승하지만, ScalablePromptus는 0.3417을 유지한다.
점진적 업그레이드: 시스템은 경량화된 점진적 품질 업그레이드를 지원한다. 대역폭이 확보되면 송신자는 누락된 후행 차원만을 전송하며, 수신자는 이를 기존 프롬프트에 추가하여 전체 프롬프트를 다시 다운로드할 필요 없이 사용할 수 있다.

의의 및 주장

본 논문은 ScalablePromptus가 변동성이 큰 네트워크 환경에서 실제 배포가 가능할 만큼 견고함을 입증한다고 주장한다.

실용성: 여러 랭크별 프롬프트를 사전 피팅할 필요를 없애고 절단 시에도 우아한 성능 저하를 가능하게 함으로써, 손실이 발생하는 네트워크에서 생성적 스트리밍을 채택하는 데 있어 주요 장벽을 극복한다.
효율성: 하나의 훈련된 모델만으로 요청에 따른 임의의 랭크 절단을 지원하여, 멀티 비트레이트 스케일러블 코딩 방식에 비해 저장 공간 및 훈련 오버헤드를 줄인다.
성능: 시맨틱/색상 인식 역전(inversion)과 구면 보간의 결적인 조합은 기존 프롬프트 기반 방식의 내재적 기하학적 및 시맨틱 한계를 해결하며, 드롭아웃 전략은 복잡한 오류 정정이나 재전송 프로토콜 없이도 탄력적인 전송을 위한 새로운 솔루션을 제공한다.

저자들은 ScalablePromptus가 초저비트레이트 통신과 고충실도 재구성 사이의 균형을 달성함으로써, 스케일러블 프롬프트 스트리밍이 실용적이고 견고하다는 것을 보여준다고 결론짓는다.