LumiVideo: An Intelligent Agentic System for Video Color Grading
이 논문은 전문 색보정사의 인지 워크플로우를 모방하여 LLM 과 RAG 를 활용한 추론 엔진으로 ASC-CDL 및 3D LUT 파라미터를 생성하고, LumiGrade 벤치마크를 통해 인간 전문가 수준의 자동화 색보정 및 자연어 기반의 반복적 제어가 가능한 'LumiVideo'라는 지능형 에이전트 시스템을 제안합니다.
원저자:Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su
🎬 루미비디오 (LumiVideo): 영화의 색감을 자동으로 찾아주는 '똑똑한 디지털 색보정사'
이 논문은 **"루미비디오 (LumiVideo)"**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 영화나 영상을 찍었을 때 나오는 '회색빛 원본 (Log 파일)'을 전문가가 손질하듯 아름답고 감성적인 색으로 바꿔주는 역할을 합니다.
기존의 AI 들이 그림을 그리는 방식과 달리, 루미비디오는 색을 직접 칠하는 화가가 아니라 색을 조절하는 지휘자처럼 작동합니다. 이해하기 쉽게 일상적인 비유로 설명해 드릴게요.
1. 왜 이 기술이 필요한가요? (기존 방식의 문제점)
지금까지의 AI 영상 편집 기술은 마치 **"눈을 감고 그림을 그리는 화가"**와 같았습니다.
문제점 1 (블랙박스): AI 가 어떤 색을 왜 바꿨는지 이유를 알 수 없었습니다. (예: "왜 하늘이 갑자기 보라색이죠?")
문제점 2 (깜빡임): 프레임마다 색을 그릴 때, 영상이 자꾸 깜빡이거나 뒤틀리는 현상이 생겼습니다.
문제점 3 (수정 불가): 결과가 나오면 다시 고치기 어렵습니다. "조금 더 붉게 해줘"라고 하면 AI 는 처음부터 다시 그리는 식이라 시간이 오래 걸립니다.
2. 루미비디오는 어떻게 작동하나요? (4 단계 워크플로우)
루미비디오는 인간 전문가의 사고방식을 따라 4 단계로 나뉩니다.
① 관찰 (Perception): "이 장면을 어떻게 볼까?"
비유: 요리사가 식재료를 보고 "이건 신선한 생선이네, 오늘 날씨가 흐리니까 간장을 조금 더 넣어야겠다"라고 판단하는 단계입니다.
작동: AI 는 회색빛 원본 영상을 보고 "해가 지는 시간 (Golden Hour) 이네", "바다와 구름이 있네", "사람 피부색이 중요하네"라고 분석합니다. 이때 피부색이나 하늘색 같은 중요한 부분은 절대 망치지 않도록 보호합니다.
② 추론 (Reasoning): "어떤 색을 써야 할까?"
비유: 요리사가 레시피 책 (RAG) 을 뒤적이며 "오늘은 따뜻한 느낌을 주려면 고추장을 더 넣을까, 아니면 간장을 더 넣을까?"라고 고민하는 단계입니다.
작동: AI 는 **나무 가지처럼 여러 가지 시나리오 (Tree of Thoughts)**를 만들어봅니다.
A 안: 너무 붉게 칠하기
B 안: 너무 차갑게 칠하기
C 안: 적당히 따뜻하게 칠하기
그리고 AI 스스로 "어떤 게 가장 영화 같을까?"를 평가해서 **최고의 안 (C)**을 선택합니다.
③ 실행 (Execution): "실제로 색을 입히기"
비유: 결정된 레시피대로 실제로 요리를 완성하는 단계입니다.
작동: AI 는 픽셀 (화소) 을 직접 그리는 게 아니라, **전문가들이 쓰는 '색 조절 공식 (ASC-CDL)'과 '색상 지도 (3D LUT)'**를 만듭니다.
핵심: 이 방식은 영상의 모든 프레임에 똑같은 규칙을 적용하므로, 영상이 깜빡이지 않고 매우 매끄럽게 나옵니다. 마치 레시피대로 요리한 것처럼 일관성이 있습니다.
④ 피드백 (Reflection): "감독의 의견 반영하기"
비유: 요리가 다 됐는데 감독이 "조금 더 짭조름하게 해줘"라고 하면, 요리사가 전체 요리를 다시 만드는 게 아니라 소금만 살짝 추가하는 단계입니다.
작동: 사용자가 "그림자가 좀 더 차갑게", "구름의 질감을 살려줘"라고 말하면, AI 는 해당 부분의 수치를만 살짝 조정합니다. 다른 부분은 건드리지 않으므로 결과가 예측 가능하고 안정적입니다.
3. 이 기술의 핵심 장점 (왜 특별한가요?)
투명한 레시피 (Editable):
기존 AI 는 "결과물"만 줍니다. 하지만 루미비디오는 **"어떻게 만들었는지 (수치와 공식)"**를 줍니다. 그래서 나중에 "조금 더 붉게 해줘"라고 하면, AI 는 처음부터 다시 그리는 게 아니라 수치만 살짝 바꿔서 바로 결과를 보여줍니다.
전문가 수준의 일관성:
영상 전체가 깜빡이거나 뒤틀리지 않습니다. 마치 한 명의 색보정 전문가가 내내 그 영상을 다듬은 것처럼 자연스럽습니다.
새로운 기준 (LumiGrade):
연구팀은 이 기술을 평가할 수 있는 **새로운 시험지 (LumiGrade)**도 만들었습니다. 기존에 없었던 '회색빛 원본 영상'으로 테스트할 수 있는 데이터셋입니다.
4. 결론: AI 가 예술가가 되다?
루미비디오는 AI 가 단순히 그림을 그리는 것을 넘어, **영화를 만드는 '색감 지휘자'**가 될 수 있음을 보여줍니다.
초보자도: "해 질 녘의 따뜻한 느낌으로 바꿔줘"라고 말하면 전문가 수준의 색감을 얻을 수 있습니다.
전문가도: "이 부분은 이렇게, 저 부분은 저렇게"라고 세부적으로 지시하면, 그 지시를 정확히 따르는 유능한 조수가 되어줍니다.
이 기술은 앞으로 영화, 광고, 유튜브 영상 제작에서 시간과 비용을 획기적으로 줄이면서도, 예술적인 감성을 잃지 않는 새로운 표준이 될 것으로 기대됩니다.
1. 문제 제기 (Problem Statement)
비디오 색보정 (Color Grading) 은 평평한 로그 (Log) 인코딩 원본 영상을 감성적이고 영화적인 비주얼로 변환하는 핵심적인 포스트 프로덕션 과정입니다. 그러나 기존 자동화 방법론들은 다음과 같은 치명적인 한계를 가지고 있습니다.
블랙박스 픽셀 생성 (Black-box Pixel Generation): 기존 접근법 (이미지 간 변환, 확산 모델 등) 은 직접적으로 편집된 픽셀을 생성합니다. 이는 색 공간의 수학적 해석 가능성을 파괴하며, 프레임 단위 생성으로 인해 심한 시간적 깜빡임 (temporal flickering) 과 공간적 아티팩트를 유발합니다.
산업 표준 부재 및 제어 불가: 생성된 결과는 산업 표준 (ASC-CDL, 3D LUT 등) 과 호환되지 않아, 전문 편집기 (DaVinci Resolve 등) 에서 수정하거나 반복적인 정교화가 불가능합니다.
반복적 정교화 (Iterative Refinement) 의 부재: 감독이나 색보정 전문가의 피드백 ("그림자를 더 차갑게", "하이라이트를 보호하라" 등) 을 반영하여 파라미터만 조정하고 영상을 재생성하지 않는 유연한 워크플로우가 존재하지 않았습니다.
2. 방법론 (Methodology)
저자들은 색보정을 '픽셀 생성'이 아닌 투명하고 파라미터 기반의 추론 과정으로 재정의하여 LumiVideo라는 지능형 에이전트 시스템을 제안했습니다. 이 시스템은 인간의 색보정 전문가의 인지 워크플로우를 모방하여 **4 단계 (Perception, Reasoning, Execution, Reflection)**로 구성됩니다.
가. 전체 아키텍처
입력: RAW 로그 (Log) 인코딩 비디오.
출력: 산업 표준 ASC-CDL 파라미터 및 일관된 3D LUT (.cube 파일).
핵심 특징: 픽셀을 생성하지 않고, 색보정 파라미터를 추론하여 생성하므로 시간적 일관성이 보장되고 구조적 열화가 없습니다.
나. 4 단계 워크플로우
지각 (Perception):
이중 스트림 (Dual-Stream) 모듈:
물리적 스트림: 로그 영상을 Rec.709 로 변환하고, IRE(1%, 50%, 99%) 기반의 노출 프로파일 (Black point, Mid-gray, White point) 을 계산하여 객관적인 노출 데이터를 추출합니다.
시맨틱 스트림: VLM(Vision-Language Model) 을 사용하여 장면의 조명 조건, 내러티브 컨텍스트, 보호해야 할 톤 (피부색, 하늘 등) 을 JSON 형식으로 추출합니다.
이 정보는 에이전트의 '세계 모델'로 작용하여 하위 단계의 추론을 안내합니다.
추론 (Reasoning):
LLM + RAG + Tree of Thoughts (ToT):
RAG (Retrieval-Augmented Generation): 전문 색보정 휴리스틱 (예: "황금 시간대의 따뜻함", "바다와 하늘의 분리") 이 저장된 데이터베이스에서 관련 규칙을 검색합니다.
ToT (Tree of Thoughts): 검색된 휴리스틱과 장면 컨텍스트를 바탕으로 LLM 이 여러 가지 색보정 전략 (Branch) 을 생성하고 평가합니다.
VLM Critic: 각 후보 파라미터 세트를 적용한 미리보기 이미지를 생성하여 VLM 이 영화적 품질과 보호 톤 유지 여부를 점수 (1-5) 로 평가합니다.
Beam Search: 상위 점수를 받은 노드만 다음 단계로 확장하여 최적의 ASC-CDL 파라미터 집합 (P∗) 을 도출합니다.
실행 (Execution):
도출된 ASC-CDL 파라미터 (Lift, Gamma, Gain, Saturation, Contrast, Pivot) 를 수학적으로 엄밀하게 3D LUT 로 컴파일합니다.
기술적 개선: HDR 콘텐츠의 하이라이트 클리핑을 방지하기 위해 적응형 Lift 공식과 아날로그 필름의 어깨 (shoulder) 응답을 모방한 **지수적 하이라이트 롤오프 (Exponential Highlight Roll-off)**를 적용합니다.
생성된 LUT 는 DaVinci Resolve 등 전문 NLE 에서 즉시 사용 가능한 .cube 파일로 내보내집니다.
반성 (Reflection):
상태 인식 반복 루프 (State-Aware Iteration): 사용자가 자연어 피드백 (예: "그림자를 약간 더 차갑게") 을 입력하면, LLM 이 텍스트를 파싱하여 특정 파라미터 (Lift) 만 업데이트하고 나머지는 잠금 (Lock) 상태로 유지합니다.
이를 통해 영상을 재생성하지 않고도 정밀하고 점진적인 조정이 가능하며, 최대 5 회까지 반복이 가능합니다.
3. 주요 기여 (Key Contributions)
자율적 영화적 에이전트 (Autonomous Cinematic Agent): 사용자 입력 없이 RAW 로그 영상만으로 전문 수준의 베이스 그레이딩을 생성하는 최초의 에이전트 시스템입니다.
구조화된 시네마틱 추론 (Structured Cinematic Reasoning): LLM 과 도메인 특화 RAG 를 결합하고 ToT 전략을 사용하여 비선형적인 ASC-CDL 파라미터 공간을 체계적으로 탐색합니다.
산업 표준 출력 및 반복 제어: ASC-CDL 파라미터와 3D LUT 를 출력하여 시간적 일관성을 보장하며, 자연어 기반의 피드백 루프를 통해 정밀한 반복 수정을 가능하게 합니다.
LumiGrade 벤치마크: 자동화된 비디오 색보정을 평가하기 위한 최초의 공개 벤치마크를 제시했습니다. 이는 RAW 로그 영상과 전문가가 만든 참조 그레이딩 (ASC-CDL 파라미터 및 렌더링 영상) 을 포함합니다.
4. 실험 결과 (Results)
벤치마크 (LumiGrade): 100 개 이상의 다양한 카메라 (RED, DJI, Nikon 등) 로 촬영된 로그 영상 클립으로 구성된 벤치마크에서 평가되었습니다.
성능 비교:
기술적/미적 품질: LumiVideo 는 MANIQA, DeQA, Q-Align, CLIP-AS 등 모든 기술적 및 미적 지표에서 기존 SOTA 방법 (Diffusion 기반, 일반 멀티모달 모델) 을 압도적으로 상회했습니다.
전문가 대비: 대부분의 지표에서 인간 전문가 (Human Expert) 의 결과와 유사하거나 이를 능가했습니다. (단, 피부 톤 자연스러움과 Q-Align 점수에서는 인간 전문가가 약간 우위를 보였습니다.)
사용자 연구: 48 명의 일반 사용자와 5 명의 전문 색보정 전문가가 참여한 연구에서, LumiVideo 는 인간 전문가 다음으로 높은 선호도 (Win Rate 38.2%) 와 사용성 점수 (4.4/5.0) 를 기록했습니다.
비교 분석: 기존 픽셀 생성 모델 (GPT-4, Gemini 등) 은 공간적 아티팩트와 색상 왜곡이 심해 색보정 작업에는 부적합함이 입증되었습니다.
5. 의의 및 의의 (Significance)
패러다임 전환: 비디오 편집을 '픽셀 생성'에서 '파라미터 추론'으로 전환하여, 생성형 AI 와 전문 산업 워크플로우 간의 간극을 해소했습니다.
실용성: 생성된 결과는 DaVinci Resolve 등 기존 산업 표준 툴과 즉시 호환되며, 색보정 전문가가 베이스로 삼아 추가 작업할 수 있는 실용적인 도구로 작용합니다.
해석 가능성: 블랙박스 방식이 아닌, 구체적인 파라미터 (Lift, Gamma 등) 와 그 근거 (ToT 의 가지별 설명) 를 제공하여 AI 의 결정 과정을 투명하게 만듭니다.
향후 방향: 현재는 전역 (Global) LUT 만 적용되므로, 파워 윈도우 (Power Windows) 와 같은 공간적 변조 (Spatially-varying adjustments) 를 지원하는 방향으로의 확장이 필요함을 지적했습니다.
이 논문은 생성형 AI 를 단순한 이미지 생성 도구가 아닌, 전문적인 영상 제작 파이프라인에 통합될 수 있는 지능형 에이전트로 진화시킨 중요한 사례입니다.