⚡ electrical engineering

Toward Uncertainty Quantification in Modern Art

본 논문은 현대 미술 애니메이션에서의 생성적 불확실성을 정량화하기 위한 새로운 프로토콜과 최초의 전용 코퍼스를 소개하며, 소스 불가지론적(source-blind) 다차원 추정치가 서로 다른 유형의 의미적 변이를 효과적으로 구별하고 충실한 렌더링을 식별해 낼 수 있음을 입증함으로써, 기존의 스칼라 기반 불확실성 지표를 유의미하게 능가함을 보여준다.

원저자: Tirtho Roy, Ushashi Bhattacharjee, Showrav Kumar Saha, Sayantan Chakraborty, Koushik Howlader, Tanusree Bhattacharjee

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tirtho Roy, Ushashi Bhattacharjee, Showrav Kumar Saha, Sayantan Chakraborty, Koushik Howlader, Tanusree Bhattacharjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 감독이 되어, "그 그림을 움직이게 해달라"라는 단 하나의 모호한 지시를 바탕으로 마법 같고 보이지 않는 카메라 팀에게 장면 촬영을 요청한다고 상상해 보십시오. 인공지능의 세계에서 이 "카메라"들은 텍-투-비디오(text-to-video) 모델이며, "그림"은 현대 미술입니다. 현대 미술은 해석의 여지를 두도록 설계되었기에 특별합니다. 하나의 추상적인 형태가 어떤 이에게는 폭풍처럼 보일 수도 있고, 다른 이에게는 춤처럼 보일 수도 있습니다. 당신이 이 그림을 촬영하도록 AI에게 요청할 때, AI는 단 하나의 영화를 만드는 것이 아니라, 시작 단계에서 선택한 '시드(seed)'라고 불리는 아주 작은 무작상의 수에 따라 수많은 영화를 만들어냅니다. 때때로 시드들은 서로 매우 다른 모습의 영화들을 만들어내기도 합니다.

오랫동안 과학자들은 AI가 얼마나 "혼란스러워하는지" 혹은 "불확실한지"를 측정하기 위해 단순한 자를 사용해 왔습니다. 그들은 단순히 영화들이 서로 얼마나 떨어져 있는지를 측정하여 "10점 만점에 5점"과 같은 단일 숫자를 부여했습니다. 하지만 이것은 마치 사람들에게 그들이 "시끄럽다"라고 말하면서, 그들이 모두 똑같은 것을 외치고 있는지, 한 사람이 비명을 지르고 나머지는 속삭이고 있는지, 아니면 두 가지 다른 언어로 논쟁하고 있는지 알려주지 않는 것과 같습니다. 이 논문이 다루는 핵심 질문은 이것입니다. 우리는 AI가 생성한 영상 그룹을 보고, 단순히 "얼마나 다른가"가 아니라 "어떻게 다른가"를 파악할 수 있는가? 이는 매우 중요합니다. 왜냐하면 AI가 예술을 만들고 있다면, 우리는 그것이 풍부하고 다양한 창의적 아이디어를 제공하고 있는 것인지, 아니면 그저 오류를 일으켜 원래의 예술 작품을 제대로 포착하지 못하고 있는 것인지를 알고 싶기 때문입니다.

연구자들은 단순한 "시끄러움"을 측정하는 자를 사용하는 것을 멈추고, 대신 AI의 혼란의 '형태'를 분석하기 위한 정교한 탐정 키트를 구축하기로 했습니다. 그들은 현대 미술의 캡션(설명)으로부터 생성된 영상 그룹을 바라보는 새로운 방법을 고안했습니다. 그들의 방법은 단순히 "이 영상들은 다르다"라고 말하는 대신, 다음과 같은 구체적인 질문을 던집니다. 영상들이 하나의 촘촘한 클러스터 안에 모여 있는가? 눈에 띄게 튀는 이상한 영상(아웃라이어)이 하나 존재하는가? 두 개의 뚜xt렷한 그룹이 존재하여 서로 주의를 끌기 위해 싸우고 있는가? 아니면 명확한 패턴 없이 영상들이 사방에 흩어져 있는가?

이를 테스트하기 위해, 그들은 1,000개의 영상으로 구성된 거대한 라이브러리를 구축했습니다. 그들은 현대 미술을 묘사하는 250개의 캡션을 가져왔고, 강력한 AI 모델인 Wan2.1에게 네 개의 서로 다른 무작위 시드를 사용하여 각 캡션당 네 개의 서로 다른 영상을 생성하도록 요청했습니다. 결정적으로, AI는 원본 예술 작품을 결코 보지 못했습니다. 오직 텍스트 설명만을 보았을 뿐입니다. 연구자들은 이 영상들에 대해 그들의 새로운 "탐정 키트"를 실행했습니다.

결과는 매우 흥-미로웠습니다. 첫째, 그들의 새로운 키트는 그룹의 "형태"를 성공적으로 식별할 수 있음을 발견했습니다. 이 키트는 촘촘하게 모인 유사한 영상 그룹과 하나의 이상한 아웃라이어가 있는 그룹을 거의 완벽한 정확도(98%)로 구분해 냈으며, 반면 기존의 단일 숫자 방식은 그 차이를 전혀 알아채지 못했습니다. 또한 그들은 높은 불확실성이 항상 AI의 실패를 의미하는 것은 아니라는 점도 발견했습니다. 때때로 AI는 많은 버전을 만들어내지만 그 모든 버전이 여전히 원래 예술의 정신을 포착하고 있습니다(참조 범위 충족, reference covering). 또 다른 경우에는 AI가 많은 버전을 만들어내지만, 그 중 어느 것도 실제 원본 예술과 닮지 않았습니다(참조 누락, reference missing). 그들의 새로운 프로토콜은 기존 방식으로는 불가능했던 이 차이를 포착할 수 있습니다.

하지만 이 논문은 중요한 "금지 구역"에 대한 신호도 전달했습니다. 새로운 키트가 불확실성의 "형태"를 묘사하는 데는 뛰어나지만, AI가 정확히 "무엇"에 대해 의견 차이를 보이는지(예를 들어, AI가 그림이 슬픔에 관한 것인지 분노에 관한 것인지에 대한 의견 차이)를 예측하는 데는 더 낫지 않다는 것이 밝혀졌습니다. 기존의 단순한 "얼 la 멀리 떨어져 있는가"라는 숫자가 그러한 종류의 의견 차이를 예측하는 데 있어서는 똑같이 유용했습니다. 또한, 연구자들은 원본 예술 작품을 보지 않고 영상을 보는 것(소스 블라인드, source blind)이 AI가 프롬프트를 어떻게 해석하고 있는지는 알려줄 수 있지만, AI가 원본 예술를 충실히 복제하고 있는지는 알려줄 수 없음을 확인했습니다.

요약하자면, 이 논문은 우리가 단순한 숫자를 넘어 AI의 창의적 선택의 '구조'를 이해할 수 있음을 증명합니다. 이제 우리는 AI가 다양한 유효한 해석을 제공하고 있는 것인지, 아니면 그저 제자리에서 헛바퀴를 돌고 있는 것인지를 구분할 수 있습니다. 이 방법이 마법처럼 AI가 미래를 예측하게 만드는 것은 아니지만, 이는 창의적인 기계들이 어떻게 생각하는지를 이해하는 데 훨씬 더 날카로운 도구를 제공하며, 우리가 언제 그들의 결과물을 수용하고 언제 다시 하라고 요청해야 할지를 결정하는 데 도움을 줍니다. 연구자들은 다른 이들이 이 새로운 방식으로 AI의 불확실성을 바라볼 수 있도록 그들의 코드와 1,000개의 영상 라이브러리를 공유했습니다.

기술 요약: 현대 미술의 불확실성 정량화를 향하여

문제 정의
현재의 텍스트-비디오 모델은 서로 다른 랜덤 시드(seed)를 사용하여 모호한 현대 미술을 애니메이션화하도록 요청받았을 때, 눈에 띄게 상이한 영상들을 생성한다. 모호함이 의도된 현대 미술의 맥락에서, 이러한 발산은 단순한 무작위 노이즈가 아니라 뚜렷한 해석(신호)을 의미한다. 그러나 기존의 불확실성 정량화(Uncertainty Quantification, UQ) 방식은 일련의 생성물들을 하나의 스칼라 값(예: 방향 집중도, 쌍별 분산 또는 의미론적 엔트로피)으로 축소한다. 스칼라는 시드들이 얼마나 서로 다른지를 정량화할 수는 있지만, 어떻게 다른지는 설명하지 못한다. 즉, 컴팩트한 해석의 군집인지, 하나의 지배적인 해석과 단일 이상치인지, 두 개의 경쟁하는 일관된 모드인지, 혹은 확산된 불안정성인지를 구분할 수 없다. 결과적으로, 기존의 지표들은 시스템이 생성을 수용할지, 특정 시드를 버릴지, 대안을 제시할지, 혹은 절제할지를 결정하는 데 도움을 주지 못한다.

방법론
저자들은 현대 미술 애니메이션의 생성적 불확실성의 구조를 체계적으로 연구한 최초의 사례로, 재사용 가능한 소스 불가지론적(source-blind) 프로토콜을 제 introduced한다.

코퍼스 구축: 본 연구는 250개의 현대 미술 캡션(후기 인상주의, 팝 아트, 초현실주의 및 일반 세트 포함)으로 구성된 새로운 코퍼스를 활용한다. 이 캡션들은 Wan2.1 14B 모델을 통해 네 가지 서로 다른 시드로 렌더링되어 총 1,000개의 영상을 생성했다. 결정적으로, 원본 미술 이미지는 생성 과정에서 배제되었으며 오직 평가를 위해서만 사용되었다. 생성된 영상들은 네 가지 서로 다른 인코더(OpenCLIP ViT B/32, ViT L/14, SigLIP, DINOv2)를 통해 임베딩되었다.
프로토콜: 프레임워크는 네 가지 주요 구성 요소로 이루어진다:
1. 추정기 세트(Estimator Suite): 생성된 영상만을 읽는 7개의 소스 불가지론적 추정기와, 은닉된 원본 미술을 평가 목적으로만 참조하는 6개의 참조 인식형(reference-aware) 추정기로 구성된다.
2. 분포 프로파일(Distributional Profile): 경험적 해석 분포를 명명된 구조적 구성 요소로 분해한다: 전역 확산(global spread), 강건한 확산(robust spread), 이상치 영향(outlier influence), 명시적 위상(4, 3+1, 2+2 등 형태 분류), 다중 모달리티(multimodality), 비등방성(anisotropy), 1개 시드 제외 영향(leave-one-seed influence), 그리고 참조 커버리지(reference coverage).
3. 분포 모델 절제 연구(Distribution Model Ablation): 4개의 시드가 어느 정도의 구조를 지원할 수 있는지 측정하기 위해 6가지 파라메트릭 모델(vMF, Kent, ACG, Student t, kernel, mixture)을 시드 집합에 적합시킨다.
4. 통계적 프로토콜: 신뢰성을 보장하기 위해 104회의 부트스트랩 반복, 순열 p-값(permutation p-values), 그리고 엄격한 캘리브레이션 위생(calibration hygiene)을 포함하는 엄밀한 평가 프레임워크를 사용한다.

주요 결과
프로토콜은 8가지 연구 질문(RQ1–RQ8)에 대해 평가되었으며, 긍정적인 진단 능력과 구체적인 한계를 동시에 보여주었다:

스칼라의 중복성 (RQ1): 소스 불가지론적 스칼라 추정기들은 매우 중복적이다. 21개 쌍 중 10개 쌍이 $|r| > 0.8$ 의 상관관계를 보였으며, 최대치는 1.00이었다. 단일 분산 축이 이 스칼라들이 제공하는 정보의 대부분을 설명한다.
구조적 회복 (RQ2): 분포 프로파일은 스칼라가 놓치는 구조를 성공적으로 회복한다. 제어된 위상(컴팩트, 3+1, 2+2, 확산)을 0.98의 균형 잡힌 정확도(우연 확률 0.25)로 분류하며, 이상치 구성(3+1)을 1.00의 AUROC로 식별한다. 반면, 표준 방향 집중도 불확실성(DCU) 스칼라는 0.35에 그쳤다.
의미론적 불일치 예측 (RQ6): 구조가 예측력을 높여줄 것이라는 기대와 달리, 전체 분포 프로파일은 단순 쌍별 분산 스칼라보다 교차 시드 의미론적 불일치를 예측하는 데 있어 더 우수하지 않았다 (교차 검증 $R^2$ 값이 단순 스칼라의 0.243 대비 0.240임).
참조 커버리지 대 불확실성 (RQ4, RQ5): 프로토콜은 높은 불확실성을 두 가지 범주로 성공적으로 분리한다: "참조를 커버하는" 다양성(시드들이 서로 다르지만 예술 작품에는 충실한 경우, $n=97$ )과 "참조를 놓치는" 다양성(시드들이 예술을 포착하는 데 실패한 경우, $n=56$ ). 소스 불가지론적 불확실성은 해석의 분산을 추적할 뿐, 참조 충실도를 추적하지 않는다.
신뢰성 (RQ7, RQ8): 단순 추정기(쌍별, DCU)는 시드 부분 집합(4개 중 3개 또는 2개)에서도 신뢰할 수 있으며 다양한 인코더에 걸쳐 안정적이다. 그러나 더 풍부한 구조적 구성 요소(예: 모드 비율)는 취약하며 안정성을 위해 더 많은 시드가 필요하다.

의의 및 주장
본 논문은 현대 미술 애니메이션의 구조적 불확실성을 다룬 최초의 체계적인 연구라고 주장한다. 주요 의의는 초점을 "생성기가 얼마나 불확실한가?"에서 "그 불확실성의 구조는 무엇인가?"로 전환했다는 점에 있다.

저자들은 현대 미술 생성에 있어, 소스 불가지론적 불확실성이 실행 가능한 정보를 제공하는 곳은 스칼라의 크기가 아니라 구조 식별이라고 단언한다. 이 프로토콜은 다음을 위한 진단 도구를 제공한다:

시드 집합의 위상 분류 (예: 단일 이상치와 이봉형 분리를 구분).
이상치 구성의 격리.
유의미한 변이(참조 커버링)와 목표 포착 실패 간의 구분.

저자들은 단순한 분산이 의미론적 불일치를 예측하는 데 있어 구조적 복잡성을 추가하는 것이 개선을 가져오지 않는다는 점과, 소스 불가지론적 불확실성이 참조 충실도 체크를 대체할 수 없다는 점을 명시하며 한계에 대해 겸허한 태도를 보인다. 저자들은 추가 연구를 촉진하기 위해 프로토콜, 1,000개의 영상 코퍼스, 그리고 평가 하네스를 공개한다.

유사한 논문