💻 컴퓨터 과학

CART Rule-Guided Diffusion and AI-Synthesized User Preferences for New Media Art Generation

본 논문은 대규모 사용자 선호 데이터를 합성하기 위해 조건부 GAN을 활용하고 해석 가능한 의사결정 나무 규칙을 확산 샘플링 과정에 통합함으로써, 인간 데이터 수집의 윤리적 및 비용적 장벽을 극복하는 동시에 뉴미디어 아트 생성의 미적 품질과 개인화 수준을 크게 향상시키는 CART-규칙 가이드형 확산 모델을 제안한다.

원저자: Caixian Ye, Lijun Xu, Jun Tang

게시일 2026-10-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Caixian Ye, Lijun Xu, Jun Tang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

예술은 언제나 창작자와 관람자 사이의 대화, 즉 의미가 공유되고 감정이 느껴지는 대화였습니다. 최근 몇 년 사이 인공지능이 이 대화에 합류하였으며, 사진처럼 실사 같거나 꿈처럼 양식화된 이미지를 그려낼 수 있게 되었습니다. 그러나 조용한 좌절감이 남아 있습니다. 이러한 기계들은 기술적으로 완벽한 그림을 만들어낼 수는 있지만, 특정 개인이 무엇을 아름답다고 느끼는지 이해하는 데는 종종 어려움을 겪습니다. 이들은 사용자가 능동적으로 원하는 것을 예측하기보다는, 사용자가 수동적으로 선택해야 하는 옵션의 메뉴를 제공할 뿐인, 유능하지만 정서적으로는 평면적인 콘텐츠를 생성합니다. 기술적 숙련도와 개인적 취향 사이의 이 간극은 현재 연구자들이 해결하려고 노력 중인 핵심 과제입니다.

광저우 신화 대학교의 한 연구팀은 단순한 선택을 넘어 능동적이고 개인화된 창작으로 나아가는 새로운 방식을 제안하며 이 격차를 메우는 방법을 제시했습니다. 그들의 연구는 확산 모델(diffusion model)이라 불리는 특정 유형의 인공지능에 초점을 맞추고 있는데, 이는 혼란스러운 픽셀 구름으로부터 노이즈를 점진적으로 제거하여 선명한 이미지를 구축하는 방식입니다. 혁신의 핵심은 이 과정을 어떻게 유도하느냐에 있습니다. 기계가 자유롭게 방황하게 두는 대신, 인간의 취향에서 도출된 해석 가능한 규칙들을 따르도록 가르치는 것입니다. 이를 위해 연구진은 먼저 거대한 난관을 해결해야 했습니다. 즉, 수천 명의 실제 사람을 대상으로 조사할 때 발생하는 막대한 비용과 윤리적 복잡함 없이 충분한 인간의 의견을 수집하는 문제였습니다.

연구진은 색상 조화나 구도와 같은 다양한 예술적 특성에 대해 인간 전문가들이 평가한 2,000장의 이미지라는 작은 데이터 씨앗에서 시작했습니다. 이 겸손한 출발점에서부터, 그들은 보조 인공지능을 사용하여 1만 명의 가상 사용자 집단을 생성했습니다. 이 디지털 에이전트들은 50만 건의 선호도 기록을 생성해 냈으며, 이는 실질적으로 실제 인간의 씨앗 데이터를 반영하는 거대한 취향의 도서관을 효과적으로 구축했습니다. 연구팀은 이 합성 라이브러리가 실제 데이터와 통계적으로 구별할 수 없을 정도로 일치함을 검증하였으며, 이를 통해 기계가 왜곡된 모사가 아닌 인간 선호도의 충실한 재현으로부터 학습하고 있음을 보장했습니다.

이 방대한 선호도 라이브러리를 손에 넣은 연구진은 정보를 순서도처럼 일련의 예/아니오 질문을 통해 분류하는 알고리즘인 결정 트리(decision tree)를 훈련시켰습니다. 이 트리는 높은 미적 점수로 이어지는 특정 특징들의 조합을 식별하는 법을 배웠습니다. 결정적으로, 연구진은 단순히 이미지가 만들어진 후에 나쁜 이미지를 걸러내는 데 이 규칙들을 사용하지 않았습니다. 대신, 그들은 규칙을 이미지 생성 과정에 직접 주입되는 부드럽고 연속적인 신호로 변환했습니다. 기계가 단계별로 이미지를 구축함에 따라, 이 신호는 미세한 자극 역할을 하여 생성이 가상 사용자들이 선호하는 특정 스타일과 품질을 향하도록 유도했습니다. 이는 기계에게 당신이 무엇을 좋아하는지 추측하라고 요구하는 것에서, 작업하는 동안 당신의 취향을 느끼는 법을 가르치는 것으로의 전환이었습니다.

시스템이 계속 개선될 수 있도록 연구진은 폐쇄 루프 피드백 메커니즘을 구축했습니다. 기계가 일련의 이미지를 생성하면 가상 사용자들이 이에 점수를 매겼고, 시스템은 이 점수를 사용하여 자신이 따르고 있는 규칙의 중요도를 미세하게 조정했습니다. 이를 통해 모델은 시간이 지남에 따라서 스스로의 이해도를 정교화할 수 있었으며, 반복할 때마다 더 높은 품질과 더 개인화된 예술을 생산하는 전략으로 수렴되었습니다. 결과는 상당했습니다. 다른 주요 방법들과 비교했을 때, 이 새로운 접근 방식은 원하는 스타일에는 더 가까울 뿐만 아니라 전반적인 품질 또한 더 높은 이미지를 생성했습니다. 이 시스템은 생성된 예술과 이상적인 미학 사이의 거리를 거의 14% 줄였으며, 사용자 선호도를 일치시키는 정확도를 거의 10% 향상시켰습니다.

연구는 또한 시스템의 각 부분이 필수적임을 보여주었습니다. 결정 트리를 제거하자 이미지의 품질이 눈에 띄게 떨어졌는데, 이는 규칙이 필수적인 가이드를 제공했음을 입증했습니다. 합성 데이터 라이브러리를 제거하자 시스템이 훨씬 더 오래 훈련해야 했고 성공도 낮아졌는데, 이는 확장된 가상 인구의 가치를 보여주었습니다. 그리고 피드백 루프를 제거하자 시스템이 접근 방식을 정교화할 수 없었으며, 이는 지속적인 조정의 중요성을 강조했습니다. 연구진은 자신들의 방식이 다른 복잡한 모델들에 비해 훈련 시간이 매우 짧아 훨씬 더 효율적이라는 사실도 발견했습니다.

결과는 유망하지만, 저자들은 이러한 성과가 시뮬레이션 환경 내에서 측정되었다는 점을 주의 깊게 언급했습니다. 가상 사용자들은 통계적으로는 충실하지만, 실제 인간의 예술적 감상의 복잡하고 감정적이며 문화적인 뉘와스(nuances)를 완전히 포착할 수는 없습니다. 연구팀은 통제된 환경에서 실제 사람들을 대상으로 시스템을 테스트하고, 이후 대규모 온라인 연구를 통해 이 개선 사항이 실제 세계에서도 유지되는지 확인하려는 계획을 세웠습니다. 그때까지 이 연구는 해석 가능한 규칙과 합성 데이터를 결합함으로써, 기계가 단순한 기계적 출력을 넘어 개인의 표현처럼 느껴지는 예술을 창조하도록 가르칠 수 있다는 강력한 증거로 남을 것입니다.

기술 요약: 뉴미디어 아트 생성을 위한 CART 규칙 유도 확산 모델 및 AI 합성 사용자 선호도

1. 문제 정의

AI 생성 콘텐츠(AIGC)와 확산 모델(Diffusion Models)이 준사진적(near-photographic) 품질을 달로 달성했음에도 불구하고, 현재의 파이프라인은 여전히 "행위 중심적(behavior-centric)"이며, 개별적인 미적 선호도와 깊게 정렬되지 않은 채 균질한 결과물을 생성한다는 한계가 있다. 본 논문은 선호도 기반 AIGC를 가로막는 두 가지 주요 구조적 장애물을 식별한다:

데이터 희소성 및 윤리적 마찰: 개인화된 모델을 학습시키기 위해서는 대규모의 인간 피험자 데이터가 필요하지만, 이는 수집 비용이 높고 확장이 어려우며, 개인정보 보호 및 편향성과 관련된 윤리적 문제를 수반한다.
해석 가능한 가이드의 부재: 기존 방식은 사용자 선호도를 사후 필터(post-hoc filters)로 취급하거나 블랙박스 예측 모델에 의존하는 경우가 많다. 확산 샘플링 궤적(diffusion sampling trajectory) 내에 해석 가능하고 규칙 기반인 가이드를 실시간으로 주입할 수 있는 메커니즘이 부족하다.

2. 방법론

저자들은 CGAN 기반의 가상 사용자 풀, CART 규칙 유도 확산 모델, 그리고 폐쇄 루프 피드백 메커니즘을 통합하는 프레임워크를 제안한다.

A. AI 합성 사용자 선호도 (CGAN)

데이터 희소성을 극복하기 위해, 저자들은 가상 사용자 풀을 합성하는 조건부 생성적 적대 신경망(CGAN)을 구축한다.

시드 데이터(Seed Data): WikiArt와 ArtBench-10에서 추출된 소규모 실제 사용자 시드 데이터셋( $N=2,000$ )을 구성하며, 이는 12가지의 서로 다른 뉴미디어 아트 스타일에 대해 5가지 미적 차원(색상 조화, 구도 참신함 등)을 기준으로 3인의 전문가에 의해 주석이 달렸다.
합성: CGAN은 조건 벡터(스타일 레이블, 연령 인코딩, 선호 유형)와 노이즈를 선호도 벡터로 매핑하도록 학습된다.
규모: 이 과정을 통해 10,000명의 가상 사용자 에이전트를 생성하며, 각 에이전트는 50개의 무작위 스타일을 평가하여 총 $5 \times 10^5$ 개의 선호도 기록을 생성한다.
검증: 합성된 데이터는 쿨백-라이블러 발산( $D_{KL} < 0.05$ ), 최대 평균 불일치(MMD $< 0.01$ ), 프레셰 거리(FD 편차 $< 10\%$ )를 사용하여 시드 데이터와 비교 검증되었으며, 통계적 충실도를 확인하였다.

B. CART 규칙 유도 확산 (CART Rule-Guided Diffusion)

본 프레임워크는 선호도 모델링을 확산 과정에 대한 미분 가능한 가이드 신호로 변환한다.

규칙 추출: 합성된 선호도 데이터를 바탕으로 CART(Classification and Regression Tree) 결정 트리를 학습시킨다. 이 트리는 리프 노드(leaf nodes)에 고정된 "if-then" 규칙을 통해 특징 공간을 분할한다.
미분 가능한 주입: 표준 CART 규칙은 이산적(discrete)이고 미분 불가능하므로, 저자들은 시그모이드 함수를 사용하여 연속적이고 미분 가능한 거리 메트릭( $d_r(x)$ )인 "연성 위반 측정치(soft violation measure)"를 정의한다.
그래디언트 신호: 이러한 규칙들은 복합 제약 함수 $C(x; R)$ 로 변환된다. 로그 제약 함수의 그래디언트 $\nabla_{x_t} \log C(x_t; R)$ 는 Stable Diffusion 1.5 백본의 역방향 샘플링 궤적에서 매 $K$ 번째 디노이징 단계마다 주입된다.
수식: 업데이트 단계는 다음과 같이 수정된다:
$x_{t-1} = \mu(x_t) + \sigma_t \cdot \epsilon + \lambda \cdot \nabla_{x_t} \log C(x_t; R)$
여기서 $\lambda$ 는 규칙 가이드 강도이다.

C. 폐쇄 루프 피드백 메커니즘

코디네이터는 전체 트리 구조를 재학습하지 않고도 규칙 가중치를 정교화하기 위해 시스템을 반복적으로 업데이트한다.

프로세스: 시스템은 생성 $\rightarrow$ 에이전트 점수 산정 $\rightarrow$ 편차 피드백 $\rightarrow$ 규칙 업데이트의 순환 과정을 실행한다.
최적화: 코디네이터는 CART 구조를 고정한 상태에서 점수 편차에 따라 리프 노드의 예측 가중치와 신뢰도 값을 점진적으로 조정한다.
종료: 검증된 프레셰 인셉션 거리(FID)가 5회 연속 개선되지 않으면 루프가 종료된다.

3. 핵심 기여

본 논문은 세 가지의 조율된 기여를 명시한다:

확장 가능한 선호도 합성: 인간 피험자의 병목 현상을 CGAN 기반의 가상 사용자 생성기로 대체하여, 2,000개의 샘플 시드를 분포적 충실도를 유지하면서 500,000개의 합성 기록으로 확장하였다.
미분 가능한 규칙 가이드: CART 규칙을 단순한 이산적 오프라인 필터에서 역방향 확산 과정에 직접 주입되는 미분 가능한 그래디언트 신호로 격상시켜, 온라인 동적 가이딩을 가능하게 하였다.
공진화 피드백: 정적인 사후 스크리닝이 아닌, 반복적인 가중치 업데이트를 통해 생성된 결과물과 규칙 세트가 함께 진화할 수 있도록 하는 폐쇄 루프 코디네이터를 구현하였다.

4. 실험 결과

제안된 모델은 5개의 베이스라인(AIGC-only, CF-AIGC, MLP-AIGC, RF-AIGC, DDTs-AIGC) 및 3개의 어블레이션(ablation) 변형 모델을 대상으로 평가되었다.

성능 지표: 제안된 모델은 다음의 성과를 달성하였다:
- FID: 29.56 (가장 강력한 베이스라인인 RF-AIGC 대비 13.8% 개선).
- 선호도 정확도 (PA): 0.734 (9.4% 개선).
- Hit Rate@3: 0.512 (19.6% 개선).
- 효율성: 학습 시간은 MLP 대비 78%, Random Forest 대비 74% 단축되었다.
어블레이션 연구:
- CART 모듈을 제거했을 때 FID가 14.5% 증가하고 PA가 15.8% 감소하여, 규칙 기반 압축의 필요성을 확인하였다.
- CGAN을 제거했을 경우(실제 데이터로만 학습), 수렴 에포크가 2배 증가(87에서 189로)하고 FID가 29.3% 상승하여, 미적 범위를 확장하는 데 있어 합성 데이터의 역할을 입증하였다.
- **폐쇄 루프(Closed-Loop)**를 제거하면 미미하지만 측정 가능한 성능 저하가 발생하였으며, 이는 루프가 점진적인 최적화를 제공함을 나타낸다.
수렴: 폐쇄 루프 시스템은 FID의 단조로운 개선을 보였으며, 약 5회 반복 후 안정화되었다.

5. 의의 및 주장

본 논문은 해석 가능한 규칙 기반 가이드와 AI 합성 선호도 데이터를 통합하는 것이 AIGC 출력의 미적 품질과 개인화를 모두 크게 향나시킨다고 주장한다.

이론적 통찰: 신경망(MLP/RF)보다 CART가 우수한 성과를 보인 것은, 이진 재귀 분할(binary recursive partitioning)이 인간의 미적 판단(지각 $\rightarrow$ 분류 $\rightarrow$ 평가)의 계층적 구조와 구조적으로 동형(isomorphic)임을 시사한다. 즉, 비볼록(non-convex) 선호도 분포에 더 잘 부합하는 조각별 선형 결정 경계를 제공한다.
실무적 영향: 본 프레임워크는 인간 평가 파이프라인을 대체하는 재현 가능하고 저비용인 대안을 제공하여 소규모 스튜디오의 진입 장벽을 낮춘다. 규칙 가이드의 경량성(지연 시간 약 4.3초)은 실시간 뉴미디어 아트 설치를 지원한다.
겸허한 태도 및 한계: 저자들은 현재 결과가 가상 사용자 풀을 기반으로 하며 아직 실제 인간 피험자에 의해 검증되지 않았음을 명시적으로 인정한다. 또한 합성 데이터는 정서적 공명이나 문화적 맥락과 같은 고차원적 인지 요인을 인코딩할 수 없다는 점을 언급한다. 따라서 보고된 이득은 합성 분포에 대한 상대적 성능을 정량화한 것이며, 저자들은 실제 배포 전 생태적 타당성을 검증하기 위해 사전 등록된 2단계 연구(실험실 내 연구 및 교차 문화 온라인 연구)를 제안한다.