🤖 AI

Culture-inspired Multi-modal Color Palette Generation and Colorization: A Chinese Youth Subculture Case

본 논문은 기존 색상 생성 연구에서 문화적 고려가 부족하다는 문제를 해결하기 위해 독특한 중국 청년 서브컬처 (CYS) 데이터셋을 구축하고 문화적 특성을 반영한 색상 팔레트를 생성하며 자동 색상을 적용하는 대화형 다중 모달 프레임워크를 개발하였으며, 이는 인간-루프 데모 시스템과 사용자 연구를 통해 검증되었습니다.

원저자: Yufan Li, Jinggang Zhuo, Ling Fan, Harry Jiannan Wang

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yufan Li, Jinggang Zhuo, Ling Fan, Harry Jiannan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

도시 거리의 흑백 스케치를 상상해 보세요. 전통적인 예술가에게 이를 채색해 달라고 요청하면 부드럽고 자연스러운 톤을 사용할 것입니다. 하지만 특정 유행을 선도하는 청년 그룹의 구성원에게 같은 거리를 채색해 달라고 요청하면 건물에는 네온 그린을, 하늘에는 핫핑크를 바를지도 모릅니다. 그들에게 그 색상의 충돌은 '추악한' 것이 아니라 세련되고, 반항적이며, 의미가 가득한 것입니다.

이 논문은 컴퓨터에게 그 특정 '분위기'를 이해하도록 가르치는 것에 관한 것입니다. 연구진은 중국 청년 서브컬처 (CYS) 와 협력하여 규칙에 기반해 색상을 선택하는 것이 아니라 문화에 기반해 색상을 선택하는 시스템을 구축했습니다.

간단한 비유를 통해 그들의 작업을 살펴보면 다음과 같습니다:

1. 문제: 컴퓨터는 '문화적 음치'입니다

기존의 색상 도구 (포토샵이나 디자인 앱에 있는 것들) 를 생각해보세요. 마치 오직 한 가지 종류의 요리인 '표준 국제 요리'만 만드는 방법을 아는 셰프와 같습니다. 매운 사천 요리를 만들어 달라고 요청하면, '매움'이라는 개념을 이해하지 못하기 때문에 소금만 조금 추가할지도 모릅니다.

이 논문은 현재의 AI 색상 도구가 바로 그런 셰프와 같다고 주장합니다. 그들은 문화를 무시합니다. 예를 들어, 전통적인 중국 이론에서 빨간색과 초록색을 섞는 것은 패션 재앙입니다. 하지만 중국 청년 서브컬처에게 그 정확한 빨강과 초록의 조합은 반항과 세련됨의 상징입니다. 구식 AI 는 이 농담을 이해하지 못합니다. 새로운 AI 는 이해해야 합니다.

2. 해결책: '문화 사전' (데이터셋)

AI 에게 이 새로운 언어를 가르치기 위해 연구진은 무작위 이미지를 단순히 공급할 수 없었습니다. 그들은 특별한 도서관, 즉 **'문화 사전'**을 구축해야 했습니다.

수집: 연구진은 펑크, 힙합, 테크노 씬과 같이 중국 Z 세대가 즐겨 찾는 웹사이트를 찾아 해당 서브컬처의 느낌을 진정으로 담은 1,263 개의 이미지를 직접 선별했습니다.
재료: 모든 이미지에 대해 그들은 단순히 사진만 저장한 것이 아니라 다음을 저장했습니다:
- 주요 5 가지 색상 (팔레트).
- 이미지를 설명하는 텍스트 (예: '악마' 또는 '태양 놀이').
- 카테고리 (예: '펑크' 또는 '힙합').
인간의 손길: 그들은 단순히 컴퓨터가 상위 5 가지 색상을 선택하도록 내버려 두지 않았습니다. 실제 디자이너들이 이미지를 보고 그 특정 서브컬처에 '적합하게 느껴지는' 5 가지 색상을 선택했습니다. 비록 그 색상들이 이미지에서 가장 흔한 색이 아니더라도 말입니다. 이를 통해 수학이 아닌 그 문화의 '영혼'이 포착되도록 했습니다.

3. 엔진: 2 단계 '색상 셰프'

연구진은 2 인조 주방 팀처럼 작동하는 머신러닝 시스템을 구축했습니다:

셰프 A (팔레트 생성기): 이 셰프는 사용자의 요청 (흑백 사진, 텍스트 설명, '테크노'와 같은 카테고리) 을 보고 "알겠습니다. '혼돈'이라는 단어와 테크노 분위기라면 우리가 필요한 5 가지 색상은 이것입니다"라고 말합니다. 이는 '조건부' 뇌를 사용하여 색상을 선택하기 전에 모든 힌트를 듣습니다.
셰프 B (채색기): 셰프 A 가 5 가지 색상을 넘겨주면, 셰프 B 는 흑백 사진을 받아 오직 그 색상들만을 사용하여 채색합니다. 최종 이미지가 그 특정 서브컬처에 속한 것처럼 보이도록 보장합니다.

4. '루프 내 인간' (맛보기)

시스템은 일방통행로가 아닙니다. 연구진은 인간이 결과를 조작해 볼 수 있는 데모를 구축했습니다.

사용자는 시스템에 프롬프트를 입력합니다.
시스템은 채색된 이미지를 제공합니다.
사용자는 마음에 들지 않으면 색상을 수정할 수 있습니다.
시스템은 사용자의 수정 사항을 기억합니다. 마치 사용자의 교정에서 배우는 학생과 같습니다: "아, 사용자가 그 파란색 음영을 좋아하지 않았구나. 다음에는 더 어두운 것을 고르자." 이는 시간이 지남에 따라 AI 가 더 똑똑해지도록 돕습니다.

5. 효과가 있었을까? (맛보기 테스트)

시스템이 실제로 문화를 이해했는지 증명하기 위해 그들은 테스트를 실시했습니다:

20 개의 중립적 키워드를 가져와 표준 도구에 팔레트를 만들게 했습니다.
같은 키워드에 대해 새로운 '문화 AI'에게 팔레트를 만들게 했습니다.
이들을 네 명의 전문 디자이너에게 보여주고 "어느 것이 중국 청년 서브컬처처럼 느껴집니까?"라고 물었습니다.

결과: 디자이너들은 팔레트의 경우 75%, 최종 채색 이미지의 경우 **76%**의 비율로 AI 의 문화 기반 선택을 선택했습니다. AI 는 서브컬처의 '비밀 소스'를 성공적으로 학습했습니다.

결론

이 논문은 디자인의 전체 세계를 한밤중에 바꾸는 것에 관한 것이 아닙니다. 문화가 중요함을 보여주는 것에 관한 것입니다. 컴퓨터에게 색채가 되도록 가르치는 것만으로는 부족합니다. 컴퓨터에게 문화적 색채가가 되도록 가르쳐야 합니다. 특정 데이터셋과 지능적인 2 단계 시스템을 구축함으로써 그들은 AI 가 특정 집단의 구체적이고, 반항적이며, 생동감 넘치는 색상으로 그림을 그리는 법을 배울 수 있음을 증명했습니다.

"문화에서 영감을 받은 다중 모달 색상 팔레트 생성 및 컬러링: 중국 청년 서브컬처 사례"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

기존의 알고리즘 기반 색상 팔레트 생성 및 이미지 컬러링 연구와 도구는 색채 사용의 문화적 맥락을 대부분 간과하고 있습니다.

문화적 변이: 색상은 문화마다 다른 의미적 함의를 지닙니다 (예: 빨강/초록 조합은 중국 문화에서는 전통적으로 '불쾌한' 것으로 간주되지만, 중국 청년 서브컬처 (CYS) 에서는 '쿨/반항적인' 스타일을 나타냅니다).
현재 모델의 한계: 표준 모델들 (Adobe Color 또는 일반적인 GAN 등) 은 일반적인 색채 이론이나 광범위한 데이터셋에 의존하여, 특정 서브컬처의 미적 및 의미적 뉘앙스를 포착하지 못합니다.
격차: 특정 문화 집단, 특히 Z 세대에서 인기 있는 활기찬 중국 청년 서브컬처 (CYS) 의 고유한 색채 논리를 학습하고 재현하도록 설계된 오픈 소스 데이터셋 및 생성 프레임워크가 부족합니다.

2. 방법론

저자들은 고유한 데이터셋과 2 단계 신경망 아키텍처로 구성된 오픈 소스, 문화에서 영감을 받은 다중 모달 생성 프레임워크를 제안합니다.

A. 데이터셋 구축 (CYS 데이터셋)

출처: CYS 를 대상으로 하는 웹사이트에서 수동으로 수집한 7,051 개의 이미지 (포스터, 앨범 커버, 일러스트레이션).
선정: 세 명의 디자이너가 강력한 CYS 스타일 요소를 갖춘 1,263 개의 고품질 이미지를 큐레이션했습니다.
주석:
- 색상 팔레트: 이미지당 5 가지 색상 팔레트로, 디자이너가 시각적 영향력과 CYS 의미 (단순 색상 비율이 아님) 를 기반으로 수동으로 선택했습니다.
- 텍스트: 이미지 설명에서 추출한 2,535 개의 고유한 중국어 형용사, 명사, 동사.
- 카테고리: 14 가지 서브컬처 카테고리 (예: 펑크, 힙합, 테크노).
통계적 검증: HSL 분포 분석 및 T 검정을 통해 범용 PAT 데이터셋 (Bahng 등) 과 비교한 결과, CYS 색상은 범용 데이터셋에 비해 더 다양한 색조를 가지지만 낮은 채도와 명도를 가진 것으로 나타났습니다.

B. 프레임워크 아키텍처

이 시스템은 최소제곱 GAN (LSGAN) 공식을 기반으로 한 두 개의 별도로 훈련된 **조건부 생성 적대 신경망 (cGAN)**을 활용합니다:

색상 팔레트 생성 네트워크:
- 입력: 회색조 이미지 ( $E_{image}$ ), 텍스트 설명 ( $E_{text}$ ), 카테고리 ( $E_{category}$ ) 를 포함한 다중 모달 컨텍스트.
- 메커니즘: 학습 가능한 가중치 ( $\lambda$ ) 를 가진 융합 함수를 사용하여 입력들을 컨텍스트 벡터 $c_1$ 로 결합합니다.
- 과정: 색상을 순차적으로 생성합니다. 판별기는 컨텍스트와 결합된 이전 색상들을 기반으로 생성된 색상이 팔레트에서 논리적인 '다음' 색상인지 여부를 판단합니다.
- 출력: 5 가지 색상 팔레트.
이미지 컬러링 네트워크:
- 입력: 생성된 5 가지 색상 팔레트와 동일한 다중 모달 컨텍스트 (이미지를 우선시하도록 조정된 가중치 적용).
- 과정: 생성된 팔레트를 입력 회색조 이미지에 적용하여 CYS 스타일의 컬러 이미지를 생성합니다.

C. 인간-루프 시스템

사용자 상호작용을 허용하는 데모 시스템이 구축되었습니다. 사용자는 텍스트를 입력하고, 이미지를 업로드하며, 카테고리를 선택할 수 있습니다. 특히, 시스템은 생성된 팔레트에 대한 사용자 조정을 기록하여 알고리즘을 지속적으로 개선하는 피드백 루프를 생성합니다.

3. 주요 기여

CYS 데이터셋: 1,263 개의 이미지와 짝을 이룬 5 가지 색상 팔레트, 설명 텍스트, 카테고리 레이블을 포함하는 중국 청년 서브컬처를 위한 최초의 오픈 소스 데이터셋 생성.
다중 모달 생성 프레임워크: 이미지, 텍스트, 카테고리 입력을 통합하여 문화별 색상 팔레트를 생성하고 조건부 컬러링을 수행하는 새로운 cGAN 아키텍처 개발.
인터랙티브 데모 시스템: 알고리즘의 반복적 진화를 위한 인간-루프 원칙으로 프레임워크를 시연하는 작동 프로토타입.
오픈 소스 공개: 문화 인식 디자인에 대한 추가 연구를 촉진하기 위해 데이터셋, 코드, 데모 시스템을 공개적으로 제공.

4. 결과 및 평가

프레임워크는 두 가지 주요 관점에서 평가되었습니다:

다중 모달 제어 (정성적/정량적):
- 실험에서는 다른 입력을 고정하면서 하나의 입력 모달리티 (텍스트, 이미지, 또는 카테고리) 를 변경했습니다.
- 결과: 모델은 우수한 제어된 다양성을 보여주었습니다. 예를 들어, 텍스트를 "햇살, 즐거움"에서 "악"으로 변경하면 생성된 색상이 훨씬 어두워졌으며, 이는 모델이 의미적 텍스트 - 색상 관계를 성공적으로 포착했음을 입증했습니다.
사용자 연구 (CYS 스타일 검증):
- 설정: 20 개의 키워드를 사용하여 20 개의 중립적 이미지에 대한 팔레트를 생성했습니다. 이를 문화적 중립인 Adobe Color 의 팔레트와 비교했습니다.
- 작업: 네 명의 전문 디자이너가 CYS 스타일을 더 잘 반영한 쌍을 식별하기 위해 쌍을 검토했습니다.
- 결과:
  - 생성된 팔레트의 **75%**가 중립적인 팔레트보다 선호되었습니다.
  - 재컬러링된 이미지의 **76%**가 더 강한 CYS 스타일을 가진 것으로 판단되었습니다.
- 결론: 프레임워크는 CYS 집단의 특정 색상 의미론을 성공적으로 학습했습니다.

5. 의의

문화와 AI 의 연결: 이 연구는 범용 미적 규칙을 넘어 자동 색상 생성에 문화적 서브컬처 데이터를 명시적으로 통합한 첫 번째 작업입니다.
디자인 혁신: 이는 디자이너에게 특정 문화적 정체성 (특히 Z 세대 트렌드) 에 뿌리를 둔 스타일을 신속하게 프로토타이핑하고 탐색할 수 있는 도구를 제공하며, 이 인구 집단을 대상으로 하는 기업들에게 필수적입니다.
확장성: CYS 에 초점을 맞추고 있지만, 이 프레임워크는 특정 훈련 데이터가 제공된다면 어떤 문화에도 적용 가능하도록 설계되어 '문화 인식' 컴퓨터 비전에 대한 일반화 가능한 접근 방식을 제공합니다.
실용적 적용: 이 시스템은 전통적인 색채 이론과 현대 청년 서브컬처의 진화하는 반항적이고 활기찬 시각 언어 사이의 격차를 해소합니다.