From Style Replication to Style Exploration: Enabling Art Style Exploration with Analyze-Experiment-Resituate Framework

당신이 자신만의 독특한 레시피를 완성하기 위해 수년간 공을 들여온 요리사라고 상상해 보세요. 당신은 향신료를 얼마나 넣어야 하는지, 반죽을 얼마나 오랫동안 부풀려야 하는지, 그리고 왜 당신의 요리가 '당신다움'을 담고 있는지 정확히 알고 있습니다. 이제, 아주 똑똑한 로봇 요리사가 나타났다고 상상해 보세요. 그 로봇은 당신의 요리를 보고 즉각적으로 완벽하게 복제할 수도 있고, 유명한 셰프의 요리를 보고 그것을 똑같이 따라 할 수도 있습니다. 하지만 여기 함정이 있습니다. 로봇은 그 유명한 셰프가 왜 소금 한 꼬집을 넣었는지 그 '이유'는 모릅로, 단지 결과물이 좋아 보인다는 것만 압니다. 만약 당신이 로봇에게 주방을 통째로 넘겨준다면, 당신은 모두 똑같아 보이는 수백만 개의 요리를 얻게 될 것이고, 자신만의 방식으로 요리하는 법을 잊어버릴지도 모릅니다. 이것이 바로 많은 예술가가 오늘날 "생성형 AI"(또는 GenAI)를 마주하며 겪는 문제입니다. 이러한 도구들은 스타일을 복제하는 데는 뛰어나지만, 예술가로서 배우고 성장하는 과정의 핵심인 '생각하고 고민하는 고통스러운 과정'은 종종 건너뛰곤 합니다. 그것들은 당신이 질문을 던지기도 전에 정답을 먼저 제시해 버립니다.

이 논문은 인간-컴퓨터 상호작용(HCI) 분야, 즉 사람과 기술이 어떻게 더 잘 협력할 수 있는지를 연구하는 분야에서 나왔습니다. 연구진은 다음과 같은 질문을 던졌습니다. "단순히 예술가의 스타일을 복제하는 것이 아니라, 예술가가 새로운 스타일을 '탐색'하도록 돕는 AI를 만들 수 있을까?" 그들은 캐릭터, 배경, 그리고 게임, 영화, 책을 위한 이야기를 그리는 전문 디지털 아티스트들에게 초점을 맞췄습니다. 이 예술가들은 자신의 스타일을 새롭고 진화하게 유지해야 하지만, 현재의 AI 도구들은 단순히 그림 위에 스타일을 "붙여넣기" 하는 식이라 창의적인 여정이라기보다 마치 마술 쇼처럼 느껴질 때가 많습니다. 큰 질문은 이것입니다. "어떻게 하면 AI를 단순한 복사기가 아니라, 예술가가 생각하고 실험하며 성장하도록 돕는 창의적인 파트너로 바꿀 수 있을까?"

국립 타이완 대학교와 츠쿠바 대학교의 연구팀은 예술가들이 AI를 사용하는 새로운 방식을 고안해 냈습니다. 그들은 이 방법을 "분석-실험-재맥락화"(Analyze-Experiment-Resituate, AER) 프레임워크라고 불렀습니다. 단순히 "반 고흐 스타일로 만들어줘"라고 입력해서 그림을 얻는 대신, AER 시스템은 이 과정을 세 가지 재미있고 상호작적인 단계로 나눕니다.

첫 번째는 분석(Analyze) 단계입니다. 당신이 좋아하는 그림이 있다고 가정해 봅시다. 그 그림을 그저 바라보는 대신, 스마트한 조수가 그 그림을 레고 세트처럼 분해해 주는 것입니다. 조수는 "이 작가는 차분함을 느끼게 하기 위해 멋지고 부드러운 색감을 사용했어"라거나 "위험한 느낌을 주기 위해 날카롭고 들쭉날쭉한 선을 사용했어"라고 말해줍니다. 이는 스타일의 '무엇'이 아니라 '왜'와 '어떻게'를 설명해 줍니다. 이는 예술가가 완성된 케이크뿐만 아니라 그 레시피까지 이해하도록 돕습니다.

다음은 실험(Experiment) 단계입니다. 이것은 놀이 시간입니다. 예술가는 그 레고 조각들을 골라 잡을 수 있습니다. 예를 들어, "차분한 색감"은 유지하되 "들쭉날쭉한 선"을 "부드러운 곡선"으로 바꾸고 싶을 수 있습니다. 그러면 AI는 그 구체적인 선택들에 기반하여 몇 가지 새로운 버전을 생성합니다. 이는 예술가가 로봇 셰프가 자신의 의도를 추측하게 두는 것이 아니라, 어떤 재료를 어떻게 섞을지 직접 결정하는 샌드박스와 같습니다.

마지막은 **재맥락화(Resituate)**입니다. 이 부분이 가장 독특합니다. AI는 마치 다양한 사람들의 피드백을 주는 것처럼 행동합니다. 진지하고 건설적인 조언을 주는 "전문 아티스트", 당신의 시그니처 룩에 대해 무엇을 좋아하는지 말해주는 "팬", 그리고 무엇이 소셜 미디어에서 유행할지 말해주는 "트렌디한 관중"을 시뮬레이션합니다. 이는 예술가가 자신의 작업을 친구나 비평가에게 보여줄 때처럼, 다양한 각도에서 자신의 새로운 스타일을 바라볼 수 있게 해줍니다.

이것이 실제로 효과가 있는지 확인하기 위해 연구팀은 두 차례의 큰 연구를 진행했습니다. 먼저, 10명의 전문 아티스트와 대화하여 그들이 현재 어떻게 배우고 성장하는지 이해했습니다. 그다음 프로토타입 시스템을 구축하여 16명의 아티스트에게 사용해 보게 했습니다. 그들은 새로운 AER 시스템을 기존의 "스타일 전이(style transfer)" 방식(사진을 업로드하면 결과물을 복사해 붙여넣는 방식)과 비교했습니다.

결과는 매우 명확했습니다. 예술가들이 AER 시스템을 사용할 때, 그들은 훨씬 더 높은 통제권을 느꼈습니다. 그들은 단순히 AI가 무언가를 해주기를 기다리는 것이 아니라, 자신이 자동차를 운전하고 있다고 느꼈습니다. 그들은 자신의 창의적인 선택에 대해 더 큰 자신감을 가졌으며, 특정 스타일이 왜 작동하는지에 대해 더 깊이 생각할 수 있었습니다. 한 아티스트는 이 경험이 "자신의 기술을 정말로 이해하는 다른 예술가와 대화하는 것 같다"고 말하기도 했습니다. 반면, 기존의 스타일 전이 방식은 블랙박스처럼 느껴졌습니다. 무언가를 넣으면 결과가 나오긴 하지만, 그것이 어떻게 일어나는지 혹은 왜 그렇게 되었는지는 알 수 없었습니다.

연구팀은 또한 네 명의 아티스트가 일상생활에서 이 시스템을 사용하는 모습을 2주 동안 관찰했습니다. 그 결과, 예술가들은 이 도구를 한 번 쓰고 그만두지 않았습니다. 그들은 계속해서 다시 찾아왔습니다. 그들은 참조 이미지를 분석하여 무엇이 마음에 드는지 파악하고, 실험 단계를 통해 파격적인 아이디어를 시도하며, 재맥락화 단계를 통해 자신의 새로운 방향이 타당한지 점검했습니다. 시간이 흐르면서 예술가들은 AI가 생성한 이미지를 최종 결과물이 아니라, 자신만의 독특한 스타일을 구축하기 위한 아이디어 도구 상자로 사용하기 시작했습니다.

하지만 연구진은 이것이 모든 것을 해결해 주는 마법 지팡이는 아니라고 주의를 기울였습니다. 일부 예술가들은 AI의 가짜 피드백을 아직 신뢰하지 못해 "재맥락화" 단계를 건너뛰기도 했습니다. 또한 시스템이 유연해야 한다는 점도 언급했습니다. 때로는 예술가들이 아무것도 생성하지 않고 단순히 이미지만 분석하고 싶어 하기도 하며, 때로는 바로 실험 단계로 넘어가고 싶어 하기도 합니다. 시스템은 기계가 주도권을 잡으려 하는 것이 아니라, 예술가의 목소리를 존중하는 파트너로서 존재할 때 가장 잘 작동했습니다.

요약하자면, 이 논문은 우리가 AI가 예술가의 성장을 돕길 원한다면, AI를 단순한 복사기가 아니라 생각하는 파트너로 대우해야 한다고 제안합니다. 스타일을 이해 가능한 조각들로 나누고, 예술가가 스스로 길을 선택하게 하며, 다양한 관점을 제공함으로써, 우리는 예술가들이 자신만의 고유한 정체성을 잃지 않으면서도 새로운 창의적 세계를 탐험할 수 있도록 도울 수 있습니다. 이것은 AI가 당신을 위해 예술을 만드는 것이 아니라, AI가 당신이 다음에 무엇을 만들고 싶은지 깨닫도록 돕는 것에 관한 이야기입니다.