Diamojism: Semantic-Perceptual Tile Selection for Large-Format Emoji Mosaic Rendering

당신이 반 고흐나 다 빈치의 작품처럼 거대하고 유명한 그림을 가지고 있다고 상상해 보세요. 당신은 그 그림을 재현하고 싶지만, 물감을 사용할 수는 없습니다. 대신, 수천 개의 아주 작은 정사각형 스티커를 사용하여 전체 이미지를 만들어야 합니다. 그런데 이 스티커들은 평범한 것이 아닙니다. 바로 이모지(emoji)입니다. 🌊🌙🎨

이것이 바로 고전 명화를 이모지로만 구성된 모자이크로 탈바꿈시키는 새로운 예술 방식인 **다이아모지즘(Diamojism)**의 세계입니다. 하지만 여기에는 반전이 있습니다. 이 작업을 수행하는 컴퓨터 프로그램은 단순히 색상만을 보는 것이 아닙니다. 또한 이모지의 의미도 읽어냅니다.

옛날 방식 vs 새로운 방식

오랫동안 이러한 모자이크를 만드는 컴퓨터 프로그램들은 매우 엄격하고 색맹인 사서와 같았습니다. 만약 당신이 파란색 하늘 조각을 요청하면, 사서는 그 스티커가 무엇인지 상관하지 않고 단지 사용 가능한 가장 파란색인 스티커를 집어 들었습니다. 그것이 파란 눈물 모양이든, 파란 기하학적 모양이든 상관하지 않았습니다. 그들은 스티커가 무엇인지는 신경 쓰지 않고, 오직 어떻게 보이는지만을 따졌습니다.

이 논문은 그것이 다소 지루하다고 주장합니다. 예술가 마이클 제이콥스(Michael Jacobs)가 이끄는 저자들은 더 똑똑한 시스템을 구축했습니다. 그들은 3,699개의 이모지 라이브러리를 단순한 그림 더미가 아니라, 아이디어의 도서관으로 취급했습니다.

"똑똑한 사서" 시스템

새로운 시스템은 그림의 모든 작은 사각형에 완벽한 이모지를 선택하기 위해 2단계 게임처럼 작동합니다:

1. 외형 확인 (Perception): 먼저, 컴퓨터는 "이 이모지가 이 지점의 색상과 질감에 어울리는가?"라고 묻습니다. 컴퓨터는 파란색의 농도, "폭신함"(가장자리), 그리고 선이 어디에 있는지를 확인합니다. 이것이 가장 중요한 부분입니다. 만약 이모지가 적절해 보이지 않는다면, 탈락입니다.
2. 분위기 확인 (Semantics): 적절해 보이는 이모지들의 후보군을 추린 후, 컴퓨터는 두 번째 질문을 던집니다: "이 이모지가 주제에 부합하는가?"
   • 만약 그림이 **가나가와 해변의 높은 파도(The Great Wave)**라면, 컴퓨터는 물을 위한 이모지를 고를 때 파란색 눈물이나 파란 사각형 대신 "바다", "파도", 또는 "물고기"라는 태그가 붙은 이모지를 선호합니다.
   • 만약 **별이 빛나는 밤(Starry Night)**이라면, 하늘을 위해 "달"이나 "별" 이모지를 선호합니다.

논문은 이 "분위기 확인" 작업이 그림을 망치지 않는다는 것을 보여줍니다. 오히려 이 방식은 색감이 변하지 않으면서도 예술 작품을 더 의미 있게 만듭니다. 가나가와 해변의 높은 파도의 경우, 이 기술을 통해 "주제에 맞는" 이모지의 수가 13.6 퍼센트 포인트 증가했습니다. 즉, 물이 단순히 파란 무언가가 아니라 진짜 물처럼 보이게 된 것입니다.

"다이아몬드" 퍼즐

그림은 단순히 사각형의 격자가 아닙니다. 저자들은 전체 격자를 45도 회전시켜, 타일이 실제로는 다이아몬드 형태가 되도록 했습니다. 이는 이모지가 원작의 붓터치와 더 잘 흐르도록 도와줍니다.

디테일을 살리기 위해, 시스템은 "3중 기하학(three-geometry)" 지도를 사용합니다. 마치 예술가가 세 가지 다른 색의 마커로 그림 위에 그리는 것과 같습니다:

• 박스 (A Box): 얼굴이나 꽃 주위에 박스를 그립니다. 컴퓨터는 이곳에 작고 세밀한 이모지를 사용해야 한다는 것을 알게 됩니다.
• 선 (A Line): 파도나 나뭇가지의 곡선을 따라 선을 그립니다. 컴퓨터는 그 곡선을 따라가며 선을 따라 작은 이모지들을 배치합니다.
• 페인티드 마스크 (A Painted Mask): 하늘과 같은 특정 영역 전체를 칠하여 컴퓨터에게 "이 구역 전체를 조금 더 세밀하게 만들어라"라고 지시합니다.

이를 통해 컴퓨터는 초상화의 눈이나 폭풍의 소용돌이에 집중하여 디테일을 높이는 동시에, 배경은 단순하게 유지할 수 있습니다. 이는 실제 예술가가 하는 방식과 같습니다.

"색상 수정" 루프

때때로 이모지 라이브러리가 조금 이상할 수 있습니다. 예를 들어, 이모지들이 원작에 비해 너무 밝거나 너무 노랄 수 있습니다. 저자들은 스스로의 실수를 배우는 "색상 수정(color fix)" 도구를 만들었습니다.

작동 방식은 다음과 같습니다:

1. 컴퓨터가 첫 번째 초안 모자이크를 만듭니다.
2. 결과물을 보고 이렇게 말합니다: "앗, 파란색 이모지들이 너무 밝다."
3. 파란색 이모지의 "기억"을 조금 더 어둡게 조정합니다.
4. 다시 모자이크를 만듭니다.

이것은 마법이 아닙니다. 피드백 루프입니다. 한 작품인 *이모지의 탄생(Birth of Emoji)*의 경우, 이 수정 도구는 밝기 오류를 40%, 색상 강도 오류를 69% 줄였습니다. 그러나 논문은 이 방식이 모든 그림에 적용되는 것은 아니라고 언급합니다. 별이 빛나는 밤의 경우, 별은 너무 밝고 하늘은 너무 어두워서 하나를 수정하면 다른 하나가 악화되었습니다. 그래서 저자들은 이 작품에 대해서는 수정을 끄도록 설정해야 했습니다.

이 논문이 말하는 것 (그리고 말하지 않는 것)

이 논문은 자신의 주장에 매우 신중합니다. 이 시스템이 새로운 이모지를 창조하거나 인간 예술가처럼 "생각"하는 AI를 사용한다고 말하지 않습니다. 이모지는 이미 만들어져 있으며, 컴퓨터는 단지 최선의 것을 고를 뿐입니다. 또한 이것이 예술을 만드는 완벽한 방법이라고 말하지 않습니다. 대신, 특정 규모의 대형 인쇄물(24~30인치)에 적합한 도구라고 말합니다.

저자들은 다섯 가지 특정 회화 작품을 통해 결과를 측정했습니다. 그들은 "주제" 확인 기능을 추가하는 것이 예술을 흐릿하거나 틀리게 만들지 않으면서도 더 흥미롭게 만든다는 것을 발견했습니다. 또한 그들의 시스템이 수백만 개의 픽셀을 처리할 만큼 충분히 빠르며, 최대 33,358개의 개별 이모지 타일로 구성된 인쇄물을 제작할 수 있다는 것도 발견했습니다.

핵심 요약

핵ian 아이디어는 간단합니다: 의미가 중요하다는 것입니다. 컴퓨터가 이모지가 무엇을 "보이는지"뿐만 아니라 무엇을 "의미하는지"(예: 파도인가, 눈물인가)를 고려하도록 가르침으로써, 더 생동감 넘치는 모자이크를 만들 수 있습니다. 이것은 레고 블록으로 성을 쌓는 것과 같습니다. 하늘을 위해 어떤 파란색 블록이든 사용할 수 있지만, 특정한 "구름"이나 "태양" 블록을 사용한다면 성은 훨씬 더 실감 나게 느껴질 것입니다.

이것은 모든 예술적 문제를 해결하는 마법 지팡이는 아니지만, 현대의 상징들로 오래된 걸작을 결합하는 영리한 새로운 방식이며, 적재적소에 배치될 때 단순한 이모지조차 얼마나 큰 무게감을 가질 수 있는지를 증명합니다.