CreatiPoster: Towards Editable and Controllable Multi-Layer Graphic Design Generation

집을 짓는다고 상상해 보세요. 벽돌을 하나씩 쌓는 대신, 로봇에게 벽에 집 모양의 평면 그림을 스프레이로 뿌리라고 시키는 것과 같습니다. 얼핏 보면 집처럼 보이겠지만, 현관문을 옮기거나 지붕 색깔을 바꾸고 싶다면 불가능합니다. 전체를 다 긁어내고 처음부터 다시 시작해야 하죠. 이것이 바로 현재 대부분의 AI 도구가 그래픽 디자인을 생성하는 방식의 문제입니다. 그들은 모든 것을 하나의 평평한 이미지 속에 "구워(bake)" 버립니다. 텍스트를 수정하거나 로고를 옮기고 싶어도, AI는 이미지를 망가뜨리거나 아예 할 수 없게 됩니다.

이 해결책을 이해하려면, 그래픽 디자인을 하나의 그림이 아니라 하나의 '레시피'나 '지침 세트'로 생각해야 합니다. 실제 디자이너는 레이어를 나누어 작업합니다. 배경 레이어, 텍스트 레이어, 사진 레이어 등이 있죠. 각 레이어는 분리되어 있어 다른 부분을 망치지 않고도 개별적으로 수정할 수 있습니다. 우리가 살펴보고 있는 이 논문은 AI에게 단순히 최종 그림을 그리는 것이 아니라, 이러한 "레시피"(디자인 프로그램이라고 불림)를 작성하도록 가르치는 과제에 대해 다룹니다. 이 논문은 다음과 같은 질문을 던집니다. "AI가 단순히 정적인 이미지를 내뱉는 것이 아니라, 전문 디자이너가 만드는 것처럼 모든 요소(글자, 사진, 색상 등)가 편집 가능한 디자인을 구축하게 만들 수 있을까?"

이 논문의 핵심 아이디어: "레시피" 로봇

중국과학기술대학교(USTC) 연구진을 포함한 이 논문의 저자들은 CreatiPoster라는 새로운 오픈 프레임워크를 구축했습니다. 이들의 주요 발견은 그래픽 디자인을 "편집 가능한 디자인 프로그램 합성(editable design program synthesis)"으로 취급함으로써, 아름다울 뿐만 아니라 완전히 편집 가능한 포스터를 만들 수 있다는 것입니다. 단순히 최종 이미지가 어떻게 보여야 하는지를 추측하는 다른 시스템들과 달리, Creati-Poster는 JSON 파일(컴퓨터 코드의 일종)을 작성합니다. 이 파일은 디자인의 모든 레이어를 나열하며, 컴퓨터에 텍스트를 어디에 둘지, 이미지를 얼마나 크게 할지, 어떤 스타일을 사용할지를 정확하게 알려줍니다.

이들의 "2단계" 마법 같은 과정은 다음과 같은 간단한 비유로 설명할 수 있습니다.

1단계: 설계자 (프로토콜 생성기)
먼저, AI는 설계자 역할을 합니다. 당신이 프롬프트(예: "과학 박람회를 위한 포스터를 만들어줘")와 포함하고 싶은 사진, 그리고 캔버스 크기를 제공하면, 설계자는 포스터를 직접 그리는 대신 상세한 JSON "프로토콜"을 작성합니다. 이 프로토콜은 모든 요소에 대한 지침 목록입니다: "'Science'라는 단어를 여기 굵은 파란색으로 배치하라", "비커 사진을 약간 회전시켜 여기에 배치하라", "배경 캡션을 여기에 두라"와 같은 식입니다. 결정적으로, 이 단계는 배경이 그려지기 전에 일어납니다. 이를 통해 텍스트가 정확하게 철자가 맞는지, 사진이 뭉개지거나 왜곡되지 않고 원하는 위치에 정확히 배치되는지를 보장합니다.

2단계: 장식가 (배경 합성기)
설계자가 투명하고 깨끗한 캔버스 위에 텍스트와 사진을 모두 배치하고 나면, 두 번째 AI인 '장식가'가 등장합니다. 장식가의 유일한 임무는 설계자가 이미 배치해 놓은 아이템들을 보고, 그 주변에 아름다운 배경을 그리는 것입니다. 텍스트와 사진이 이미 존재하고 보호되어 있기 때문에, 장식가는 실수로 그것들을 덮어쓰거나 철자를 망칠 수 없습니다. 장식가는 단지 빈 공간을 디자인의 분위기에 맞는 색상과 패턴으로 채울 뿐입니다.

그들이 발견한 것과 거부한 것

이 논문은 좋은 디자인을 만들기 위해 (Canva나 Adobe 같은 상업적 도구들에서 사용하는 것처럼) 미리 만들어진 방대한 템플릿 라이브러리가 필요하다는 생각에 명시적으로 반대합니다. 그들은 템플릿에 의존하는 것이 창의성을 제한하고 자신만의 특정 자산을 사용하기 어렵게 만든다고 주장합니다. 대신, CreatiPoster는 데이터로부터 좋은 디자인의 "규칙"을 학습하여, 템플릿 라이브러리 없이도 독창적인 레이아웃을 생성할 수 있게 합니다.

시스템 테스트 결과, 이들은 여러 핵심 분야에서 오픈 소스 AI 도구와 주요 상업용 시스템(Microsoft Designer, Canva Magic Design 등)을 모두 능가하는 성과를 보였습니다.

• 텍스트 정확도: AI는 단어의 철자를 정확하게 유지하고 폰트를 읽기 쉽게 유지했습니다. 이는 다른 이미지 생성 AI들이 흔히 겪는 실패 지점입니다.
• 자산 충실도(Asset Fidelity): 만약 당신이 강아지 사진을 업로드했다면, AI는 그 강아지를 일반적인 강아지가 아닌 '당신의 강아지' 그대로 유지했습니다.
• 편집 가능성: 이것이 가장 큰 승리입니다. 출력물이 레이어의 "프로그램"이기 때문에, 나중에 다시 돌아가서 텍스트를 바꾸거나, 사진을 교체하거나, 전체 크기를 조절해도 디자인이 완벽하게 유지됩니다. 다른 시스템들은 일단 만들어지면 아무것도 편집할 수 없는 "구워진(baked)" 이미지를 생성합니다.

그들의 확신은 어느 정도인가?

연구진은 새로운 벤치마크 테스트를 바탕으로 이 결과에 대해 상당히 확신하고 있습니다. 그들은 45개의 "프롬프트 전용" 사례와 사용자가 자산을 제공한 45개의 사례를 대상으로 평가를 진행했습니다. 자동화된 점수 산정(GPT-4.1 활용)과 인간 자원봉사자를 통한 평가를 병행하여 레이아웃, 색상, 스타일, 그리고 지시 사항 준수 여부를 평가했습니다.

이 테스트에서 CreatiPoster는 거의 모든 카테고리, 특히 "그래픽 스타일"과 "준수성(사용자의 프롬프트를 얼마나 잘 따랐는가)"에서 경쟁 모델보다 높은 점수를 받았습니다. 그러나 논문은 한계점에 대해서도 솔직하게 밝히고 있습니다. 그들은 "레이아웃"이 모든 AI에게 여전히 가장 어려운 부분임을 언급했습니다. 심지어 그들의 최고 시스템조차 복잡한 레이아웃에서 5점 만점에 3.0점을 넘지 못했는데, 이는 정교한 구성을 구현하는 데 있어 여전히 인간 디자이너와의 격차가 존재함을 시사합니다. 또한 작은 아이콘이 왜곡되거나 텍스트가 이미지와 완벽하게 정렬되지 않는 등의 반복적인 결함도 발견했으며, 이는 추가적인 작업이 필요하다고 인정했습니다.

이것이 왜 중요한가

이 발견의 가장 멋진 점은 이것이 열어줄 미래입니다. 디자인이 평면적인 그림이 아니라 일련의 지침(프로그램)이기 때문에, 이 시스템은 기존 AI로는 불가능했던 일들을 할 수 있습니다.

• 재배치(Re-layout): 휴대폰 화면용으로 디자인된 포스터를 가져와서 "이것을 광고판 크기로 조절해줘"라고 요청하면, AI는 텍스트를 깨뜨리지 않고 레이어를 완벽하게 재배치합니다.
• 다국어 지원: 디자인을 가져와서 레이아웃을 유지한 채 텍스트를 프랑스어, 일본어 또는 아랍어로 바꿀 수 있습니다.
• 애니메이션: 레이어가 분리되어 있기 때문에, 레이어를 움직여 정적인 포스터를 애니메이션 영상으로 쉽게 전환할 수 있습니다.

요약하자면, CreatiPoster는 AI 디자인의 미래가 손댈 수 없는 단 하나의 완벽한 이미지를 생성하는 것이 아니라는 점을 시사합니다. 그것은 바로 유연하고 편집 가능한 "프로그램"을 생성하여, 누구나 프롬프트 입력만으로 전문가 수준의 그래픽 디자인을 할 수 있도록 완전한 통제권을 부여하는 것입니다.