Pinterest Canvas: Large-Scale Image Generation at Pinterest

이 논문은 Pinterest 의 대규모 이미지 생성 시스템인 'Canvas'를 소개하며, 다목적 기초 모델을 다양한 작업별 데이터셋으로 세밀하게 파인튜닝하여 배경 향상 및 비율 확장 등 구체적인 제품 요구사항을 충족시키고, 이를 통해 사용자 참여율을 크게 향상시켰음을 보고합니다.

핵심

핀터레스트 캔버스 (Pinterest Canvas): 사진을 마법처럼 다듬는 AI 공장

이 논문은 핀터레스트 (Pinterest) 가 만든 **'캔버스 (Canvas)'**라는 인공지능 시스템을 소개합니다. 이 시스템은 단순히 새로운 그림을 그리는 것이 아니라, 이미 있는 사진을 사용자가 원하는 대로 자연스럽게 수정하고 꾸며주는 역할을 합니다.

이 복잡한 기술을 일반인도 쉽게 이해할 수 있도록 요리사와 공방에 비유해서 설명해 드릴게요.

---

1. 왜 이런 시스템이 필요할까요? (문제 상황)

최근 AI 는 "사과를 그려줘"라고 하면 사과를 그리는 등, 아주 똑똑해졌습니다. 하지만 핀터레스트 사용자들은 "내 집에 맞는 소파 사진을 보여줘"처럼 구체적인 목적을 가지고 사진을 찾습니다.

• 일반 AI 의 한계: 일반적인 AI 는 "소파를 그려줘"라고 하면 엉뚱한 소파를 만들거나, 원래 있던 소파 모양을 바꿔버릴 수 있습니다. (예: 소파 다리가 사라지거나 색이 변함)
• 핀터레스트의 필요성: 광고주나 사용자는 원래 제품 (소파) 은 절대 변하지 않게 하되, 배경만 바꾸거나 사진 크기를 늘리는 등 정교한 수정이 필요합니다.

2. 핀터레스트 캔버스의 핵심 아이디어: "만능 요리사 vs 전문 요리사"

이 논문이 제안한 해결책은 **"하나의 거대한 기본 모델 (Base Model) 을 만들고, 각 작업마다 그걸로 전문 요리사 (Specialized Variant) 를 훈련시킨다"**는 것입니다.

• 비유:
  • 기본 모델 (Base Model): 모든 재료를 다루는 법을 아는 '만능 요리사'입니다. 그는 국, 볶음밥, 케이크 등 모든 요리의 기초를 알고 있습니다.
  • 전문 모델 (Specialized Variant): 하지만 우리는 오늘 '스테이크'만 완벽하게 구워야 합니다. 그래서 만능 요리사에게 "스테이크만 전문적으로 익히는 훈련"을 시켜 전문 스테이크 요리사로 만듭니다.
  • 장점: 처음부터 스테이크 요리사를 새로 뽑아 훈련시키는 것보다, 기초를 다진 만능 요리사를 빠르게 훈련시켜 전문화하는 것이 훨씬 효율적이고 정확합니다.

3. 캔버스가 할 수 있는 일들 (주요 기능)

이 시스템은 다양한 작업을 수행할 수 있습니다.

1. 배경 바꾸기 (Background Outpainting):

   • 흰 배경에 있는 제품 사진을 가져와서, "화려한 카페 배경으로 바꿔줘"라고 하면 제품 자체는 그대로 둔 채 배경만 자연스럽게 바꿉니다.
   • 비유: 모델 (제품) 은 그대로 두고, 무대 배경 (배경) 만 갈아끼우는 것 같습니다.

2. 사진 크기 늘리기 (Aspect-ratio Outpainting):

   • 정사각형 사진의 위아래를 자연스럽게 늘려서 세로 긴 사진 (핀터레스트에 잘 어울리는 비율) 으로 만듭니다.
   • 비유: 사진의 테두리를 잘라내지 않고, 빈 공간을 채워 넣어서 캔버스를 더 크게 늘리는 것입니다.

3. 여러 물체 합치기 (Multi-image Scene Synthesis):

   • 컵, 꽃, 책 등 여러 개의 제품 사진을 넣으면, 이들이 자연스럽게 어울리는 한 장의 풍경 사진을 만들어줍니다.

4. 정지된 사진에 움직임 추가 (Image-to-Motion):

   • 정지된 커피 사진에 "김이 모락모락 피어오르고 카메라가 살짝 돌아가는" 짧은 영상을 만들어줍니다.

4. 어떻게 이렇게 정확하게 만들었을까요? (기술의 비밀)

단순히 AI 를 돌리는 것만으로는 부족했습니다. 핀터레스트는 다음과 같은 '비밀 레시피'를 사용했습니다.

• 엄격한 데이터 훈련: AI 에게 "제품은 절대 건드리지 말고 배경만 바꿔"라고 수많은 예시를 보여주며 훈련시켰습니다. 마치 "이 소파는 절대 다리를 자르지 마!"라고 가르치는 것과 같습니다.
• 이중 안전장치 (Human Review & Filtering):
  • AI 가 만든 결과가 마음에 들지 않으면, 사람이 다시 한번 확인합니다.
  • AI 가 실수할 만한 경우 (예: 제품 일부가 잘리는 경우) 는 자동으로 걸러냅니다.
  • 비유: 요리사가 만든 요리를 셰프가 맛보고, 만약 맛이 없으면 다시 만들어서 손님에게 드리는 과정입니다.
• 맞춤형 지시: "배경을 바꿔줘"라고만 하면 AI 가 헷갈릴 수 있으므로, "배경만 바꿔줘, 제품은 건드리지 마"라고 매우 구체적으로 지시합니다.

5. 결과는 어땠나요? (성과)

이 시스템을 실제 핀터레스트에 적용한 결과 놀라운 성과가 나왔습니다.

• 사용자 반응: 배경이 바뀐 사진이나 세로로 늘어난 사진을 보면, 사람들이 더 많이 클릭하고 더 오래 구경했습니다. (클릭률 18% 증가!)
• 타사 모델과의 비교: 다른 유명한 AI 모델들보다 제품을 더 정확하게 보존하면서도 더 자연스러운 배경을 만들어냈습니다. 다른 모델들은 제품을 잘못 변형시키는 실수가 많았지만, 캔버스는 거의 실수가 없었습니다.

요약

핀터레스트 캔버스는 "모든 걸 다 할 수 있는 AI"를 만드는 대신, **"각자 필요한 일에 특화된 AI 요리사들"**을 빠르게 훈련시켜 만든 시스템입니다.

사용자의 제품을 해치지 않으면서도, 배경을 바꾸거나 크기를 조절하는 등 매우 정교한 편집을 가능하게 하여, 핀터레스트에서 더 아름답고 매력적인 사진을 볼 수 있게 해줍니다. 이는 AI 가 단순히 그림을 그리는 것을 넘어, 실제 비즈니스와 사용자 경험에 실질적인 도움을 줄 수 있음을 보여주는 사례입니다.

기술 요약

Pinterest Canvas: 핀터레스트의 대규모 이미지 생성 시스템 기술 요약

1. 문제 정의 (Problem Statement)

최근 확산 모델 (Diffusion Models) 은 다양한 이미지 생성 작업을 수행하는 뛰어난 능력을 보여주었으나, 핀터레스트 (Pinterest) 와 같은 실제 서비스 환경에서는 다음과 같은 한계점이 존재했습니다.

• 엄격한 제품 요구사항 충족의 어려움: 일반적인 생성 모델은 프롬프트만으로 제어되지만, 광고나 상품 이미지 편집과 같은 경우 원본 제품의 형태, 색상, 질감을 절대적으로 보존해야 하는 엄격한 제약이 있습니다.
• 상충되는 요구사항: 배경 생성 (원본 제품 보존) 과 장면 합성 (제품의 포즈 변경 필요) 과 같이 서로 상충되는 요구사항을 단일 범용 모델로 처리하기 어렵습니다.
• 사용자 의도 부재: 단순히 검색어에 맞춰 새로운 이미지를 생성하는 것은 사용자의 실제 구매 의도나 존재하는 상품과 괴리될 수 있어, 기존 콘텐츠의 '재시각화 (Re-visualization)' 및 '강화 (Enhancement)'에 초점을 맞추는 것이 더 효과적입니다.

2. 방법론 (Methodology)

핀터레스트는 단일 범용 모델을 모든 작업에 적용하는 대신, 기초 모델 (Base Model) 을 학습한 후 각 작업별 특화 변이 모델 (Task-specific Variants) 을 신속하게 파인튜닝하는 'Canvas' 프레임워크를 제안했습니다.

2.1 시스템 아키텍처 및 학습 전략

• 기초 모델 (Foundational Model): FLUX.1 Kontext 아키텍처 (Double-stream DiT) 를 기반으로 텍스트 및 이미지 조건을 모두 처리할 수 있는 대규모 확산 모델을 학습합니다.
• 다중 태스크 연합 학습 (Multi-task Joint Learning): 텍스트 - 이미지 쌍, 멀티뷰 제품, 배경 아웃페인팅, 화각 확장, 초해상도, 장면 합성 등 다양한 태스크를 혼합하여 학습합니다. 각 태스크는 텍스트 프롬프트 앞에 태스크별 접두사 (Prefix) 를 붙여 모델이 작업을 구분하도록 합니다.
• 파인튜닝 (Fine-tuning): 기초 모델은 다양한 작업을 처리할 수 있는 강력한 가중치를 제공하며, 이후 특정 사용 사례 (예: 광고 배경 생성) 에 맞는 전용 데이터셋으로 신속하게 파인튜닝하여 특화 모델을 만듭니다.

2.2 핵심 기술적 요소

• 데이터셋 구성:
  • 텍스트 - 이미지: 26 억 개 이상의 고품질 쌍.
  • 멀티모달 편집 데이터: OmniSage 이웃 데이터, 배경 아웃페인팅, 화각 확장 (Aspect-ratio outpainting), 제품 추출 및 장면 합성 등.
  • 사용자 옵트아웃 (Opt-out) 준수: 사용자 프라이버시 설정 변경에 따라 데이터를 정기적으로 재수집하고 모델을 처음부터 재학습하여 데이터 사용에 대한 책임을 다합니다.
• 학습 안정성 및 최적화:
  • 타임스프트 (Time-shift): 고해상도 학습 시 노이즈 스케일을 조정하는 변환을 적용하여 수렴 속도와 품질을 향상시킵니다.
  • 안정성 기법: AdamW 옵티마이저의 $\beta_2$ 값을 0.95 로 조정하고 EMA(Exponential Moving Average) 를 적용하여 손실 스파이크를 방지하고 학습을 안정화합니다.
• 멀티모달 클래스프리 가이드 (Multimodal CFG): 텍스트와 이미지 두 가지 조건을 동시에 처리할 때, 기존 방식의 계산 비용 증가를 줄이기 위해 2 번의 포워드 패스만으로 효율적으로 작동하는 간소화된 CFG 변형식을 도입했습니다.

2.3 광고 강화 (Ads Enhancement) 파이프라인

실제 배포된 '배경 아웃페인팅' 및 '화각 확장' 기능의 구체적인 프로세스:

1. 데이터 전처리: InSPyReNet 을 사용하여 제품 마스크를 생성하고 원본 배경을 제거합니다.
2. 모델 추론: 마스크가 적용된 제품 이미지와 텍스트 프롬프트를 입력받아 배경을 생성하거나 화각을 확장합니다.
3. 후처리 (Post-processing): 생성된 이미지에 원본 제품의 잘라낸 컷아웃 (Cutout) 을 다시 합성하여 제품 변형을 완전히 방지합니다.
4. 품질 관리:
   • 메타프롬프팅 (Metaprompting): VLM 을 활용하여 다양한 배경 프롬프트를 생성하여 다양성을 확보합니다.
   • 리워드 모델 (Reward Model): 여러 생성 후보 중 인간 평가자와 유사한 점수를 주는 모델을 통해 최상위 후보를 자동 선별합니다.
   • 인간 검토 (Human Review): 자동화 시스템의 한계를 보완하기 위해 훈련된 평가자가 최종 이미지를 검토하여 결함을 제거합니다.

3. 주요 기여 (Key Contributions)

1. Canvas 프레임워크 제안: 단일 거대 모델 대신, 기초 모델을 학습한 후 특정 작업에 맞춰 신속하게 파인튜닝하는 효율적이고 유연한 아키텍처를 제시했습니다.
2. 엄격한 제품 보존 기술: 생성된 이미지에서 원본 제품의 변형을 방지하기 위해 '마스크 기반 학습'과 '원본 컷아웃 합성'을 결합한 파이프라인을 구축하여 광고와 같은 상업적 용도에 적합하게 만들었습니다.
3. 다양한 태스크 지원: 배경 생성, 화각 확장, 멀티 이미지 장면 합성, 이미지 - 모션 생성 등 다양한 다운스트림 태스크를 하나의 기초 모델에서 파생시켜 지원함을 입증했습니다.
4. 실무 적용 및 검증: 대규모 데이터셋 구축, 학습 안정화 기법, 그리고 실제 A/B 테스트를 통한 성과 검증을 통해 산업 현장에 적용 가능한 실용적인 가이드를 제공했습니다.

4. 실험 결과 (Results)

4.1 오프라인 평가 (Human Evaluation)

• 비교 대상: GPT-Image, FLUX.1 Kontext, Google Nano Banana 등 타사 모델과 비교했습니다.
• 결과: 배경 아웃페인팅 작업에서 Canvas 는 **제품 결함 없음 (No-defect) 비율이 84.0%**로, 타사 모델 (최대 74.6%) 보다 월등히 높았습니다. 이는 제품 정체성을 훨씬 잘 보존함을 의미합니다.

4.2 온라인 A/B 테스트 (Engagement Metrics)

핀터레스트 Performance+ 스위트에 배포된 후의 사용자 참여도 지표 개선 효과:

• 배경 아웃페인팅: 클릭률 (CTR) 18.0% 증가, 클릭 수 18.6% 증가.
• 화각 확장 (Aspect-ratio): 클릭률 (CTR) 12.5% 증가, 클릭 수 12.9% 증가.
• 이는 생성된 이미지가 사용자의 관심을 더 잘 끌고, 더 높은 품질을 제공함을 입증했습니다.

4.3 추가 변이 모델 성과

• 멀티 이미지 장면 합성: 최대 8 개의 제품 이미지를 입력받아 일관된 조명과 구도로 통합된 장면을 생성.
• 이미지 - 모션 생성: 정적 이미지를 2 초 분량의 동적인 영상 (예: 카메라 패닝, 제품 배경 강화) 으로 변환.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 대규모 이미지 생성 모델을 실제 비즈니스 환경, 특히 엄격한 품질 관리와 제품 보존이 필수적인 광고 및 이커머스 분야에 적용하기 위한 체계적인 접근법을 제시했습니다.

• 유연성과 통제력의 균형: 범용 모델의 유연성과 전용 모델의 제어력을 결합하여, 각 사용 사례의 고유한 요구사항을 충족시키는 최적의 전략을 증명했습니다.
• 책임 있는 AI: 사용자 옵트아웃을 고려한 데이터 재학습 및 인간 검토 프로세스를 통해 윤리적 AI 사용을 보장했습니다.
• 실질적인 비즈니스 가치: 단순한 기술적 성능을 넘어, 실제 사용자 참여도 (CTR 등) 를 크게 향상시켜 비즈니스 가치를 창출함을 입증했습니다.

결론적으로 Pinterest Canvas 는 생성형 AI 를 단순한 '이미지 생성 도구'가 아닌, 사용자 경험과 비즈니스 성과를 직접적으로 개선하는 '콘텐츠 강화 엔진'으로 진화시킨 성공 사례입니다.