PinCLIP: Large-scale Foundational Multimodal Representation at Pinterest

이 논문은 Pinterest 의 추천 및 검색 성능을 향상시키기 위해 대규모 멀티모달 표현 학습 모델인 PinCLIP 을 제안하고, 이를 통해 오프라인 평가에서 기존 최첨단 모델 대비 20% 높은 성능과 온라인 A/B 테스트에서 신규 콘텐츠 및 광고의 참여율 증가 등 실질적인 비즈니스 성과를 입증했습니다.

핵심

핀터레스트의 '핀클립 (PinCLIP)': 그림과 말의 완벽한 춤을 추게 만든 AI

이 논문은 세계적인 이미지 공유 플랫폼인 핀터레스트 (Pinterest) 가 어떻게 사용자들이 원하는 그림을 더 잘 찾아주고, 새로운 콘텐츠를 더 잘 추천해 주는지 설명합니다. 핵심은 '핀클립 (PinCLIP)' 이라는 새로운 인공지능 모델입니다.

이 복잡한 기술 이야기를 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 문제: "그림은 알겠는데, 말은 못 알아듣는 AI"

과거의 추천 시스템은 그림을 보고 "이건 강아지야"라고만 알았지, "이 강아지는 금발이고 소파 위에 앉아 있어"라는 세부적인 묘사나 문맥을 잘 이해하지 못했습니다.

• 비유: 마치 그림만 보고 사람 이름을 대는 친구를 상상해 보세요. 그 친구는 그림 속 강아지를 보고 "강아지"라고 말은 하지만, "저 강아지는 금발이고 귀여워"라는 사용자의 구체적인 요청에는 "아, 그냥 강아지겠지?"라고 대충 넘겨버립니다.
• 결과: 사용자가 원하는 정교한 그림을 찾기 힘들고, 새로 올라온 그림 (신규 콘텐츠) 은 아무도 모르고 방치되기 쉽습니다.

2. 해결책: 핀클립 (PinCLIP) 의 등장

핀터레스트는 이 문제를 해결하기 위해 핀클립을 만들었습니다. 이 모델은 그림 (Visual) 과 말 (Text) 을 동시에 이해하고, 두 가지를 완벽하게 연결하는 능력을 갖췄습니다.

핵심 기술 1: '혼합형' 뇌 (Hybrid Vision Transformer)

기존의 AI 는 그림과 글을 따로따로 처리했다가 나중에 합쳤다면, 핀클립은 처음부터 그림과 글이 섞여 있는 하나의 통합된 뇌를 가졌습니다.

• 비유: 그림을 보는 눈과 글을 읽는 머리가 한 쌍의 눈과 귀처럼 작동합니다. "금발 강아지"라는 글을 읽을 때, 그림 속 강아지의 금발 털을 바로 연상하고, 반대로 강아지 그림을 볼 때 "금발"이라는 단어가 자연스럽게 떠오르는 상태입니다.

핵심 기술 2: '친구 관계' 학습 (Neighbor Alignment)

단순히 "그림과 글이 맞다"는 것만 배우는 게 아닙니다. 핀클립은 사용자들이 어떤 그림들을 함께 보거나 저장했는지도 학습합니다.

• 비유: "이 강아지 그림을 좋아한 사람들은 보통 '강아지 장난감' 그림도 좋아한다"는 관계 (연결) 를 학습합니다. 마치 핀터레스트의 '보드 (Board)'처럼, 같은 주제나 취향으로 묶인 그림들끼리 서로를 알아보는 능력을 기릅니다.

핵심 기술 3: '마트료시카' 인형 (Matryoshka Representation)

AI 가 만든 정보 (임베딩) 는 너무 크고 무거워서 실시간으로 쓰기 힘들었습니다. 핀클립은 정보를 마트료시카 인형처럼 여러 층으로 만들었습니다.

• 비유: 큰 인형 (정확한 정보) 을 열어보면 작은 인형 (간단한 정보) 이 나옵니다.
  • 빠른 검색: 먼저 작은 인형 (64 차원) 을 꺼내서 대략적인 후보를 빠르게 찾습니다.
  • 정밀한 검색: 필요하면 큰 인형 (256 차원) 을 열어 가장 정확한 정보를 확인합니다.
  • 이렇게 하면 속도는 빠르면서 정확도도 높게 유지할 수 있습니다.

---

3. 실제 효과: 무엇이 달라졌나요?

이 기술을 실제 서비스에 적용한 결과, 놀라운 변화가 일어났습니다.

① 검색과 추천이 훨씬 똑똑해짐

• 결과: 기존 최고의 모델 (Qwen 등) 보다 20% 이상 더 정확하게 그림을 찾아냈습니다.
• 비유: "빨간 드레스를 입고 해변에 서 있는 여자"라고 검색했을 때, 예전에는 빨간 드레스만 찾거나 해변만 찾다가 실수했지만, 이제는 모든 조건을 완벽하게 충족하는 그림을 바로 찾아냅니다.

② '신규 콘텐츠'의 위기 탈출 (콜드 스타트 해결)

가장 큰 성과는 새로운 그림이 잘 노출된다는 점입니다.

• 문제: 새로운 그림은 데이터가 없어서 AI 가 "이건 뭐지?"라고 고민하다가 무시하기 쉽습니다.
• 해결: 핀클립은 그림과 글의 연결을 잘 이해하므로, 데이터가 적어도 그림의 내용과 분위기를 바로 파악합니다.
• 성과:
  • 일반 콘텐츠 (Organic) 의 재공유 (Repin) 가 15% 증가.
  • 새로운 광고의 클릭 수가 8.7% 증가.
  • 비유: 새로 입은 옷을 입은 사람이 거리를 지나가도, 지나가는 사람들이 "와, 예쁘다!"라고 바로 알아보고 칭찬해 주는 효과가 난 것입니다.

③ 사용자 만족도 상승

• 홈피드, 검색, 관련 핀 (Related Pins) 등 모든 곳에서 사용자가 더 많이 클릭하고 공유하는 등 참여도가 크게 늘어났습니다.

---

4. 요약: 핀클립이 가져온 변화

핀터레스트의 핀클립은 단순히 "그림을 더 잘 보는 AI"가 아닙니다.

1. 그림과 말을 하나로 묶어 사용자의 복잡한 의도를 정확히 이해합니다.
2. 친구 관계 (연결성) 를 학습하여 비슷한 취향의 콘텐츠를 찾아냅니다.
3. 마트료시카 인형처럼 정보를 압축하여 빠르고 효율적으로 작동합니다.
4. 그 결과, 새로운 콘텐츠도 빛을 보고, 사용자는 원하는 것을 더 쉽게 찾아 핀터레스트를 더 오래, 더 즐겁게 이용하게 되었습니다.

이처럼 핀클립은 거대한 데이터 속에서 그림과 말의 춤을 완벽하게 조율하여, 사용자에게 더 나은 경험을 선사하는 기술의 승리입니다.

기술 요약

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 과 시각 - 언어 모델 (VLM) 의 발전에도 불구하고, 이를 Pinterest 와 같은 실제 추천 및 검색 시스템 (RecSys) 에 통합하는 데는 다음과 같은 근본적인 장벽이 존재했습니다.

• 목표 함수의 불일치: 현대 LLM/VLM 은 다음 토큰 예측 (Generative) 을 위해 훈련되는 반면, 추천 시스템은 사용자 참여도 예측 (Discriminative) 을 위해 교차 엔트로피 손실 등을 사용합니다.
• 운영 효율성 병목: LLM 과 대규모 비전 모델은 수십억 개의 파라미터를 가지며, 높은 처리량 (Throughput) 과 낮은 지연 시간 (Latency) 이 요구되는 실시간 추천 시스템에 배포하기에는 계산 비용이 너무 큽니다.
• 데이터 및 아키텍처 차이: VLM 은 토큰화된 텍스트/이미지 패치로 학습되는 반면, 추천 시스템은 수동으로 설계된 특징과 희소하고 암시적인 피드백 (사용자 행동) 에서 학습합니다.
• 다중 모달리티의 부재: 기존 추천 시스템 연구는 주로 텍스트 데이터에 집중했으며, 이미지 및 비디오와 같은 다른 모달리티를 충분히 활용하지 못했습니다.

2. 제안 방법론 (Methodology)

Pinterest 는 이러한 문제를 해결하기 위해 PinCLIP이라는 대규모 시각 표현 학습 접근법을 개발했습니다. 핵심 구성 요소는 다음과 같습니다.

가. 하이브리드 비전 트랜스포머 아키텍처 (Hybrid Vision Transformer)

• VLM 백본 활용: 사전 훈련된 VLM 을 기반으로 하되, Pinterest 의 대규모 데이터에 최적화된 하이브리드 아키텍처를 설계했습니다.
• 인코더 구성:
  • 이미지 인코더: 내부적으로 사전 훈련된 CNN 스템 (InceptionNext-T 등) 과 Funnel Vision Transformer 트렁크를 결합하여 사용. 초기 컨볼루션을 통해 학습 안정화와 속도를 높이고, Funneling 연산으로 계산 비용을 절감합니다.
  • 텍스트 인코더: SigLIP 기반의 다국어 텍스트 인코더를 사용.
• 멀티모달 퓨전 (Fusion): 이미지 토큰과 텍스트 토큰을 연결한 후, 작은 Transformer Aggregator 를 통해 깊은 모달리티 통합을 수행하고 단일 임베딩 벡터로 압축합니다.

나. 학습 목표 (Learning Objectives)

단순한 이미지 - 텍스트 정렬을 넘어, Pinterest 의 그래프 구조를 활용한 새로운 목표를 도입했습니다.

1. 이미지 - 텍스트 정렬 (Image-to-Text Alignment): Pin 의 이미지와 제목, 설명, 자동 생성 캡션, 검색 쿼리 등 다양한 텍스트 신호 간의 정렬을 위해 **Sigmoid Loss(SigLIP)**를 사용합니다. 이는 Softmax Loss 대비 효율적이고 소규모 배치에서도 성능이 우수합니다.
2. 핀 - 핀 정렬 (Pin-to-Pin Alignment, Neighbor Alignment):
   • 핵심 아이디어: 사용자가 동일한 보드 (Board) 에 저장한 핀들 간의 관계를 활용합니다.
   • 구현: Pin-Board 그래프에서 랜덤 워크를 수행하여 의미적으로 유사한 핀 쌍 (Query Pin 과 Positive Pin) 을 샘플링하고, 이 쌍들의 임베딩 유사도를 최대화하는 대조 학습 (Contrastive Learning) 을 수행합니다. 이는 콘텐츠 간의 구조적 맥락을 학습하는 데 결정적입니다.

다. 효율성 최적화 (Efficiency Enhancements)

• Matryoshka Representation Learning (MRL): 단일 임베딩 벡터 내에 다양한 차원 (64d, 128d, 256d) 의 정보를 계층적으로 인코딩합니다. 하위 시스템은 저차원 벡터로 빠른 검색을 수행하고, 정밀도가 필요할 때만 고차원 벡터를 사용하여 비용을 절감합니다.
• 양자화 (Quantization): Post-training quantization (PTQ) 을 통해 float16 임베딩을 int8 로 변환하여 저장 공간과 전송 비용을 50% 절감하면서도 성능 저하를 최소화했습니다.
• 학습 가속화: Flash Attention-2, 활성화 체크포인트 (Activation Checkpointing), 부분 고정 (Partial Freezing) 기법을 적용하여 GPU 메모리 사용량을 32% 줄이고 처리량을 15% 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. 실제 대규모 제품 환경에서의 VLM 적용: 수억 명의 사용자가 참여하는 Pinterest 의 수억 개의 이미지와 텍스트를 기반으로 한 대규모 멀티모달 표현 학습 시스템을 구축했습니다.
2. 실용적인 구축 레시피: 데이터 선별, 모델 아키텍처, 학습 목표, 효율성 향상, 그리고 완전한 프로덕션화 (Productionization) 에 이르는 구체적인 방법론을 제시했습니다.
3. 새로운 학습 목표 (Neighbor Alignment): 콘텐츠 간의 구조적 관계를 모델링하는 새로운 정렬 목표를 도입하여, 단순한 이미지 - 텍스트 매칭을 넘어선 풍부한 표현 학습을 가능하게 했습니다.
4. 냉간 시작 (Cold-start) 문제 해결: 새로 생성된 콘텐츠 (Fresh Content) 에 대한 분배를 극대화하여 추천 시스템의 오랜 난제인 냉간 시작 문제를 효과적으로 해결했습니다.

4. 실험 결과 (Results)

가. 오프라인 평가 (Offline Evaluation)

• 성능 우위: PinCLIP Fusion 모델은 Qwen-VL, CLIP, SigLIP 등 최첨단 (SOTA) 모델들보다 멀티모달 검색 작업에서 약 20% 이상의 성능 향상 (Recall@K 기준) 을 보였습니다.
• 태스크별 개선:
  • Search (검색): 텍스트 - 이미지 검색에서 기존 모델 대비 34% 이상 향상.
  • Related Pins (관련 핀): 이미지 - 이미지 검색 및 멀티모달 검색에서 각각 44%, 57% 이상 향상.
• 모델 크기 및 데이터 스케일링: 모델 파라미터 수와 학습 데이터 양이 증가할수록 성능이 일관되게 향상됨을 확인했습니다.

나. 온라인 A/B 테스트 (Online A/B Testing)

Pinterest 의 주요 표면 (Homefeed, Search, Related Pins) 에서 수행된 테스트 결과는 다음과 같습니다.

• 사용자 참여도 증가:
  • Repin (공유) 증가: Homefeed, Search, Related Pins 전 영역에서 유의미한 Repin 증가.
  • 신규 콘텐츠 (Fresh Content) 성과: 28 일 이내의 신규 콘텐츠에 대한 Repin 이 15% 이상 증가하여 냉간 시작 문제를 해결했습니다.
• 광고 (Ads) 성과:
  • 클릭률 (CTR): 5.02% 증가.
  • 광고 클릭 비용 (CPC): 0.59% 감소.
  • 신규 광고 클릭: 14 일 이내 신규 광고의 클릭 수가 8.67% 증가.
• 후보 생성기 (Candidate Generator) 적용: PinCLIP 임베딩을 검색 및 관련 핀 후보 생성기에 적용했을 때, 사이트 전체 Repin 및 검색 만족도 (Fulfillment Rate) 가 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

PinCLIP 은 대규모 VLM 을 실제 추천 시스템에 성공적으로 통합한 선구적인 사례입니다. 이 연구는 다음과 같은 의미를 가집니다.

1. 이론과 실무의 간극 해소: 생성형 AI 모델의 강력한 표현 능력을 추천 시스템의 엄격한 효율성 요구사항 (저지연, 고처리량) 과 조화시켰습니다.
2. 다중 모달리티의 가치 입증: 텍스트뿐만 아니라 이미지와 사용자 행동 그래프 (Pin-Board) 를 결합한 표현 학습이 검색 및 추천의 정확도를 획기적으로 높일 수 있음을 증명했습니다.
3. 비즈니스 임팩트: 단순히 모델 성능을 높이는 것을 넘어, 신규 콘텐츠의 발견을 촉진하고 광고 수익을 증대시키는 등 직접적인 비즈니스 가치를 창출했습니다.

결론적으로 PinCLIP 은 Pinterest 의 사용자 경험을 혁신하고, 대규모 멀티모달 표현 학습이 실제 산업 현장에서 어떻게 작동해야 하는지에 대한 새로운 표준을 제시했습니다.