기술 요약: 소셜 미디어에서의 AI 기반 고객 유치

문제 정의

마케팅 분야, 특히 고객 유지 및 추천 시스템에서 인공지능의 도입이 널리 확산되었음에도 불구하고, **자동화된 고객 유치(automated client acquisition)**를 위한 AI 활용에 관한 연구는 여전히 큰 공백이 존재한다. 기존의 접근 방식은 수동적인 타겟팅 파라미터 조정에 의존하거나, 소셜 미디어 환경 특유의 동적이고 비정형적이며 불균형한 데이터를 처리하는 유연성이 부족하다. 또한, 데이터 추출, 타겟 오디언스 식별, 콘텐츠 분석, 그리고 신규 고객 유치를 위한 자동화된 콘텐츠 생성까지 통합하는 포괄적인 파이프라인에 대한 연구도 미진한 상태이다.

본 연구가 다루는 주요 과제는 VKontakte (VK) 소셜 네트워크에서의 전체 고객 유치 사이클을 자동화하는 것이다. 이는 다음 과정을 포함한다:

1. 방대한 양의 이질적인 소셜 데이터로부터 잠재적 타겟 그룹 식별.
2. 프로모션 콘텐츠를 분류하여 참여 패턴 이해.
3. 신규 사용자를 유인하기 위한 맞춤형 광고 콘텐츠 생성.
4. 프로모션 데이터의 심각한 클래스 불균형(class imbalance) 및 대규모 레이블링 데이터나 과도한 계산 자원 없이도 해결해야 하는 "콜드 스타트(cold-start)" 문제 극복.

방법론

저자들은 자동화된 고객 유치를 위한 3단계 파이프라인으로 설계된 하이브리드 신경망 아키텍처를 제안한다. 이 시스템은 합성곱 신경망(CNN), 순환 신경망(RNN), 그리고 거대 언어 모델(LLM)을 통합한다.

1. 데이터 추출 및 전처리

• 소스: VK API와 매시업 도구(Targethunter, Livedune)를 사용하여 VKontakte 그룹 및 음식 배달 서비스로부터 데이터를 수집하였다.
• 프로세스: 커스텀 Python 애플리케이션이 REST API에 대한 HTTP 요청을 처리하였다. API 속도 제한을 관리하고 결함 허용(fault tolerance)을 보장하기 위해 배치 프로세싱과 지수 백오프(exponential backoff) 기법을 채택하였다.
• 개인정보 보호: 사용자 식별자(user_id)를 제거하고 개인 정보를 삭제하는 익명화 절차를 구현하여 플랫폼 정책을 준수하였다.
• 데이터셋 구축:
  • 모듈 1 (그룹 분류): 10,000개의 벡터화된 인스턴스(타겟 음식 배달 그룹 5,000개 vs 비타겟 그룹 5,000개)로 구성된 이진 분류 데이터셋을 생성하였다. 견고성을 높이기 위해 하드 네거티브 예시(예: 레시피 애그리게이터)를 추가하였다.
  • 모듈 2 (포스트 분류): 5개 클래스 분류 문제(소프트 셀, 할인, 선물, 캐시백, 정시 배송)로 정식화하였다. 심각한 클래스 불균형(예: "캐시백" <3%) 문제를 해결하기 위해 LLM 기반 데이터 증강(Gemma-4-31b-it 사용)을 적용하여 각 클래스당 1,000개의 샘플로 균형을 맞추었다. 검증 및 테스트 세트는 엄격하게 인간이 주석을 달았다(human-annotated).

2. 모델 아키텍처 및 학습

본 연구에서는 분류 작업을 위해 CNN, LSTM, GRU 아키텍처를 평가 및 비교하였으며, 생성 작업을 위해 여러 LLM을 검토하였다.

• 모듈 1: 타겟 그룹 식별

  • 최적 모델: CNN 아키텍처.
  • 구성: 임베딩 레이어(16-dim), 세 개의 병렬 Conv1D 브랜치(커널 크기 3, 7, 9 및 64개 필터), ELU 활성화 함수, Dropout (0.5), Nadam 옵티마이저(학습률 1e-3).
  • 근거: CNN이 짧은 그룹 설명에서 지역적 특징(local features)을 추출하는 데 우수함을 확인하였다.

• 모듈 2: 프로모션 포스트 분류

  • 최적 모델: CNN 아키텍처.
  • 구성: 임베딩 레이어(48-dim), 세 개의 병렬 Conv1D 브랜치(커널 크기 3, 4, 5), ReLU 활성화 함수, Dropout (0.5), Nadam 옵티마이저(학습률 1e-2).
  • 근거: 짧은 포스트의 경우 RNN이 포착하는 장기 의존성(long-range dependencies)보다 지역적 어휘 패턴(local lexical patterns)이 더 높은 예측력을 보였다.

• 모듈 3: 자동 콘텐츠 생성

  • 접근 방식: 식별된 참여 패턴을 바탕으로 광고 포스트를 생성하기 위해 LLM(YaGPT, Qwen2-7B, Llama3-8B, Suzume-Llama-3-8B)을 미세 조정(Fine-tuning)하였다.
  • 선택: YaGPT가 높은 프롬프트 준수 능력과 러시아어 콘텐츠에 최적화된 성능을 보여 최종 선택되었다. 이는 적절한 콜 투 액션(call to action)을 포함한 일관된 텍스트를 생성하였다.

주요 결과

실험적 평가 결과, 특정 도메인에서 제안된 CNN 기반 아키텍처가 순환 모델(recurrent models)보다 효과적임이 입증되었다:

• 타겟 그룹 분류 (모듈 1): CNN 모델은 정확도 98.8%, 정밀도 98.81%, 재현율 98.8%, **F1-score 98.8%**를 달성하였다. AUC는 **99.93%**에 달했다. 이 모델은 미탐(false negatives)을 성공적으로 최소화하여 타겟 그룹을 놓치는 경우가 거의 없음을 보였다.
• 포스트 분류 (모듈 2): CNN 모델은 5개 클래스 전체에서 정확도 90.6% 및 **F1-score 90.68%**를 달성하였다. LLM 기반 증강의 사용은 클래스 불균형 문제를 성공적으로 완화하여, 기존에 과소 대표되었던 소수 클래스(캐시백, 정시 배송)에 대해서도 높은 인식률을 기록하였다.
• 콘텐츠 생성 (모듈 3): 시스템은 특정 전략(예: 할인, 선물)에 부합하는 프로모션 콘텐츠를 성공적으로 생성하였다. YaGPT는 수동 템플릿 제작 없이도 이모지, 콜 투 액션 등 마케팅 요소를 포함한 일관된 텍스트를 생성하며 가장 높은 프롬프트 준수 능력을 보여주었다.

의의 및 기여

본 논문은 AI 기반 마케팅 및 데이터 마이닝 분야에 다음과 같은 중요한 기여를 한다고 주장한다:

1. 고객 유치를 위한 새로운 파이프라인: 데이터 추출이나 감성 분석만을 다룬 기존 연구와 달리, 본 연구는 데이터 수집부터 콘텐츠 생성까지 고객 유치 사이클을 자동화하는 포괄적인 엔드 투 엔드(end-to-end) 파이프라인을 제시한다.
2. 경량 아키텍처의 효율성: 본 연구는 짧은 텍스트 형태의 소셜 미디어 데이터의 경우, 경량 CNN 아키텍처가 정확도와 배포 효율성 측면 모두에서 더 무거운 계산 비용이 드는 순환 모델(LSTM/GRU)이나 거대 트랜스포머 모델보다 우수함을 입증한다.
3. 데이터 불균형 처리: 대규모 수동 레이블링 노력 없이도 효과적인 학습을 가능하게 하는, 프로모션 데이터셋의 심각한 클래스 불균형을 해결하기 위한 LLM 기반 데이터 증강의 유효성을 검증하였다.
4. 실무적 구현: 본 시스템은 음식 배달 커뮤니티를 대상으로 하는 "Inter Program" 사에 의해 시범 운영되었으며, 자동화를 통해 마케팅 비용을 절감하고 캠페인 효과를 개선할 수 있는 실현 가능성을 확인하였다.
5. 재현 가능성: 실험의 재현성을 보장하기 위해 전체 소스 코드, 전처리 스크립트, 데이터셋 및 모델 설정을 공개 GitHub 저장소를 통해 제공한다.

한계 및 향 향후 과제

저자들은 현재 연구 범위에 대해 다음과 같은 한계를 명시하였다:

• 플랫폼 특이성: 현재 구현은 VKontakte에 특화되어 있다. 다른 플랫폼의 API 구조와 속도 제한이 다르기 때문에, 타 플랫폼에 시스템을 적용하려면 데이터 수집 모듈의 상당한 수정이 필요하다.
• 인간의 감독: 생성 모듈은 자동화되어 있으나, 품질과 관련성을 보장하기 위해 생성된 콘텐츠를 게시하기 전 인간의 검증 과정이 여전히 권장된다.
• 평가 범위: 실험은 고정된 훈련/검증/테스트 분할을 통해 수행되었다. 향-후 연구에서는 시계열적 일반화 성능을 평가하기 위해 연대순 데이터 분할을 사용하고, 추가적인 플랫폼에서 실제 고객 유치 캠페인에 대한 시스템의 효과를 테스트하는 것을 목표로 한다.