Ad Headline Generation using Self-Critical Masked Language Model

기술 요약: 자기 비판적 마스크 언어 모델(Self-Critical Masked Language Model)을 이용한 광고 헤드라인 생성

문제 정의
이커머스 플랫폼을 위한 지속 가능하고 고품질의 광고를 생성하는 것은 특히 규모의 경제 측면에서 매우 까다로운 과제입니다. 기존의 수동 방식은 종종 프로그램 방식의 키워드 패딩이나 템플릿 기반의 크리에이티브(예: "지금 ~을 절약하세요...")에 의존하며, 이는 흥미를 유발하거나 브랜드 정체성을 구축하는 데 실패합니다. 또한, 소매 제품 데이터는 독특한 어려움을 안고 있습니다. 제품 타이틀은 구조가 부실하거나, 문법적 오류가 있거나, 불완전한 구절로 이루어진 경우가 많으며, 캠페인은 종종 단일 아이템에 국한되지 않고 여러 관련 제품을 하나의 응집력 있는 헤드라인으로 일반화해야 하는 상황을 포함합니다. 본 연구의 목표는 여러 제품의 공통된 특성을 포착하면서도 특정 단일 제품에만 국한되지 않는 매력적이고 문법적으로 올바른 헤드라인을 즉각적으로 생성할 수 있는 자연어 생성(NLG) 시스템을 구축하는 것입니다.

방법론
저자들은 **마스크 언어 모델(Masked Language Models, MLM)**과 자기 비판적 정책 경사(Self-Critical policy gradient) 방식을 결합한 새로운 접근 방식을 제안합니다.

1. 아키텍처 및 입력 인코딩:

   • 시스템은 트랜스포머 기반의 BERT 모델(구체적으로 BERT Large)을 활용합니다.
   • 표준적인 자기 회귀(auto-regressive) 모델과 달리, 이 방식은 여러 제품을 동시에 조건화하여 생성합니다. 모델은 여러 제품 타이틀의 토큰들을 특수 구분자 토큰([P_SEP])을 사용하여 연결하고, 시작 토큰([SOS])을 앞에 붙입니다.
   • 학습 시에는 타겟 헤드라인에 해당하는 토큰들만 무작위로 마스킹되며, 소스 제품 토큰은 정보를 보존하기 위해 마스킹되지 않은 상태로 유지됩니다.
   • 양방향 모델을 사용하여 자동 회귀 생성(한 번에 한 단어씩 예측)을 가능하게 하기 위해, 저자들은 **마스크드 어텐션(masked attention)**을 채택했습니다. 이는 표준 셀프 어텐션 메커니즘을 수정하여 추론 단계에서 모델이 미래의 토큰을 참조하지 못하도록 제한함으로써, 접근 가능한 토큰에만 주의를 집중하도록 합니다.

2. 자기 비판적 시퀀스 학습(SCST)을 통한 학습:

   • 표준 MLM 학습은 로그 가능도(log-likelihood)를 최적화하는데, 이는 노출 편향(exposure bias)을 초래할 수 있으며 BLEU나 ROUGE와 같은 미분 불가능한 품질 지표를 직접 최적화하지 못합니다.
   • 이를 해결하기 위해 저자들은 생성 작업을 RL 문제로 프레임워크화했습니다. 모델은 헤드라인 품질에 기반한 보상을 최대화하기 위해 마스킹된 단어(행동)를 예측하는 에이전트 역할을 합니다.
   • 저자들은 **자기 비판적 시퀀스 학습(SCST)**을 사용합니다. 이 설정에서는 동일한 입력에 대해 두 가지 헤드라인이 생성됩니다:
     • $\hat{x}_h$: 모델의 어휘 분포에서 샘플링하여 생성된 것.
     • $\hat{z}_h$: 그리디(greedy) 추론 전략(각 단계에서 가장 확률이 높은 토큰을 선택)을 사용하여 생성된 것.
   • 그래디언트는 샘플링된 헤드라인과 그리디 베이스라인 사이의 보상 차이를 기준으로 업데이트됩니다: $\nabla \theta L_{SC\_MLM} \approx -(r(\hat{x}_h) - r(\hat{z}_h)) \nabla_\theta P$. 이를 통해 추론 설정이나 레이턴시를 변경하지 않고도 ROUGE-L과 같은 지표를 직접 최적화할 수 있습니다.

3. 추론:

   • 추론 단계에서 헤드라인은 빔 서치(Beam Search)를 사용하여 자기 회귀 방식으로 생성됩니다.
   • 긴 헤드라인이 일반적으로 낮은 원시 로그 확률을 갖는 것에 대한 편향을 방서하기 위해, 빔 서치 점수에 수정된 길이 정규화(Length Normalization) 기술이 적용됩니다.
   • 후처리 과정에는 기호 주변의 불필요한 공백을 제거하기 위한 정규 표현식 기반의 클리닝이 포함됩니다.

주요 기여

• 다중 제품 조건화: 이 모델은 여러 제품을 동시에 조건으로 하여 헤드라인을 생성하는 데 MLM을 활용한 최초의 모델로, 공유된 속성을 효과적으로 일반화할 수 있습니다.
• RL로 최적화된 MLM: 본 논문은 자기 비판적 정책 경사를 사용하여 MLM을 학습시키는 새로운 적용 사례를 보여줍니다. 이를 통해 모델의 추론 레이턴시를 유지하면서도 학습 중에 헤드라인 품질 지표(예: ROUGE, BLEU)를 직접 최적화할 수 있습니다.
• 베이스라인 대비 성능: 제안된 방식은 중첩 지표(overlap metrics)와 인간 품질 감사 모두에서 RL이 적용된 LSTM 기반 포인터 네트워크 및 표준 트랜스포머 모델을 포함한 기존 베이스라인들을 능가합니다.
• 효율성: 이 접근 방식은 헤드라인 생성에 필요한 수동 노력과 시간을 크게 줄이는 동시에 낮은 추론 레이턴시를 유지합니다.

결과
시스템은 아마존의 50만 개 이상의 광고 캠페인 데이터셋을 통해 평가되었습니다.

• 중첩 지표: 제안된 SC-MLM은 모든 중첩 지표(ROUGE-L, CIDEr, BLEU-4, METEOR)에서 베이스라인 및 어블레이션 연구(ablation studies)보다 높은 점수를 기록했습니다. 예를 들어, ROUGE-L 점수에서 6.33을 달려 베이스라인인 bi-LSTM(0.62)과 RL이 없는 표준 MLM(5.08)을 크게 앞질렀습니다.
• 품질 감사: 대규모 이중 맹검 크라우드 소싱 평가(N ≈ 5,000)에서 SC-MLM 모델은 인간이 제출한 헤드라인보다 우수한 성능을 보였습니다. 이 모델은 인간의 헤드라인보다 평균 평점이 2.07% 향상되었으며, "3점 만점에 3점(정확하고 매력적임)"으로 평가된 헤드라인을 6.53% 더 많이 생성했습니다.
• 문법: 모델은 뛰어난 문법적 정확도를 입증했습니다. SC-MLM 헤드라인의 **98.13%**가 문법적으로 올바르다고 판단된 반면, 인간이 제출한 헤드라인은 **93.14%**였습니다.
• 어블레이션 연구: 실험을 통해 프리트레이닝(pre-training), BERT Large 사용, 소스 타이틀이 아닌 헤드라인만 마스킹하는 것, 그리고 다중 제품을 사용하는 것이 모두 성능에 결정적임을 확인했습니다. 단일 제품만 사용했을 때는 품질이 낮아졌고, 소스 타이틀을 마스킹했을 때도 성능이 저하되었습니다.

의의 및 주장
본 논문은 이 작업이 프로그래매틱 광고 헤드라인 생성을 위한 최첨단(SOTA) 솔루션임을 주장합니다. 저자들은 자신들의 방법이 사전 학습된 트랜스포머의 표현력과 광고의 특수한 요구사항(여러 제품의 일반화, 품질 지표 최적화) 사이의 간극을 성공적으로 메웠음을 강조합니다.

결정적으로, 저자들은 강화 학습(RL) 구성 요소가 오직 학습 절차만을 수정한다는 점에 주목합니다. 이는 추론 설정을 변경하거나 추가적인 레이턴시를 발생시키지 않으므로, 실제 대규모 배포에 실용적인 솔루션임을 의미합니다. 본 논문은 이 접근 방식이 광고에만 국한되지 않고, 미분 불가능한 지표를 최적화하고자 하는 요약 및 번역과 같은 다른 NLG 작업에도 적용될 수 있다고 결론짓습니다.