Mitigating Early Training Collapse in CTR Models

당신이 로봇에게 어떤 광고를 사람들이 클릭할지 추측하도록 가르치고 있다고 상상해 보세요. 당신은 로봇에게 방대한 양의 데이터를 제공하고, 로봇은 학습을 시작합니다. 하지만 여기서 기묘한 반전이 일어납니다. 로봇이 너무 빠르게, 너무 잘 배우게 된 것입니다. 단 하루(한 번의 '에포크')의 학습만으로도 정점에 도달하더니, 그 즉시 유용한 정보는 모두 잊어버리고 무작위적인 노이즈를 암기하기 시작합니다. 이는 마치 학생이 교과서를 한 번 읽고 연습 문제 퀴즈에서 A를 받았지만, 실제 개념을 배운 것이 아니라 연습 문제의 정답만을 암기했기 때문에 실제 시험에서는 낙제하는 것과 같습니다.

Huawei의 연구진이 작성한 이 논문은 왜 이러한 "원 에포크 크래시(one-epoch crash)"가 클릭률(CTR) 모델에서 발생하는지, 그리고 이를 어떻게 해결할 수 있는지 조사합니다.

원인: 너무 많은 희귀 단어들

주된 문제는 로봇이 너무 빨리 배우는 것이 아니라, 데이터가 "희귀 단어"로 가득 차 있다는 점입니다. 광고의 세계에서는 대부분의 일들이 자주 발생하지만(예: "신발" 또는 "피자"), 어떤 것들은 매우 드물게 발생합니다(예: "왼손잡이용 네온 그린 빈티지 토스터기").

연구진은 로봇이 거의 나타나지 않는 것들까지 포함하여 모든 개별 항목에 대해 특별한 비밀 코드를 배우려고 시도한다는 것을 발견했습니다. 이러한 희귀 항목들은 나타나는 횟수가 너무 적기 때문에, 로봇이 만드는 "비밀 코드"는 불안정하고 흔들리기 쉽습니다. 결국 로봇은 실제 규칙을 배우는 대신 이러한 희귀하고 불안정한 패턴들을 암기하게 됩니다. 이는 마치 1년에 딱 한 번 말하는 사람 한 명이 만들어낸 단어들로 가득 찬 사전을 외워서 언어를 배우려는 것과 같습니다.

효과가 없었던 방법 ("속도 조절"의 함정)

당신은 단순히 로봇에게 더 천천히 배우라고 말하면 될 것이라고 생각할 수도 있습니다. 연구진은 "학습률(learning rate)"(로봇이 뇌를 업데이트하는 속도)을 낮춤으로써 이 방법을 시도했습니다.

결과는 어떠했을까요? 아주 약간의 도움은 되었지만, 크래시를 막지는 못했습니다. 로봇은 여전히 하루 만에 정점에 도달한 뒤 실패하기 시작했습니다. 따라서 단순히 학습 과정을 늦추는 것은 마법 같은 해결책이 아닙니다.

진짜 해결책: 데이터 정제

논문은 이 문제를 해결할 수 있는 두 가지 강력한 방법을 제시하며, 이 방법들은 속도를 늦추는 것보다 훨씬 더 효과적이었습니다.

1. 희귀한 것들을 버리기: 연구진은 너무 희귀한 특징(feature, 즉 "단어")들을 단순히 삭제하면 로봇이 그것들을 암기하려고 시도하지 않는다는 것을 발견했습니다. 이것이 가장 큰 성능 향상을 가져왔습니다.
2. 희귀한 것들을 그룹화하기: 희귀한 항목들을 삭제하는 대신, 그것들을 하나의 "기타(Other)" 바구니로 묶을 수 있습니다. 이렇게 하면 로로봇이 거의 보지 못한 것들에 대해 터무니없는 추측을 하는 것을 방지할 수 있습니다.

이렇게 했을 때, 로봇은 단 하루 만에 정점을 찍는 데 그치지 않고, 3~4일 동안 계속해서 더 발전했습니다!

증거: 숫자는 거짓말을 하지 않는다

연구팀은 수억 개의 샘플이 담긴 거대한 산업용 데이터셋을 통해 테스트를 진행했습니다. 기존 설정과 비교했을 때 결과는 다음과 같았습니다:

• 단순히 속도를 늦춘 경우: 점수를 +0.15% 개선했습니다.
• 희귀 특징 제거: 점수를 +0.33% 개선했으며, 로봇이 학습을 지속하는 기간을 2 에포크에서 3~4 에포크로 늘렸습니다.
• 희귀 값 그룹화: 점수를 +0.04% 개선했으며, 로봇이 2~3 에포크 동안 지속되도록 도왔습니다.

또한 연구진은 로봇이 올바른 클릭을 얼마나 잘 예측하는지(Precision-Recall AUC) 측정했습니다. 희귀한 특징을 제거했을 때 이 지표가 +1.5% 상승한 반면, 단순히 속도를 늦췄을 때는 **+1.2%**만 상승했습니다.

실제 환경에서도 작동할까요?

네, 그렇습니다. 그들은 단순히 컴퓨터 시뮬레이션에 그치지 않고, 이 모델을 실제 온라인 광고 시스템에 적용했습니다. 결과는 명확했습니다:

• 광고주를 위한 총 가치가 1.88% 상승했습니다.
• 천 회 노출당 수익(RPM)이 2.02% 상승했습니다.
• 연구의 표 2에 보고된 특정 지표인 "CVR"이 3.39% 급증했습니다. (참고: 논문의 약어 목록에는 CVR이 전환율(Conversion Rate)로 정의되어 있지만, 표 2의 특정 지표는 다른 성능 지표들과 함께 "CVR"로 표시되어 있으며, 3.39%라는 수치는 해당 보고된 지표의 개선치를 나타냅니다.)

핵심 요약

연구진은 결론적으로 로봇의 조기 크래시는 너무 빨리 배워서가 아니라, 데이터가 너무 지저지고 희귀하고 약한 신호들로 가득 차 있기 때문이라고 설명합니다. 데이터를 정제하고 희귀한 항목을 제거하거나 그룹화함으로써, 로봇은 더 안정적이고 유용한 패턴을 학습할 수 있습니다. 이는 단순한 해결책이지만, 하루 만에 포기하는 로봇과 며칠 동안 계속 똑똑해지는 로봇의 차이를 만드는 결정적인 요소가 됩니다.