An Optimization Framework for Digital Advertising Budget Allocation Based on Multi-Objective Distributed Federated Learning and Cloud Computing

인터넷이라는 거대하고 보이지 않는 시장에서, 기업들은 매년 수십억 달러를 들여 적절한 사람에게 적절한 순간에 적절한 광고를 보여주기 위해 노력합니다. 이것이 바로 사람들이 무엇을 클릭하고, 시청하고, 구매하는지에 대한 방대한 양의 데이터에 의해 움직이는 디지털 광고 분야입니다. 오랫동안 이 지출을 관리하는 가장 효과적인 방법은 그 모든 사용자 데이터를 하나의 거대한 중앙 컴퓨터로 모으는 것이었습니다. 그러나 이 방식은 한계에 부로착했습니다. 현재의 개인정보 보호법은 기업이 개인 정보를 축적하는 것을 엄격히 금지하고 있으며, 데이터의 엄청난 양은 중앙 컴퓨터가 처리하기에 너무 느리고 비용이 많이 들게 만들었습니다. 게다가 소셜 미디어 네트워크나 검색 엔진과 같은 서로 다른 광고 플랫폼들은 종번 다른 데이터 언어를 사용하기 때문에, 이들의 통찰력을 결합하는 것이 어렵습니다. 현대 기업들의 과제는 사용자 자신의 사적인 세부 사항을 전혀 보지 않으면서도, 이 흩어진 정보로부터 학습하여 예산을 현명하게 집행할 방법을 찾는 것입니다.

한 연구팀은 이 퍼즐을 풀기 위한 새로운 시스템을 개발했는데, 이는 광고를 위한 안전하고 분산된 두뇌처럼 작동합니다. 이들의 방식은 사용자 데이터를 중앙 허브로 보내는 대신, 각 광고 플랫폼의 로컬 서버에 그대로 둡니다. 이 로컬 서버들은 사용자의 행동을 이해하기 위해 각자의 작은 모델을 훈련시키지만, 원시 데이터 자체가 아니라 그들이 배운 교훈, 즉 모델의 수학적 가중치만을 공유합니다. 연합 학습(federated learning)이라고 알려진 이 과정은 많은 서로 다른 플랫폼이 단 한 명의 사용자의 사적인 기록도 노출하지 않고 공동의 지능을 개선하며 협력할 수 있게 해줍니다. 이를 현실 세계에서 구현하기 위해, 연구진은 클라우드 컴퓨팅을 사용하여 이러한 분산된 노력을 조정하는 프레임워크를 구축하였으며, 이를 통해 시스템이 빠르고 안전하며 실시간으로 복잡한 결정을 내릴 수 있도록 보장했습니다.

이 새로운 프레임워크의 핵심은 두 가지 어려운 유형의 의사결정을 동시에 수행하도록 설계된 이중 엔진 시스템입니다. 첫 번째 엔진은 시스템이 광고의 불확실성을 이해하도록 돕는 학습 알고리즘입니다. 과거에 컴퓨터는 광고 캠페인의 평균적인 결과를 추측했지만, 이 새로운 방법은 위험과 예상치 못한 상황을 포함한 가능한 결과의 전체 범위를 학습합니다. 이를 통해 시스템은 미래가 불확실할 때 더 안전한 베팅을 할 수 있습니다. 두 번째 엔진은 숙련된 재무 설계사처럼 작동하는 최적화 도구입니다. 이 도구는 단순히 돈을 쓰는 단 하나의 최선의 방법만을 찾는 것이 아니라, 여러 목표를 동시에 조절합니다. 투자 수익을 극대화하고, 광고 클릭 수를 늘리며, 비용을 낮게 유지하는 동시에, 오늘 보여준 광고가 내일 사용자의 행동에 어떤 영향을 미칠지, 혹은 한 플랫폼에서의 캠페인이 다른 플랫폼에 어떤 영향을 미칠지까지 고려합니다. 이러한 상충하는 우선순위들을 조율함으로써, 시스템은 인간 기획자가 놓칠 수 있는 완벽한 균형을 찾아냅니다.

이 복잡한 시스템이 실제로 작동하는지 테스트하기 위해, 연구진은 두 개의 대규모 실제 광고 클릭 데이터셋을 사용하여 광범위한 시뮬레이션을 실행했습니다. ADAC 데이터셋은 주요 이커머스 플랫폼의 2천만 개 기록을 포함하고 있었고, CTRD 데이터셋은 다양한 온라인 소스로부터 얻은 10만 개의 기록을 보유하고 있었습니다. 그들은 자신들의 새로운 방법을 기존의 여러 접근 방식, 즉 오래된 중앙 집중식 시스템 및 다른 현대적인 개인정보 보호 기술들과 비교했습니다. 결과는 놀라웠습니다. 새로운 프레임워크는 ADAC 데이터셋에서 99.4%, CTRD 데이터셋에서 99.1%의 정확도를 달성했으며, 이는 기존의 최고 수준의 방법들을 상당한 차이로 앞선 것으로, 최첨단 대안들보다 3.4%에서 6.7%까지 향상된 수치였습니다. 경제적 관점에서, 이 시스템은 광고비 대비 수익률(ROAS) 4.85를 생성할 수 있음을 입증했는데, 이는 1달러를 지출할 때마다 거의 5달러의 매출이 발생했음을 의미합니다. 또한 신규 고객 획득 비용을 단 12.40달러로 낮추었는데, 이는 대안들보다 훨씬 더 나은 수치였습니다. 이러한 경제적 지표들은 원래의 데이터셋에 명시적인 수익 정보가 없었기 때문에 보정된 수익 시뮬레이션 모델을 사용하여 도출되었습니다.

이 시스템이 이론적으로만 작동하는 것이 아니라, 인터넷의 무질서한 현실에서도 견딜 만큼 강력하다는 점은 매우 중요한 발견 중 하나였습니다. 연구진은 참여하는 플랫폼 중 최대 30%가 프로세스 도중 실패하거나 오프라인 상태가 되는 시나리오를 시뮬레이션했습니다. 이러한 가혹한 조건에서도 시스템의 성능은 아주 미미하게만 하락하여, 글로벌 네트워크의 불안정성을 견뎌낼 수 있음을 증명했습니다. 그들은 또한 한 플랫폼의 사용자들이 다른 플랫폼과 매우 다르게 행동하는 흔한 문제인 데이터 유형의 차이를 어떻게 처리하는지도 테스트했습니다. 새로운 방법은 이러한 차이에 빠르게 적응하며, 기존 시스템이 어려움을 겪었던 부분에서도 높은 정확도를 유지했습니다. 이 연구는 보안 데이터 공유와 고급 수학적 계획을 결합함으로써, 더 수익성이 높을 뿐만 아니라 사용자 프라이버시를 존중하면서 동시에 수천 개의 서로 다른 네트워크를 처리할 수 있는 광고 시스템을 만드는 것이 가능하다는 것을 확인시켜 주었습니다.

연구진은 이러한 결과가 매우 유망하지만, 이는 공개된 웹에서의 실제 캠페인이 아닌 엄격한 컴퓨터 시뮬레이션을 통해 얻어진 것임을 주의 깊게 언급했습니다. 시스템은 실제 클라우드 서버와 광고 네트워크의 동작을 모방한 통제된 환경에서 테스트되었으며, 이를 통해 팀은 모든 변수를 정밀하게 측정할 수 있었습니다. 그들은 시스템이 정점에 도달하기 위해 특정 양의 컴퓨팅 파워가 필요함을 발견했으며, 속도와 비용의 균형을 맞춘 최적의 설정을 식별해 냈습니다. 또한 연구는 프라이버시 보호 방식부터 불확실성을 처리하는 방식에 이르기까지, 그들의 새로운 프레임워크의 모든 구성 요소가 성공에 결정적인 역할을 했다는 점을 강조했습니다. 어떤 단일 부분이라도 제거하면 시스템의 성능이 저하되었으며, 이는 전체가 부분의 합보다 크다는 것을 입증했습니다.

궁극적으로, 이 연구는 디지털 광고 산업에 새로운 길을 제시합니다. 이는 기업들이 사용자 프라이버시를 보호하는 것과 효과적인 마케팅 캠페인을 운영하는 것 사이에서 선택을 고민할 필요가 없음을 보여줍니다. 학습이 로컬에서 일어나고 통찰력만이 공유되는 분산형 접근 방식을 사용함으로써, 이 시스템은 중앙 집중식 모델이 따라올 수 없는 수준의 지능을 달성합니다. 결과에 따르면, 미래의 광고 예산은 마치 직관적인 것처럼 정밀하게 할당될 수 있으며, 이는 사용자의 개인 데이터를 전혀 볼 필요 없이 수백만 명의 집단적 행동으로부터 학습하는 시스템에 의해 구동될 것입니다. 이 프레임워크는 데이터의 가치를 창출하는 사람들의 신뢰를 훼손하지 않으면서도 데이터의 가치를 극대화하는, 더 효율적이고 안전하며 지능적인 디지털 경제를 향한 중요한 진전입니다.