📊 statistics

Causal Representation Learning for Generalisable Recommendation

본 논문은 기존에 존재하는 혼란 로그만을 활용하여 추천 시스템의 분포 외 일반화를 개선하기 위해 정보 이론적 분리 기준을 사용하는 실용적인 인과 표현 학습 방법을 제안하며, 이는 대규모 스포티파이 A/B 테스트에서 얻은 상당한 온라인 참여도 향상과 공개 및 합성 벤치마크를 통해 검증된 주장입니다.

원저자: Yorgos Felekis, Michael O'Riordan, Oriol Corcoll, Ciarán M. Gilligan-Lee

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yorgos Felekis, Michael O'Riordan, Oriol Corcoll, Ciarán M. Gilligan-Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

음악 추천 AI 를 당신을 위해 노래를 고르도록 훈련한다고 상상해 보세요. 당신은 과거 사람들이 클릭한 수백만 건의 기록을 그에게 입력합니다. 문제는 과거의 클릭 데이터가 전 세계 모든 음악을 무작위로 추출한 표본이 아니라는 점입니다. 그것은 이전 AI 가 사람들에게 보여 주기로 결정했던 필터링된 목록과, 그 순간 사람들이 우연히 좋아했던 것들이 섞여 있는 리스트일 뿐입니다.

이는 도시에서 최고의 피자를 찾아 배우려 하지만, 배달 기사가 우연히 당신의 집으로 가져다 준 조각들만 맛볼 수 있는 상황과 같습니다. 만약 배달 기사가 당신이 피자를 좋아한다고 생각하여 항상 페퍼로니 피자를 가져온다면, 당신은 실제로 채소 피자를 좋아할지라도 그것을 본 적이 없다면 페퍼로니가 유일한 좋은 피자라고 생각하게 될지도 모릅니다.

이 논문은 **"일반화 가능한 추천을 위한 인과적 표현 학습 (Causal Representation Learning for Generalisable Recommendation)"**이라는 제목으로, 바로 이 문제를 해결합니다. 스포티파이 (Spotify) 와 협력한 저자들은 이러한 "배달 기사" 편향에 속지 않도록 추천 시스템을 훈련시키는 새로운 방법을 제안합니다.

간단한 비유를 사용하여 내용을 정리해 보겠습니다:

문제: "허위 신호 (Spurious Signal)"

데이터 세계에는 두 가지 유형의 단서가 있습니다:

실제 원인: 누군가가 노래를 좋아하는 실제 이유 (예: 재즈를 사랑함).
허위 신호: 원인으로 보이지만 실제로는 우연에 불과한 것들 (예: 노래가 재생된 이유는 사용자가 재즈를 밀어붙이기로 우연히 결정했던 이전 알고리즘이 작동하던 특정 도시에 있었기 때문임).

기존 AI 모델은 시험을 부정행위하는 학생과 같습니다. 그들은 높은 점수를 얻는 데 도움이 되는 "허위 신호"(요약 노트) 를 외웁니다. 이는 연습 시험 (훈련 데이터) 에서 높은 점수를 얻는 데 도움이 되기 때문입니다. 하지만 실제 시험 (새로운 사용자를 대상으로 한 라이브 앱) 을 치르면 요약 노트가 더 이상 적용되지 않기 때문에 실패합니다.

해결책: "인과적 풀이개 (Causal Detangler)"

저자들은 **인과적 표현 학습 (Causal Representation Learning, CRL)**이라는 방법을 제안합니다. 그들의 방법을 인과적 풀이개로 생각하세요.

그들은 AI 가 노래에 대한 "깨끗한" 표현을 학습하기를 원합니다. 이 깨끗한 버전은 사용자가 클릭하게 만드는 실제 원인 ("실제 원인") 만 포함해야 합니다. 그리고 "허위 신호"(편향) 를 적극적으로 버려야 합니다.

이를 위해 그들은 AI 가 따를 새로운 규칙을 고안했는데, 이를 **분리 기준 (Disentanglement Criterion)**이라고 부릅니다. 이 규칙을 엄격한 교사가 AI 에게 주는 두 가지 지시로 생각할 수 있습니다:

유용하게 행동하라: "사용자가 클릭할지 여부를 여전히 예측할 수 있어야 한다." (좋은 것은 유지하라).
독립적으로 행동하라: "하지만 노래만 보고 사용자의 배경이나 이전 알고리즘의 편향을 추측해서는 안 된다." (나쁜 것은 버려라).

AI 가 예측을 할 때 "요약 노트"(허위 신호) 를 사용하려 하면 이 규칙이 이를 처벌합니다. AI 는 우연한 패턴이 아니라 사람들이 음악을 좋아하는 실제 이유를 이해하는 것만이 높은 점수를 얻는 길임을 학습하게 됩니다.

어떻게 작동하는지 증명함

이 논문은 단순히 추측하는 것이 아니라, 세 가지 다른 "경기장"에서 이를 테스트했습니다:

시뮬레이션 (실험실): 그들은 어떤 단서가 진짜이고 어떤 것이 가짜인지 정확히 알고 있는 가상의 컴퓨터 세계를 구축했습니다. "인과적 풀이개" AI 는 가짜 단서를 무시하고 진짜 단서만 사용하는데 성공한 반면, 일반 AI 는 가짜 단서에 혼란을 겪었습니다.
공개 데이터셋 (교실): 그들은 KuaiRand이라는 공개 데이터셋을 사용했습니다. 이 데이터셋은 두 부분으로 나뉩니다: 하나는 심하게 편향된 부분 (오래된 배달 기사와 같음) 과 하나는 무작위인 부분 (공정한 맛보기 테스트와 같음) 입니다. 새로운 방법은 편향된 데이터에서는 기존 방법과同等한 성능을 보였지만, 공정하고 무작위인 데이터에서 테스트했을 때 훨씬 더 좋았습니다. 이는 AI 가 편향이 아니라 실제 규칙을 학습했음을 증명했습니다.
실제 세계 (경기장): 이것이 가장 중요한 부분입니다. 그들은 수백만 명의 실제 사용자를 대상으로 스포티파이에서 이를 테스트했습니다. 절반의 사용자는 기존 AI 를, 나머지 절반은 새로운 "인과적 풀이개"AI 를 받도록 하는 라이브 실험 (A/B 테스트) 을 진행했습니다.
- 결과: 새로운 AI 는 단순히 이론상으로는 좋아 보인 것이 아니라, 실제로 사람들이 더 많은 음악을 듣고 노래를 건너뛰는 횟수를 줄였습니다. 스트리밍 횟수가 0.75% 증가하고 청취 시간이 0.50% 증가했습니다.

핵심 교훈

가장 중요한 발견은 추천 시스템이 훈련된 데이터의 성능만으로는 "고장 났는지"를 판단할 수 없다는 것입니다.

이는 특정 연습 시험의 답을 외운 학생과 같습니다. 그들은 연습 시험에서 100 점을 받지만, 그것이 과목을 이해한다는 뜻은 아닙니다. 이 논문은 기존 지표가 종종 거짓말을 한다는 것을 보여줍니다. 시스템이 진정으로 똑똑한지 알 수 있는 유일한 방법은 이전 편향이 존재하지 않는 새로운 상황에서의 처리 방식을 살펴보는 것입니다.

이 "인과적 풀이개"방법을 사용하면 AI 는 노이즈를 무시하고 신호에 집중하도록 학습하여, 실제 세계를 마주했을 때 더 견고하고 효과적으로 작동합니다.

이것이 하지 않는 일

이 논문은 이 방법이 아닌 것에 대해 매우 구체적으로 명시합니다:

사용자가 다른 노래를 보았다면 클릭했을지 추측하지 않습니다 ("만약에" 시나리오 없음).
데이터를 얻기 위해 회사가 값비싼 무작위 실험을 수행할 필요가 없습니다. 이미 가지고 있는 messy 하고 편향된 로그로 작동합니다.
AI 가 사용자가 왜 재즈를 좋아하는지에 대한 깊고 숨겨진 "물리 법칙"을 이해할 필요가 없습니다. 더 나은 예측을 하기 위해 실제 이유와 가짜 이유를 분리하기만 하면 됩니다.

간단히 말해, 이 논문은 AI 가 편향의 패턴을 외우며 부정행위를 하는 것을 멈추고 사람들이 선택을 하는 실제 이유를 학습하도록 가르칩니다.

기술적 요약: 일반화 가능한 추천을 위한 인과적 표현 학습

문제 제기
추천 시스템의 예측 모델은 근본적인 일반화 격차에 직면해 있습니다. 이러한 모델들은 배포 정책, 과거 사용자 행동, 플랫폼 필터링에 의해 교란된 관찰 상호작용 로그로 훈련됩니다. 노출 편향 (exposure bias) 이라고 알려진 이 현상은 특정 정책에 의해 항목이 선택되는 훈련 데이터와 더 넓고 다른 분포를 가진 서비스 시간의 후보 집합 사이에 분포 변화를 생성합니다. 결과적으로 오프라인 지표는 종종 온라인 성능을 예측하지 못합니다. 인과적 표현 학습 (CRL) 은 인과 메커니즘을 대상으로 함으로써 원칙적인 해결책을 제시하지만, 고전적인 CRL 은 관찰 추천 로그에서 거의 충족되지 않는 강한 가정 (예: 개입 데이터, 여러 환경, 또는 알려진 앵커 변수) 을 요구합니다. 추천을 위한 기존 CRL 접근법은 라벨이 지정된 대비 쌍 (labelled contrastive pairs) 이나 특정 편향 메커니즘과 같은 복잡한 장치를 종종 의존하여 실용성을 제한합니다.

방법론
저자들은 잠재 인과 요인이나 개입 데이터의 완전한 식별을 요구하지 않고 분포 변화 하에서의 일반화를 목표로 하는 CRL 에 영감을 받은 방법을 제안합니다. 이 접근법은 관찰된 처리 $T$ (항목) 가 잠재 인과 구성 요소 $T_C$ 와 비인과 구성 요소 $T_{nC}$ 의 얽힌 혼합물인 구조적 인과 모델 (SCM) 에 기반합니다. 비인과 구성 요소는 $T \leftarrow T_{nC} \leftarrow Z \rightarrow Y$ (여기서 $Z$ 는 관찰된 교란 변수, 예: 사용자 특성, $Y$ 는 결과) 라는 허위 백도어 경로를 생성합니다.

이 방법의 핵심은 새로운 **분해 기준 (Disentanglement Criterion)**으로, 다음을 달성하도록 설계된 정보 이론적 목적 함수를 통해 표현 $g(T)$ 를 학습합니다:

유틸리티 극대화: 교란 변수 $Z$ 가 주어졌을 때 결과 $Y$ 를 예측하는 정보를 유지합니다 ( $I(g(T); Y | Z)$ ).
교란 변수 의존성 최소화: $Y$ 를 예측하는 데 필요하지 않은 교란 변수 $Z$ 와 공유되는 정보를 패널티로 부과합니다 ( $I(g(T); Z)$ ).

목적 함수는 다음과 같이 정의됩니다:
$J(g) = I(g(T); Y | Z) - \lambda I(g(T); Z)$
여기서 $\lambda \geq 0$ 은 트레이드오프를 조절합니다.

이론적 보장
이 논문은 특정 구조적 가정 하 (결과가 교란 변수가 주어졌을 때 인과적 잠재 변수를 통해서만 처리에 의존하며, 비인과적 잠재 변수는 교란 변수에 대한 고유한 허위 누출을 유지한다는 가정) 에 다음과 같이 증명합니다:

이 기준 하에서 최적의 표현은 인과적 내용을 보존하면서 비인과적 정보를 폐기합니다.
"손실 없는 영역 (lossless regime)"이 존재하며, 여기서 $\lambda$ 가 충분히 작을 경우, 압축으로 인한 패널티 감소가 유틸리티 손실을 상쇄하지 않는다면 최적의 표현은 압축 없이 완전한 인과 구성 요소 $T_C$ 를 보존합니다.

실용적 구현
상호 정보 항은 유한 데이터에서 계산이 불가능하므로, 저자들은 최적화를 위한 변분 하한을 유도합니다:

유틸리티 항: InfoNCE 추정기를 통한 하한으로 근사화됩니다 (표준 배치 내 교차 엔트로피 순위 손실과 동일).
패널티 항: NCE-CLUB 추정기를 통한 상한으로 근사화되며, 이는 결합 샘플 $(g(T), Z)$ 과 독립 샘플을 구별하도록 훈련된 적대적 비평가 네트워크를 통해 구현됩니다.
최적화: 최종 목적 함수는 상호 정보 패널티 항을 추가하는 표준 지도 학습 모델의 간단한 수정입니다. 이는 무작위화 데이터나 성향 점수 (propensity scores) 를 요구하지 않으며, 추론 시간 비용을 증가시키지 않습니다.

주요 기여

분해 기준: 인과적 내용을 보존하고 교란 변수 의존적 비인과 정보를 폐기하는 표현을 선호함이 증명된 새로운 정보 이론적 목적 함수.
실용적 변분 하한: 표준 딥러닝 구성 요소 (InfoNCE 및 NCE-CLUB) 를 사용하여 유한 관찰 데이터만으로 기준을 최적화 가능하게 만드는 유도.
배포 준비 완료 레시피: 기존 교란 로그만 필요로 하며, 분포 변화 하에서 강건성을 향상시키기 위해 표준 지도 학습 모델을 수정하는 방법.
실증적 검증: 합성 SCM, KuaiRand 벤치마크, 그리고 Spotify 의 라이브 A/B 테스트라는 세 가지 규모에 걸친 검증.

결과

합성 SCM: 이 방법은 인과적 구성 요소를 성공적으로 분리하여, 비인과적 변화에 대한 불변성 (개입 민감도가 0 에 가까움) 을 보이면서도 MAE 와 같은 예측 정확도를 기준선과 유사하게 유지합니다.
KuaiRand 벤치마크: 알고리즘적 노출 대 무작위 노출과 같이 알려진 분포 변화를 가진 실제 데이터셋에서, CRL 변형은 편향된 훈련 분포 (in-distribution AUC) 에서는 기준선과 일치했으나, 홀드아웃 무작위 노출 분할 (교란되지 않은 분포) 에서는 기준선을 크게 능가했습니다. 이는 "효과적인 강건성"을 입증합니다.
Spotify A/B 테스트: 개인화 재생 목록 생성을 위한 수백만 명의 사용자가 있는 프로덕션 환경에서, 용량이 일치된 CRL 변형은 오프라인 지표에서 프로덕션 기준선과 동등한 성능을 보였으나, 상당한 온라인 향상을 달성했습니다: 트랙 스트림 +0.75%, 재생 시간 +0.50%, 트랙 스킵 -0.61% (모두 95% 신뢰수준에서 유의함).

의의 및 주장
이 논문은 훈련 분포에 대한 표준 오프라인 평가가 종종 서비스 시간 분포로 일반화하는 모델의 능력에 대해 정보를 제공하지 못한다고 주장합니다. 제안된 방법은 허위 상관관계를 직접 억제함으로써 노출 편향의 특정 실패 모드를 해결합니다. 그 의의는 전통적인 CRL 의 무거운 요구 사항 (예: 개입 데이터 또는 복잡한 인과 그래프 식별) 없이도 강건성과 온라인 향상을 달성한다는 점에 있습니다. 결과는 표준 지도 학습 모델에 인과적 분해 목적 함수를 추가하면 프로덕션 추천 시스템에서 분포 외 (out-of-distribution) 일반화를 의미 있게 향상시켜 오프라인 지표와 온라인 성능 간의 격차를 해소할 수 있음을 시사합니다. 저자들은 실제 데이터에서 구조적 가정을 경험적으로 검증할 수 없다는 점과 현재 단일 제품 표면에서의 평가라는 한계를 지적합니다.