💻 computer science

FedCGR: Federated Cross-Domain Generative Recommendation

FedCGR은 공공 메타데이터로부터 유도된 이산적 의미론적 ID(semantic ID)로 아이템을 표현함으로써 데이터 프라이버시와 희소성 제약을 극복하고, 공유된 어휘를 통해 도메인 간 정렬을 가능하게 하며, 신뢰도 인식 인터페이스와 프로토타입 개인화 집계(prototype-personalized aggregation)를 사용하여 로컬 협업 신호를 효과적으로 통합하고 부정적 전이(negative transfer)를 완화하는 연합 교차 도메인 생성 추천 프레임워크이다.

원저자: Zhuodong Liu, Hugen Lv, Xiangyu Li, Bohan Guo, Peiyu Hu

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhuodong Liu, Hugen Lv, Xiangyu Li, Bohan Guo, Peiyu Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 다음번에 좋아할 만한 영화나 노래를 제안해 주는 초지능형 추천 엔진을 구축하려고 한다고 상상해 보세요. 보통 이런 엔진은 당신의 취향을 배우기 위해 당신이 클릭했던 모든 기록을 확인해야 합니다. 하지만 현실 세계에서 당신의 데이터는 여러 앱과 기업에 흩어져 있으며, 개인정보 보호법(그리고 상식) 때문에 아무도 타인의 개인적인 이력을 함부로 가져갈 수 없습니다. 여기서 하나의 퍼즐이 생깁니다. 어떻게 하면 개인의 리스트를 직접 보지 않고도, "매운 음식"을 좋아하는 사람이 "매운 음악"도 좋아할 수 있다는 것을 시스템이 이해하도록 가르칠 수 있을까요?

이것이 바로 연합 학습(Federated Learning, 원본 데이터를 공유하지 않고 함께 모델을 학습시키는 것)과 교차 도메인 추천(Cross-Domain Recommendation, 한 영역의 지식을 다른 영역을 돕는 데 사용하는 것)이 직면한 과제입니다. 이 논문은 이 문제의 아주 까다로운 버전을 다룹니다. 만약 컴퓨터가 아이템을 설명하기 위해 사용하는 '언어'가 도메인마다 완전히 다르다면 어떨까요? 이는 마치 프랑스 요리사가 사용하는 '소금'과 '열기'라는 단어를 일본 요리사가 사용하는 단어와 연결하려는 것과 같습니다. 저자들은 모두가 동의할 수 있는 공유되고 안정적인 사전을 만듦으로써 이 문제를 해결하는 새로운 방법을 제안합니다. 각 요리사는 자신의 비밀 가족 레시피를 여전히 비공개로 유지하면서 말이죠.

문제점: "번역 오류"의 딜레마

추천 시스템의 세계에서 컴퓨터는 종래에 사용자 행동의 패턴을 살펴봄으로써 학습을 시도합니다. 하지만 이 학습을 여러 회사에 걸쳐 분산시키게 되면(연합 학습), 상황은 엉망이 됩니다. 보통 두 개의 서로 다른 세계(예: "식료품"과 "스포츠")를 연결하기 위해서는 두 곳 모두에서 활동하는 사용자와 같은 공통 분모를 찾아야 합니다. 하지만 개인정보 보호가 강조되는 환경에서는 이러한 중복 사용자가 매우 드물거나 숨겨져 있습니다.

이 문제를 해결하려는 이전의 시도들은 종종 컴퓨터들이 내부적인 "생각"(임베딩)을 일치시키도록 강요했습니다. 하지만 저자들은 이것이 두 개의 서로 다른 지도를 눈을 가늘게 뜨고 바라보며 비슷해 보일 때까지 맞추려는 것과 같다고 주장합니다. 만약 "지도"가 약간만 달라도 추천 결과는 엉망이 됩니다.

해결책: 공유된 "비밀 코드"

저자인 류줘동(Zhuodong Liu)과 그의 팀은 FedCGR(Federated Cross-Domain Generative Recommendation)을 선보였습니다. 이들의 핵심 아이디어는 엉망인 개인의 생각을 정렬하려고 애쓰는 대신, 먼저 공유된 안정적인 언어에 합의하는 것입니다.

세상의 모든 제품(토스터, 러닝화, 커피 봉지 등)에 알파벳으로 된 고유하고 짧은 코드, 즉 바코드와 같은 코드가 부여된다고 상상해 보세요. 이 코드는 누가 그것을 샀느냐가 아니라, 아이템의 공개된 설명(제목, 카테ка고리, 특징)을 기반으로 생성됩니다. 이것을 **시맨틱 ID(Semantic ID, SID)**라고 부릅니다.

마법 같은 점: 이 코드는 공개된 텍스트를 기반으로 하기 때문에, 식료품점의 "토스터"와 주방 용품점의 "토스터"는 정확히 같은 코드를 갖게 됩니다. 이는 아무도 개인적인 쇼핑 리스트를 공유할 필요 없이 모두가 동의할 수 있는 보편적인 사전을 만들어냅니다.

FedCGR의 작동 방식: "신뢰하되 검증하라" 시스템

이제 모두가 같은 코드 언어를 사용하게 되었으므로, 팀은 두 가지 새로운 문제를 해결해야 했습니다.

"정적 사전" 문제: 사전(코드)이 일관성을 유지하기 위해 고정되어 있다면, 시스템은 사전 자체로부터 새로운 "뉘앙스"를 배울 수 없습니다. 로컬의 색채를 더할 방법이 필요합니다.
"잘못된 번역" 문제: 만약 단순히 모든 도메인의 훈련 데이터를 무작정 섞어버린다면(FedAvg라고 불리는 표준 방식), 도메인 간의 차이(예: "스포츠"와 "뷰티")가 모델을 혼란스럽게 하여 혼자 학습했을 때보다 오히려 성능을 떨어뜨릴 수 있습니다. 이를 **부정적 전이(negative transfer)**라고 합니다.

FedCGR은 두 가지 영리한 트릭으로 이를 해결합니다.

1. "신뢰도 인지형" 주입 (The "Reliability-Aware" Injection)
고정된 SID 코드를 아이템의 '골격'이라고 생각하십시오. 하지만 골격만으로는 사용자가 실제로 그 아이템을 좋아하는지 알 수 없습니다. 여기에 "살"을 붙이기 위해, 각 로컬 컴퓨터(클라이언트)는 자신만의 비공개 데이터를 바탕으로 작은 힌트를 추가합니다.

하지만 모든 힌트가 좋은 것은 아닙니다. 아이템이 매우 인기 있다면 힌트는 강력하지만, 아주 희귀한 아이템이라면 힌트는 노이즈(잡음)가 될 수 있습니다.
FedCGR은 **신뢰도 게이트(confidence gate)**를 사용합니다. 시스템은 "이 로컬 힌트를 믿을 수 있는가?"라고 묻습니다. 아이템이 로컬에서 인기가 있다면 힌트를 받아들입니다. 반대로 아이템이 생소하다면 힌트를 억제합니다. 이를 통해 시스템은 로컬 데이터가 신뢰할 수 있을 때만 사용함으로써, "노이즈"가 공유 모델을 망치는 것을 방지합니다.

2. "개인화된 팀" (프로토타입 집계/Prototype Aggregation)
모든 도메인이 하나의 단일한 "평균" 모델에 동의하도록 강요하는 대신, FedCGR은 스마트한 팀 리더처럼 행동합니다.

시스템은 각 도메인의 "성격"(수학적 요약인 프로토타입)을 살펴봅니다.
만약 "식료품" 도메인이 "주방" 도메인과 매우 유사하다면, 시스템은 두 도의 지식을 많이 섞습니다.
만약 "식료품"이 "스포츠"와 매우 다르다면, 시스템은 그들의 지식을 분리하여 유지하고 정말로 보편적인 부분만을 공유합니다.
이는 생물학과 화학 전공 학생들이 서로 깊게 노트를 공유하는 반면, 미술사 전공 학생은 일반적인 학습 팁만 공유하며 자신의 구체적인 미술 지식은 비공개로 유지하는 스터디 그룹과 같습니다.

연구 결과

팀은 실제 아마존 데이터(식품, 주방, 뷰티, 스포츠, 식료품 등의 도메인을 혼합)를 사용하여 6가지 시나리오에서 FedCGR을 테스트했습니다.

더 뛰어난 성능: FedCGR은 다른 연합 학습 방식들을 지속적으로 앞질렀습니다. 도메인이 매우 달랐던 가장 혼란스러운 혼합 시나리오에서도, 표준 방식에 비해 추천 정확도를 거의 20% 향able 개선했습니다.
콜드 스타트 해결: 이력이 거의 없는 새로운 사용자들을 위한 "콜드 스타트" 문제에 대해서도, 공유된 SID 언어가 견고한 토대를 제공하여 데이터가 많지 않아도 좋은 예측을 할 수 있도록 도왔습니다.
트레이드오프(절충점): 이 시스템은 개인화된 요약본을 보내기 때문에 컴퓨터 간의 통신량이 약간 더 많습니다(라운드당 약 18% 더 많은 데이터 전송). 하지만 더 빠르게 학습하고 실수를 피하기 때문에, 결과적으로 전체적인 총 통신량은 더 적게 들면서 목표에 도달할 수 있습니다.

핵심 요약

FedCGR은 스마트한 추천을 얻기 위해 프라이버시를 희생할 필요가 없다는 것을 보여줍니다. 아이템에 대한 안정적이고 공개된 "코드"에 합의하고, 신뢰할 수 있는 경우에만 로컬 지식을 신중하게 섞음으로써, 누구의 비밀도 드러내지 않고도 모두로부터 배울 수 있는 시스템을 구축할 수 있습니다. 이는 복잡하고 프라이버시가 중요한 문제를, 모두가 같은 언어를 사용하면서도 각자의 비밀은 안전하게 지키는 깔끔하고 협력적인 게임으로 바꾸어 놓았습니다.

기술 요약: FedCGR

문제 정의

교차 도메인 추천(Cross-domain recommendation, CDR)은 관련 있는 도메인 간에 선호도 지식을 전이하여 데이터 희소성 및 콜드 스타트 문제를 완화하는 것을 목표로 합니다. 그러나 페더레이티드 러닝(Federated Learning, FL) 환경에서 CDR을 배포하는 것은 근본적인 긴장 관계를 유발합니다. 전통적인 CDR은 도메인 간 아이템 공간을 정렬하기 위해 중첩된 사용자, 공생 그래프(co-occurrence graphs) 또는 공유된 상호작용 신호와 같은 "행동적 앵커(behavioral anchors)"에 의존합니다. 그러나 페더레이티드 환경에서는 이러한 앵커가 희소하거나, 사용 불가능하거나, 혹은 개인정보 보호 문제로 인해 접근할 수 없습니다. 왜냐하면 원시 사용자 상호작용 데이터는 각 클라이언트(예: 플랫폼 또는 사업 단위)에 로컬로 보유되어 중앙 집중화될 수 없기 때문입니다.

기존의 페더레이티드 CDR 방법들은 주로 프라이빗하고 연속적인 표현 공간을 정렬하려고 시도하는 판별적(discriminative) 방식입니다. 이는 프라이버시와 정렬 효과성 사이의 결합을 초래합니다. 즉, 클라이언트의 프라이빗 임베딩을 강제로 정렬하게 되면 도메인 이질성 하에서 부정적 전이(negative transfer)가 발생하거나, 공유된 행동 신호의 부재로 인해 정렬에 실패하게 됩니다. 시맨틱 ID(Semantic IDs, SIDs)를 사용하는 **생성적 추천(Generative Recommendation)**은 공개된 메타데이터를 기반으로 통일된 아이템 언어를 제공하지만, SID 기반 생성기를 직접 페더레이티드하는 데에는 두 가지 새로운 제약이 따릅니다:

시맨틱 전용 병목 현상(The Semantic-Only Bottleneck): 클라이언트 간의 토큰 일관성을 유지하려면 SID 토크나이저가 고정되어 있어야 합니다. 이는 로컬에서 독립적으로 학습된 CF 임베딩은 좌표가 정렬되지 않기 때문에, 도메인 특화된 협업 필터링(CF) 신호를 전역적으로 공유하는 것을 방해합니다.
집계 시의 부정적 전이(Negative Transfer in Aggregation): 표준 페더레이티드 평균화(FedAvg)는 도메인 이질성 하에서의 자기회귀적(autoregressive) SID 생성에 부적합합니다. 초기 토큰 분포의 섭동(perturbation)은 생성 과정 전체에 영향을 미쳐, 도메인이 행동적으로 서로 다를 경우 부정적 전이를 일으킵니다.

방법론: FedCGR

저자들은 "아이템 언어"를 안정적으로 유지하면서 적응을 명시적으로 만드는 프레임워크인 FedCGR(Federated Cross-Domain Generative Recommendation)을 제안합니다. 이 아키텍처는 두 개의 결합된 메커니즘으로 구성됩니다:

1. 신뢰도 인식 시맨틱 인터페이스 (Reliability-Aware Semantic Interface)

이 구성 요소는 프라이버시를 침해하지 않으면서 로컬 CF 증거를 안정적인 SID 표현에 주입함으로써 시맨틱 전용 병목 현상을 해결합니다.

안정적인 SID 어휘집(Stable SID Vocabulary): 잔차 양자화 VAE(Residual Quantization VAE, RQ-VAE) 토크나이저를 공개된 아이템 측 메타데이터(제목, 카테고리, 설명)에 대해 사전 학습시킨 후, 페더레이티드 학습 동안 **고정(frozen)**합니다. 이를 통해 모든 클라이언트에서 동일한 SID 토큰이 동일한 시맨틱 영역을 가리키도록 보장합니다.
로컬 CF 추출: 각 클라이언트는 프라이빗 상호작용에 대해 경량 순차 모델(예: SASRec)을 독립적으로 학습시켜 로컬 CF 아이템 임베딩을 생성합니다. 이 임베딩은 절대 공유되지 않습니다.
잔차 융합(Residual Fusion): 사용자 시퀀스의 각 아이템에 대해, 입력 표현은 SID 토큰 임베딩과 잔차 CF 신호의 합으로 구성됩니다.
- 아이템 레벨 신뢰도 ( $\rho$ ): 로컬 상호작용 빈도에 기반한 신뢰도 점수가 CF 임베딩의 신뢰성을 결정합니다. 빈도가 높은 아이템은 높은 가중치를 부여받고, 롱테일 아이템은 노이즈를 억제하기 위해 가중치가 낮아집니다.
- 클라이언트 로컬 게이트 ( $g_i$ ): 학습 가능한 게이트가 도메인 수준에서 CF 증거의 전체 기여도를 조절합니다.
- 어댑터(Adapter): 로컬 행동 어댑터는 클라이언트 특화 CF 임베딩 공간을 생성기의 은닉 공간으로 매핑합니다.
학습 전용 정규화(Training-Only Regularization): 학습 중에 로컬 밀집 예측 헤드가 사용되어, 신뢰도 가중치가 적용된 InfoNCE 손실을 통해 공유 인코더가 신뢰할 수 있는 CF 증거를 보존하도록 장려하지만, 이 헤드는 추론 시에는 폐기됩니다.

2. 프로토타입 개인화 페더레이티드 생성기 (Prototype-Personalized Federated Generator)

이 구성 요소는 균등한 집계를 넘어섬으로써 부정적 전이를 해결합니다.

공유-프라이빗 전문가 아키텍처(Shared-Private Expert Architecture): 생성기는 공유 전문가(페더레이션에 참여)와 프라이빗 전문가(로컬에 유지)를 포함하는 혼합 전문가(Mixture-of-Experts, MoE) 블록을 채택합니다. 이를 통해 일반적인 패턴을 학습하는 동시에 도메인 특화된 역량을 유지할 수 있습니다.
도메인 프로토타입(Domain Prototypes): 클라이언트는 로컬 데이터의 인코더 메모리로부터 압축된 도메인 프로토타입을 계산합니다. 이 프로토타입은 도메인의 행동 분포를 요약하는 역할을 합니다.
유사도 인식 집계(Similarity-Aware Aggregation): FedAvg 대신, 서버는 프로토타입 개인화 집계를 수행합니다. 타겟 도메인을 위한 공유 파라미터는 모든 클라이언트의 파라미터를 가중 합산하여 집계되는데, 이때 가중치는 타겟 도메인의 프로토타입과 소스 도메인의 프로토타입 사이의 코사인 유사도에 의해 결정되며 데이터 볼륨에 의해 조정됩니다. 이는 행동적으로 연관된 도메인으로부터 주로 지식이 전이되도록 보장합니다.

주요 기여

정식화(Formulation): 본 논문은 공개 메타데이터가 공유 어휘를 정의하고 원시 상호작용은 로컬에 머무는, 안정적인 시맨틱 아이템 언어 상의 생성을 통한 페더레이티드 CDR을 정식화합니다.
프레임워크 설계: FedCGR은 신뢰도 게이트가 적용된 잔차를 통해 로컬 CF 증거를 주입함으로써 시맨틱 전용 병목 현상을 해결하는 신뢰도 인식 시맨틱 인터페이스를 도입합니다.
개인화된 집계: 도메인 프로토타입을 사용하여 공유 파라미터를 선택적으로 집계함으로써, 이질적인 페더레이티드 환경에서의 부정적 전이를 완화하는 프로토타입 개인화 생성기를 제안합니다.
실증적 검증: 6개의 Amazon 교차 도메인 시나리오에 대한 광범적인 실험을 통해 FedCGR이 페더레이티드 생성형 베이스라인보다 우수하며, 강력한 순차적 및 페더레이티드 판별적 CDR 방법들과 경쟁할 수 있음을 입증했습니다.

실험 결과

저자들은 도메인 연관성(높은 친밀도부터 낮은 친밀도까지)이 다양한 5개 Amazon 도메인(Food, Kitchen, Grocery, Beauty, Sports)을 포함하는 6개 시나리오에서 FedCGR을 평가했습니다.

페더레이티드 베이스라인 대비 성능: FedCGR은 페더레이티드 생성형 베이스라인(TIGER+FedAvg, TIGER+FedProx) 및 페더레이티드 판별적 방법(FedDCSR, FedSASRec)보다 일관되게 우수한 성능을 보였습니다. 가장 이질적인 4-도메인 시나리오(GKBS)에서, FedCGR은 TIGER+FedProx 대비 N@10을 19.4%, FedDCSR 대비 22.4% 향상시켰습니다.
비-페더레이티드 대비 성능: FedCGR은 비-페더레이티드 판별적 베이스라인(SASRec, GRU4Rec)에 대해 경쟁력 있는 성능을 달성했으며, 프라이버시 제약에도 불구하고 희소하거나 이질성이 높은 시나리오에서 종종 이들을 능가했습니다.
콜드 스타트 분석: 안정적인 SID 어휘집은 콜드 스타트 사용자(상호작용이 적은 사용자)에게 강력한 기초를 제공한 반면, 신뢰도 인식 CF 잔차는 사용자 활동이 증가함에 따라 점진적인 이점을 제공했습니다.
효율성: FedCGR은 공유 전문가로 인해 매 라운드 통신 비용이 약간 더 높지만(약 18% 더 많은 파라미터), 더 빠르게 수렴합니다. 목표 정확도에 도달하는 데 필요한 총 통신 예산은 FedAvg 베이스라인에 비해 34–45% 감소했습니다.

의의 및 주장

본 논문은 행동 데이터를 프라이빗한 행동 데이터에서 공개적이고 안정적인 시맨틱 어휘로 전환함으로써, 페더레이티드 프라이버시와 교차 도메인 정렬 사이의 긴장을 성공적으로 해결했다고 주장합니다.

저자들은 절제 연구(ablation studies)를 통해 밝혀진 특정 "교차 패턴"을 강조합니다:

**고친밀도 시나리오(유사한 도메인)**에서는 도메인 특화된 협업 행동을 복구하는 것이 주요 병목 현상이므로, 신뢰도 인식 CF 인터페이스가 핵심 구성 요소가 됩니다.
**고이질성 시나리오(서로 다른 도메인)**에서는 부정적 전이가 주요 병목 현상이므로, 프로토타입 개인화 집계가 구속 조건이 됩니다.

이 연구는 페더레이티드 생성형 추천이 효과적으로 작동하기 위해서는 단순히 공유된 토큰 공간뿐만 아니라, 신뢰도 인식 행동 주입 및 유사도 인식 파라미터 공유 메커니즘이 필요함을 보여줍니다. 코드는 공개되어 있으며, 이 프레임워크는 조직적으로 분리된 데이터 사일로 간의 크로스-사일로(cross-silo) 페더레이티드 추천을 위한 견고한 솔루션으로 제시됩니다.