Beyond Interleaving: Causal Attention Reformulations for Generative Recommender Systems

이 논문은 기존 생성형 추천 시스템의 비효율적인 토큰 인터리빙 방식을 개선하여, 아이템과 행동 간의 인과 관계를 명시적으로 모델링하는 새로운 아키텍처 (AttnLFA, AttnMVP) 를 제안함으로써 성능을 향상시키고 학습 시간을 단축하는 것을 목표로 합니다.

핵심

📱 추천 알고리즘의 새로운 혁신: "섞지 않고" 더 똑똑하게

이 논문은 우리가 매일 사용하는 유튜브, 인스타그램, 링크드인 같은 앱의 **'추천 시스템'**이 어떻게 작동하는지에 대한 근본적인 문제를 지적하고, 더 효율적인 새로운 방법을 제안합니다.

저자 (Hailing Cheng) 는 기존의 방식이 마치 **"혼란스러운 파티"**처럼 비효율적이라고 말합니다. 대신 **"명확한 인과 관계"**를 따르는 새로운 방식을 제안했습니다.

---

1. 기존 방식의 문제: "섞어 먹기" (Interleaving) 의 함정

기존의 최신 추천 시스템 (예: 메타의 HSTU) 은 사용자의 행동을 예측할 때, **'아이템 (영상, 상품)'**과 **'사용자 행동 (좋아요, 클릭)'**을 하나의 긴 줄에 서로 섞어서 (Interleaving) 나열합니다.

🍳 비유: 샐러드와 스프
Imagine you are making a soup.

• 기존 방식: 양파, 당근, 소금, 후추, 고기, 다시마를 다 잘게 썰어서 하나의 큰 냄비에 섞어 끓입니다.
• 문제점:
  1. 양이 두 배: 재료가 두 배로 늘어나서 냄비가 커지고, 끓이는 데 시간이 오래 걸립니다 (계산 비용 증가).
  2. 맛이 섞임: "고기가 소금과 잘 어울린다"는 사실은 알 수 있지만, "양파가 소금과 섞이면 맛이 이상해진다"는 것을 AI 가 구분하기 어렵습니다. AI 는 모든 재료가 서로 섞여 있다고 착각해서, 고기가 양파와 섞인 맛을 배우게 됩니다. 이를 논문에서는 **'주의 산란 (Attention Noise)'**이라고 부릅니다.
  3. 인과 관계 흐려짐: "내가 이 영상을 보고 '좋아요'를 눌렀다"는 명확한 인과 관계가, "이 모든 것들이 한 줄에 섞여 있다"는 식으로 흐릿해집니다.

2. 새로운 해결책: "명확한 인과 관계" (Causal Attention)

이 논문은 **"아이템이 먼저 있고, 그다음에 사용자가 행동한다"**는 **인과 관계 (Cause & Effect)**를 명확히 해야 한다고 말합니다.

🍽️ 비유: 주문과 서비스

• 새로운 방식: 식당에서 **손님 (아이템)**이 먼저 메뉴를 보고, **웨이터 (사용자 행동)**가 그 메뉴에 맞춰 주문을 받습니다.
• 핵심: 웨이터는 손님이 무엇을 주문했는지 (과거의 행동) 를 기억하면서, 지금 이 손님의 메뉴에 맞춰 서비스를 제공합니다. 서로 섞이지 않고, 명확한 순서대로 처리됩니다.

이 논문은 이를 구현하기 위해 두 가지 새로운 건축 방식을 제안합니다.

🏗️ 제안 1: AttnLFA (늦은 합치기)

• 방식: 아이템과 행동 데이터를 별도의 줄로 유지하다가, 마지막 순간에 "이 아이템에 대한 과거의 반응들을 모아서" 합칩니다.
• 비유: 요리사가 재료를 따로 준비해 두다가, 마지막에 국물 (아이템) 에 맞춰 소금과 향신료 (과거 행동) 를 넣는 방식입니다.
• 효과: 계산 속도가 빨라지고 (23% 단축), 더 정확한 맛을 냅니다.

🏗️ 제안 2: AttnMVP (혼합 값 풀링) - 더 발전된 버전

• 방식: 아예 처음부터 아이템을 학습할 때, 과거의 행동 신호를 섞어서 학습시킵니다.
• 비유: 요리사가 재료를 다듬는 과정 (학습 초기) 에서부터 "이 고기는 소금과 잘 어울리고, 이 생선은 후추와 잘 어울린다"는 것을 이미 알고 있는 상태로 재료를 다듬는 것입니다.
• 효과: AI 가 사용자의 취향 (예: "강아지 영상을 좋아한다") 을 훨씬 빠르게 파악하게 되어, 정확도가 더 높아지고 (0.8% 향상), 학습 시간도 12% 줄어듭니다.

3. 왜 이것이 중요한가요? (결과)

이 새로운 방식을 적용한 결과, 기존 방식보다 다음과 같은 이점이 있었습니다:

1. 더 빠름: GPU 가 덜 일해서 전기도 아끼고, 서버 비용이 줄어듭니다. (계산량 50% 감소 효과)
2. 더 정확함: 사용자가 무엇을 원할지 더 정확하게 예측합니다. (오류율 감소)
3. 더 깔끔함: AI 가 헷갈리지 않고, "이 영상 때문에 이 클릭이 나왔다"는 인과 관계를 명확히 이해합니다.

4. 결론: "섞지 말고, 연결하라"

이 논문은 **"무조건 다 섞으면 좋은 게 아니다"**라고 말합니다.
추천 시스템은 **아이템 (원인)**과 행동 (결과) 사이의 명확한 연결고리를 유지하면서, 과거의 경험을 바탕으로 미래를 예측해야 합니다.

🚀 한 줄 요약:
기존의 추천 시스템은 "모든 것을 한 냄비에 섞어서 끓이는" 비효율적인 방식이었다면, 이 논문은 "원인과 결과를 명확히 구분하고, 과거의 경험을 지혜롭게 활용하는" 더 똑똑하고 빠른 방식을 제안합니다.

이 기술이 적용되면, 앞으로 우리가 보는 추천 영상이나 상품은 더 정확해지고, 앱을 구동하는 서버는 더 가볍고 빨라질 것입니다.

기술 요약

1. 문제 정의 (Problem)

현재 산업계에서 널리 사용되는 생성형 추천 시스템 (Generative Recommenders, GR) 은 Meta 의 HSTU(Hierarchical Sequential Transduction Units) 아키텍처와 같이, **아이템 (Item) 토큰과 사용자 행동 (Action) 토큰을 번갈아 배치하는 방식 (Interleaving)**을 사용합니다. 즉, 시퀀스를 $[i_0, a_0, i_1, a_1, \dots]$ 형태로 구성합니다.

이러한 기존 방식은 다음과 같은 근본적인 한계를 가집니다:

• 의미적 이질성 (Semantic Heterogeneity): 아이템 (예: 게시물, 제품) 과 행동 (예: 클릭, 좋아요) 은 본질적으로 다른 의미 공간에 속합니다. 이를 단일 시퀀스로 섞으면 Transformer 이 서로 다른 의미 신호를 분리해내는 데 불필요한 노이즈가 발생합니다.
• 명시적 인과관계 부재: 사용자의 행동 $a_n$은 직전 아이템 $i_n$에 대한 반응이라는 인과적 구조가 명확하지 않습니다. 대신 전체 히스토리 토큰에 대해 대칭적으로 어텐션이 작용하여, 실제 인과 관계가 희석되거나 (Causal Dilution) 인위적인 상관관계가 학습됩니다.
• 계산 비효율성: 아이템과 행동 토큰을 번갈아 배치하면 시퀀스 길이가 2 배가 되어, $O(N^2)$ 복잡도를 가지는 Self-Attention 의 연산 비용과 메모리 사용량이 약 4 배 증가합니다. 이는 대규모 추천 시스템의 확장성을 저해합니다.

2. 방법론 (Methodology)

저자는 기존 Interleaving 방식을 폐기하고, **아이템 $i_n$이 행동 $a_n$을 유발한다는 인과적 구조 (Causal Structure)**를 명시적으로 모델링하는 새로운 아키텍처를 제안합니다. 핵심 아이디어는 "사용자 행동은 과거 유사한 아이템에 대한 행동들의 유사도 가중치 합 (Pooling) 으로 모델링될 수 있다"는 것입니다.

이를 위해 두 가지 주요 아키텍처를 제안합니다:

A. AttnLFA (Attention-based Late Fusion for Actions)

• 구조: 아이템 임베딩과 행동 임베딩을 별도의 스트림으로 유지합니다.
• 메커니즘:
  1. 아이템 시퀀스를 Transformer 레이어를 통과시켜 컨텍스트화된 아이템 표현을 생성합니다.
  2. 최종 레이어의 아이템 임베딩을 **Query(Q)**와 **Key(K)**로 사용합니다.
  3. 행동 임베딩을 **Value(V)**로 사용합니다.
  4. 인과적 어텐션 (Causal Attention): 현재 아이템 $i_n$은 오직 과거의 아이템들 ($i_0 \dots i_{n-1}$) 에만 어텐션할 수 있도록 엄격하게 제한됩니다. 이는 Label Leakage 를 방지하고, $i_n$과 유사한 과거 아이템들의 행동 신호를 집계 (Pooling) 하도록 합니다.
• 구현: FlashAttention 커널과 호환되도록 Query 를 한 칸 왼쪽으로 이동 (Query-shifting) 시키는 기법을 사용하여 효율적인 인과적 마스킹을 구현합니다.

B. AttnMVP (Attention-based Mixed Value Pooling)

• 구조: AttnLFA 의 아이디어를 더 확장하여, 행동 정보를 초기 (Early Fusion) 단계부터 통합합니다.
• 메커니즘:
  1. 각 Transformer 레이어에서 아이템 임베딩을 Q 와 K 로 사용합니다.
  2. Mixed Value: Value 벡터를 아이템 임베딩과 행동 임베딩의 선형 결합 ($V = H + \lambda \cdot a$) 으로 구성합니다.
  3. 이를 통해 각 레이어를 거치면서 아이템 표현에 사용자 선호도 신호가 점진적으로 주입됩니다.
  4. 최종 단계에서는 AttnLFA 와 동일한 어텐션 풀링을 수행하여 행동 예측을 생성합니다.
• 효과: "좋아하는 강아지"와 "싫어하는 고양이"와 같은 세밀한 사용자 선호도가 아이템 표현 자체에 내재화되도록 하여, 표현 학습의 효율성을 극대화합니다.

C. AttnDHN (Attention-based Dual-Helix Network, 탐구 단계)

• 아이템과 행동 스트림을 대칭적으로 교차 업데이트하는 이중 나선 구조를 제안했으나, 아이템과 행동의 의미 공간 이질성으로 인해 AttnMVP 보다 성능이 낮거나 학습 불안정성이 발생하여 현재는 탐구 단계로 남았습니다.

3. 주요 기여 (Key Contributions)

1. 인과적 재형성 (Causal Reformulation): 생성형 추천을 단순한 토큰 생성이 아닌, "아이템 조건부 행동 풀링 (Item-conditioned Action Pooling)" 문제로 재정의했습니다.
2. 새로운 아키텍처 제안: Interleaving 을 제거하면서도 Transformer 의 표현력을 유지하는 AttnLFA와 AttnMVP를 개발했습니다.
3. 이론적 근거: Interleaving 이 생성하는 어텐션 노이즈 (Attention Noise) 를 정보 이론적 관점에서 분석하고, 인과적 구조를 명시화함으로써 표현 학습의 효율성을 높였음을 증명했습니다.
4. 효율성 개선: 시퀀스 길이를 절반으로 줄여 계산 복잡도를 낮추고, 학습 시간을 단축했습니다.

4. 실험 결과 (Results)

LinkedIn 의 대규모 제품 추천 데이터 (12 개월간의 1024 개 이벤트 시퀀스) 를 사용하여 평가했습니다.

• 성능 향상:
  • AttnLFA: 평가 손실 (Eval Loss) 0.29% 감소, 정규화 엔트로피 (NE) 개선, 학습 시간 22.8% 단축.
  • AttnMVP: 평가 손실 0.80% 감소, NE 개선, 학습 시간 12.3% 단축. AttnLFA 보다 더 큰 성능 향상을 보였습니다.
• 주요 발견:
  • 행동 신호를 초기 단계에서 통합하는 것 (AttnMVP) 이 성능 향상의 주된 동인이었습니다.
  • Ablation Study 를 통해 행동 정보를 아이템 표현에 인과적으로 제약된 방식으로 융합하는 것이 핵심임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 추천 시스템의 설계 패러다임을 "토큰 인터리빙 (Interleaving)"에서 "인과적 어텐션 (Causal Attention)"으로 전환할 것을 제안합니다.

• 기술적 의의: 이질적인 토큰을 섞는 비효율적인 방식을 탈피하여, 도메인 지식 (아이템 $\to$ 행동 인과관계) 을 모델 구조에 명시적으로 반영함으로써 더 정확하고 확장 가능한 시스템을 구축할 수 있음을 보였습니다.
• 실용적 가치: 학습 및 추론 시간을 크게 단축하여 대규모 산업 환경에서의 배포 비용을 절감하면서도, 추천 정확도를 높일 수 있는 실용적인 솔루션을 제공합니다.

결론적으로, 이 연구는 생성형 추천 시스템이 단순히 LLM 아키텍처를 차용하는 것을 넘어, 추천 도메인의 고유한 인과적 특성을 반영한 구조적 혁신이 필요함을 강조합니다.