How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
이 논문은 디코더 전용 LLM을 사용자 표현 학습에 활용할 때 어텐션 마스킹 설계의 중요성을 규명하고, 인과적(causal) 마스크에서 양방향(bidirectional) 마스크로의 안정적인 전환을 위해 제안한 '그래디언트 가이드 소프트 마스킹(Gradient-Guided Soft Masking)' 기법이 다양한 산업적 사용자 인지 작업에서 더 높은 성능을 보임을 입증했습니다.
우리가 사용하는 챗GPT 같은 AI(Decoder-only LLM)는 기본적으로 **'한 방향으로만 읽는 독서가'**입니다.
기존 방식 (Causal Masking): 마치 일기장을 처음부터 끝까지 순서대로 읽는 것과 같습니다. "어제는 떡볶이를 먹었고, 오늘은 영화를 봤다"라는 문장을 읽을 때, AI는 '오늘'을 읽을 때 '어제'를 참고할 수는 있지만, '내일'에 일어날 일은 미리 알 수 없도록 설계되어 있습니다. 이건 글을 이어 쓰는 데는 최고지만, 그 사람의 전체적인 성향(취향)을 한눈에 파악하기에는 조금 답답한 방식이죠.
우리가 원하는 방식 (Bidirectional): 반대로, 일기장 전체를 펼쳐놓고 앞뒤 맥락을 한꺼번에 훑어보는 것입니다. "아, 이 사람은 보통 주말에는 영화를 보고 평일에는 운동을 하는구나!"라고 전체적인 패턴을 읽어내는 것이죠. 이게 바로 '사용자 이해(User Representation)'의 핵심입니다.
2. 문제점: 갑자기 눈을 뜨면 눈이 아파요! (학습의 불안정성)
그런데 문제가 하나 있습니다. 평생 한 방향으로만 글을 읽던 AI에게 갑자기 "이제부터 앞뒤를 다 봐!"라고 시키면, AI는 엄청난 혼란에 빠집니다. 마치 눈을 감고 걷던 사람에게 갑자기 눈을 번쩍 뜨고 복잡한 미로를 달리라고 하는 것과 같아서, 학습이 제대로 안 되고 갈팡질팡하게 됩니다.
3. 해결책: GG-SM (천천히, 중요한 것부터 보여주는 '스마트 안대')
이 논문의 핵심 아이디어인 **GG-SM(Gradient-Guided Soft Masking)**은 AI가 새로운 시각에 적응할 수 있도록 돕는 '스마트 안대' 역할을 합니다.
비유하자면: 처음부터 눈을 확 뜨게 하는 게 아니라, 안대를 쓰고 있다가 아주 천천히, 그리고 '중요한 부분'부터 안대를 살짝 들어 올려 보여주는 방식입니다.
어떻게 똑똑하게 보여주나요? (Gradient-Guided): AI가 공부를 하다가 "어? 이 부분은 이해하기 너무 어려운데?"라고 느끼는 지점(그래디언트/기울기)이 있습니다. GG-SM은 AI가 어려워하는 부분이나 중요한 정보가 담긴 부분부터 우선적으로 앞뒤 맥락을 볼 수 있게 안대를 조절해 줍니다.
즉, **"중요한 것부터 천천히, 눈이 적응할 시간을 주면서 전체를 보게 만드는 기술"**인 셈이죠.
4. 결과: "너, 내 취향을 정말 잘 아는구나!"
알리페이(Alipay)라는 거대한 결제 서비스의 실제 데이터를 가지고 테스트해 본 결과, 이 방식을 사용한 AI는 기존 방식보다 훨씬 뛰어난 성적을 거두었습니다.
예측력 상승: 이 사람이 다음에 어떤 물건을 살지, 어떤 영화를 좋아할지 훨씬 정확하게 맞혔습니다.
효율성: 덩치만 큰 거대 AI보다, 이 기술을 적용한 작고 영리한 AI가 훨씬 더 사람의 마음을 잘 읽었습니다. (마치 덩치만 큰 백과사전보다, 눈치 빠른 심리학자가 사람을 더 잘 파악하는 것과 같습니다.)
요약하자면!
문제: 한 방향으로만 읽던 AI에게 갑자기 전체를 보라고 하면 혼란스러워한다.
해결: AI가 공부하면서 어려워하는 부분(중요한 부분)부터 우선적으로 앞뒤 맥락을 볼 수 있게 안대를 서서히 벗겨주는 기술(GG-SM)을 만들었다.
결과: AI가 사람의 소비 패턴과 취향을 훨씬 더 깊고 정확하게 이해하게 되었다!
[기술 요약] Decoder-Only LLM의 사용자 표현 학습을 위한 어텐션 마스킹 재고
1. 문제 정의 (Problem Statement)
최근 Decoder-only 대규모 언어 모델(LLM)을 사용자 행동 데이터를 인코딩하는 '사용자 표현 학습(User Representation Learning)' 도구로 활용하려는 시도가 늘고 있습니다. 하지만 기존 연구들은 다음과 같은 한계점을 가집니다:
어텐션 마스킹 전략의 부재: Decoder-only 모델은 기본적으로 이전 토큰만 참조하는 Causal(인과적) 어텐션으로 사전 학습됩니다. 하지만 사용자 임베딩은 전체 맥락을 파악하는 Bidirectional(양방향) 어텐션이 더 효과적임에도 불구하고, 이 두 방식 사이의 최적의 전환 방법이나 마스킹 전략이 무엇인지 체계적으로 연구되지 않았습니다.
학습 불안정성: Causal 어텐션에서 Bidirectional 어텐션으로 학습 방식을 급격히 변경할 경우, 사전 학습된 가중치와 새로운 마스킹 구조 사이의 괴리로 인해 최적화(Optimization) 과정이 불안정해질 수 있습니다.
2. 제안 방법론 (Methodology)
본 논문은 Alipay의 대규모 실제 데이터를 활용하여 세 가지 마스킹 전략(Causal, Hybrid, Bidirectional)을 통합된 대조 학습(Contrastive Learning) 프레임워크 내에서 비교 분석하고, 새로운 학습 기법을 제안합니다.
핵심 제안: Gradient-Guided Soft Masking (GG-SM)
Causal에서 Bidirectional로의 부드러운 전환을 위해 GG-SM이라는 사전 웜업(Pre-warmup) 메커니즘을 제안합니다.
Gradient-Guided Warmup (t < Twarm): 학습 초기 단계에서 미래 토큰에 대한 어텐션 가중치를 단순히 여는 것이 아니라, 손실 함수(Loss)에 대한 각 토큰의 그래디언트 노름(Gradient Norm) ∥∇hjL∥을 기반으로 결정합니다. 즉, 손실 값에 큰 영향을 주는(중요한) 미래 토큰에 더 높은 가중치를 부여하여 점진적으로 시야를 넓힙니다.
Linear Scheduler (Twarm≤t<Ttotal): 웜업 단계에서 고정된 소프트 마스크를 바탕으로, 학습이 진행됨에 따라 선형적으로 완전한 양방향(Full Bidirectional) 어텐션으로 전환합니다.
Inference: 추론 시에는 완전한 양방향 마스크를 사용하여 문맥적 통합을 극대화합니다.
데이터 구성 (Training Data)
Rule-based Behavioral Trajectories (Dbehavior): 사용자의 과거 90일간의 행동 시퀀스와 이후 30일간의 미래 행동을 정렬.
LLM-synthesized Query-Answer Alignments (Dqa): LLM을 활용해 사용자의 의도를 반영한 질문(Query)과 답변(Answer) 쌍을 생성. 특히, 정렬하기 어려운 'Hard Positive' 샘플을 생성하기 위해 Inductive Feature Completion 기법을 사용함.
3. 주요 기여 (Key Contributions)
체계적 비교 연구: 동일한 대조 학습 프레임워크 내에서 Causal, Hybrid, Bidirectional 마스킹 전략이 사용자 표현 품질에 미치는 영향을 대규모 산업 데이터를 통해 최초로 체계적으로 비교했습니다.
GG-SM 알고리즘 제안: 그래디언트 정보를 활용하여 어텐션 마스크를 동적으로 조절함으로써, 학습 안정성을 높이고 양방향 표현력을 극대화하는 새로운 웜업 전략을 제시했습니다.
데이터 합성 프레임워크: 고품질의 사용자 의도 데이터를 얻기 위해 LLM의 추론 능력을 활용한 난이도 기반 데이터 합성 파이프라인을 구축했습니다.
4. 실험 결과 (Results)
Alipay의 9개 산업용 사용자 인지 벤치마크(사용자 예측, 행동 선호도, 마케팅 민감도 등)에서 평가한 결과는 다음과 같습니다:
성능 우위: 제안된 GG-SM 방식은 평균 AUC 0.7745를 기록하며, Llama-embed-nemotron(0.7357)이나 KaLM-Embedding(0.7156)과 같은 거대 범용 임베딩 모델보다 뛰어난 성능을 보였습니다.
파라미터 효율성: 훨씬 적은 파라미터를 가진 Qwen2.5-0.5B 기반 모델임에도 불구하고, 도메인 특화된 학습을 통해 거대 모델을 압도했습니다. 이는 사용자 모델링에서 모델의 크기보다 **그래디언트 기반의 어텐션 교정(Calibration)**이 더 중요함을 시사합니다.
안정적 학습: Figure 3에서 보이듯, GG-SM은 기존 스케줄러 방식보다 손실 함수(Loss)가 더 안정적으로 수렴함을 확인했습니다.
도메인 강건성: 특히 잠재적 의도 파악이 어려운 '마케팅 민감도(Marketing Sensitivity)' 영역에서 가장 높은 성능을 보이며 모델의 강건함을 입증했습니다.
5. 의의 (Significance)
본 연구는 **"Decoder-only LLM을 어떻게 하면 사용자 행동 모델링에 최적화할 것인가?"**라는 질문에 대해, 단순히 모델을 키우는 것이 아니라 어텐션 메커니즘의 구조적 전환(Masking Transition)을 어떻게 제어하느냐가 핵심임을 밝혀냈습니다. 이는 향후 LLM을 기반으로 한 추천 시스템, 개인화 마케팅, 사용자 행동 예측 모델을 설계할 때 매우 실질적이고 중요한 가이드라인을 제공합니다.