How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning

Technische Samenvatting: Rethinking Attention Masking for User Representation Learning

1. Het Probleem (Problem Statement)

Decoder-only Large Language Models (LLM's) worden steeds vaker ingezet als "behavioral encoders" om gebruikersprofielen (user embeddings) te leren uit complexe, heterogene data (zoals transacties, zoekopdrachten en profielinformatie). Er is echter een fundamenteel conflict in de architectuur:

• Pre-training: Decoder-only modellen worden getraind met causale aandacht (causal attention), waarbij tokens alleen naar het verleden kunnen kijken. Dit is ideaal voor tekstgeneratie, maar beperkt de contextuele integratie voor representatie-taken.
• Representatie-taken: Voor het begrijpen van een gebruiker is bidirectionele aandacht (bidirectional attention) — waarbij alle signalen in een sequentie elkaar kunnen beïnvloeden — superieur.
• De kloof: Het direct overstappen van causale naar bidirectionele aandacht tijdens het finetunen veroorzaakt instabiliteit in de training en leidt vaak tot suboptimale embeddings. Er is tot nu toe geen systematisch onderzoek geweest naar hoe verschillende attention masking strategieën (causaal, hybride of bidirectioneel) de kwaliteit van gebruikersrepresentaties beïnvloeden binnen een contrastief leerkader.

2. Methodologie (Methodology)

De auteurs introduceren een framework dat decoder-only LLM's aanpast voor gebruikersmodellering via een dual-tower contrastieve leerarchitectuur.

A. Training Data:
Ze maken gebruik van twee soorten data van Alipay:

1. Rule-based Behavioral Trajectories ($D_{behavior}$): Sequenties van gebruikersgedrag gekoppeld aan toekomstige acties.
2. LLM-synthesized Query-Answer Alignments ($D_{qa}$): Hoogwaardige synthetische data waarbij een LLM (Qwen-Max) uitdagende vraag-antwoordparen genereert om de semantische intentie van de gebruiker beter te vangen.

B. Gradient-Guided Soft Masking (GG-SM) - De kerninnovatie:
Om de overgang van causale naar bidirectionele aandacht te stabiliseren, stellen de auteurs GG-SM voor. In plaats van de maskering abrupt te veranderen, gebruiken ze een tweeledig proces:

1. Warm-up fase (Gradient-guided): Tijdens de eerste trainingsstappen wordt de "toekomstige" aandacht bepaald door de gradiëntnorm ($\|\nabla h_j^L\|$). Tokens die een grote invloed hebben op de loss (hoge gradiënt), krijgen een hogere zichtbaarheid in de aandacht-matrix. Dit zorgt ervoor dat het model leert welke toekomstige signalen het meest relevant zijn.
2. Scheduler fase: Na de warm-up wordt er een lineaire overgang (scheduler) toegepast die de zachte maskering geleidelijk transformeert naar volledige bidirectionele aandacht.

C. Contrastief Leertraject:
Het model gebruikt een InfoNCE loss om de embedding van de gebruiker (de 'query') dichter bij de relevante intentie/antwoord (de 'anchor') te trekken en verder weg te duwen van negatieve voorbeelden.

3. Belangrijkste Bijdragen (Key Contributions)

• Systematische Vergelijking: Het eerste grootschalige onderzoek naar de impact van causale, hybride en bidirectionele maskering op gebruikersrepresentaties.
• GG-SM Algoritme: Een nieuw mechanisme dat gradiënt-informatie gebruikt om de aandacht-evolutie te sturen, wat de optimalisatie stabiliseert.
• Synthetische Data Pipeline: Een methode om via "difficulty probing" en "inductive feature completion" hoogwaardige, uitdagende trainingsdata te genereren voor gebruikersmodellering.

4. Resultaten (Results)

De methode werd getest op 9 industriële benchmarks van Alipay (o.a. voorspellen van klikgedrag, consumptievoorkeuren en marketinggevoeligheid).

• Superieure Prestaties: De GG-SM methode behaalde een gemiddelde AUC van 0.7745, wat beter is dan grote, algemene embedding-modellen zoals Llama-embed-nemotron (0.7357) en KaLM-Embedding (0.7156).
• Efficiëntie: Ondanks dat het model (Qwen2.5-0.5B) veel kleiner is dan de vergelijkbare state-of-the-art modellen, presteert het beter op taakspecifieke metrieken. Dit bewijst dat de manier van trainen (masking) belangrijker is dan de pure schaal van het model.
• Stabiliteit: GG-SM laat een veel stabielere convergentie van de training loss zien vergeleken met standaard schedulers (zie Figuur 3 in het paper).
• Domein-robuustheid: Het model presteert consistent over verschillende domeinen, inclusief de moeilijkste categorie: Marketing Sensitivity.

5. Betekenis (Significance)

Dit onderzoek verandert de manier waarop we naar decoder-only LLM's kijken voor niet-generatieve taken. Het laat zien dat de architecturale beperking van een decoder (causale maskering) niet een onoverkomelijk obstakel is, mits de overgang naar bidirectionele kennis wordt gestuurd door de interne leerbehoefte van het model (de gradiënten). Voor de industrie betekent dit dat kleinere, efficiëntere LLM's kunnen worden ingezet voor zeer nauwkeurige en complexe gebruikersmodellering in real-time systemen.