Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective

1. Probleemdefinitie

Bij het voorspellen van Click-Through Rates (CTR) worden Deep Neural Networks (DNN's) veelvuldig geïntegreerd met expliciete feature-interactiemodellen (zoals FM, CrossNet) om complexe relaties vast te leggen. De specifieke rol van DNN's blijft echter omstreden:

• Conventioneel Standpunt: DNN's worden geacht impliciet hoogwaardige feature-interacties vast te leggen die expliciete modellen missen.
• Tegensprekend Bewijs: Recent onderzoek suggereert dat DNN's (specifiek MLP's) moeite hebben om eenvoudige dot-products (tweedegraads interacties) te leren en mogelijk minder goed presteren dan expliciete hoogwaardige modellen.
• Het Gat: Er is onvoldoende theoretisch inzicht in waarom DNN's de prestaties verbeteren in deze hybride architecturen, ondanks hun beperkingen bij het leren van specifieke interactietypes.

De auteurs stellen dat het primaire voordeel van DNN's niet alleen het vastleggen van interacties is, maar het mitigeren van "Dimensional Collapse" (dimensionale instorting) in feature-embeddings. Dimensionale instorting treedt op wanneer embeddings degenereren tot een smalle, laagdimensionale deelruimte, gekenmerkt door een snelle afname in het singuliere-waarden-spectrum van de representatiematrix.

2. Methodologie

De auteurs maken gebruik van een combinatie van empirische evaluatie, ablatiestudies en theoretische analyse op basis van gradienten.

A. Evaluatieprotocollen

• Datasets: Avazu en Criteo (standaard CTR-benchmarks).
• Baselines:
  • Pure Interactiemodellen: Factorization Machine (FM) en CrossNet.
  • Hybride Modellen: DeepFM/NFM (FM + DNN) en DCNv2 (CrossNet + DNN).
• Metingen:
  • Voorspellende Prestaties: AUC (Area Under the Curve).
  • Dimensionale Robuustheid: RankMe (een metriek gebaseerd op de Shannon-entropie van genormaliseerde singuliere waarden) en analyse van het Singuliere Waarden Spectrum. Een hogere RankMe en een platter spectrum duiden op minder instorting en robuustere representaties.

B. Experimenteel Ontwerp

De studie onderzoekt twee integratiestrategieën voor DNN's:

1. Parallelle DNN (p-DNN): De DNN ontvangt dezelfde ruwe invoer als het interactiemodule (bijv. DeepFM).
2. Gestapelde DNN (s-DNN): De DNN verwerkt de uitvoer van het interactiemodule (bijv. NFM).

C. Ablatiestudie

Om de bijdragen van DNN-componenten te isoleren, breiden de auteurs de basismodellen progressief uit:

1. Lineaire Component: Alleen het toevoegen van lineaire projecties (Linear-MLP) zonder niet-lineaire activeringen.
2. Niet-lineaire Component: Het toevoegen van niet-lineaire activeringsfuncties (bijv. ReLU) bovenop de lineaire projecties.

D. Theoretische Analyse

De auteurs leiden de gradienten van de embeddings af met betrekking tot de verliesfunctie voor zowel pure interactiemodellen als DNN-versterkte modellen. Ze analyseren hoe de gradientstroom de updaterichting van de embeddinvectoren beïnvloedt.

3. Belangrijkste Bijdragen

1. Nieuw Perspectief: Dit is het eerste werk dat de effectiviteit van DNN's in feature-interactiemodellen analyseert door de lens van dimensionale instorting.
2. Empirische Ontdekking: Aangetoond dat zowel parallelle als gestapelde DNN's dimensionale instorting in pure interactiemodellen (FM en CrossNet) significant verminderen, wat blijkt uit plattere singuliere-waarden spectra en hogere RankMe-scores.
3. Componentanalyse: Geïdentificeerd dat zowel de lineaire projectielagen als de niet-lineaire activeringsfuncties bijdragen aan het mitigeren van instorting. Lineaire projecties vergroten de effectieve dimensionaliteit, terwijl niet-lineariteiten het spectrum verder platdrukken.
4. Gradientenmechanisme: Een theoretische verklaring gegeven die aantoont dat DNN's orthogonale gradientcomponenten en dimensiebewuste weging introduceren, waardoor embeddings kunnen ontsnappen uit laag-rang deelruimten en kunnen updaten in een bredere vectorruimte.

4. Belangrijkste Resultaten

A. Voorspellende Prestaties & Dimensionale Robuustheid

• AUC: Het toevoegen van DNN's verbeterde consistent de AUC op beide datasets.
• RankMe (Robuustheid):
  • Op het Avazu-dataset verhoogde het toevoegen van p-DNN aan FM de RankMe van 89,12 naar 166,78.
  • Op het Criteo-dataset verhoogde p-DNN de RankMe van FM met 158%, waardoor het model effectief werd gered uit een laag-rang toestand.
• Spectrale Analyse: Pure modellen (FM/CrossNet) vertoonden een scherpe spectrale afname (wat instorting aangeeft). Het integreren van DNN's platte het spectrum af, waarbij hogere singuliere waarden werden behouden over de bovenste 260 dimensies.

B. Component-Ablatie

• Lineaire DNN: Het alleen introduceren van lineaire projecties tilde het singuliere spectrum aanzienlijk op en vergrootte de effectieve dimensionaliteit.
• Niet-lineaire Activeringen: Het toevoegen van niet-lineariteiten platte het spectrum verder af, met name in de intermediaire tot grote singuliere componenten (indices 25–200), waardoor het representatievermogen werd versterkt.

C. Bevindingen uit Gradientenanalyse

• Pure FM: De gradientupdate voor een embedding $v_i$ is strikt beperkt tot de deelruimte die wordt opgespannen door de interacterende features $\{v_j\}$. Deze beperking dwingt embeddings in een laag-rang deelruimte, wat instorting veroorzaakt.
• DNN-Versterkte Modellen:
  • Parallelle DNN: Introduceert een sterk niet-lineaire term ($g_{DNN}$) die orthogonale gradientcomponenten levert. Dit stelt embeddings in staat om te updaten in richtingen buiten de laag-rang interactie-deelruimte.
  • Gestapelde DNN: Werkt als een dimensiebewuste wegingsvector, koppelt afhankelijkheden los en voorkomt dat dimensies convergeren naar één dominante richting.
• Empirische Gradientstudie: Het volgen van gradienten tijdens het trainen toonde aan dat FM-gradienten geconcentreerd blijven in de top-30 singuliere componenten, terwijl DNN-versterkte modellen een soepelere, diversere gradientverdeling vertonen met hogere RankMe-scores gedurende de hele training.

5. Betekenis

Dit artikel verschuift fundamenteel het begrip van DNN's in aanbevelingssystemen. In plaats van DNN's uitsluitend te zien als "black boxes" voor het vastleggen van impliciete hoogwaardige interacties, bewijzen de auteurs hun kritieke rol als regularisatoren tegen dimensionale instorting.

• Theoretisch Inzicht: Het lost het debat over DNN-beperkingen op door aan te tonen dat hun waarde ligt in het behoud van de dimensionale robuustheid van embeddings, wat essentieel is voor het leren van complexe patronen in schaarse data.
• Praktische Richtlijnen: De bevindingen suggereren dat bij het ontwerpen van feature-interactiemodellen het waarborgen van het behoud van embeddindimensionaliteit (via lineaire en niet-lineaire DNN-componenten) even belangrijk is als het expliciete interactiemechanisme zelf.
• Toekomstige Richtingen: De op gradienten gebaseerde analyse biedt een nieuw hulpmiddel voor het diagnosticeren van representatiekwaliteit en het ontwerpen van architecturen die instorting expliciet voorkomen in categorische data met hoge kardinaliteit.