Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective

1. Definizione del Problema

Nella previsione del Click-Through Rate (CTR), le Reti Neurali Profonde (DNN) sono ampiamente integrate con modelli espliciti di interazione delle caratteristiche (ad esempio FM, CrossNet) per catturare relazioni complesse. Tuttavia, il ruolo specifico delle DNN rimane dibattuto:

• Visione Convenzionale: Si ritiene che le DNN catturino implicitamente interazioni di caratteristiche di ordine superiore che i modelli espliciti trascurano.
• Evidenze Contraddittorie: Studi recenti suggeriscono che le DNN (in particolare gli MLP) faticano a imparare semplici prodotti scalari (interazioni di secondo ordine) e possono performare peggio rispetto ai modelli espliciti di ordine superiore.
• Il Divario: Esiste una comprensione teorica insufficiente del perché le DNN migliorino le prestazioni in queste architetture ibride, nonostante i loro limiti nell'apprendere specifici tipi di interazione.

Gli autori propongono che il beneficio primario delle DNN non sia solo la cattura delle interazioni, ma la mitigazione del "Collasso Dimensionale" negli embedding delle caratteristiche. Il collasso dimensionale si verifica quando gli embedding degenerano in un sottospazio ristretto e a bassa dimensionalità, caratterizzato da un rapido decadimento nello spettro dei valori singolari della matrice di rappresentazione.

2. Metodologia

Gli autori impiegano una combinazione di valutazione empirica, studi di ablazione e analisi teorica basata sui gradienti.

A. Protocolli di Valutazione

• Dataset: Avazu e Criteo (benchmark standard per il CTR).
• Linee di Base:
  • Modelli di Interazione Puri: Factorization Machine (FM) e CrossNet.
  • Modelli Ibridi: DeepFM/NFM (FM + DNN) e DCNv2 (CrossNet + DNN).
• Metriche:
  • Prestazioni Predittive: AUC (Area Under the Curve).
  • Robustezza Dimensionale: RankMe (una metrica basata sull'entropia di Shannon dei valori singolari normalizzati) e analisi dello Spettro dei Valori Singolari. Un RankMe più alto e uno spettro più piatto indicano meno collasso e rappresentazioni più robuste.

B. Progettazione Sperimentale

Lo studio indaga due strategie di integrazione delle DNN:

1. DNN Parallela (p-DNN): La DNN riceve lo stesso input grezzo del modulo di interazione (ad esempio DeepFM).
2. DNN in Stacca (s-DNN): La DNN elabora l'output del modulo di interazione (ad esempio NFM).

C. Studio di Ablazione

Per isolare i contributi dei componenti DNN, gli autori potenziano progressivamente i modelli di base:

1. Componente Lineare: Aggiunta di sole proiezioni lineari (Linear-MLP) senza attivazioni non lineari.
2. Componente Non Lineare: Aggiunta di funzioni di attivazione non lineari (ad esempio ReLU) sopra le proiezioni lineari.

D. Analisi Teorica

Gli autori derivano i gradienti degli embedding rispetto alla funzione di perdita sia per i modelli di interazione puri che per i modelli potenziati da DNN. Analizzano come il flusso dei gradienti influenzi la direzione di aggiornamento dei vettori di embedding.

3. Contributi Chiave

1. Nuova Prospettiva: Questo è il primo lavoro ad analizzare l'efficacia delle DNN nei modelli di interazione delle caratteristiche attraverso la lente del collasso dimensionale.
2. Scoperta Empirica: Dimostrato che sia le DNN parallele che quelle in stacca alleviano significativamente il collasso dimensionale nei modelli di interazione puri (FM e CrossNet), come evidenziato da spettri di valori singolari più piatti e punteggi RankMe più alti.
3. Analisi dei Componenti: Identificato che sia i livelli di proiezione lineare sia le funzioni di attivazione non lineari contribuiscono a mitigare il collasso. Le proiezioni lineari espandono la dimensionalità effettiva, mentre le non linearità appiattiscono ulteriormente lo spettro.
4. Meccanismo dei Gradienti: Fornita una spiegazione teorica che mostra come le DNN introducano componenti di gradiente ortogonali e pesatura consapevole della dimensionalità, permettendo agli embedding di uscire dai sottospazi a basso rango e aggiornarsi in uno spazio vettoriale più ampio.

4. Risultati Chiave

A. Prestazioni Predittive e Robustezza Dimensionale

• AUC: L'aggiunta di DNN ha migliorato costantemente l'AUC su entrambi i dataset.
• RankMe (Robustezza):
  • Sul dataset Avazu, l'aggiunta di p-DNN all'FM ha aumentato RankMe da 89,12 a 166,78.
  • Sul dataset Criteo, p-DNN ha aumentato il RankMe dell'FM del 158%, salvando efficacemente il modello da uno stato a basso rango.
• Analisi Spettrale: I modelli puri (FM/CrossNet) hanno mostrato un decadimento spettrale netto (indicante collasso). L'integrazione delle DNN ha appiattito lo spettro, mantenendo valori singolari più alti attraverso le prime 260 dimensioni.

B. Ablazione dei Componenti

• DNN Lineare: L'introduzione di sole proiezioni lineari ha sollevato significativamente lo spettro singolare, espandendo la dimensionalità effettiva.
• Attivazioni Non Lineari: L'aggiunta di non linearità ha ulteriormente appiattito lo spettro, in particolare nei componenti singolari intermedi-grandi (indici 25–200), migliorando la capacità rappresentativa.

C. Risultati dell'Analisi dei Gradienti

• FM Puro: L'aggiornamento del gradiente per un embedding $v_i$ è strettamente limitato al sottospazio generato dalle sue caratteristiche interagenti $\{v_j\}$. Questo vincolo forza gli embedding in un sottospazio a basso rango, causando il collasso.
• Modelli Potenziati da DNN:
  • DNN Parallela: Introduce un termine altamente non lineare ($g_{DNN}$) che fornisce componenti di gradiente ortogonali. Ciò permette agli embedding di aggiornarsi in direzioni esterne al sottospazio di interazione a basso rango.
  • DNN in Stacca: Agisce come un vettore di pesatura consapevole della dimensionalità, disaccoppiando le dipendenze e impedendo alle dimensioni di convergere verso una singola direzione dominante.
• Studio Empirico dei Gradienti: Il tracciamento dei gradienti durante l'addestramento ha mostrato che i gradienti FM rimangono concentrati nei primi 30 componenti singolari, mentre i modelli potenziati da DNN esibiscono distribuzioni di gradiente più lisce e diversificate con punteggi RankMe più alti durante tutto l'addestramento.

5. Significato

Questo documento sposta fondamentalmente la comprensione delle DNN nei sistemi di raccomandazione. Invece di considerare le DNN semplicemente come "scatole nere" per catturare interazioni implicite di ordine superiore, gli autori ne dimostrano il ruolo critico come regolarizzatori contro il collasso dimensionale.

• Insight Teorico: Risolve il dibattito sui limiti delle DNN mostrando che il loro valore risiede nel preservare la robustezza dimensionale degli embedding, essenziale per apprendere pattern complessi in dati sparsi.
• Guida Pratica: I risultati suggeriscono che, nella progettazione di modelli di interazione delle caratteristiche, garantire la preservazione della dimensionalità degli embedding (tramite componenti DNN lineari e non lineari) è importante quanto il meccanismo di interazione esplicito stesso.
• Direzioni Future: L'analisi basata sui gradienti fornisce un nuovo strumento per diagnosticare la qualità della rappresentazione e progettare architetture che prevengano esplicitamente il collasso nei dati categoriali ad alta cardinalità.