Understanding DNNs in Feature Interaction Models: A Dimensional Collapse Perspective

1. Définition du problème

Dans la prédiction du taux de clic (CTR), les réseaux de neurones profonds (DNN) sont largement intégrés à des modèles d'interaction explicite de caractéristiques (par exemple, FM, CrossNet) pour capturer des relations complexes. Cependant, le rôle spécifique des DNN reste débattu :

• Vision conventionnelle : On pense que les DNN capturent implicitement des interactions de caractéristiques d'ordre élevé que les modèles explicites manquent.
• Évidence contradictoire : Des études récentes suggèrent que les DNN (spécifiquement les MLP) peinent à apprendre de simples produits scalaires (interactions d'ordre deux) et peuvent être moins performants que les modèles explicites d'ordre élevé.
• Le fossé : Il existe une compréhension théorique insuffisante de la raison pour laquelle les DNN améliorent les performances dans ces architectures hybrides, malgré leurs limitations dans l'apprentissage de types d'interactions spécifiques.

Les auteurs proposent que le principal avantage des DNN ne réside pas seulement dans la capture d'interactions, mais dans l'atténuation de l'« effondrement dimensionnel » dans les plongements de caractéristiques. L'effondrement dimensionnel se produit lorsque les plongements dégénèrent en un sous-espace étroit et de faible dimension, caractérisé par une décroissance rapide du spectre des valeurs singulières de la matrice de représentation.

2. Méthodologie

Les auteurs emploient une combinaison d'évaluation empirique, d'études d'ablation et d'analyse théorique basée sur les gradients.

A. Protocoles d'évaluation

• Ensembles de données : Avazu et Criteo (références standard pour le CTR).
• Lignes de base :
  • Modèles d'interaction purs : Machine à factorisation (FM) et CrossNet.
  • Modèles hybrides : DeepFM/NFM (FM + DNN) et DCNv2 (CrossNet + DNN).
• Métriques :
  • Performance prédictive : AUC (aire sous la courbe).
  • Robustesse dimensionnelle : RankMe (une métrique basée sur l'entropie de Shannon des valeurs singulières normalisées) et analyse du spectre des valeurs singulières. Un RankMe plus élevé et un spectre plus plat indiquent moins d'effondrement et des représentations plus robustes.

B. Conception expérimentale

L'étude examine deux stratégies d'intégration des DNN :

1. DNN parallèle (p-DNN) : Le DNN reçoit la même entrée brute que le module d'interaction (par exemple, DeepFM).
2. DNN empilé (s-DNN) : Le DNN traite la sortie du module d'interaction (par exemple, NFM).

C. Étude d'ablation

Pour isoler les contributions des composants DNN, les auteurs augmentent progressivement les modèles de base :

1. Composant linéaire : Ajout de projections linéaires uniquement (Linear-MLP) sans activations non linéaires.
2. Composant non linéaire : Ajout de fonctions d'activation non linéaires (par exemple, ReLU) au-dessus des projections linéaires.

D. Analyse théorique

Les auteurs dérivent les gradients des plongements par rapport à la fonction de perte pour les modèles d'interaction purs et les modèles améliorés par DNN. Ils analysent comment le flux de gradient influence la direction de mise à jour des vecteurs de plongement.

3. Contributions clés

1. Nouvelle perspective : Il s'agit du premier travail analysant l'efficacité des DNN dans les modèles d'interaction de caractéristiques à travers le prisme de l'effondrement dimensionnel.
2. Découverte empirique : Il a été démontré que les DNN parallèles et empilés atténuent considérablement l'effondrement dimensionnel dans les modèles d'interaction purs (FM et CrossNet), comme en témoignent des spectres de valeurs singulières plus plats et des scores RankMe plus élevés.
3. Analyse des composants : Il a été identifié que les deux les couches de projection linéaire et les fonctions d'activation non linéaires contribuent à atténuer l'effondrement. Les projections linéaires étendent la dimensionalité effective, tandis que les non-linéarités aplatissent davantage le spectre.
4. Mécanisme de gradient : Une explication théorique a été fournie, montrant que les DNN introduisent des composantes de gradient orthogonales et un pondération consciente de la dimension, permettant aux plongements de s'échapper des sous-espaces de faible rang et de se mettre à jour dans un espace vectoriel plus large.

4. Résultats clés

A. Performance prédictive et robustesse dimensionnelle

• AUC : L'ajout de DNN a systématiquement amélioré l'AUC sur les deux ensembles de données.
• RankMe (Robustesse) :
  • Sur l'ensemble de données Avazu, l'ajout de p-DNN à FM a augmenté le RankMe de 89,12 à 166,78.
  • Sur l'ensemble de données Criteo, le p-DNN a augmenté le RankMe de FM de 158 %, sauvant efficacement le modèle d'un état de faible rang.
• Analyse spectrale : Les modèles purs (FM/CrossNet) ont montré une décroissance spectrale aiguë (indiquant un effondrement). L'intégration de DNN a aplati le spectre, maintenant des valeurs singulières plus élevées sur les 260 premières dimensions.

B. Ablation des composants

• DNN linéaire : L'introduction de projections linéaires seules a considérablement soulevé le spectre singulier, étendant la dimensionalité effective.
• Activations non linéaires : L'ajout de non-linéarités a davantage aplati le spectre, en particulier dans les composantes singulières intermédiaires à grandes (indices 25–200), améliorant la capacité de représentation.

C. Résultats de l'analyse de gradient

• FM pur : La mise à jour du gradient pour un plongement $v_i$ est strictement restreinte au sous-espace engendré par ses caractéristiques d'interaction $\{v_j\}$. Cette contrainte force les plongements dans un sous-espace de faible rang, provoquant un effondrement.
• Modèles améliorés par DNN :
  • DNN parallèle : Introduit un terme hautement non linéaire ($g_{DNN}$) qui fournit des composantes de gradient orthogonales. Cela permet aux plongements de se mettre à jour dans des directions en dehors du sous-espace d'interaction de faible rang.
  • DNN empilé : Agit comme un vecteur de pondération conscient de la dimension, découplant les dépendances et empêchant les dimensions de converger vers une seule direction dominante.
• Étude empirique des gradients : Le suivi des gradients pendant l'entraînement a montré que les gradients FM restent concentrés dans les 30 premières composantes singulières, tandis que les modèles améliorés par DNN présentent des distributions de gradients plus lisses et plus diversifiées avec des scores RankMe plus élevés tout au long de l'entraînement.

5. Importance

Cet article modifie fondamentalement la compréhension des DNN dans les systèmes de recommandation. Au lieu de considérer les DNN simplement comme des « boîtes noires » pour capturer des interactions implicites d'ordre élevé, les auteurs prouvent leur rôle critique en tant que régularisateurs contre l'effondrement dimensionnel.

• Insight théorique : Il résout le débat sur les limitations des DNN en montrant que leur valeur réside dans la préservation de la robustesse dimensionnelle des plongements, ce qui est essentiel pour apprendre des motifs complexes dans des données éparses.
• Orientation pratique : Les résultats suggèrent que lors de la conception de modèles d'interaction de caractéristiques, assurer la préservation de la dimensionalité des plongements (via des composants DNN linéaires et non linéaires) est aussi important que le mécanisme d'interaction explicite lui-même.
• Voies futures : L'analyse basée sur les gradients fournit un nouvel outil pour diagnostiquer la qualité de la représentation et concevoir des architectures qui préviennent explicitement l'effondrement dans les données catégorielles à haute cardinalité.