Résumé Technique : Modèle d'Autorégressivité de Réseau Multi-relationnel avec Structures de Groupes Latents

1. Énoncé du Problème

L'article traite du défi consistant à modéliser et à quantifier les effets de réseaux multi-relationnels sur des séries temporelles de valeurs tensorielles de haute dimension. Dans de nombreux scénarios réels (par exemple, les avis sur les réseaux sociaux, le commerce international, les marchés financiers), les entités interagissent à travers plusieurs couches de réseaux distinctes (par exemple, les connexions sociales, la proximité spatiale, la similitude des produits). La littérature existante s'est largement concentrée sur :

• L'autorégression à réseau unique : Modélisation de séries temporelles au sein d'une seule structure de réseau.
• L'Auto-régression Vectorielle (VAR) : Empilement des données tensorielles en vecteurs, ce qui détruit la structure multidimensionnelle intrinsèque et entraîne une explosion du nombre de paramètres ($O(\prod N_l^2)$), rendant l'estimation difficile et l'interprétation opaque.
• Les modèles de facteurs tensoriels : Bien qu'efficaces pour la réduction de dimension, ils manquent souvent d'une interprétabilité directe concernant les effets de réseaux spécifiques et ne modélisent pas explicitement les structures de groupes hétérogènes à travers plusieurs dimensions de réseau.

De plus, l'hétérogénéité nodale est prévalente ; les entités au sein d'un même réseau présentent souvent des schémas comportementaux distincts. Bien que les structures de groupes latents aient été utilisées dans les données de panel et les séries temporelles à réseau unique, leur extension aux séries temporelles tensorielles multi-relationnelles présente des défis théoriques importants en raison des interactions complexes entre les structures de groupes à travers les différentes dimensions de réseau.

2. Méthodologie : Le Modèle GTNAR

Les auteurs proposent le modèle Group Tensor-valued Network Autoregression (GTNAR).

2.1 Formulation du Modèle

Soit $Y_t \in \mathbb{R}^{N_1 \times \dots \times N_q}$ une série temporelle de valeurs tensorielles observée au temps $t$, indexée par $q$ réseaux distincts avec des matrices d'adjacence $A^{(1)}, \dots, A^{(q)}$. Le modèle suppose que chaque réseau $l$ possède une structure de groupe latente avec $G_l$ groupes.

Le modèle est défini par :
$$Y_{i_1 \dots i_q, t} = \sum_{l=1}^q \lambda^{(l)}_{g^{(l)}_{i_l}} \sum_{k=1}^{N_l} \frac{a^{(l)}_{i_l k}}{n_{l i_l}} Y_{i_1 \dots i_{l-1} k i_{l+1} \dots i_q, t-1} + \alpha_{g^{(1)}_{i_1} \dots g^{(q)}_{i_q}} Y_{i_1 \dots i_q, t-1} + \sum_{l=1}^q x^{(l)\top}_{i_l t} \zeta^{(l)}_{g^{(l)}_{i_l}} + \varepsilon_{i_1 \dots i_q, t}$$
Où :

• Effets Principaux du Réseau : Le terme $\lambda^{(l)}_{g^{(l)}_{i_l}}$ représente le coefficient d'autorégression pour le $l$-ième réseau. Crucialement, ce coefficient dépend de l'appartenance au groupe $g^{(l)}_{i_l}$ du nœud $i_l$ dans le réseau $l$, permettant ainsi l'hétérogénéité au sein du réseau.
• Auto-élan (Self-Momentum) : Le terme $\alpha_{g^{(1)}_{i_1} \dots g^{(q)}_{i_q}}$ capture l'effet auto-dirigé, qui dépend des appartenances de groupe conjointes à travers les $q$ réseaux.
• Effets des Covariables : Les covariables exogènes $x^{(l)}$ ont des coefficients $\zeta^{(l)}$ qui varient également selon l'appartenance au groupe.
• Représentation Tensorielle : Le modèle peut être écrit de manière compacte en utilisant l'algèbre tensorielle impliquant des matrices d'adjacence normalisées par ligne $W^{(l)}$ et des matrices diagonales de paramètres de groupe.

2.2 Algorithme d'Estimation

Les auteurs développent un algorithme itératif pour estimer simultanément les paramètres du modèle ($\xi$) et les appartenances de groupe latentes ($G$) :

1. Mise à jour des Paramètres : Étant donné des appartenances de groupe fixes, le modèle se réduit à un problème de régression linéaire. Les paramètres sont estimés via les moindés carrés (minimisant la somme des erreurs au carré).
2. Mise à jour des Appartenances : Étant donné des paramètres fixes, les appartenances de groupe sont mises à jour séquentiellement pour chaque dimension de réseau. Pour chaque nœud, l'algorithme l'assigne au groupe qui minimise l'erreur quadratique locale, conditionnellement aux appartenances actuelles des nœuds dans les autres dimensions.
3. Initialisation : Pour atténuer la non-convexité de la fonction objectif, plusieurs stratégies d'initialisation sont employées, sélectionnant la solution présentant la perte minimale.

2.3 Sélection du Nombre de Groupes

Un critère d'information (QIC) est proposé pour sélectionner le nombre de groupes ($G_1, \dots, G_q$) pour chaque réseau :
$$\text{QIC}(G) = \log\{Q(\hat{\xi}(G), \hat{G}(G))\} + \lambda(G)$$
où $\lambda(G)$ est un terme de pénalité. Les auteurs fournissent les conditions théoriques sous lesquelles ce critère sélectionne de manière cohérente les nombres de groupes réels.

3. Contributions Clés

1. Cadre de Modélisation Novateur : Introduction du modèle GTNAR, qui intègre les structures de réseaux multi-relationnels avec l'hétérogénéité de groupe latente pour les séries temporelles de valeurs tensorielles. Cela permet de quantifier directement les effets de réseau tout en tenant compte de l'hétérogénéité nodale.
2. Estimation Simultanée : Développement d'un algorithme itératif qui estime conjointement les paramètres du modèle et les appartenances de groupe latentes à travers plusieurs dimensions de réseau, une tâche plus complexe que l'estimation de groupe pour un réseau unique.
3. Garanties Théoriques :
   • Cohérence : Il est prouvé que les paramètres de groupe et les appartenances de groupe peuvent être estimés de manière cohérente, même lorsque le nombre de groupes est sur-spécifié (c'est-à-dire $G_l \ge G_{l,0}$).
   • Cohérence Forte : Il est établi que les appartenances de groupe estimées convergent vers les appartenances réelles (à permutation de labels près) avec une probabilité tendant vers 1.
   • Normalité Asymptotique : La normalité asymptotique des estimateurs de paramètres est dérivée, permettant une inférence statistique valide (par exemple, intervalles de confiance).
   • Sélection du Nombre de Groupes : Il est prouvé que le QIC proposé sélectionne de manière cohérente le nombre réel de groupes.
4. Extensions du Modèle : Le cadre est étendu pour gérer les effets de réseau interactifs (multiplicatifs à travers les couches) et les variances d'erreur spécifiques au groupe (Moindres Carrés Pondérés).

4. Résultats

4.1 Études de Simulation

Les auteurs ont mené des simulations approfondies avec $q=2$ réseaux sous des structures de modèle de blocs stochastiques (SBM) et de loi de puissance (Power-Law).

• Précision de l'Estimation : Lorsque les nombres de groupes sont correctement spécifiés ou sur-spécifiés, l'erreur quadratique moyenne (RMSE) diminue à mesure que la taille de l'échantillon ($N$) et la longueur temporelle ($T$) augmentent, approchant les performances des estimateurs "oracles" (qui connaissent les appartenances réelles).
• Inférence : Les probabilités de couverture (CP) des intervalles de confiance à 95 % approchent le niveau nominal (0,95) à mesure que les tailles d'échantillon croissent.
• Sous-spécification : Lorsque le nombre de groupes est sous-spécifié, le biais d'estimation reste élevé et la précision du regroupement des appartenances chute considérablement, confirmant la nécessité d'une spécification correcte ou de sur-spécification.
• Sélection de Groupe : Le QIC a identifié avec succès les vrais nombres de groupes dans la majorité des répétitions de simulation.

4.2 Application sur Données Réelles (Jeu de Données Yelp)

Le modèle a été appliqué à un jeu de données Yelp couvrant cinq villes d'Amérique du Nord (2010–2018). La variable de réponse était le logarithme du nombre de commentaires par utilisateur $i$ dans le district $j$ au temps $t$.

• Réseaux : Réseau social (amitiés entre utilisateurs) et Réseau spatial (adjacence des districts).
• Résultats :
  • Hétérogénéité : Des structures de groupes distinctes ont été identifiées pour les utilisateurs et les districts dans chaque ville.
  • Effets Spatiaux : Les effets du réseau spatial étaient systématiquement positifs, indiquant que les avis dans les districts voisins ont tendance à s'influencer mutuellement. L'ampleur de cet effet variait selon le groupe de districts (par exemple, plus élevé dans les quartiers d'affaires centraux).
  • Effets Sociaux : Les effets du réseau social variaient considérablement selon le groupe d'utilisateurs. Pour certains groupes (ex: utilisateurs de longue date), l'effet était négatif, tandis que pour d'autres (ex: utilisateurs très connectés), il était positif.
  • Auto-élan : Des effets d'auto-élan positifs ont été observés, indiquant une persistance dans l'activité de publication de commentaires.

5. Signification et Revendications

L'article affirme que le modèle GTNAR comble une lacune critique dans la littérature en fournissant un cadre statistique rigoureux pour une inférence valide sur les multiples effets de réseau dans les séries temporelles tensorielles de haute dimension.

• Interprétabilité : Contra irement aux approches d'empilement qui obscurcissent la structure du réseau, le GTNAR offre des interprétations claires sur la manière dont des couches de réseau spécifiques et les appartenances de groupe pilotent la dynamique temporelle.
• Efficacité : En exploitant les structures de groupes et les matrices de pondération de réseau, le modèle réduit drastiquement l'espace des paramètres de $O(\prod N_l^2)$ à $O(\sum G_l p_l + \prod G_l)$, rendant l'estimation réalisable pour de grands réseaux.
• Robustesse : Les résultats théoriques démontrent que la méthode est robuste à la sur-spécification du nombre de groupes, une préoccupation pratique courante où le nombre réel de clusters est inconnu.
• Applicabilité : Les auteurs soulignent l'utilité du modèle dans divers domaines tels que l'économie, la finance et les sciences sociales, citant des exemples comme les liens de chaîne d'approvisionnement, le commerce international et les systèmes de recommandation contextuels, bien que la validation empirique principale soit fournie par le jeu de données Yelp.

Les auteurs maintiennent un ton modeste concernant les directions futures, suggérant des extensions potentielles vers les covariables de haute dimension, les effets de réseau multiplicatifs, les structures de facteurs cachés et les réponses catégorielles, tout en notant que l'obtention de taux de convergence minimax reste une question théorique ouverte.