Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

Résumé Technique : Réseaux de Neurones à Tenseurs à Double Canal

Énoncé du Problème
Les applications modernes d'apprentissage automatique reposent de plus en plus sur des données structurées de haute dimension, telles que l'imagerie neurologique, la génomique et les réseaux spatio-temporels, qui existent naturellement sous forme de tenseurs. Un défi central dans l'apprentissage à partir de telles données réside dans leur structure hétérogène : les tenseurs du monde réel présentent souvent une combinaison de motifs multilinéaires globaux de faible dimension et de variations localisées, irrégulières ou éparses, qui portent des signaux prédictifs critiques. Les approches existantes font face à un compromis fondamental :

• Les modèles de faible rang (par exemple, CP, Tucker, Tensor-Train) résument efficacement les dépendances globales mais souffrent d'un biais de représentation lorsque les signaux localisés ne s'alignent pas avec le sous-espace supposé.
• Les modèles non paramétriques épars ou de haute dimension capturent les effets localisés mais ignorent la géométrie sous-jacente du tenseur, entraînant une inflation des dimensions effectives et une réduction de l'efficacité statistique.
  De plus, les méthodes standard de quantification de l'incertitude (par exemple, le bootstrap ou la prédiction conforme standard) traitent souvent les entrées de tenseurs comme des vecteurs non structurés, produisant des estimations excessivement conservatrices qui ne tirent pas parti de la géométrie intrinsèque des données. Enfin, la sélection parmi les décompositions de tenseurs candidates (par exemple, CP contre Tucker) repose généralement sur une validation heuristique sans validité statistique pour des échantillons finis.

Méthodologie
Les auteurs proposent le Réseau de Neurones à Tenseurs à Double Canal (DC-TNN), un cadre conçu pour apprendre des fonctions prédictives sur des entrées de tenseurs à structure hétérogène.

1. Transformation de Caractéristiques Structurées :
   Le tenseur d'entrée $X$ est décomposé en un noyau global de faible rang $C$ et un composant de raffinement épars $V$. La transformation $X \mapsto (C, V_J)$ mappe le tenseur de haute dimension vers un tenseur de noyau de faible dimension $C$ (capturant les interactions multilinéaires dominantes) et un vecteur épars $V_J$ (capturant les déviations localisées), où $J$ est un ensemble d'indices sélectionné. Cela est traité comme un biais inductif structuré plutôt que comme une contrainte générative stricte.

2. Architecture à Double Canal :
   Le modèle traite $C$ et les caractéristiques localisées raffinées $U$ (dérivées de $V_J$) à travers deux canaux neuronaux parallèles et couplés :

   • Canal de Noyau ($H_c$) : Opère sur le tenseur de noyau de faible dimension pour apprendre les dépendances multilinéaires globales.
   • Canal de Raffinement ($H_u$) : Opère sur la représentation de tenseur dense des caractéristiques localisées sélectionnées.
   • Couplage : Les canaux interagissent via des tenseurs de poids inter-canaux ($W_{cu}, W_{uc}$) à chaque couche, permettant au modèle de combiner de manière adaptative les informations globales structurées avec des ajustements locaux flexibles. L'architecture est agnostique au type de décomposition spécifique, accommodant les noyaux CP, Tucker et Tensor-Train.

3. Procédure d'Entraînement :
   L'article détaille une procédure d'entraînement en deux étapes :

   • Étape 1 : Estimer le tenseur de noyau $\hat{C}_i$ en dehors du réseau en utilisant des estimateurs standards (par exemple, HOSVD pour Tucker, ALS pour CP).
   • Étape 2 : Optimiser conjointement les poids du réseau et un tenseur de sélection épars $W_u$ (qui extrait $V_J$ de $X$) afin de minimiser le risque empirique plus une pénalité de sparsité (par exemple, $\ell_1$ tronqué). Une alternative de bout en bout est également discutée dans le matériel complémentaire.

4. Inférence Conforme Sensible à la Structure :
   Pour quantifier l'incertitude, les auteurs développent une procédure d'inférence conforme qui opère dans l'espace latent noyau-raffinement plutôt que dans l'espace ambiant du tenseur.

   • Calibration Locale : Pour chaque point de test, un ensemble de calibration local est construit en utilisant les $K$ plus proches voisins basés sur une métrique de distance combinant les représentations de noyau et de raffinement.
   • Bandes ROC/AUC : Cette procédure génère des bandes de confiance sans distribution pour les courbes ROC et les valeurs AUC, qui sont plus nettes et plus informatives que celles dérivées des approches de vecteurs non structurés.

5. Sélection de Structure Conforme :
   L'article introduit une procédure statistiquement fondée pour sélectionner entre des structures de tenseurs concurrentes (par exemple, Tucker contre CP). En construisant des bandes ROC de différence conforme pour la différence de performance entre deux modèles candidats, la méthode fournit un test sans distribution et à échantillon fini pour déterminer si une structure est significativement meilleure qu'une autre ou si elles sont statistiquement indiscernables.

Contributions Clés

• Cadre de Modélisation Structurée : Une architecture neuronale à double canal qui modélise conjointement les structures globales de faible rang et les raffinements locaux épars, généralisant à la fois les modèles de faible rang purs et les modèles épars de haute dimension.
• Perspective Unifiée : Une nouvelle classe de fonctions qui fait le lien entre les modèles de tenseurs de faible rang et les modèles épars, offrant une vue rationnelle de l'apprentissage de représentations sous incertitude structurelle.
• Quantification de l'Incertitude : Une méthode d'inférence conforme sensible à la structure qui produit des régions de confiance plus nettes pour les métriques ROC et AUC tout en maintenant une validité sans distribution.
• Sélection de Modèle : La première procédure connue sans distribution et à validité d'échantillon fini pour la sélection parmi les décompositions de tenseurs candidates.
• Garanties Théoriques : Des bornes de risque non asymptotiques montrant que la dimension effective dépend du rang du noyau et de la sparsité du raffinement ($d_{eff} = \prod R_m + |J|$) plutôt que de la taille du tenseur ambiant, évitant ainsi le fléau de la dimensionnalité.

Résultats
Les auteurs valident le cadre par des simulations et une analyse de données réelles sur le jeu de données de protéines DD (TUDataset).

• Précision Prédictive : Dans des expériences synthétiques avec des vérités terrain Tucker et CP, le DC-TNN a systématiquement surpassé les réseaux de neurones à tenseurs de base (TRL de faible rang, TNN à poids empilés) en termes de précision de test et d'erreur quadratique moyenne (MSE).
• Quantification de l'Incertitude : Les bandes ROC conformes ont atteint les taux de couverture nominaux (par exemple, intervalles de confiance à 90 %), démontrant une estimation fiable de l'incertitude.
• Sélection de Structure : Le sélecteur proposé a correctement identifié la structure sous-jacente réelle (Tucker ou CP) dans les régimes synthétiques. Dans le jeu de données réel DD, la procédure a sélectionné statistiquement le DC-TNN basé sur CP par rapport à la variante basée sur Tucker, une décision soutenue par les bandes ROC de différence se situant en dessous de la diagonale pour l'hypothèse nulle selon laquelle Tucker est supérieur.

Signification et Revendications
L'article revendique que le cadre DC-TNN adresse la limitation fondamentale des méthodes existantes en équilibrant le biais structurel et la flexibilité locale. En décomposant l'entrée en un noyau et un raffinement, le modèle atteint des taux de convergence optimaux et réduit la dimensionnalité effective du problème d'apprentissage.

Crucialement, les auteurs soulignent que leur travail fournit des garanties sans distribution et à échantillon fini pour l'inférence et la sélection de modèles. Contrairement aux méthodes précédentes qui reposent sur des hypothèses asymptotiques ou une validation heuristique, les procédures conformes proposées offrent une validité statistique rigoureuse pour le choix des structures de tenseurs et la quantification de l'incertitude dans des contextes de haute dimension. Les auteurs positionnent cela comme une étape vers un principe organisateur général pour l'apprentissage statistique sur des données à valeur de tenseur, où l'inférence augmentée par un noyau permet une modélisation adaptative et sensible à la structure sans s'engager a priori dans une seule hypothèse structurelle.