Robust Tensor Regression with Nonconvexity: Algorithmic and Statistical Theory

Résumé technique : Régression tensorielle robuste avec non-convexité : théorie algorithmique et statistique

Énoncé du problème
La régression tensorielle est un outil essentiel pour l'analyse de structures de données multidimensionnelles de haute dimension, prévalentes dans des domaines tels que l'imagerie neurologique, la finance et la vision par ordinateur. Bien que les méthodes existantes de régression tensorielle capturent efficacement les structures de faible rang, elles reposent souvent sur des relaxations convexes (telles que la norme nucléaire tubale tensorielle, t-TNN) et des fonctions de perte convexes (par exemple, la perte quadratique). Ces approches existantes présentent deux limitations principales :

1. Sensibilité aux valeurs aberrantes : Les fonctions de perte convexes, en particulier la perte quadratique, sont hautement sensibles au bruit à queue lourde et aux valeurs aberrantes, conduisant à une estimation sous-optimale.
2. Relaxation sous-optimale : La t-TNN, bien qu'étant un substitut convexe du rang tubal tensoriel, fournit une relaxation lâche. Cet écart entre l'objectif de minimisation du rang et la solution convexe peut entraîner des estimateurs biaisés et une précision réduite, un problème exacerbé par la présence de valeurs aberrantes.

De plus, bien que les régularisateurs non convexes aient été appliqués avec succès dans l'apprentissage parcimonieux et la complétion de matrices pour réduire le biais, leur application à la régression tensorielle — spécifiquement pour le rang tubal — reste inexplorée. En outre, les propriétés statistiques des modèles de régression tensorielle employant à la fois des pertes non convexes et des régularisateurs non convexes n'ont pas été établies théoriquement.

Méthodologie
L'article propose un cadre unifié pour la régression tensorielle robuste qui intègre à la fois des fonctions de perte non convexes et des régularisateurs non convexes dans un cadre d'optimisation général.

• Formulation du modèle : Les auteurs considèrent un cadre d'estimateur M régularisé :
  $$\hat{B} \in \arg\min_{B} L_n(B) + \rho_\lambda(B)$$
  où $L_n(B)$ est une fonction de risque empirique différentiable (potentiellement non convexe), et $\rho_\lambda(B)$ est un substitut non convexe du rang tubal tensoriel.
• Régularisation non convexe : Au lieu de la t-TNN, la méthode emploie une fonction de pénalité non convexe appliquée aux valeurs singulières du tenseur dans le domaine de Fourier (dérivé via la t-SVD). La pénalité $\rho_\lambda$ est définie comme une somme de fonctions univariées non convexes (par exemple, SCAD, MCP, Geman, Logarithme) appliquées aux valeurs singulières. Cette approche offre une enveloppe plus serrée à la fonction de rang tubal par rapport à la t-TNN, réduisant le biais d'estimation.
• Fonctions de perte générales : Le cadre ne restreint pas la fonction de perte à être convexe. Il accueille une large gamme de pertes robustes, y compris la perte de Huber, la perte induite par la correntropie (C-loss) et les pertes induites par le critère de distance minimale (par exemple, pour la régression logistique robuste).
• Cadre algorithmique : Pour résoudre le problème d'optimisation non convexe résultant, les auteurs développent un algorithme d'estimation unifié basé sur une stratégie de ré-pondération itérative.
  • L'algorithme linéarise le régularisateur non convexe et majore la fonction de perte de manière quadratique à chaque itération.
  • Cela réduit le sous-problème à chaque étape à un problème de seuillage des valeurs singulières tensorielles pondérées (Wt-SVT).
  • La règle de Barzilai-Borwein est utilisée pour l'initialisation et la sélection de la taille de pas afin d'accélérer la convergence.
  • Une stratégie de backtracking assure la décroissance monotone de la fonction objectif.

Contributions clés

1. Régularisation non convexe pour le rang tubal : L'article développe un substitut non convexe rigoureux pour le rang tubal tensoriel. L'analyse théorique démontre que ce régularisateur fournit une approximation plus précise du vrai rang tubal que la t-TNN traditionnelle, conduisant à une meilleure parcimonie et à une réduction du biais.
2. Cadre unifié non convexe : Un cadre général est établi qui permet la non-convexité simultanée dans les fonctions de perte et de pénalité. Cette flexibilité accueille divers modèles, y compris les modèles linéaires, les modèles linéaires généralisés (GLM) et diverses variantes de régression robuste.
3. Convergence algorithmique : Les auteurs établissent des garanties de convergence globale pour l'algorithme itératif proposé. Sous des hypothèses légères (incluant la propriété de Kurdyka-Łojasiewicz (KŁ)), la séquence générée par l'algorithme est prouvée converger vers un point stationnaire. Le taux de convergence est montré comme étant au moins sous-linéaire, avec une convergence linéaire ou une convergence en un nombre fini d'étapes réalisable sous des conditions spécifiques (par exemple, pour les pénalités MCP/SCAD).
4. Théorie statistique : L'article dérive des propriétés statistiques générales pour les points stationnaires du cadre proposé, incluant des bornes sur l'erreur de norme de Frobenius, l'erreur de norme nucléaire et l'erreur de prédiction. Ces résultats sont appliqués à des modèles spécifiques :
   • Régression tensorielle linéaire : Sous bruit sous-gaussien.
   • Modèles linéaires généralisés (GLM) : Couvrant les modèles logistiques et log-linéaires.
   • Régression de Huber adaptative : Étendant les méthodes de Huber adaptatives aux tenseurs pour gérer le bruit à queue lourde.
   • Perte induite par la correntropie (C-loss) et critère de distance minimale : Nouveaux modèles de régression tensorielle robuste pour gérer les valeurs aberrantes.
     Les résultats théoriques montrent que l'erreur d'estimation évolue avec $\sqrt{r d d_3 / n}$, où $r$ est le rang tubal, $d$ est la dimension et $n$ est la taille de l'échantillon.

Résultats

• Théoriques : L'article prouve que sous la convexité forte restreinte locale (LRSC) et des conditions de régularité, les estimateurs proposés atteignent la consistance statistique. Les bornes indiquent que les pénalités non convexes (caractérisées par une constante $C_{\rho'_\lambda}$) peuvent conduire à des taux statistiques plus rapides par rapport aux contreparties convexes.
• Expériences numériques : Des simulations extensives sur des données synthétiques et des études d'application démontrent l'efficacité des méthodes proposées.
  • Robustesse : En présence de bruit à queue lourde (distribution t, distribution de Pareto) et de valeurs aberrantes, les méthodes non convexes proposées (en particulier celles utilisant la C-loss ou la perte de Huber adaptative) surpassent significativement les moindres carrés traditionnels et les méthodes régularisées par t-TNN en termes d'erreur d'estimation et de récupération du rang.
  • Estimation du rang : Les pénalités non convexes produisent systématiquement des rangs estimés plus proches du vrai rang tubal par rapport à la t-TNN.
  • Convergence : La valeur de la fonction objectif décroît de manière monotone dans tous les scénarios testés, validant les résultats de convergence théoriques.
  • Classification : Dans les tâches de régression logistique avec mauvaise spécification et prédicteurs corrompus, la régression logistique robuste proposée via le critère de distance minimale atteint une précision de prédiction plus élevée et une estimation de rang plus stable que les approches standard basées sur le maximum de vraisemblance (MLE).

Signification
L'article prétend combler une lacune critique dans la littérature en étant le premier à explorer les propriétés statistiques de la régression tensorielle non convexe avec rang tubal. En allant au-delà des relaxations convexes et des pertes convexes, le cadre proposé offre une approche plus robuste et précise pour l'analyse de données tensorielles de haute dimension, en particulier dans les scénarios impliquant du bruit à queue lourde et des valeurs aberrantes. Le développement d'un algorithme convergent globalement pour de tels problèmes non convexes fournit un outil pratique et théoriquement solide pour les chercheurs et les praticiens dans les domaines traitant de données multidimensionnelles complexes. Le travail suggère que les substituts non convexes peuvent efficacement équilibrer la capacité d'estimation du rang et la réduction du biais, offrant des performances supérieures aux méthodes convexes existantes.