Robust Tensor-on-Tensor Regression

1. Problématique

La régression tensorielle sur tensorielle (TOT) est une méthode puissante pour modéliser les relations entre des prédicteurs et des réponses sous forme de tenseurs (tableaux multidimensionnels). Contrairement aux approches classiques qui vectorisent les données (ce qui détruit la structure intrinsèque et les corrélations entre modes), la régression TOT préserve cette structure.

Cependant, les méthodes de régression TOT standards, basées sur la minimisation des moindres carrés, sont extrêmement sensibles aux données aberrantes (outliers). Le papier identifie deux types critiques de contamination dans les données tensorielles :

• Outliers casuels (Casewise outliers) : Des observations entières (un tenseur complet) qui s'écartent significativement de la majorité des données.
• Outliers cellulaires (Cellwise outliers) : Des valeurs individuelles anormales au sein d'un tenseur (une cellule spécifique). Ce type d'erreur est fréquent dans les données tensorielles en raison du grand nombre de cellules et peut fausser l'analyse même si le reste de l'observation est valide.
• Valeurs manquantes : Souvent traitées comme des outliers cellulaires connus.

L'absence de méthodes capables de gérer simultanément ces deux types d'outliers, ainsi que les valeurs manquantes, dans les prédicteurs et les réponses, constitue le vide que cet article vise à combler.

2. Méthodologie : L'algorithme ROTOT

Les auteurs proposent une nouvelle méthode nommée ROTOT (Robust Tensor-on-Tensor Regression). Cette approche repose sur une fonction de perte pondérée et une décomposition tensorielle robuste.

A. Traitement des Prédicteurs (ROMPCA)

Pour gérer les outliers dans les tenseurs prédicteurs $\{X_n\}$, la méthode utilise une extension robuste de l'Analyse en Composantes Principales Multilinéaires (MPCA), appelée ROMPCA (Robust Multilinear PCA).

• Imputation : ROMPCA génère un tenseur imputé $\hat{X}_n^{imp}$ où les cellules aberrantes et les valeurs manquantes sont remplacées par des valeurs estimées.
• Pondération : Elle attribue un poids $w_n^x$ à chaque observation : $0$ si le prédicteur est un outlier casuel, et $1$ (ou une valeur intermédiaire) s'il est normal.

B. Estimation du Modèle (Fonction de Perte)

Le modèle de régression s'écrit :
$$Y_n = B_0 + \langle X_n, B \rangle + E_n$$
où $B$ est le tenseur de pente de faible rang (décomposé en CP : $B = \llbracket U_1, \dots, U_L, V_1, \dots, V_M \rrbracket$).

Au lieu des moindres carrés classiques, ROTOT minimise une fonction objectif robuste basée sur l'estimation M pondérée :
$$L = \frac{\hat{\sigma}_2^2}{2m} \sum_{n=1}^N m_n w_n^x \rho_2^2 \left( \frac{1}{\hat{\sigma}_2} \sqrt{\frac{1}{m_n} \sum_{q} m_{n,q} \hat{\sigma}_{1,q}^2 \rho_1^2 \left( \frac{r_{n,q}}{\hat{\sigma}_{1,q}} \right)} \right) + \lambda \|B\|_F^2$$

• Double robustesse :
  • La fonction $\rho_1$ (bornée, ici la tangente hyperbolique tanh) limite l'influence des outliers cellulaires dans la réponse.
  • La fonction $\rho_2$ (également bornée) limite l'influence des outliers casuels (observations entières).
• Échelles robustes : Les paramètres d'échelle $\hat{\sigma}_{1,q}$ et $\hat{\sigma}_2$ sont estimés de manière robuste (estimateurs M) pour standardiser les résidus.

C. Algorithme de Résolution (IRLS)

Comme la fonction objectif est non convexe, les auteurs proposent un algorithme IRLS (Iteratively Reweighted Least Squares) :

1. Initialisation : Utilisation d'une sous-ensemble de données "propres" (défini via des algorithmes de détection d'outliers comme DDC et ROMPCA) pour obtenir un estimateur initial.
2. Itération : Alternance entre la mise à jour des matrices de facteurs ($U_\ell, V_m$) et du terme d'intercept ($B_0$) en résolvant des systèmes d'équations linéaires pondérés, suivie de la mise à jour des poids ($W_n$) basés sur les résidus standardisés.
3. Convergence : L'algorithme garantit la décroissance de la fonction objectif à chaque itération.

D. Détection et Diagnostic

Le papier propose des outils graphiques pour identifier les anomalies :

• Carte de résidus cellulaires (Residual Cellmap) : Une heatmap visualisant les résidus standardisés pour détecter les cellules aberrantes.
• Carte d'outliers (Outlier Map) : Un graphique combinant la distance de résidu (pour les réponses) et la distance de score (pour les prédicteurs), permettant de distinguer les outliers verticaux (réponse), les points de levier bons/mauvais (prédicteurs) et les outliers mixtes.

3. Résultats Principaux

A. Études de Simulation

Des simulations de Monte Carlo ont été menées avec différents niveaux de contamination (cellulaire, casuelle, mixte) et de valeurs manquantes.

• Performance : ROTOT surpasse systématiquement les méthodes classiques (TOT) et les méthodes robustes partielles (OnlyCell-TOT, OnlyCase-TOT).
• Robustesse : Même avec 10% d'outliers cellulaires et 10% d'outliers casuels, ROTOT maintient une erreur de prédiction relative (RPE) faible, tandis que les autres méthodes s'effondrent.
• Valeurs manquantes : La méthode gère efficacement les données manquantes sans nécessiter d'imputation préalable externe.

B. Application Réelle : Labeled Faces in the Wild (LFW)

La méthode a été appliquée au dataset LFW pour prédire des attributs faciaux (genre, expression, accessoires, etc.) à partir d'images de visages.

• Comparaison : ROTOT a obtenu une erreur quadratique moyenne tronquée (robMSE) inférieure à celle de la régression TOT classique.
• Détection d'anomalies : L'analyse des cartes d'outliers a permis d'identifier des visages flous, obscurcis par les cheveux ou présentant des artefacts d'imagerie, confirmant la capacité de la méthode à isoler les données problématiques tout en préservant l'information utile des observations normales.

4. Contributions Clés

1. Première méthode unifiée : ROTOT est la première approche de régression tensorielle capable de traiter simultanément les outliers casuels, les outliers cellulaires et les valeurs manquantes dans les deux tenseurs (prédicteurs et réponses).
2. Fonction de perte innovante : L'utilisation d'une fonction de perte imbriquée avec deux fonctions $\rho$ bornées permet de réduire l'influence des anomalies à deux niveaux (cellule et observation) sans perdre l'information des parties valides des données corrompues.
3. Intégration ROMPCA : L'incorporation de la décomposition tensorielle robuste pour les prédicteurs permet une imputation intelligente des valeurs aberrantes avant la régression.
4. Outils de diagnostic complets : Développement de visualisations spécifiques (cartes de résidus et cartes d'outliers) adaptées à la structure complexe des données tensorielles.

5. Signification et Impact

Ce travail comble un vide important dans l'analyse de données tensorielles de haute dimension. Dans des domaines comme l'imagerie médicale, la vision par ordinateur ou l'analyse de données neuroscientifiques, où les données sont naturellement structurées en tenseurs et souvent bruitées ou incomplètes, ROTOT offre une alternative robuste aux méthodes classiques.

La capacité à distinguer les erreurs de mesure isolées (cellulaires) des observations entières erronées (casuelles) permet d'obtenir des modèles plus fiables et interprétables. De plus, la disponibilité du code R et des données associées facilite l'adoption de cette méthode par la communauté scientifique et les praticiens.