Robust Tensor-on-Tensor Regression

Titel: Robuste Tensor-on-Tensor Regressie (ROTOT)

Auteurs: Mehdi Hirari, Fabio Centofanti, Mia Hubert, en Stefan Van Aelst (KU Leuven)

---

1. Het Probleem

Tensor-on-tensor (TOT) regressie is een krachtige techniek om relaties te modelleren tussen voorspellers en responsen die beide de vorm van tensoren hebben (meerdimensionale arrays). Hoewel klassieke TOT-regressie methoden (zoals die van Lock, 2018) effectief zijn, zijn ze kwetsbaar voor uitbijters (outliers).

Het artikel identificeert twee specifieke soorten uitbijters die vaak voorkomen in tensordata, maar waar bestaande methoden moeite mee hebben:

• Casewise outliers: Hele observaties (tensors) die afwijken van de rest van de data (bijv. een volledig vervormd gezicht in een dataset).
• Cellwise outliers: Individuele cellen binnen een tensor die abnormaal zijn, terwijl de rest van die observatie normaal is (bijv. een enkele pixel die verkeerd is gemeten of een enkele verkeerde attribuutwaarde).
• Ontbrekende waarden: Deze worden vaak behandeld als een vorm van cellwise uitbijters, maar met bekende posities.

Bestaande methoden zijn vaak alleen robuust voor casewise outliers of alleen voor cellwise outliers, maar niet voor beide tegelijkertijd, noch voor ontbrekende waarden in zowel de voorspellers als de responsen.

2. Methodologie: ROTOT

De auteurs introduceren ROTOT (Robust Tensor-on-Tensor regression), een nieuwe methode die beide soorten uitbijters en ontbrekende waarden gelijktijdig aanpakt. De kern van de methode bestaat uit de volgende componenten:

A. Modellering van de Respons (Y)

Om uitbijters in de respons-tensor te beheersen, wordt een gewogen M-schatting gebruikt. In plaats van de standaard kwadratische fout (Frobenius-norm), minimaliseert ROTOT een objectieve functie gebaseerd op een begrensde verliesfunctie ($\rho$-functie).

• Er worden twee $\rho$-functies gebruikt: $\rho_1$ voor cellwise residuals en $\rho_2$ voor casewise residuals.
• Beide functies zijn gekozen als de hyperbolische tangens (tanh)-functie. Deze functie is "redescending", wat betekent dat de invloed van zeer grote uitbijters (zowel individuele cellen als hele gevallen) naar nul wordt gedrukt.
• De schaalparameters ($\hat{\sigma}$) worden robuust geschat via M-schatters om de standaardisatie van de residuals correct te houden.

B. Modellering van de Voorspellers (X)

Voor de voorspellers wordt gebruikgemaakt van ROMPCA (Robust Multilinear Principal Component Analysis).

• ROMPCA voert een robuuste decompositie uit op de voorspeller-tensors.
• Het levert drie dingen op:
  1. Een geïmputeerde tensor ($X^{imp}$) waarbij cellwise outliers en ontbrekende waarden zijn vervangen door geschatte "normale" waarden.
  2. Een casewise gewicht ($w_n^x$) dat aangeeft of een hele observatie een casewise outlier is (gewicht 0) of niet (gewicht 1).
  3. Een core tensor die wordt gebruikt voor verdere analyse.

C. Het Optimalisatie-algoritme (IRLS)

De parameters van het model worden geschat via een Iteratively Reweighted Least Squares (IRLS) algoritme.

• Het algoritme wisselt af tussen het updaten van de regressiecoëfficiënten (via een CP-decompositie van de slope-tensor) en het updaten van de gewichten.
• De gewichten worden dynamisch berekend op basis van de huidige residuals:
  • Cellen met grote residuals krijgen een laag gewicht (via $\rho_1$).
  • Observaties met grote casewise afwijkingen krijgen een laag gewicht (via $\rho_2$).
  • Observaties met een lage voorspeller-kwaliteit (uit ROMPCA) krijgen een laag gewicht.
• Het algoritme convergeert gegarandeerd naar een lokaal minimum dat de objectieve functie verlaagt.

D. Diagnostiek

De auteurs stellen twee visuele hulpmiddelen voor om uitbijters te detecteren:

1. Residual Cellmap: Een heatmap van de gestandaardiseerde residuals per cel, die cellwise outliers visualiseert.
2. Outlier Map: Een scatterplot die de residual distance (fout in de respons) tegen de score distance (afwijking in de voorspeller via ROMPCA) plott. De grootte van het punt geeft het percentage uitbijtende cellen aan. Dit helpt onderscheid te maken tussen "goede" en "slechte" leverage-punten.

3. Belangrijkste Bijdragen

• Eerste methode: ROTOT is de eerste TOT-regressiemethode die simultaan om kan gaan met casewise outliers, cellwise outliers en ontbrekende waarden in zowel de voorspellers als de responsen.
• Geïntegreerde aanpak: Het combineert robuuste decompositie (ROMPCA) voor de voorspellers met een robuuste M-schatting voor de respons in één coherent raamwerk.
• Diagnostische tools: Het introduceren van specifieke visualisaties (Outlier Map en Residual Cellmap) die de aard van de uitbijters (casewise vs. cellwise, voorspeller vs. respons) duidelijk onderscheiden.
• Software: De methode is geïmplementeerd in R en de code is openbaar beschikbaar.

4. Resultaten

De prestaties van ROTOT zijn geëvalueerd via uitgebreide simulaties en een toepassing op reële data.

• Simulatiestudies:

  • ROTOT werd vergeleken met klassieke TOT, en varianten die alleen robuust zijn voor casewise of alleen voor cellwise outliers.
  • Resultaat: ROTOT presteerde consistent beter dan alle concurrenten, ongeacht het type uitbijter (alleen cellwise, alleen casewise, of een mengsel) en de aanwezigheid van ontbrekende waarden.
  • Klassieke TOT en methoden die alleen op één type uitbijter focussen, vertoonden een sterke toename in voorspelfout (RPE) bij contaminatie. ROTOT hield de fout laag en stabiel.
  • De resultaten waren robuust over verschillende Signal-to-Noise Ratios (SNR).

• Reële Data (Labeled Faces in the Wild):

  • De methode werd toegepast om gezichtskenmerken (attributes) te voorspellen op basis van gezichtsafbeeldingen (tensors).
  • ROTOT leverde een lagere robMSE (gesneden gemiddelde kwadratische fout) op dan klassieke TOT.
  • De diagnostische tools slaagden erin om specifieke uitbijters te identificeren, zoals afbeeldingen met onduidelijkheid ("Blurry") of flitslicht ("Flash") als cellwise outliers, en volledig onherkenbare gezichten als casewise outliers.

5. Betekenis en Conclusie

Dit artikel is significant voor het veld van multivariate statistiek en data-analyse omdat het een veelvoorkomend maar moeilijk probleem oplost: de analyse van complexe, meerdimensionale data in de aanwezigheid van verschillende soorten ruis en uitbijters.

In praktische toepassingen zoals beeldverwerking, medische beeldvorming of sensor-data, is het vaak onmogelijk om alle "slechte" data vooraf te verwijderen. ROTOT biedt een oplossing waarbij de data-analyse robuust blijft, zelfs als een deel van de data (zowel individuele pixels/cellen als hele observaties) vervuild is. Dit zorgt voor betrouwbaardere modellen en betere inzichten in de onderliggende structuren van tensordata.