Robust Tensor-on-Tensor Regression

1. Problema e Motivação

A análise de dados em forma de tensores (arrays multidimensionais) é fundamental em diversas aplicações, como reconhecimento facial e neuroimagem. A Regressão Tensor-a-Tensor (TOT) é uma ferramenta poderosa que modela a relação entre tensores preditores e tensores resposta, preservando a estrutura multidimensional dos dados, ao contrário de métodos que vetorizam os dados e perdem correlações de ordem superior.

No entanto, a regressão TOT clássica (baseada em mínimos quadrados) é altamente sensível a outliers. O artigo identifica dois tipos críticos de contaminação que afetam tanto os preditores quanto as respostas:

• Outliers Casuais (Casewise): Observações inteiras que se desviam significativamente da maioria dos dados (ex: uma imagem de rosto com ruído severo ou uma amostra com atributos completamente errados).
• Outliers Celulares (Cellwise): Células individuais anômalas dentro de um tensor (ex: um pixel específico com valor incorreto em uma imagem ou um atributo específico com valor atípico em um vetor de características). Devido ao grande número de células em dados tensoriais, esse tipo de contaminação é comum.
• Valores Faltantes: Frequentemente presentes em dados reais, tratados de forma análoga a outliers celulares.

A literatura existente não oferecia um método capaz de lidar simultaneamente com outliers casuais, outliers celulares e valores faltantes em ambos os tensores (preditores e resposta).

2. Metodologia Proposta: ROTOT

Os autores propõem o ROTOT (Robust Tensor-on-Tensor Regression), um novo método que integra técnicas robustas para lidar com todos os tipos de contaminação mencionados.

Componentes Principais:

1. Tratamento dos Preditores (ROMPCA):

   • Utiliza o ROMPCA (Análise de Componentes Principais Multilinear Robusta) para processar os tensores preditores.
   • O ROMPCA gera:
     • Tensores imputados ($X^{imp}_n$), onde outliers celulares e valores faltantes são substituídos por valores regulares.
     • Pesos casuais ($w^x_n$), que são zero para preditores casuais outliers e um para preditores normais.
     • Distâncias de pontuação (Score Distances) para detectar outliers no espaço dos componentes principais.

2. Função de Perda Robusta para a Resposta:

   • O modelo estima o tensor de inclinação ($B$) e o intercepto ($B_0$) minimizando uma função objetivo baseada em M-estimação ponderada.
   • A função de perda utiliza duas funções $\rho$ limitadas (especificamente a função tangente hiperbólica, tanh):
     • $\rho_1$: Limita a influência de outliers celulares na resposta, temperando grandes resíduos individuais.
     • $\rho_2$: Limita a influência de outliers casuais na resposta, temperando desvios grandes de toda a observação.
   • A função objetivo combina essas perdas com um termo de regularização (norma Frobenius de $B$) para evitar sobreajuste, dado o alto número de parâmetros.

3. Algoritmo de Solução (IRLS):

   • O problema de minimização não convexo é resolvido através de um algoritmo de Mínimos Quadrados Ponderados Iterativamente (IRLS).
   • O algoritmo alterna entre atualizar os fatores de decomposição (tensores de núcleo e matrizes de projeção), o intercepto e os pesos, até a convergência.
   • Inicialização Robusta: Para evitar mínimos locais não robustos, o algoritmo utiliza uma estratégia de inicialização baseada em subconjuntos de dados limpos (identificados via algoritmo DDC e ROMPCA) e uma versão inicial com funções de perda mais robustas.

4. Diagnóstico e Detecção de Outliers:

   • Mapa de Células Residuais (Residual Cellmap): Um mapa de calor que visualiza os resíduos padronizados de cada célula, permitindo identificar outliers celulares na resposta.
   • Mapa de Outliers (Outlier Map): Uma ferramenta gráfica que plota a distância residual versus a distância de pontuação (score distance). Permite distinguir entre:
     • Outliers verticais (apenas na resposta).
     • Pontos de alavancagem bons (preditores outliers, mas que seguem o modelo).
     • Pontos de alavancagem ruins (preditores outliers que distorcem o modelo).

3. Contribuições Chave

• Primeiro Método Unificado: O ROTOT é o primeiro método de regressão tensor-a-tensor capaz de tratar simultaneamente outliers casuais, outliers celulares e valores faltantes em preditores e respostas.
• Integração de Técnicas: Combina eficazmente a imputação robusta via ROMPCA (para preditores) com uma função de perda M-estimadora dupla (para a resposta).
• Ferramentas de Diagnóstico Avançadas: Propõe visualizações específicas para a estrutura tensorial, permitindo aos analistas entender a natureza da contaminação (se é uma célula específica ou uma observação inteira).
• Algoritmo Convergente: Prova teórica de que o algoritmo IRLS proposto reduz a função objetivo a cada iteração, garantindo convergência.

4. Resultados e Avaliação

Os autores avaliaram o ROTOT através de estudos de simulação extensivos e uma aplicação em dados reais.

• Simulações:

  • O desempenho foi medido pelo Erro de Previsão Relativo (RPE) em cenários com diferentes níveis de contaminação (apenas celular, apenas casual, ambos) e diferentes razões sinal-ruído (SNR).
  • Resultados: O ROTOT superou consistentemente os métodos concorrentes (TOT clássico, TOT apenas para outliers casuais, TOT apenas para outliers celulares). Enquanto os métodos clássicos falhavam na presença de qualquer tipo de contaminação mista, o ROTOT manteve baixa taxa de erro, demonstrando robustez superior.
  • A presença de valores faltantes não degradou o desempenho do ROTOT.

• Aplicação Real (Labeled Faces in the Wild - LFW):

  • O modelo foi aplicado para prever atributos faciais (como "sorridente", "com óculos", "desfocado") a partir de imagens de rostos.
  • Desempenho: O ROTOT apresentou um menor Erro Quadrático Médio Robusto (robMSE) em comparação com a regressão TOT clássica.
  • Detecção: O método conseguiu identificar corretamente imagens com atributos anômalos (ex: rostos desfocados ou com flash excessivo) e observações inteiras problemáticas (ex: rostos parcialmente cobertos por cabelo), demonstrando a utilidade prática das ferramentas de diagnóstico propostas.

5. Significado e Conclusão

O artigo preenche uma lacuna crítica na análise de dados tensoriais de alta dimensão. Em cenários do mundo real, onde dados são frequentemente sujos (com ruído, falhas de sensor ou erros de anotação), os métodos clássicos falham. O ROTOT oferece uma solução robusta e interpretável, permitindo que pesquisadores e analistas:

1. Obtenham estimativas de modelos mais precisas e confiáveis na presença de dados contaminados.
2. Identifiquem e investiguem a origem dos erros (se são erros pontuais ou falhas sistêmicas nas observações).
3. Lidem com dados incompletos sem a necessidade de descartar observações inteiras.

A disponibilidade do código em R e a aplicação em um dataset de reconhecimento facial consolidam o ROTOT como uma ferramenta prática e avançada para a estatística robusta moderna.