Resumo Técnico: Cellwise Outliers

1. Introdução e Definição do Problema

O artigo aborda uma mudança de paradigma na estatística robusta e no aprendizado de máquina: a transição do foco em valores atípicos casewise (por caso/linha) para valores atípicos cellwise (por célula/valor individual).

• Contaminação Casewise (Tradicional): Assume-se que uma observação (linha da matriz de dados) é inteiramente limpa ou inteiramente contaminada. Métodos robustos clássicos (como MCD ou S-estimators) funcionam bem sob este modelo, desde que menos de 50% dos casos sejam contaminados.
• Contaminação Cellwise: Assume-se que valores individuais (células) dentro da matriz de dados podem ser errôneos, independentemente do estado das outras células na mesma linha.
• O Problema da Dimensionalidade: Em dados de alta dimensão ($d$), mesmo uma pequena proporção de células atípicas ($\epsilon_{cell}$) pode contaminar a maioria das linhas. A probabilidade de uma linha conter pelo menos uma célula atípica é $1 - (1 - \epsilon_{cell})^d$. Para $d=70$ e $\epsilon_{cell}=0.05$, mais de 97% dos casos estarão contaminados, fazendo com que métodos robustos caswise tradicionais falhem, pois eles descartariam quase todo o conjunto de dados.
• Modelo de Contaminação Mista: O artigo considera um cenário realista onde dados podem conter outliers casewise, outliers cellwise e valores ausentes (NA) simultaneamente.

2. Metodologia e Abordagens

Os autores revisam e propõem métodos que abandonam certas propriedades de equivariância tradicionais (como a equivariância afim estrita) para ganhar robustez cellwise.

2.1 Detecção de Outliers Cellwise

• Limitações Univariadas: Identificar outliers apenas pelas distribuições marginais (ex: escores-z robustos) é insuficiente, pois uma célula pode ser atípica apenas no contexto multivariado (ex: um carro com largura pequena, mas velocidade alta, pode não ser um outlier na distribuição de largura isoladamente).
• Algoritmo DDC (Detect Deviating Cells): Proposto por Rousseeuw e Van den Bossche (2018), este método ajusta regressões lineares robustas simples de cada variável contra as demais. Os resíduos resultantes identificam células que não se ajustam ao padrão multivariado, mesmo que sejam normais marginalmente.
• FastDDC: Uma versão computacionalmente eficiente para alta dimensão, utilizando transformações de screening e regressões em ensemble.

2.2 Estimação de Localização e Covariância

• Quebra de Propriedades: O artigo demonstra teoricamente que estimadores que satisfazem a propriedade de "estar no mesmo subespaço afim que os dados" (comum em estimadores equivariantes) têm um valor de ruptura (breakdown value) cellwise limitado a aproximadamente $1/d$.
• CellMCD: Uma extensão do estimador Minimum Covariance Determinant (MCD) clássico. Em vez de maximizar a verossimilhança de um subconjunto de casos, o CellMCD maximiza a verossimilhança de um subconjunto de células.
  • Utiliza um algoritmo de descida de coordenada por blocos.
  • Introduz uma matriz binária $W$ para flagar células limpas vs. contaminadas.
  • Minimiza uma função objetivo que combina a verossimilhança gaussiana das células limpas e uma penalidade pelo número de células flagadas.
• TSGS (Two-Step Generalized S-estimator): Um método anterior que filtra outliers cellwise (tratando-os como NA) e aplica um estimador S robusto para dados com missing.

2.3 Regressão Robusta Cellwise

• Desafio: Em regressão $y = X\beta + \epsilon$, as variáveis preditoras ($X$) podem ter células contaminadas. Usar apenas as células limpas de $x_i$ é crucial, mas difícil sem distorcer o modelo.
• CellLTS (Least Trimmed Squares): Um método inovador que:
  1. Aplica o CellMCD na matriz de preditores $X$ para identificar e imputar células atípicas.
  2. Aplica o método LTS casewise na matriz limpa.
  3. Predição Fora da Amostra: Oferece uma abordagem única para prever novos dados. Se um novo vetor $x_{new}$ tem uma célula atípica, o método imputa essa célula antes de calcular a previsão, evitando que o outlier distorça a previsão (diferente da fórmula padrão $\hat{y} = \alpha + x_{new}^T \beta$).
• Shooting S-estimator: Utiliza descida de coordenada, substituindo a regressão OLS por estimadores S robustos casewise em cada passo, ajustando a resposta para evitar propagação de erros.

2.4 Análise de Componentes Principais (PCA) e Dados de Alta Dimensão

• Problema: A projeção ortogonal clássica propaga o erro de uma célula atípica para todas as outras células do caso projetado.
• CellPCA: Um método que combina duas funções de perda robustas (uma para resíduos cellwise e outra para desvios casewise).
  • Utiliza funções de perda limitadas (tipo tangente hiperbólica) para controlar a influência de outliers.
  • Fornece imputação de células suspeitas antes da projeção no subespaço principal.
  • Gera mapas de resíduos (cellmaps) que visualizam tanto outliers por linha quanto por célula.
• Regularização: Para $d > n$, o método CellRCov decompõe a matriz de covariância em uma parte de baixa dimensão (via cellPCA) e uma parte regularizada dos resíduos.

2.5 Dados Tensoriais

• ROMPCA: Estende o CellPCA para tensores (arrays multidimensionais). Aplica decomposição Tucker ou CP robusta, lidando simultaneamente com outliers casewise, cellwise e valores ausentes.
• Aplicação: Demonstrado em vídeos de vigilância (Dog Walker dataset), onde pixels individuais (células) que mudam (ex: um cachorro passando) são identificados como outliers, enquanto o fundo estático é preservado.

3. Contribuições Chave

1. Teoria de Ruptura (Breakdown Value): Estabelecimento de limites teóricos que provam que a equivariância afim e a invariância a subespaços são incompatíveis com alta robustez cellwise. Isso justifica a necessidade de novos estimadores que não satisfaçam essas propriedades clássicas.
2. Novos Algoritmos: Desenvolvimento e refinamento de métodos como CellMCD, CellLTS, CellPCA e ROMPCA, que integram a detecção de outliers e a estimação do modelo em um único processo iterativo.
3. Tratamento de Dados Faltantes e Mistos: Os métodos propostos lidam nativamente com a combinação de outliers cellwise, outliers casewise e dados ausentes (NA), um cenário comum em dados reais.
4. Predição Robusta: A introdução de mecanismos de imputação condicional para predição fora da amostra, garantindo que novos dados com células atípicas não gerem previsões catastróficas.
5. Visualização: Uso de "cellmaps" (mapas de células) para visualizar resíduos e identificar padrões de contaminação que métodos tradicionais ignorariam.

4. Resultados e Desempenho

• Simulações e Dados Reais: Os métodos demonstraram superioridade sobre abordagens tradicionais (como remover linhas inteiras ou usar apenas filtros marginais) em cenários de alta dimensão e contaminação mista.
• Eficiência Computacional: Métodos como FastDDC e CellLTS foram otimizados para lidar com grandes dimensões ($d \gg n$), onde métodos anteriores falhavam ou eram computacionalmente proibitivos.
• Aplicações Diversas: Os métodos foram validados em diversos domínios, incluindo:
  • Epidemiologia e Geoquímica: Detecção de erros de medição em grandes conjuntos de dados.
  • Arqueologia: Análise de artefatos com medições parciais.
  • Processamento de Imagem/Vídeo: Identificação de objetos em movimento em fundos estáticos (dados tensoriais).
  • Espectroscopia: Análise de dados de infravermelho próximo (NIR) com muitas variáveis.

5. Significância e Conclusão

O artigo conclui que a abordagem cellwise representa um avanço fundamental na estatística robusta. Embora exija o abandono de algumas propriedades matemáticas intuitivas (como a equivariância afim estrita), ela é essencial para a análise de dados modernos, que são frequentemente de alta dimensão e contêm erros pontuais.

A principal mensagem é que, para dados complexos, não se deve descartar casos inteiros devido a um ou dois valores errados. Em vez disso, deve-se identificar e corrigir (ou ponderar) as células específicas. O trabalho fornece um arcabouço teórico e prático completo, com software disponível no pacote R cellWise, permitindo que pesquisadores e praticantes apliquem essas técnicas avançadas em suas próprias análises de dados.