Cellwise and Casewise Robust Multivariate Regression with Inference

Resumo Técnico: Regressão Multivariada Robusta por Célula e por Caso com Inferência

Declaração do Problema
A regressão linear multivariada é uma ferramenta estatística fundamental para modelar relações entre preditores de dimensão $p$ e respostas de dimensão $q$. No entanto, estimadores clássicos como os Mínimos Quadrados Ordinários (OLS) são altamente sensíveis a valores atípicos. A estatística robusta tradicional abordou principalmente valores atípicos por caso (observações inteiras que se desviam da maioria), exigindo que pelo menos 50% dos dados estejam limpos. Contudo, conjuntos de dados modernos de alta dimensão frequentemente sofrem com valores atípicos por célula, onde entradas individuais na matriz de preditores ou de respostas estão contaminadas. Em altas dimensões, mesmo uma pequena proporção de células contaminadas pode tornar uma grande fração de casos "ruins" (por exemplo, com $p=100$ e $q=2$, 1% de contaminação por célula afeta 64% dos casos), fazendo com que métodos robustos por caso falhem. Além disso, aplicações contemporâneas frequentemente envolvem valores ausentes e dimensões onde $p \geq n$, levando à instabilidade na estimação clássica. Finalmente, embora a estimação robusta esteja estabelecida, fornecer inferência estatística válida (por exemplo, intervalos de confiança) sob contaminação simultânea por célula e por caso, particularmente com dados ausentes, permanece um desafio aberto.

Metodologia
Os autores propõem cellMR (Regressão Multivariada por Célula) e cellBoot (Bootstrap por Célula) para abordar esses desafios.

1. O Estimador cellMR:

   • Fundação: O método baseia-se em um estimador de covariância robusto por célula (cellCov) desenvolvido por Centofanti et al. (2025).
   • Mecanismo: Utiliza uma abordagem de Análise de Componentes Principais (PCA) robusta chamada cellPCA para lidar com a matriz combinada de preditores e respostas $[X; Y]$. Este método modela os dados como uma estrutura de baixo rank mais ruído, empregando funções $\rho$ válidas (especificamente uma função tangente hiperbólica) para limitar a influência de valores atípicos tanto por célula quanto por caso.
   • Regularização: Para garantir estabilidade numérica em configurações de alta dimensão ($p \geq n$), os coeficientes de regressão são estimados usando regularização ridge. Os parâmetros de regressão são derivados inserindo as estimativas robustas de localização ($\hat{\mu}$) e dispersão ($\hat{\Sigma}$) do cellCov nas fórmulas padrão de regressão ridge.
   • Dados Ausentes: O quadro de trabalho acomoda naturalmente valores ausentes através do mecanismo cellPCA, que usa indicadores de ausência para ponderar contribuições durante a estimação.
   • Previsão: Para previsão fora da amostra, o método emprega uma estratégia de imputação onde células suspeitas em novos dados são limpas e células ausentes são preenchidas com base na estrutura robusta aprendida a partir dos dados de treinamento.

2. O Procedimento de Inferência cellBoot:

   • Desafio: A inferência direta por bootstrap no estimador cellMR é problemática porque o estimador não é garantido como consistente devido à sua construção por célula.
   • Solução: Os autores introduzem o cellBoot, um procedimento de bootstrap baseado em Inferência Indireta (II).
   • Estimador Auxiliar: Uma aproximação de um passo computacionalmente eficiente do cellCov, denominada FastCellCov, é usada como estimador auxiliar. Embora o FastCellCov seja inconsistente, ele captura as propriedades de robustez do estimador completo.
   • Correção de Viés: O quadro de trabalho II constrói um estimador consistente ao igualar o estimador auxiliar computado nos dados observados com a média do estimador auxiliar computado em conjuntos de dados simulados gerados a partir de um modelo paramétrico.
   • Implementação: O algoritmo gera amostras de bootstrap, computa estimativas do FastCellCov, aplica a correção de viés II para obter estimativas consistentes de localização e dispersão e, finalmente, deriva coeficientes de regressão. Intervalos de confiança são construídos usando os quantis empíricos dessas estimativas de bootstrap corrigidas.

Principais Contribuições

• Quadro Unificado: Ao conhecimento dos autores, este é o primeiro método de regressão multivariada capaz de lidar simultaneamente com valores atípicos por célula, valores atípicos por caso, dados ausentes e alta dimensionalidade ($p \geq n$).
• Propriedades Teóricas:
  • Os autores derivam as funções de influência (IF) para os estimadores de regressão cellMR sob modelos de contaminação tanto por caso quanto por célula, provando que os estimadores são limitados e, portanto, robustos.
  • Eles provam a consistência assintótica do procedimento cellBoot.
  • Eles derivam as funções de influência para o centro e o comprimento dos intervalos de confiança resultantes, demonstrando sua robustez.
• Validade da Inferência: O artigo estabelece que os intervalos de confiança do cellBoot são assintoticamente exatos, fornecendo quantificação válida de incerteza em configurações onde o bootstrap padrão ou métodos de bootstrap robusto (como FRB) falham.

Resultados

• Simulações: Extensos experimentos de Monte Carlo demonstram que o cellMR alcança desempenho preditivo superior (Menor Erro Quadrático Médio) comparado a métodos concorrentes (incluindo RIDGE, SEST, PENSE, CRM, REGCELL e SHOOT) em várias cenários de contaminação (por célula, por caso e mistos) e dimensões. Métodos concorrentes falham em altas dimensões ou performam mal sob contaminação por célula.
• Desempenho de Inferência: O método cellBoot mantém probabilidades de cobertura nominais (por exemplo, 90%) mesmo sob contaminação significativa e dados ausentes. Em contraste, intervalos baseados em OLS sofrem de subcobertura severa, e o Bootstrap Rápido e Robusto (FRB) falha em configurações de alta dimensão.
• Aplicação em Dados Reais: Os métodos foram aplicados a um conjunto de dados de genômica envolvendo 59 linhagens de células cancerígenas, 50 genes e 3 proteínas. A análise identificou com sucesso associações robustas entre níveis de expressão gênica e proteica, visualizadas através de mapas de valores atípicos e gráficos de floresta, enquanto lidava efetivamente com potenciais valores atípicos e valores ausentes.

Significado e Alegações
O artigo alega fornecer uma metodologia unificada que aborda a "tripla ameaça" da análise de dados moderna: contaminação por célula, contaminação por caso e ausência em altas dimensões. Afirma que o cellMR é a primeira abordagem a enfrentar conjuntamente essas questões dentro de um quadro de regressão multivariada. Além disso, a introdução do cellBoot é alegada como o primeiro quadro de inferência especificamente projetado para fornecer intervalos de confiança válidos na presença de contaminação simultânea por célula e por caso combinada com valores ausentes. Os autores enfatizam que sua abordagem vai além da previsão para permitir interpretação científica confiável através de quantificação robusta de incerteza.