Resumo Técnico: Análise Discriminante Robusta por Célula

Declaração do Problema

A Análise Discriminante (DA) clássica, incluindo as variantes Linear (LDA) e Quadrática (QDA), baseia-se na média aritmética e na matriz de covariância empírica para estimar os parâmetros das classes. Esses estimadores são altamente sensíveis a valores atípicos. Embora a estatística robusta tradicional tenha se focado em valores atípicos por caso (pontos de dados inteiros situados longe do centro da classe), a análise de dados moderna encontra cada vez mais valores atípicos por célula. Estes são entradas inesperadas dentro de uma matriz de dados onde apenas algumas células de um caso estão corrompidas, enquanto as células restantes contêm informações valiosas.

Remover um caso inteiro devido a algumas células atípicas resulta em perda significativa de informação. Além disso, métodos robustos por caso frequentemente falham na presença de contaminação por célula, porque mesmo uma pequena porcentagem de células atípicas pode contaminar a maioria dos casos. A literatura existente abordou a estimação robusta por célula para dados de treinamento (por exemplo, Aerts e Wilms, 2017), mas uma lacuna crítica permanece: predição robusta fora da amostra. Os métodos atuais lutam para classificar novos dados de teste que podem conter células atípicas ou valores ausentes (NA's), levando frequentemente a classificações errôneas.

Metodologia

Os autores propõem cellLDA e cellQDA, um quadro unificado para análise discriminante robusta por célula que aborda tanto as etapas de treinamento quanto de predição.

1. Treinamento Robusto (Na Amostra)

O método estima a localização ($\mu_g$) e a matriz de dispersão ($\Sigma_g$) para cada classe $g$ usando o estimador cellMCD (Raymaekers e Rousseeuw, 2024).

• Objetivo: O cellMCD minimiza uma verossimilhança negativa penalizada que inclui uma distância de Mahalanobis ao quadrado parcial calculada apenas em células não sinalizadas.
• Sinalização: Estima simultaneamente uma matriz de máscara binária $W_g$ onde $w_{ij}=0$ indica uma célula sinalizada (atípica ou NA) e $w_{ij}=1$ indica uma célula limpa.
• Adaptação LDA: Para DA Linear, uma matriz de dispersão compartilhada é estimada agrupando dados centrados e aplicando cellMCD com um centro fixo.

2. Predição Fora da Amostra (Dados de Teste)

A novidade central reside na etapa de predição, que lida com casos de teste contendo valores atípicos por célula e NA's.

• Cellflagger: Para um novo ponto de teste $x$, um "cellflagger" baseado em verossimilhança sinaliza células iterativamente. Ele minimiza uma função objetivo penalizada para determinar quais células são atípicas em relação a uma classe específica $g$. Uma célula é sinalizada se seu resíduo padronizado exceder um intervalo de tolerância robusto (baseado no quantil $\chi^2$).
• Modelo de Contaminação: Os autores introduzem um modelo estatístico novel que estende o quadro de contaminação por célula (Alqallaf et al., 2009) para múltiplas classes. O modelo assume:
  • Células limpas seguem uma distribuição normal multivariada $N(\mu_g, \Sigma_g)$.
  • Células atípicas seguem uma distribuição Laplace de caudas pesadas.
  • Células atípicas ocorrem com uma probabilidade específica $p_{gj}$.
• Função Discriminante Robusta: Com base na verossimilhança conjunta dos dados e dos indicadores de contaminação sob o modelo acima, deriva-se uma nova função discriminante $\delta_g(x, w_g)$. Esta função inclui:
  1. A verossimilhança logarítmica padrão das células não sinalizadas.
  2. Um termo de penalidade para o número de células sinalizadas (baseado na probabilidade de Bernoulli de contaminação).
  3. Um termo que accounta para a magnitude das células atípicas (baseado na densidade Laplace).
• Tratamento de Dados Ausentes: O quadro lida naturalmente com NA's fixando os pesos correspondentes em 0 (tratando-os como permanentemente excluídos) antes de aplicar o cellflagger, garantindo que a função discriminante some apenas sobre células limpas disponíveis.
• Detecção de Valores Atípicos por Caso: Se um caso de teste tiver mais de $d/2$ células sinalizadas ou uma grande distância de Mahalanobis nas células restantes, ele é atribuído a uma nova classe "atípica" (classe 0).

Contribuições Principais

1. Quadro Unificado: A abordagem unifica a estimação de parâmetros, a detecção de valores atípicos e a classificação sob um único princípio de máxima verossimilhança penalizada.
2. Predição Robusta: Ao contrário de métodos anteriores robustos por célula, esta abordagem fornece um mecanismo para classificar dados de teste que podem conter células atípicas, prevenindo a classificação errônea de casos com erros de dados menores.
3. Tratamento de Valores Ausentes: O método acomoda naturalmente dados ausentes sem exigir imputação antes da classificação.
4. Interpretabilidade: Os autores introduzem ferramentas gráficas (Classmaps e Cellmaps) para visualizar os resultados da classificação, distinguindo entre casos limpos, casos corretamente classificados com células atípicas e valores atípicos por caso.

Resultados

Simulações

Os métodos foram avaliados em dados simulados com dimensões $d=5$ e $d=20$, sob vários cenários de contaminação (por célula, por caso e mistos) e estruturas de correlação.

• Dados de Teste Limpos: Quando os dados de treinamento continham valores atípicos por célula, cellQDA e cellLDA mantiveram alta precisão, superando a DA clássica (CQDA/CLDA) e métodos robustos por caso (RQDA/RLDA).
• Dados de Teste Contaminados: Quando os dados de teste continham valores atípicos por célula, apenas cellQDA e cellLDA mantiveram desempenho robusto. Métodos clássicos e robustos por caso sofreram quedas significativas de precisão porque suas regras discriminantes não foram projetadas para lidar com células atípicas no conjunto de teste.
• Cenários Mistos: Os métodos propostos superaram consistentemente as bases robustas existentes (GLQDA/RLDA) quando tanto os dados de treinamento quanto os de teste estavam contaminados.

Aplicação em Dados Reais

O método foi aplicado a um conjunto de dados de 804 doces suíços (Biscoitos, Sorvetes, Bolos, Pudins) com 9 variáveis nutricionais.

• Precisão: cellQDA alcançou a maior precisão validada cruzadamente (0,832), superando CQDA (0,569), RQDA (0,805) e GLQDA (0,767).
• Interpretação: Exibições gráficas revelaram que cellQDA classificou corretamente produtos com perfis nutricionais incomuns (por exemplo, marcas específicas "Weight Watchers") que foram mal classificados por outros métodos ou sinalizados como atípicos globais. Os cellmaps identificaram com sucesso ingredientes específicos incomuns (por exemplo, sal inesperadamente alto/baixo) que impulsionavam a classificação.
• Dados Ausentes: O método manteve alta precisão (76%) mesmo quando até 60% das células de teste foram definidas como ausentes, superando significativamente a DA clássica aplicada a dados completos.

Significado e Alegações

O artigo afirma que o significado primário deste trabalho é o desenvolvimento de um método de predição robusta fora da amostra para análise discriminante. Embora o treinamento robusto seja estabelecido, a capacidade de classificar novos dados contendo valores atípicos por célula sem descartar a observação inteira é uma contribuição novel.

Os autores enfatizam que sua abordagem é coerente, pois as etapas de estimação, sinalização e classificação derivam todas do mesmo modelo de verossimilhança penalizada. Esta unificação permite o tratamento natural de valores ausentes e fornece uma maneira estatisticamente fundamentada de penalizar o número de células sinalizadas. Os resultados das simulações demonstram que esses métodos oferecem desempenho superior em cenários realistas onde a contaminação de dados ocorre tanto nas fases de treinamento quanto de teste, sem sacrificar a eficiência em dados limpos.