Robust fuzzy clustering with cellwise outliers

Resumo Técnico: Agrupamento Fuzzy Robusto com Outliers por Célula (cellFCLUST)

1. O Problema

Tradicionalmente, a estatística robusta lida com outliers sob o paradigma de contaminação por caso (casewise contamination), onde uma unidade inteira (uma linha na matriz de dados) é considerada atípica. No entanto, em conjuntos de dados de alta dimensionalidade, é mais comum que apenas algumas variáveis de uma unidade apresentem valores anômalos — o que é chamado de contaminação por célula (cellwise contamination).

Os métodos tradicionais de agrupamento (clustering) falham neste cenário por dois motivos principais:

1. Perda de Informação: Ao descartar ou reduzir o peso de um caso inteiro devido a apenas uma célula contaminada, perde-se a informação valiosa contida nas outras células confiáveis daquela mesma linha.
2. Falha de Escala: À medida que o número de variáveis ($p$) aumenta, a probabilidade de um caso conter pelo menos uma célula contaminada cresce drasticamente, o que pode levar os algoritmos de agrupamento (mesmo os robustos por caso) ao colapso total.

Além disso, o artigo aborda a necessidade de flexibilidade entre o agrupamento "rígido" (hard clustering) e o "difuso" (fuzzy clustering), permitindo que unidades com forte evidência de pertencimento a um grupo sejam atribuídas de forma clara, enquanto unidades ambíguas mantenham graus de pertinência.

2. Metodologia: O Algoritmo cellFCLUST

Os autores propõem o cellFCLUST, um método de agrupamento difuso que combina a detecção de outliers por célula com a estimação de parâmetros de clusters de forma robusta. A metodologia baseia-se em um framework de Máxima Verossimilhança e utiliza um algoritmo inspirado no método Expectation-Maximization (EM).

As principais etapas do algoritmo são:

• Detecção de Células Não Confiáveis (Passo 1): O algoritmo identifica células contaminadas ou ausentes comparando a contribuição individual de cada célula para a função objetivo. Células que desviam significativamente do padrão esperado para o cluster são marcadas como "não confiáveis".
• Atribuição de Alta Contraste (Passo 2): O método implementa a propriedade de "alto contraste", onde unidades no "núcleo" dos clusters recebem atribuições rígidas ($u_{ik} = 1$), enquanto unidades nas fronteiras recebem atribuições difusas ($0 < u_{ik} < 1$).
• Imputação de Dados (Passo 3 e 4): Em vez de descartar as células contaminadas, o cellFCLUST utiliza as relações de dependência entre as variáveis (matrizes de covariância específicas de cada cluster) para imputar os valores das células não confiáveis. Isso permite que a unidade inteira seja utilizada no processo de estimação.
• Restrições de Estabilidade: Para evitar soluções espúrias e garantir a convergência, o modelo impõe uma restrição de razão de autovalores nas matrizes de covariância, controlando a forma elíptica dos clusters.

3. Principais Contribuições

1. Novo Paradigma de Agrupamento: É a primeira proposta de agrupamento difuso projetada especificamente para lidar com contaminação por célula, estendendo o conceito de modelos de mistura para o contexto de cellwise robustness.
2. Tratamento de Dados Incompletos: O método integra naturalmente a detecção de outliers com o tratamento de dados faltantes (missing data), tratando ambos como células não confiáveis.
3. Flexibilidade de Parâmetros: Introduz o controle sobre o grau de difusão (parâmetro $m$) e a escala das atribuições (fator de escala $S$), permitindo que o usuário ajuste o equilíbrio entre agrupamento rígido e difuso.
4. Eficiência de Informação: Ao imputar valores em vez de excluir casos, o método preserva a estrutura estatística do conjunto de dados de forma muito mais eficaz que os métodos casewise.

4. Resultados

O desempenho foi validado através de estudos de simulação e aplicações reais:

• Simulação: O cellFCLUST superou significativamente os métodos tradicionais (como k-means e F-TCLUST) em termos de taxa de erro de classificação (MR), Índice de Rand Ajustado (ARI) e precisão na estimação de médias e covariâncias, especialmente quando o nível de contaminação por célula aumentava. O método demonstrou uma taxa de falsos positivos quase nula na detecção de outliers.
• Aplicações Reais:
  • Dados de Gordura Corporal: Identificou subgrupos de indivíduos com diferentes perfis de risco de saúde, sendo capaz de detectar valores anômalos em variáveis específicas (como o IMC) sem comprometer a classificação do indivíduo.
  • Dados da OCDE (Bem-estar Regional): Agrupou regiões de países baseando-se em indicadores de qualidade de vida. O modelo foi capaz de identificar "anomalias regionais" (ex: a alta renda da Califórnia ou a baixa participação cívica na Suíça) e agrupar regiões de países diferentes que compartilham perfis socioeconômicos semelhantes.

5. Significância

A importância deste trabalho reside na sua aplicabilidade em cenários de Big Data e alta dimensionalidade, onde a limpeza de dados é complexa e o erro de medição é comum. O cellFCLUST oferece uma ferramenta poderosa para cientistas de dados e estatísticos que precisam realizar agrupamento em dados "sujos", garantindo que a estrutura subjacente dos dados seja descoberta sem a distorção causada por erros pontuais de medição ou valores extremos em variáveis isoladas.