A unified approach to outlier identification for mixed-type data

Resumo Técnico: Uma Abordagem Unificada para Identificação de Outliers em Dados de Tipos Mistos

Declaração do Problema
Conjuntos de dados do mundo real frequentemente contêm variáveis de tipos mistos, combinando medições contínuas com categorias ordinais (ex: escalas Likert, indicadores binários). Embora métodos estatísticos robustos para detecção de outliers sejam bem estabelecidos para dados puramente contínuos, técnicas capazes de lidar com dados mistos contínuo-ordinais, mantendo a robustez à contaminação, são escassas. Definições tradicionais de outliers baseadas em distâncias Euclidianas ou de Mahalanobis não são diretamente aplicáveis a variáveis ordinais devido à falta de distâncias numéricas significativas entre as categorias. Além disso, estimadores robustos existentes, como o Mínimo de Coordenada de Determinante (MCD - Minimum Covariance Determinant), não foram estendidos para este cenário de tipo misto.

Metodologia
Os autores propõem o MCD-omix, um método unificado de identificação de outliers que estende o estimador MCD para dados mistos contínuo-ordinais. A metodologia baseia-se nos seguintes componentes principais:

1. Estrutura Gaussiana Latente: A abordagem assume que as variáveis ordinais observadas são geradas pelo limiar (thresholding) de variáveis aleatórias Gaussianas contínuas não observadas (latentes). Isso permite que os autores modelem todo o conjunto de dados (contínuo e ordinal) como uma única distribuição Gaussiana multivariada, onde as variáveis ordinais são tratadas como Gaussianas latentes discretizadas.
2. Estimativa Robusta (Adaptação do MCD): O método estima a localização (média) e a dispersão (covariância) da maioria "não-outlier" usando uma abordagem MCD robusta.
   • Estimativa de Correlação: Em vez das correlações de Pearson padrão, o algoritmo calcula correlações polisseriais (entre variáveis contínuas e ordinais) e correlações policóricas (entre duas variáveis ordinais) com base na suposição Gaussiana latente.
   • Tratamento de Singularidade: Para abordar problemas decorrentes de variáveis categóricas (ex: categorias vazias em um subconjunto levando a matrizes de covariância singulares), os autores empregam uma estratégia de regularização (Ledoit & Wolf, 2004) e fixam os limiares com base no conjunto de dados completo, em vez de reestimá-los em subconjuntos.
   • Algoritmo: Uma adaptação do algoritmo FastMCD (Rousseeuw & Driessen, 1999) é utilizada. Ele seleciona iterativamente um subconjunto $h$ de pontos de dados que minimiza o determinante da matriz de covariância. O algoritmo inicia utilizando apenas variáveis contínuas para evitar problemas de estimativa de correlação em pequenas amostras, e então incorpora os valores ordinais latentes.
3. Definição de Outlier: Os outliers são identificados usando distâncias de Mahalanobis robustas calculadas nas variáveis contínuas padronizadas e nos valores latentes estimados das variáveis ordinais. Os autores definem três potenciais regiões de outliers ($out_1, out_2, out_3$), mas utilizam finalmente a $out_3$, a interseção das regiões definidas pelos valores latentes e pelas expectativas condicionais estimadas, para garantir a robustez contra a inobservabilidade dos verdadeiros valores latentes.
4. Propriedades de Breakdown: O artigo apresenta um teorema de breakdown demonstrando que, se um certo número de observações ($g < n - h$) for substituído arbitrariamente, os outliers extremos no conjunto de dados original ainda serão identificados, desde que pelo menos uma variável contín-ínua assuma um valor extremo.

Principais Contribuições

• Extensão do MCD: A principal contribuição é a generalização do estimador MCD para dados mistos contínuo-ordinais, um cenário que carecia anteriormente de uma solução robusta e unificada.
• Definição Unificada de Outlier: Ao utilizar o modelo Gaussiano latente, o artigo fornece uma definição coerente de "outlyingness" (caráter de outlier) que se aplica simultaneamente a variáveis contínuas e ordinais, superando as limitações geométricas dos dados ordinais.
• Implementação Algorítmica: Os autores fornecem um algoritmo prático (Algoritmo 1) que integra a estimativa de correlação polisserial/policórica, a fixação de limiares e a regularização de covariância para lidar com os desafios computacionais e estatísticos de dados mistos.
• Garantia Teórica: Um teorema de breakdown é estabelecido para mostrar a resiliência do método contra a substituição de dados, garantindo que outliers extremos não sejam mascarados.

Resultados
O desempenho do MCD-omix foi avaliado através de extensas simulações e uma aplicação no mundo real:

• Simulações: O método foi testado em dados sintéticos com $n=500$ observações e quatro tipos de contaminação: contaminação por deslocamento (shift), contaminação por múltiplos deslocamentos, cauda pesada ($t_2$) e contaminação de correlação mista.
  • Taxas de Detecção: O MCD-omix alcançou altas taxas de detecção (frequentemente >95% para contaminação por deslocamento, ~90% para cauda pesada) através de várias proporções de contaminação ($\epsilon$) e tamanhos de subconjunto ($h$).
  • Falsos Positivos: O método manteve taxas de falsos positivos muito baixas, com o número médio de não-outliers detectados falsamente permanecendo próximo de zero, mesmo sob alta contaminação.
  • Estimativa de Parâmetros: O Erro Quadrático Médio (MSE) entre as matrizes de covariância reais e estimadas permaneceu baixo, indicando que o método recupera efetivamente a estrutura de correlação subjacente mesmo na presença de outliers.
• Aplicação (Dados do Airbnb): O método foi aplicado a um conjunto de dados de 4.614 anúncios do Airbnb em Londres (2021), contendo 7 variáveis contínuas e 9 ordinais.
  • O algoritmo identificou 33 outliers (0,7% dos dados).
  • A análise dos outliers revelou "armadilhas para turistas" (ex: um quarto privativo em Southwark com preço de €13.000 por duas noites com baixas classificações de satisfação) e anúncios com combinações de características inconsistentes (ex: altas classificações de limpeza, mas baixa satisfação geral).
  • Os resultados destacaram associações não capturadas por modelos espaciais padrão, como as anomalias específicas de preços em certos distritos (boroughs).

Significância e Alegações
O artigo afirma que o MCD-omix oferece uma solução prática e robusta para a identificação de outliers em conjuntos de dados de tipos mistos, um cenário comum em campos como psicometria, marketing e ciências sociais. Ao unificar o tratamento de variáveis contínuas e ordinais sob uma estrutura Gaussiana latente, o método evita a necessidade de transformações ad-hoc ou tratamento separado de tipos de variáveis.

Os autores observam modestamente que o método depende da suposição de gaussianidade latente para as variáveis ordinais. Eles esclarecem que esta é uma escolha de modelagem para definir outliers, e não uma suposição estrita de que as variáveis latentes "realmente existem" ou que as distribuições marginais sejam Gaussianas. A abordagem é apresentada como um dispositivo de calibração: as observações são sinalizadas como outliers se divergirem significativamente da estrutura de correlação esperada sob uma referência Gaussiana multivariada. O artigo conclui que, embora o método seja eficaz, trabalhos futuros podem explorar extensões para dados nominais e a derivação de distribuições assintóticas.