Resumo Técnico: macrOData – Novos Benchmarks de Milhares de Conjuntos de Dados para Detecção de Outliers em Dados Tabulares

Declaração do Problema

A detecção de outliers (OD) em dados tabulares é crítica para aplicações em detecção de fraude, saúde e monitoramento ambiental. No entanto, o campo sofre com a falta de benchmarks de grande escala, diversos e padronizados, dificultando a avaliação do progresso científico ou a tomada de decisões metodológicas informadas. O atual padrão de fato, ADBench, é limitado a apenas 57 conjuntos de dados. Os autores argumentam que essa pequena escala restringe o poder estatístico, reduz a diversidade e torna as comparações empíricas altamente sensíveis à seleção de datasets.

Além disso, o artigo identifica uma limitação estrutural específica no ADBench: ele captura predominantemente outliers globais que se assemelham ao ruído Gaussiano. Essa característica favorece inadvertidamente métodos simples baseados em distância global (como KNN) e modelos de fundação recentes pré-treinados em misturas Gaussianas sintéticas (como o FoMo-0D), o que pode mascarar sua incapacidade de lidar com anomalias mais complexas, semânticas ou locais. A natureza não supervisionada da OD, combinada com a alta sensibilidade a hiperparâmetros, exacerba esses problemas de avaliação, uma vez que as escolhas de ajuste podem impactar drasticamente o desempenho sem uma validação estatística robusta.

Metodologia: A Suíte macrOData

Para abordar essas lacunas, os autores introduzem a macrOData, uma suíte de benchmark abrangente composta por 2.446 conjuntos de dados curados de três componentes distintos. Os dados foram obtidos principalmente do Tablib (627 milhões de tabelas) e de vários repositórios de classificação.

1. OddBench (Anomalias Semânticas)

• Fonte: Um subconjunto curado do Tablib contendo tabelas do mundo real onde as anomalias são definidas pelo significado semântico (ex: "fraude", "falha", "defeito").
• Curadoria: Os autores aplicaram um processo rigoroso de filtragem de cinco etapas:
  1. Filtro Preliminar: Removeu tabelas com altas proporções de nulos/infinitos, características monotônicas ou tamanho insuficiente (<1.000 amostras, <3 características numéricas).
  2. Filtro Baseado em Alvo: Selecionou tabelas com uma característica categórica que identifica explicitamente anomalias (ex: "ataque", "erro").
  3. Verificação de Hash e Separabilidade: Removeu duplicatas e garantiu que as anomalias fossem separáveis dos inliers (ROC-AUC do classificador Random Forest > 0,6).
  4. Controle de Qualidade Manual: Inspeção manual para verificar a relevância semântica e remover duplicatas restantes.
  5. Melhorias de Qualidade: Adicionou divisões padronizadas de treino/teste, enriqueceu metadados e criou um subconjunto representativo.
• Escala: 790 conjuntos de dados (690 públicos, 100 privados).

2. OvRBench (Outliers Estatísticos)

• Fonte: Derivado da metade restante dos dados filtrados do Tablib e de benchmarks de classificação estabelecidos (OpenML-CC18, TabZilla, TabRepo, etc.).
• Metodologia: Utiliza uma abordagem One-vs-Rest (OvR) onde uma única classe é designada como inlier e todas as outras classes são tratadas como outliers. Isso captura mudanças de conceito e cenários de detecção de fora da distribuição (OOD).
• Seleção de Alvo: Para dados do Tablib sem alvos predefinidos, os autores filtraram características chamadas "label" ou "target" com cardinalidade entre 2 e 10.
• Escala: 856 conjuntos de dados (756 públicos, 100 privados).

3. SynBench (Priors Sintéticos)

• Fonte: 800 conjuntos de dados gerados sinteticamente projetados para abranger diversos priors de dados e arquétipos de outliers.
• Geradores:
  • Modelos de Mistura Gaussiana (GMM): Captura estruturas multimodais; outliers gerados pela inflação de variâncias em subespaços.
  • Modelos Causais Estruturais (SCM): Gera distribuições não lineares e não Gaussianas; outliers criados via inflação de ruído de medição ou modificações no grafo estrutural.
  • Cópulas: Modela diversas marginais e dependências; outliers criados ao empurrar coordenadas para as bordas ou interromper estruturas conjuntas.
• Escala: 800 conjuntos de dados (todos públicos).

Características do Benchmark

• Padronização: Todos os conjuntos de dados incluem divisões padronizadas de treino/teste (50% inliers para treinamento; 50% inliers + todos os outliers para teste).
• Partição Público/Privado: Subconjuntos privados (100 conjuntos de dados por benchmark do mundo real) têm os rótulos de teste redigidos para suportar um leaderboard online para avaliação cega e justa.
• Metadados: Os conjuntos de dados são anotados com tags semânticas, palavras-chave de domínio e links de origem, gerados usando Modelos de Linguagem de Grande Escala (LLMs).

Avaliação Experimental

Os autores conduziram experimentos extensivos avaliando 14 métodos de OD em todos os 2.446 conjuntos de dados, cobrindo métodos clássicos, profundos (deep) e modelos de fundação.

• Métodos Avaliados:
  • Clássicos: OCSVM, KNN, LOF, CBLOF, IForest, EGMM, DTE-NP.
  • Deep: GOAD, ICL, DTE-C, NPT-AD.
  • Modelos de Fundação: FoMo-0D, OutFormer, TabPFN-OD.
• Estratégia de Hiperparâmetros (HP): Para garantir uma avaliação justa, os autores avaliaram os métodos através de extensas configurações de HP. Modelos clássicos foram testados em grades completas; modelos deep foram amostrados de espaços predefinidos; modelos de fundação não exigiram ajuste.
• Métricas: O desempenho foi medido via AUROC e AUPRC, agregados via Average Rank, ELO scores, Win Rate, rescaled AUC e Champion Delta. A significância estatística foi determinada via testes de permutação.

Principais Resultados

1. Modelos de Fundação Dominam: Modelos de fundação (especificamente OutFormer e FoMo-0D) superaram significativamente todos os métodos clássicos e de deep learning em termos de desempenho de detecção (AUPRC) e tempo de execução. Eles ocupam a fronteira de Pareto do trade-off desempenho-tempo.
2. Clássicos vs. Deep: Métodos clássicos geralmente superaram modelos de deep learning, em grande parte devido à alta sensibilidade dos últimos às escolhas de hiperparâmetros. Entre os métodos clássicos, EGMM, DTE-NP e LOF mostraram os melhores trade-offs de desempenho-execução.
3. Sensibilidade a Hiperparâmetros: Modelos deep exibiram alta variância de desempenho entre diferentes configurações de hiperparâmetros. Em contraste, métodos de ensemble (como EGMM) e modelos de fundação demonstraram maior robustez, sendo que os modelos de fundação eliminam totalmente a necessidade de ajuste.
4. Limitações do ADBench Confirmadas: Os resultados validaram a hipótesia dos autores de que o viés do ADBench para outliers globais do tipo Gaussiano permite que métodos simples (KNN) e modelos de fundação pré-treinados em Gaussianas alcancem resultados de estado da arte, o que pode não generalizar para anomalias semânticas do mundo real mais complexas.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

• "Desmistificação" do ADBench: O trabalho analisa criticamente as limitações do atual benchmark padrão, revelando seu viés para ruído Gaussiano e outliers globais, o que distorce a eficácia percebida dos algoritmos modernos.
• Novos Benchmarks de Grande Escala: A introdução da macrOData fornece a primeira suíte de benchmark de sua escala (2.446 conjuntos de dados) com diversos outliers semânticos e estatísticos, divisões padronizadas e partições público/privado.
• Avaliação Abrangente e Diretrizes: A extensa avaliação estabelece que os modelos de fundação são atualmente a abordagem mais eficaz e eficiente para OD tabular, oferecendo capacidades "plug-and-play" sem necessidade de ajuste de hiperparâmetros.
• Viabilizador de Pesquisa: Ao fornecer um ambiente de teste robusto e diverso, a macrOData visa fomentar pesquisas futuras em meta-learning e modelos de fundação para OD, movendo o campo além das restrições de conjuntos de dados de pequena escala e baixa diversidade.

Os autores enfatizam que a macrOData é de código aberto, incluindo código para curadoria, construção de datasets e resultados de desempenho individuais, juntamente com um leaderboard acessível publicamente para acompanhar o progresso futuro.