Resumen Técnico: macrOData – Nuevos Benchmarks de Miles de Conjuntos de Datos para la Detección de Valores Atípicos en Datos Tabulares

Declaración del Problema

La detección de valores atípicos (OD, por sus siglas en inglés) en datos tabulares es crítica para aplicaciones en detección de fraude, atención médica y monitoreo ambiental. Sin embargo, el campo sufre de una falta de benchmarks a gran escala, diversos y estandarizados, lo que dificulta la evaluación del progreso científico o la toma de decisiones metodológicas informadas. El estándar de facto actual, ADBench, se limita a solo 57 conjuntos de datos. Los autores argumentan que esta pequeña escala restringe el poder estadístico, reduce la diversidad y hace que las comparaciones empíricas sean altamente sensibles a la selección de los conjuntos de datos.

Además, el artículo identifica una limitación estructural específica en ADBench: captura predominantemente valores atípicos globales que se asemejan al ruido gaussiano. Esta característica favorece inadvertidamente a los métodos simples basados en la distancia global (como KNN) y a los modelos fundacionales recientes preentrenados en mezclas gaussianas sintéticas (como FoMo-0D), lo que potencialmente enmascara su incapacidad para manejar anomalías más complejas, semánticas o locales. La naturaleza no supervisada de la OD, combinada con la alta sensibilidad a los hiperparámetros, exacerba estos problemas de evaluación, ya que las decisiones de ajuste pueden impactar drásticamente el rendimiento sin una validación estadística robusta.

Metodología: La Suite macrOData

Para abordar estas brechas, los autores introducen macrOData, una suite de benchmarks integral que comprende 2,446 conjuntos de datos curados a partir de tres componentes distintos. Los datos se obtuvieron principalmente de Tablib (627 millones de tablas) y varios repositorios de clasificación.

1. OddBench (Anomalías Semánticas)

• Fuente: Un subconjunto curado de Tablib que contiene tablas del mundo real donde las anomalías se definen por su significado semántico (por ejemplo, "fraude", "falla", "defecto").
• Curación: Los autores aplicaron un proceso de filtrado riguroso de cinco pasos:
  1. Filtro Preliminar: Eliminación de tablas con altas proporciones de nulos/infinitos, características monotónicas o tamaño insuficiente (<1,000 muestras, <3 características numéricas).
  2. Filtro Basado en Objetivos: Selección de tablas con una característica categórica que identifica explícitamente las anomalías (por ejemplo, "ataque", "error").
  3. Verificación de Hash y Separabilidad: Eliminación de duplicados y aseguramiento de que las anomalías fueran separables de los valores normales (ROC-AUC de clasificador Random Forest > 0.6).
  4. Control de Calidad Manual: Inspección manual para verificar la relevancia semántica y eliminar los duplicados restantes.
  5. Mejoras de Calidad: Adición de divisiones estandarizadas de entrenamiento/prueba, enriquecimiento de metadatos y creación de un subconjunto representativo.
• Escala: 790 conjuntos de datos (690 públicos, 100 privados).

2. OvRBench (Valores Atípicos Estadísticos)

• Fuente: Derivado de la mitad restante de los datos filtrados de Tablib y de benchmarks de clasificación establecidos (OpenML-CC18, TabZilla, TabRepo, etc.).
• Metodología: Utiliza un enfoque de Uno-contra-el-resto (OvR) donde una sola clase se designa como el valor normal (inlier) y todas las demás clases se tratan como valores atípicos (outliers). Esto captura cambios de concepto y escenarios de detección de distribución fuera de la muestra (OOD).
• Selección de Objetivos: Para los datos de Tablib sin objetivos predefinidos, los autores filtraron características llamadas "label" o "target" con cardinalidad entre 2 y 10.
• Escala: 856 conjuntos de datos (756 públicos, 100 privados).

3. SynBench (Prios Sintéticos)

• Fuente: 800 conjuntos de datos generados sintéticamente diseñados para abarcar diversos priors de datos y arquetipos de valores atípicos.
• Generadores:
  • Modelos de Mezcla Gaussiana (GMM): Captura estructuras multimodales; los valores atípicos se generan mediante la inflación de las varianzas en subespacios.
  • Modelos Causales Estructurales (SCM): Genera distribuciones no lineales y no gaussianas; los valores atípicos se crean mediante la inflación del ruido de medición o modificaciones de la estructura del grafo.
  • Cópulas: Modela diversas distribuciones marginales y dependencias; los valores atípicos se crean empujando las coordenadas hacia los límites o perturbando las estructuras conjuntas.
• Escaia: 800 conjuntos de datos (todos públicos).

Características del Benchmark

• Estandarización: Todos los conjuntos de datos incluyen divisiones estandarizadas de entrenamiento/prueba (50% de valores normales para entrenamiento; 50% de valores normales + todos los valores atípicos para prueba).
• Partición Pública/Privada: Los subconjuntos privados (100 conjuntos de datos por benchmark del mundo real) tienen las etiquetas de prueba redactadas para soportar un leaderboard en línea para una evaluación ciega y justa.
• Metadatos: Los conjuntos de datos están anotados con etiquetas semánticas, palabras clave de dominio y enlaces de origen, generados mediante Modelos de Lenguaje de Gran Escala (LLMs).

Evaluación Experimental

Los autores realizaron experimentos extensos evaluando 14 métodos de OD a través de los 2,446 conjuntos de datos, cubriendo métodos clásicos, profundos (deep learning) y modelos fundacionales.

• Métodos Evaluados:
  • Clásicos: OCSVM, KNN, LOF, CBLOF, IForest, EGMM, DTE-NP.
  • Profundos (Deep): GOAD, ICL, DTE-C, NPT-AD.
  • Modelos Fundacionales: FoMo-0D, OutFormer, TabPFN-OD.
• Estrategia de Hiperparámetros (HP): Para asegurar una evaluación justa, los autores evaluaron los métodos a través de extensas configuraciones de HP. Los modelos clásicos fueron probados en mallas completas; los modelos profundos fueron muestreados de espacios predefinidos; los modelos fundacionales no requirieron ajuste.
• Métricas: El rendimiento se midió mediante AUROC y AUPRC, agregados vía Rango Promedio, puntuación ELO, Tasa de Victoria, AUC reescalado y Champion Delta. La significancia estadística se determinó mediante pruebas de permutación.

Resultados Clave

1. Los Modelos Fundacionales Dominan: Los modelos fundacionales (específicamente OutFormer y FoMo-0D) superaron significativamente a todos los métodos clásicos y de aprendizaje profundo en términos de rendimiento de detección (AUPRC) y tiempo de ejecución. Ocupan el frente de Pareto de la relación rendimiento-tiempo.
2. Clásicos vs. Profundos: Los métodos clásicos generalmente superaron a los modelos de aprendizaje profundo, debido en gran medida a la alta sensibilidad de estos últimos a las elecciones de hiperparámetros. Entre los métodos clásicos, EGMM, DTE-NP y LOF mostraron los mejores compromisos de rendimiento-tiempo.
3. Sensibilidad a Hiperparámetros: Los modelos profundos exhibieron una alta varianza en el rendimiento a través de diferentes configuraciones de hiperparámetros. En contraste, los métodos de ensamble (como EGMM) y los modelos fundacionales demostraron una mayor robustez; los modelos fundacionales eliminan la necesidad de ajuste por completo.
4. Limitaciones de ADBench Confirmadas: Los resultados validaron la hipótesis de los autores de que el sesgo de ADBench hacia valores atípicos globales de tipo gaussiano permite que métodos simples (KNN) y modelos fundacionales preentrenados en gaussianos alcancen resultados de vanguardia (SOTA), lo cual puede no generalizarse a anomalías semánticas del mundo real más complejas.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

• "Desmitificación" de ADBench: El trabajo analiza críticamente las limitaciones del benchmark estándar actual, revelando su sesgo hacia el ruido gaussiano y los valores atípicos globales, lo que sesga la efectividad percibida de los algoritmos modernos.
• Nuevos Benchmarks a Gran Escala: La introducción de macrOData proporciona la primera suite de benchmarks de su escala (2,446 conjuntos de datos) con diversos valores atípicos semánticos y estadísticos, divisiones estandarizadas y particiones públicas/privadas.
• Evaluación Exhaustiva y Guías: La extensa evaluación establece que los modelos fundacionales son actualmente el enfoque más efectivo y eficiente para la OD tabular, ofreciendo capacidades de uso directo (plug-and-play) sin necesidad de ajuste de hiperparámetros.
• Habilitador de Investigación: Al proporcionar un banco de pruebas robusto y diverso, macrOData pretende fomentar la investigación futura en meta-aprendizaje y modelos fundacionales para la OD, moviendo el campo más allá de las restricciones de los conjuntos de datos de pequeña escala y baja diversidad.

Los autores enfatizan que macrOData es de código abierto, incluyendo el código para la curación, la construcción de conjuntos de datos y los resultados de rendimiento individuales, junto con un leaderboard accesible públicamente para rastrear el progreso futuro.