Resumen Técnico: Benchmarking en Tareas que Importan: Selección de Conjuntos de Datos para Preservar el Ranking de Modelos

Definición del Problema

El artículo aborda la creciente intensidad de recursos de los benchmarks multi-dataset en el aprendizaje automático. A medida que aumenta el número de conjuntos de datos y arquitecturas de modelos (incluyendo ensambles profundos), la evaluación exhaustiva se vuelve prohibitivamente costosa. Los profesionales suelen recurrir a la evaluación de modelos en subconjuntos más pequeños de datasets seleccionados manualmente. Sin embargo, esta práctica introduce dos problemas críticos:

1. Inestabilidad Estadística: Las conclusiones extraídas de subconjuntos pequeños pueden no reflejar de manera fiable la superioridad general.
2. Sesgo de Selección: El "líder" aparente en un benchmark puede ser un artefacto de las tareas específicas elegidas en lugar de una mejora genuina, un fenómeno relacionado con el efecto de la "lotería del benchmark".

El problema central se formaliza como la selección de subconjuntos de datasets para benchmarking: seleccionar un pequeño subconjunto de $k$ datasets ($k \ll n$) de un pool completo de $n$ datasets tal que el ranking global de modelos inducido por el subconjunto ($R_S$) preserve fielmente el ranking inducido por el benchmark completo ($R_D$). La selección debe basarse únicamente en representaciones a priori de los datasets (meta-características, embeddings) sin acceso a los resultados de la evaluación completa de los modelos.

Metodología

1. Protocolo de Evaluación

Los autores proponen un protocolo de evaluación unificado para evaluar las estrategias de selección de forma robusta:

• Agregación de Bootstrap: El protocolo genera $T$ ensayos de evaluación independientes perturbando aleatoriamente el pool de datasets (muestreando una fracción $\alpha$ de los datasets) y/o el pool de modelos.
• Construcción de Rankings: Para cada ensayo y tamaño de subconjunto $k$, una estrategia de selección elige un subconjunto $S$. Los modelos se clasifican en $S$ y se comparan contra el ranking de referencia derivado del benchmark completo (o el benchmark completo restringido a los modelos muestreados).
• Métricas: El rendimiento se mide mediante métricas de discrepancia basadas en el ranking: Error Absoluto Medio (MAE) de los rankings, $\rho$ de Spearman, $\tau$ de Kendall, NDCG@5 y MRR (Mean Reciprocal Rank).
• Agregación: Los resultados se agregan sobre tamaños de subconjunto $k \in [2, 20]$ utilizando el Área Bajo la Curva (AUC) de las curvas de rendimiento-tamaño, acompañadas de intervalos de confianza del 95%.

2. Estrategias de Selección

El artículo evalúa cuatro familias de estrategias, todas operando sobre vectores de características de datasets $x \in \mathbb{R}^p$:

• Línea Base Aleatoria (Random Baseline): Muestreo uniforme sin reemplazo.
• Clustering (K-Means): Selección del punto más cercano al centroide de cada uno de los $k$ clusters.
• Farthest-First Greedy (FAFI): Selección iterativa del dataset que maximiza la distancia al dataset ya seleccionado más cercano. Los autores prueban tanto la distancia de Coseno como la Euclídea.
• Diseño Experimental Óptimo (A-/D-optimalidad): Selección codiciosa basada en la minimización de la traza de la matriz de información de Fisher inversa (A-optimalidad) o la maximización del determinante (D-optimalidad), tratando la selección como un problema de diseño de regresión lineal.

3. Representaciones de Datasets

La efectividad de la selección depende fuertemente de la calidad del embedding del dataset:

• Clasificación de Series Temporales (TSC): Utiliza estadísticas simples, TSFRESH, Catch22, Summary, embeddings de MiniRocket y "Landmarking" (rendimiento de aprendices de sondeo económicos como decision stumps y 1-NN).
• Sistemas de Recomendación (RecSys): Utiliza estadísticas de la matriz de interacción usuario-ítem (tamaño, dispersión, índice de Gini, sesgo de popularidad).
• Procesamiento de Lenguaje Natural (NLP): Utiliza descripciones de tareas estructuradas embebidas con BERT y metadatos estructurados simples de MTEB.

4. Análisis Teórico

Para la estrategia Farthest-First (FAFI), los autores derivan límites teóricos que vinculan la cobertura geométrica en el espacio de representación con la precisión del ranking:

• Decaimiento del MSE: Modelan el rendimiento del modelo como un Proceso Gaussiano (GP). Demuestran que la selección FAFI produce un límite superior en el Error Cuadrático Medio de las predicciones de rendimiento que decae como una función del tamaño del subconjunto $t$ y el radio de cobertura de la selección.
• Límite de Error de Ranking: Derivan un límite en la fracción esperada de errores de signo (inversiones de ranking) entre dos modelos. El límite muestra que, a medida que el tamaño del subconjunto crece y la varianza posterior se contrae (debido a una mejor cobertura geométrica), la probabilidad de errores de ranking disminuye. Esto proporciona una justificación teórica de por qué FAFI funciona cuando la geometría del espacio de representación se correlaciona con las diferencias de rendimiento de los modelos.

Resultados Clave

El estudio se llevó a cabo en tres dominios: Clasificación de Series Temporales (112 datasets), Sistemas de Recomendación (30 datasets) y NLP (57 tareas de MTEB).

1. Rendimiento por Dominio

• Clasificación de Series Temporales (TSC): Las estrategias de selección superan significativamente al muestreo aleatorio. La mejor estrategia (FAFI Euclídea con embeddings de MiniRocket) logró una correlación de Spearman de 0.95 con el benchmark completo usando solo 5 datasets. Los métodos basados en la diversidad (FAFI) y el clustering generalmente superaron a las líneas base aleatorias cuando la representación capturaba la estructura relevante para el ranking.
• Procesamiento de Lenguaje Natural (NLP): De manera similar a TSC, la selección basada en la geometría (específicamente Cosine FAFI con descripciones de tareas embebidas con BERT) superó sustancialmente al muestreo aleatorio, particularmente para tamaños de subconjunto pequeños. Esto sugiere que las descripciones semánticas de las tareas proporcionan una geometría útil para la construcción de benchmarks.
• Sistemas de Recomendación (RecSys): Las mejoras sobre la selección aleatoria fueron pequeñas y típicamente no significativas estadísticamente. Aunque K-Means mostró una ligera mejora en el MAE, ningún método preservó el orden de ranking de forma más consistente que el muestreo aleatorio. Los autores concluyen que los priors estándar de los datasets en RecSys no logran capturar los factores que impulsan la diferenciación de los modelos.

2. El Papel de la Calidad de la Representación

Un estudio de ablación sintético ("Oracle" vs. "Broken" representations) confirmó que el éxito de la selección geométrica es contingente en la alineación entre la representación del dataset y la verdadera estructura de ranking:

• Cuando la representación reflejaba estrechamente la geometría latente del rendimiento de los modelos (Oracle), FAFI redujo significativamente los errores de ranking.
• Cuando la representación estaba dominada por el ruido (Broken), FAFI no proporcionó ninguna ventaja sobre el muestreo aleatorio.

3. Guía Práctica

• Tamaño del Subconjunto: Para TSC y NLP, subconjuntos pequeños ($k \approx 5$) pueden lograr una alta correlación de ranking ($\rho \ge 0.90$) con el benchmark completo. Sin embargo, objetivos más estrictos (por ejemplo, un MAE bajo) o intervalos de confianza más conservadores requieren subconjuntos más grandes ($k \approx 15-20$).
• Significancia Estadística: En TSC y NLP, las ganancias de la selección no aleatoria sobre las líneas base aleatorias son altamente significativas ($p < 0.01$). En RecSys, las ganancias no son estadísticamente significativas.

Significancia y Reivindicaciones

El artículo afirma proporcionar un marco unificado para tratar la selección de subconjuntos de datasets como un problema medible de preservación de ranking en lugar de una conveniencia heurística. Sus contribuciones principales son:

1. Protocolo: Un protocolo de evaluación riguroso utilizando agregación de bootstrap para proporcionar intervalos de confianza válidos para comparar estrategias de selección a través de diferentes tamaños de subconjunto y dominios.
2. Teoría: Los primeros límites teóricos que vinculan la cobertura geométrica (vía selección Farthest-First) con el decaimiento de los errores de ranking en entornos de benchmarking, yendo más allá de las simples métricas de cobertura hacia garantías de precisión estadística.
3. Perspectiva Empírica: La demostración de que la eficacia de la selección de datasets no es universal sino dependiente del dominio y dependiente de la representación. Mientras que es efectiva para TSC y NLP donde existen descriptores ricos de los datasets, ofrece poco beneficio para RecSys con los conjuntos de características actuales.

Los autores enfatizan que su trabajo no propone un nuevo benchmark, sino un método para construir benchmarks compactos que preserven las conclusiones de las evaluaciones a escala completa, siempre que se disponga de representaciones de datasets de alta calidad. El código y los protocolos se hacen públicos para facilitar un benchmarking reproducible y eficiente.