🤖 machine learning

Data Pruning: Redundant, Problematic, and Interdependent Samples

Este artículo demuestra empíricamente que la efectividad de los métodos populares de poda de datos depende críticamente de la redundancia del conjunto de datos, la ausencia de muestras problemáticas y la interdependencia de las muestras, revelando que estos métodos a menudo fallan ante un ruido de etiquetas significativo.

Autores originales: Leon Freese, Marthinus W. Theunissen

Publicado 2026-06-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Leon Freese, Marthinus W. Theunissen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando crear la sopa perfecta. Tienes una olla enorme llena de miles de ingredientes (tus datos). Quieres saber: ¿Necesitas todos ellos para hacer una sopa deliciosa, o puedes tirar algunos y seguir obteniendo el mismo gran sabor?

Este artículo trata sobre la "Poda de Datos" (Data Pruning), que es básicamente el acto de tirar los ingredientes "menos importantes" de tu olla de entrenamiento para que la receta sea más eficiente. Los investigadores quisieron probar dos formas populares de decidir qué ingredientes desechar.

Aquí está lo que encontraron, explicado de forma sencilla:

1. El problema del "Basura entra, Basura sale" (Garbage In, Garbage Out)

Los investigadores probaron sus métodos en dos tipos de ollas:

Ollas Limpias: Donde cada ingrediente está etiquetado correctamente (por ejemplo, "esto es una zanahoria").
Ollas con Ruido: Donde alguien coló algunas etiquetas incorrectas (por ejemplo, etiquetar una papa como una zanahoria).

La Gran Sorpresa: Los dos métodos populares que probaron funcionaron bien en las ollas limpias, pero fallaron por completo en las ollas con ruido. Cuando había mucha información errónea, estos métodos no solo fallaron en mejorar la sopa, sino que la hicieron incomestible.

2. Las Tres Trampas Ocultas

El artículo argumenta que decidir qué tirar no es tan simple como "quédate con lo mejor, tira el resto". Depende de tres factores complicados:

Redundancia (Los Ingredientes Duplicados): Imagina que tienes 1,000 zanahorias idénticas. Si tiras 900 de ellas, tu sopa sigue sabiendo igual. Los datos son "redundantes". Los investigadores descubrieron que puedes tirar una gran parte de los datos (hasta el 90% en algunos casos) sin dañar el modelo, simplemente porque había muchas copias de lo mismo para empezar.
Muestras Problemáticas (Las Manzanas Podridas): Estos son los elementos mal etiquetados. Los métodos populares intentaron mantener las muestras "buenas" y tirar las "malas". Pero en una olla con ruido, los métodos se confundieron y terminaron manteniendo las manzanas podridas mientras tiraban las buenas.
Interdependencia (El Efecto de Trabajo en Equipo): Esta es la parte más interesante. El artículo muestra que el valor de un ingrediente depende de quién más esté en la olla. Una zanahoria puede parecer "poco importante" si ya tienes otras 1,000 zanahorias, pero si solo te quedan 5 ingredientes, esa misma zanahoria se vuelve vital. Los métodos populares no entendieron este trabajo en equipo; juzgaron los ingredientes de forma aislada.

3. El Truco de la "Inversión"

Aquí está el descubrimiento más asombroso:
Cuando los investigadores tenían un conjunto de datos muy ruidoso, los métodos estándar (que intentan mantener las muestras "mejores") fallaron estrepitosamente. Sin embargo, cuando invirtieron la lista —es decir, tiraron primero las muestras "mejores" y conservaron las "peores"— la sopa en realidad supo mejor.

¿Por qué? Porque en un conjunto de datos con ruido, las muestras "mejores" según el algoritmo eran en realidad las que confundían al modelo. Al cambiar el guion y conservar las muestras "difíciles" o "extrañas", el modelo aprendió a ignorar mejor el ruido.

4. La Línea Base Aleatoria (Random Baseline)

Los investigadores también probaron un método "torpe": tirar ingredientes de forma completamente aleatoria.

En el punto medio: Los métodos inteligentes fueron ligeramente mejores que el método aleatorio.
En el extremo: Cuando conservaron una cantidad muy, muy pequeña de ingredientes, el método aleatorio ganó de hecho.
La Lección: Los métodos "inteligentes" fueron demasiado agresivos. Tiraron demasiados "duplicados" (datos redundantes) que en realidad eran necesarios para ayudar al modelo a generalizar cuando el conjunto de datos se volvía muy pequeño. El método aleatorio mantuvo una mezcla extraña de duplicados y elementos únicos, lo que funcionó mejor en los casos extremos.

Conclusión

El artículo concluye que no podemos simplemente mirar un único dato y decir: "Tú eres importante, quédate" o "Tú eres inútil, vete".

La Redundancia significa que podemos tirar una gran cantidad de datos sin preocuparnos.
El Ruido rompe las reglas estándar para decidir qué conservar.
El Contexto importa: el valor de una muestra cambia dependiendo de qué otras muestras haya alrededor.

En resumen, las formas "inteligentes" de limpiar datos son actualmente demasiado frágiles. Funcionan bien cuando todo es perfecto, pero se desmoronan cuando los datos son desordenados o cuando intentas reducir el conjunto de datos al mínimo absoluto. A veces, un poco de aleatoriedad o incluso hacer exactamente lo contrario de lo que sugiere el algoritmo funciona mejor.

Resumen Técnico: Poda de Datos: Muestras Redundantes, Problemáticas e Interdependientes

Planteamiento del Problema

El rendimiento de los modelos de aprendizaje profundo depende tanto de la cantidad como de la calidad de los datos de entrenamiento. Si bien la poda de datos tiene como objetivo reducir el tamaño del conjunto de datos reteniendo solo las muestras más "importantes" para mantener o mejorar el rendimiento, la literatura existente suele asumir una definición clara de la importancia de la muestra. Este artículo investiga la eficacia de los métodos populares de poda de datos bajo diversas condiciones, centrándose específicamente en cómo la redundancia, las muestras problemáticas (ruido de etiquetas) y la interdependencia entre muestras influyen en la clasificación y la subsiguiente eliminación de los datos de entrenamiento. Los autores identifican una brecha crítica: mientras que trabajos previos sugieren métodos de puntuación específicos para la poda, su comportamiento ante un ruido de etiquetas significativo y a través de todo el espectro de la poda (desde la eliminación moderada hasta la casi total) sigue sin haber sido explorado suficientemente.

Metodología

Los autores emplean un marco de evaluación de poda de datos estándar que consta de tres pasos: clasificar las muestras, eliminar un subconjunto basado en esa clasificación y reentrenar el modelo para evaluar el rendimiento en el conjunto de prueba.

Conjuntos de Datos: Los experimentos se realizaron en tres conjuntos de datos de clasificación multiclase: un conjunto de datos sintético (10 clases, distribuciones gaussianas isotrópicas), MNIST y CIFAR-10.
Modelos: Se utilizaron Perceptrones Multicapa (MLP) para los conjuntos de datos sintético y MNIST, mientras que se utilizó VGG-16 para CIFAR-10. Todos los modelos utilizaron el optimizador Adam, normalización por lotes (batch normalization) y activaciones ReLU.
Métodos de Puntuación: Se evaluaron dos métodos de puntuación establecidos:
1. Puntuación de Olvido de la Muestra (Sample Forgetting Score) (Toneva et al. [16]): Cuenta el número de veces que un modelo "olvida" una muestra (clasifica correctamente en $t-1$ , clasifica erróneamente en $t$ ) durante el entrenamiento.
2. Puntuación de la Norma L2 del Error (EL2N Score) (Paul et al. [6]): Calcula la norma euclidiana promedio del vector de error durante las etapas iniciales del entrenamiento.
Protocolo Experimental:
- Estrategia de Poda: Las muestras se clasificaron en orden ascendente de sus puntuaciones (eliminando primero las muestras de baja puntuación o "menos importantes") y en orden descendente (eliminando primero las muestras de alta puntuación).
- Inyección de Ruido: Para experimentos específicos, se aplicó ruido de etiqueta simétrico al 30% del conjunto de entrenamiento.
- Líneas de Base (Baselines): Se utilizaron una línea de base de poda aleatoria y una línea de base "Oráculo" (que elimina primero todas las etiquetas ruidosas) para la comparación.
- Métrica: El resultado principal es una curva $\psi$ , que grafica la precisión del conjunto de prueba frente a la fracción del conjunto de entrenamiento podado.

Resultados Clave

1. Redundancia y Poda Moderada

En conjuntos de datos limpios, los autores encontraron que existe una redundancia significativa. Aproximadamente el 40% de los conjuntos de entrenamiento de los datos sintéticos y CIFAR-10, y el 90% del conjunto de MNIST, podrían podarse con una pérdida de rendimiento insignificante.

Observación: Bajo una poda moderada, los dos métodos de puntuación ofrecieron mejoras marginales (aprox. 2% para CIFAR-10) sobre una línea de base aleatoria.
Anomalía de la Poda Extrema: Cuando se realiza la poda a niveles extremos (manteniendo solo las muestras "más importantes"), la línea de base aleatoria superó consistentemente a los métodos de puntuación. Los autores hipotetizan que las muestras consideradas "redundantes" en conjuntos de datos grandes son en realidad necesarias para la generalización cuando el conjunto de datos es pequeño. Los métodos de puntuación eliminaron excesivamente estas muestras, mientras que la línea de base aleatoria retuvo una mezcla necesaria de muestras "fáciles" y "difíciles".

2. Impacto del Ruido de Etiquetas

En presencia de un 30% de ruido de etiquetas, la aplicación estándar de las puntuaciones de Olvido de la Muestra y EL2N falló catastróficamente.

Modo de Fallo: Ambos métodos tendieron a asignar puntuaciones altas (clasificándolas como "importantes" para conservar) a las muestras con etiquetas corruptas. En consecuencia, al podar en orden ascendente, las muestras ruidosas se conservaron mientras que las muestras limpias fueron eliminadas, lo que provocó una caída brusca en el rendimiento del modelo.
Estabilidad de la Clasificación: Las muestras limpias mantuvieron sus posiciones de clasificación relativa incluso después de introducir el ruido, mientras que las muestras corruptas se desplazaron significativamente hacia la parte superior de la clasificación (puntuaciones altas).

3. El Fenómeno de la "Clasificación Inversa"

Un hallazgo contraintuitivo surgió cuando se invirtió el orden de la clasificación (podando en orden descendente de puntuación):

Datos Ruidosos: Invertir el orden permitió al modelo podar primero las muestras ruidosas de alta puntuación. Esto resultó en un rendimiento del modelo que igualó o se acercó a la línea de base Oráculo (que conoce la ubicación de todo el ruido).
Poda Extrema: Incluso en datos limpios, invertir la clasificación mejoró el rendimiento en niveles de poda extrema, lo que sugiere que la "importancia" de una muestra no es intrínseca, sino que depende de la presencia de otras muestras en el conjunto de datos.

Contribuciones Clave

El artículo aporta los siguientes conocimientos al campo de la poda de datos:

Importancia Dependiente del Contexto: La definición de una muestra "importante" no es absoluta; está fuertemente confundida por la redundancia del conjunto de datos y la presencia de muestras contradictorias (ruidosas).
Fallo de las Métricas Estándar bajo Ruido: Los autores demuestran que los métodos de puntuación populares (Olvido de la Muestra y EL2N) fallan al identificar y eliminar el ruido de etiquetas cuando se aplican en su configuración estándar de poda ascendente.
Interdependencia de las Muestras: El estudio destaca que la contribución de una muestra específica al rendimiento del modelo es interdependiente del resto del conjunto de datos. Eliminar muestras "redundantes" puede ser perjudicial cuando el tamaño del conjunto de datos se reduce.
Remediación Simple: Los autores muestran que simplemente invertir el orden de la clasificación de estos métodos de puntuación puede mejorar drásticamente el rendimiento en entornos ruidosos y escenarios de poda extrema, convirtiendo efectivamente un modo de fallo en un éxito.

Significancia y Limitaciones

Los autores concluyen que el éxito de la poda de datos se ve afectado de manera distintiva por la redundancia, las muestras problemáticas y la interdependencia. Argumentan que el orden en el que se deben podar las muestras es menos claro en la literatura de lo que se suele asumir.

Limitaciones reconocidas por los autores:

Generalizabilidad: No se ha determinado si estos hallazgos se mantienen en conjuntos de datos más grandes como ImageNet.
Tipo de Ruido: El uso de ruido de etiqueta simétrico y artificial puede presentar una visión excesivamente optimista en comparación con la corrupción de datos compleja y del mundo real.
Alcance del Dominio: Los experimentos se limitaron a la clasificación de imágenes; la aplicabilidad a otros dominios (por ejemplo, regresión de series temporales) sigue siendo incierta.

El artículo hace un llamado a futuros trabajos para incorporar la interdependencia de las muestras en los procesos de clasificación y para desarrollar métodos de puntuación que sean robustos ante diversos tipos de muestras problemáticas.