💻 computer science

FRAP: Fisher–Rao Geometric Trajectory Pruning for Class-Aware Dataset Selection

El artículo propone FRAP, un marco de poda de conjuntos de datos consciente de la clase que aprovecha la geometría de Fisher–Rao para cuantificar la trayectoria predictiva de las muestras de entrenamiento mediante una puntuación de Desplazamiento de Información Efectiva con geometría de información, permitiendo la selección eficiente de datos informativos para reducir los costos computacionales manteniendo al mismo tiempo el rendimiento de la clasificación.

Autores originales: Bahar Niknam, Hedieh Sajedi

Publicado 2026-09-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bahar Niknam, Hedieh Sajedi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El aprendizaje profundo ha transformado la manera en que las máquinas ven y comprenden el mundo, impulsando desde diagnósticos médicos hasta coches autónomos. Este progreso se basa en alimentar los sistemas de inteligencia artificial con cantidades masivas de ejemplos etiquetados, permitiéndoles aprender patrones mediante el ajuste de sus configuraciones internas. Sin embargo, a medida que estos conjuntos de datos han crecido hasta incluir millones de imágenes, el coste de procesarlos se ha convertido en una carga significativa, exigiendo una potencia de cómputo y una memoria inmensas. Los investigadores sospechaban desde hace tiempo que no cada uno de los ejemplos en estas gigantescas bibliotecas es igualmente útil; de hecho, gran parte de los datos puede ser redundante, ofreciendo poca información nueva una vez que el sistema ha aprendido lo básico. El desafío, entonces, es identificar qué ejemplos específicos son esenciales para enseñar a un modelo y cuáles pueden descartarse de forma segura sin perjudicar su rendimiento.

Un equipo de investigadores de la Universidad de Teherán ha desarrollado un nuevo método llamado FRAP para resolver este problema. En lugar de tratar los puntos de datos como elementos estáticos que se juzgan mediante una única puntuación, los investigadores observaron cómo cambiaba la comprensión del modelo sobre cada imagen a lo largo del tiempo. Entrenaron un modelo con el conjunto de datos completo y registraron sus predicciones al final de cada sesión de entrenamiento. Al rastrear la trayectoria que siguieron estas predicciones a medida que el modelo aprendía, pudieron ver la "trayectoria" única de cada imagen. Algunas imágenes hicieron que el modelo oscilara violentamente entre diferentes conjeturas antes de asentarse en la respuesta correcta, mientras que otras fueron reconocidas inmediatamente y se mantuvieron constantes. El equipo se dio cuenta de que la forma y la longitud de estas trayectorias de predicción contenían la clave para identificar los datos de entrenamiento más valiosos.

Para medir estas trayectorias, los investigadores utilizaron un concepto matemático que trata la probabilidad como un espacio curvo, lo que permite calcular la distancia real entre diferentes estados de incertidumbre. Combinaron esta medición de movimiento con una comprobación sencilla de qué tan seguro estaba el modelo de la respuesta correcta. Esto creó una señal dual: una parte medía cuánto evolucionó el pensamiento del modelo y la otra medía qué tan difícil era para el modelo dominar la imagen. Crucialmente, el método no solo clasifica todas las imágenes de la más fácil a la más difícil en todo el espectro. En su lugar, primero decide cuántas imágenes conservar de cada categoría, asegurando que los grupos raros o difíciles no sean eliminados accidentalmente. Luego, selecciona los mejores ejemplos dentro de cada grupo basándose en sus trayectorias de aprendizaje únicas.

Al ser probado en bibliotecas de imágenes estándar que contienen decenas de miles de fotografías, este enfoque superó consistentemente a los métodos existentes. En un conjunto de datos con diez categorías, el nuevo método logró una precisión del 95,58 por ciento conservando solo el 30 por ciento de los datos, un resultado que fue superior a cualquier otra técnica probada. Incluso en un conjunto de datos mucho más grande con mil categorías, el método mantuvo la precisión más alta entre sus competidores, alcanzando casi un 80 por ciento de precisión con solo la mitad de los datos originales. Los investigadores descubrieron que observar simplemente la predicción final de una imagen no era suficiente; la historia de cómo el modelo llegó a esa predicción importaba tanto como el resultado mismo. Al preservar la mezcla específica de ejemplos fáciles y difíciles de cada categoría, el sistema podía aprender igual de bien con una fracción de los datos.

El estudio sugiere que la forma más eficaz de reducir un conjunto de datos es respetar la diversidad del propio proceso de aprendizaje. Los investigadores demostraron que descartar datos basándose en una única instantánea del rendimiento suele provocar una pérdida de información importante, mientras que rastrear la evolución completa de la comprensión del modelo preserva las lecciones necesarias. Si bien el método requiere un periodo inicial de entrenamiento para mapear estas trayectorias de aprendizaje, los conjuntos de datos más pequeños resultantes permiten un entrenamiento más rápido y eficiente en el futuro. Este trabajo ofrece un plano práctico para hacer que el aprendizaje profundo sea más sostenible, demostiendo que, a veces, saber menos solo es posible si se comprende exactamente cómo ocurrió el aprendizaje.

Resumen Técnico: FRAP – Poda de Trayectorias Geométricas de Fisher–Rao para la Selección de Conjuntos de Datos Consciente de la Clase

1. Planteamiento del Problema

La escala creciente de los conjuntos de datos en el aprendizaje profundo ha introducido costos computacionales y de memoria sustanciales, lo que motiva la necesidad de una poda de conjuntos de datos efectiva. Si bien los datos adicionales pueden mejorar la generalización, la redundancia sugiere que una parte significativa de las muestras de entrenamiento ofrece un beneficio limitado. Los métodos de poda existentes suelen depender de propiedades estáticas (p. ej., pérdida, gradientes) o medidas de incertidumbre escalares recolectadas en puntos temporales únicos. Estos enfoques no logran capturar la evolución geométrica completa de la distribución predictiva de una muestra a lo largo del tiempo. Además, muchos métodos emplean estrategias de clasificación global que no controlan explícitamente la distribución del presupuesto de retención entre clases, lo que puede conducir a desequilibrios de clase indeseables en el subconjunto podado.

2. Metodología

Los autores proponen FRAP (Fisher–Rao Geometric Trajectory Pruning), un marco consciente de la clase que caracteriza las muestras de entrenamiento a través de las trayectorias de sus distribuciones predictivas a lo largo de las épocas de entrenamiento registradas. El método opera en dos niveles acoplados: puntuación basada en trayectorias y selección jerárquica consciente de la clase.

2.1 Extracción de la Trayectoria Predictiva

Se entrena un modelo de referencia en el conjunto de datos completo durante $T$ épocas. Al final de cada época, el modelo evalúa el conjunto de entrenamiento para registrar el vector de probabilidad predictiva $p^{(t)}_n$ para cada muestra $n$ . Esta secuencia forma la trayectoria predictiva $\mathcal{T}_n$ .

2.2 Puntuación Geométrica de Fisher–Rao (EIGD)

Para cuantificar el movimiento de la distribución predictiva de una muestra, FRAP utiliza la distancia geodésica de Fisher–Rao en el simplex de probabilidad.

Suavizado: Los vectores predictivos se suavizan para asegurar componentes estrictamente positivos para los cálculos geométricos.
Longitud de la trayectoria ( $L_n$ ): La distancia acumulada de Fisher–Rao entre estados predictivos consecutivos a través de las épocas, que representa el movimiento predictivo total.
Desplazamiento Neto ( $G_n$ ): La distancia de Fisher–Rao entre los estados predictivos inicial ( $t=1$ ) y final ( $t=T$ ).
Eficiencia de la Trayectoria ( $E_n$ ): Definida como la relación entre el desplazamiento neto y la longitud de la trayectoria acumulada ( $G_n / (L_n + \epsilon_d)$ ), midiendo qué tan directamente se mueve una muestra hacia su estado final.
Puntuación EIGD ( $Q_n$ ): El Desplazamiento de Información-Geométrico Efectivo combina magnitud y eficiencia:
$Q_n = G_n E_n = \frac{G_n^2}{L_n + \epsilon_d}$
Esta puntuación favorece a las muestras que experimentan un cambio predictivo sustancial sin oscilaciones intermedias excesivas.

2.3 Dificultad Robusta Consciente de la Etiqueta

Para complementar la puntuación de la trayectoria, se calcula una señal de dificultad consciente de la etiqueta basada en la confianza promedio en la clase de referencia ( $q^{(t)}_n$ ). La dificultad $H_n$ se define como $1 - \text{media}(q^{(t)}_n)$ . Para evitar que los valores extremos dominen, se aplica un recorte de la cola superior en el percentil $\kappa$ para producir $H^{rob}_n$ .

2.4 Selección Jerárquica Consciente de la Clase

FRAP evita la clasificación global en favor de un proceso de dos etapas:

Asignación de Presupuesto a Nivel de Clase: Las estadísticas a nivel de clase (media de EIGD y media de la dificultad recortada) se agregan y normalizan. Se calcula una puntuación de prioridad a nivel de clase $D_c$ como una suma ponderada de estas estadísticas normalizadas. Esta prioridad, combinada con el tamaño de la clase, determina la cuota de retención $K_c$ para cada clase, asegurando que el presupuesto global de poda se distribuya de acuerdo con los comportamientos predictivos específicos de cada clase.
Selección de Muestras Dentro de la Clase: Dentro de cada clase, las muestras se clasifican según una puntuación combinada $S_n = (1-\alpha)\tilde{Q}_n + \alpha\tilde{H}^{rob}_n$ , donde $\tilde{Q}$ y $\tilde{H}$ se normalizan dentro de la clase. Se retienen las $K_c$ mejores muestras.

3. Contribuciones Clave

Representación de Trayectoria de Fisher–Rao: Un marco novedoso que representa las muestras mediante la evolución de sus distribuciones predictivas completas en lugar de estadísticas escalares, utilizando la geometría de Fisher–Rao para medir el movimiento predictivo.
Puntuación EIGD: La introducción del Desplazamiento de Información-Geométrico Efectivo, que integra el desplazamiento predictivo neto con la eficiencia de la trayectoria acumulada.
Mecanismo Jerárquico Consciente de la Clase: Un procedimiento de selección que separa explícitamente la asignación de presupuesto a nivel de clase del ranking de muestras dentro de la clase, abordando los problemas de desequilibrio de clases inherentes a los métodos de clasificación global.
Evaluación Exhaustiva: Validación empírica a través de múltiples conjuntos de datos (CIFAR-10, CIFAR-100, ImageNet-1K, Waterbirds) y ratios de poda, demostrando un rendimiento superior sobre las líneas base representativas.

4. Resultados Experimentales

Los autores evaluaron FRAP contra métodos que incluyen Random, Forgetting, EL2N, CCS, MetriQ, Dyn-Unc, TDDS e InfoBatch.

Rendimiento: FRAP alcanzó consistentemente la mayor precisión Top-1 en todos los conjuntos de datos y tasas de poda probadas.
- CIFAR-10: Logró 95.58% con 30% de poda y 87.86% con 90% de poda.
- CIFAR-100: Logró 77.78% con 30% de poda y 56.72% con 90% de poda.
- ImageNet-1K: Logró 79.83% con 25% de poda y 78.58% con 50% de poda.
- Waterbirds: Logró 96.42% con 30% de poda y 93.18% con 90% de poda.
Estudios de Ablación:
- Eliminar la asignación a nivel de clase o la señal de dificultad resultó en una menor precisión, confirmando la necesidad de ambos componentes.
- Reemplazar la puntuación completa de EIGD con el simple desplazamiento final ( $G_n$ ) produjo un rendimiento inferior, validando la importancia de la eficiencia de la trayectoria.
Sensibilidad: El coeficiente de mezcla $\alpha$ (que equilibra la trayectoria y la dificultad) mostró un rendimiento óptimo en $\alpha=0.5$ en CIFAR-100.

5. Significado y Reivindicaciones

El artículo afirma que FRAP aborda las limitaciones críticas de los métodos de poda existentes al capturar la evolución geométrica de las distribuciones predictivas y gestionar explícitamente los presupuestos de retención a nivel de clase. Los autores sostienen que su enfoque equilibra eficazmente la información obtenida de las trayectorias predictivas frente al costo computacional de recolectarlas.

Los resultados sugieren que representar las muestras a través de sus trayectorias predictivas completas en el simplex de probabilidad, en lugar de depender de métricas estáticas o escalares, proporciona una señal más robusta para identificar datos informativos. El mecanismo de selección jerárquica se presenta como un paso necesario para asegurar que la poda agresiva no perjudique desproporcionadamente a clases específicas. Los autores concluyen que FRAP establece un nuevo estado del arte para la poda de conjuntos de datos bajo las condiciones probadas, aunque reconocen que es necesario realizar trabajos futuros para reducir la carga computacional asociada con la extracción de trayectorias de entrenamiento completas.