💻 computer science

FRAP: Fisher–Rao Geometric Trajectory Pruning for Class-Aware Dataset Selection

Le papier propose FRAP, un cadre d'élagage de l'ensemble de données sensible à la classe qui exploite la géométrie de Fisher-Rao pour quantifier la trajectoire prédictive des échantillons d'entraînement via un score de déplacement d'information effective, permettant une sélection efficace de données informatives afin de réduire les coûts de calcul tout en maintenant la performance de classification.

Auteurs originaux : Bahar Niknam, Hedieh Sajedi

Publié 2026-09-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bahar Niknam, Hedieh Sajedi

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'apprentissage profond a transformé la manière dont les machines voient et comprennent le monde, alimentant tout, des diagnostics médicaux aux voitures autonomes. Ce progrès repose sur l'alimentation des systèmes d'intelligence artificielle avec des quantités massives d'exemples étiquetés, leur permettant d'apprendre des motifs en ajustant leurs paramètres internes. Cependant, à mesure que ces ensembles de données se sont agrandis pour inclure des millions d'images, le coût de leur traitement est devenu un fardeau significatif, exigeant une puissance de calcul et une mémoire immenses. Les chercheurs soupçonnent depuis longtemps que chaque exemple de ces gigantesques bibliothèques n'est pas également utile ; en fait, une grande partie des données peut être redondante, n'offrant que peu d'informations nouvelles une fois que le système a appris les bases. Le défi consiste donc à identifier quels exemples spécifiques sont essentiels pour enseigner à un modèle et lesquels peuvent être jetés sans nuire à ses performances.

Une équipe de chercheurs de l'Université de Téhéran a développé une nouvelle méthode appelée FRAP pour résoudre ce problème. Au lieu de traiter les points de données comme des éléments statiques jugés par un score unique, les chercheurs ont observé comment la compréhension de chaque image par le modèle changeait au fil du temps. Ils ont entraîné un modèle sur l'ensemble du jeu de données et ont enregistré ses prédictions à la fin de chaque session d'entraînement. En suivant le chemin parcouru par ces prédictions à mesure que le modèle apprenait, ils ont pu observer le « voyage » unique de chaque image. Certaines images ont provoqué des oscillations sauvages du modèle entre différentes suppositions avant qu'il ne se stabilise sur la bonne réponse, tandis que d'autres étaient reconnues immédiatement et restaient constantes. L'équipe a réalisé que la forme et la longueur de ces chemins de prédiction détenaient la clé pour identifier les données d'entraînement les plus précieuses.

Pour mesurer ces chemins, les chercheurs ont utilisé un concept mathématique qui traite la probabilité comme un espace courbe, permettant de calculer la véritable distance entre différents états d'incertitude. Ils ont combiné cette mesure de mouvement avec une vérification simple de la confiance du modèle dans la réponse correcte. Cela a créé un signal double : une partie mesurait l'évolution de la pensée du modèle, et l'autre mesurait la difficulté de l'image à être maîtrisée par le modèle. Crucialement, la méthode ne se contente pas de classer toutes les images de la plus facile à la plus difficile sur l'ensemble du tableau. Au lieu de cela, elle décide d'abord combien d'images conserver de chaque catégorie, garantissant que les groupes rares ou difficiles ne soient pas accidentellement éliminés. Elle sélectionne ensuite les meilleurs exemples au sein de chaque groupe en fonction de leurs parcours d'apprentissage uniques.

Lors de tests sur des bibliothèques d'images standards contenant des dizaines de milliers de photos, cette approche a systématiquement surpassé les méthodes existantes. Sur un ensemble de données comprenant dix catégories, la nouvelle méthode a atteint une précision de 95,58 % en ne conservant que 30 % des données, un résultat supérieur à toutes les autres techniques testées. Même sur un ensemble de données beaucoup plus vaste avec mille catégories, la méthode a maintenu la précision la plus élevée parmi ses concurrents, atteignant près de 80 % de précision avec seulement la moitié des données originales. Les chercheurs ont découvert que le simple fait de regarder la prédiction finale d'une image ne suffisait pas ; l'historique de la manière dont le modèle est arrivé à cette prédiction comptait tout autant. En préservant le mélange spécifique d'exemples faciles et difficiles de chaque catégorie, le système pouvait apprendre tout aussi bien à partir d'une fraction des données.

L'étude suggère que la manière la plus efficace de réduire un ensemble de données est de respecter la diversité du processus d'apprentissage lui-même. Les chercheurs ont montré que l'élimination de données basée sur un instantané unique de performance conduit souvent à une perte d'informations importantes, tandis que le suivi de l'évolution complète de la compréhension du modèle préserve les leçons nécessaires. Bien que la méthode nécessite une période initiale d'entraînement pour cartographier ces chemins d'apprentissage, les ensembles de données plus restreints qui en résultent permettent un entraînement plus rapide et plus efficace à l'avenir. Ce travail offre un schéma directeur pratique pour rendre l'apprentissage profond plus durable, prouvant que parfois, savoir moins n'est possible que si l'on comprend exactement comment l'apprentissage s'est produit.

Résumé Technique : FRAP – Élagage de Trajectoire Géométrique de Fisher–Rao pour la Sélection de Datasets Sensible aux Classes

1. Énoncé du Problème

L'augmentation de l'échelle des jeux de données en apprentissage profond a introduit des coûts computationnels et de mémoire substantiels, motivant le besoin d'un élagage efficace des datasets. Bien que des données supplémentaires puissent améliorer la généralisation, la redondance suggère qu'une partie significative des échantillons d'entraînement offre un bénéfice limité. Les méthodes d'élagage existantes reposent souvent sur des propriétés statiques (ex. : perte, gradients) ou des mesures d'incertitude scalaires collectées à des points temporels uniques. Ces approches ne parviennent pas à capturer l'évolution géométrique complète de la distribution prédictive d'un échantillon au fil du temps. De plus, de nombreuses méthodes emploient des stratégies de classement global qui ne contrôlent pas explicitement la distribution du budget de rétention entre les classes, ce qui peut conduire à des déséquilibres de classes indésirables dans le sous-ensemble élagué.

2. Méthodologie

Les auteurs proposent FRAP (Fisher–Rao Geometric Trajectory Pruning), un cadre sensible aux classes qui caractérise les échantillons d'entraînement à travers les trajectoires de leurs distributions prédictives à travers les époques d'entraînement enregistrées. La méthode opère sur deux niveaux couplés : le scoring basé sur la trajectoire et la sélection hiérarchique sensible aux classes.

2.1 Extraction de la Trajectoire Prédictive

Un modèle de référence est entraîné sur l'ensemble des données pour $T$ époques. À la fin de chaque époque, le modèle évalue l'ensemble d'entraînement pour enregistrer le vecteur de probabilité prédictive $p^{(t)}_n$ pour chaque échantillon $n$ . Cette séquence forme la trajectoire prédictive $\mathcal{T}_n$ .

2.2 Scoring Géométrique de Fisher–Rao (EIGD)

Pour quantifier le mouvement de la distribution prédictive d'un échantillon, FRAP utilise la distance géodésique de Fisher–Rao sur le simplexe de probabilité.

Lissage : Les vecteurs prédictifs sont lissés pour garantir des composantes strictement positives pour les calculs géométriques.
Longueur de Chemin ( $L_n$ ) : La distance de Fisher–Rao cumulative entre les états prédictifs consécutifs à travers les époques, représentant le mouvement prédictif total.
Déplacement Net ( $G_n$ ) : La distance de Fisher–Rao entre les états prédictifs initiaux ( $t=1$ ) et finaux ( $t=T$ ).
Efficacité de la Trajectoire ( $E_n$ ) : Définie comme le ratio du déplacement net à la longueur de chemin cumulative ( $G_n / (L_n + \epsilon_d)$ ), mesurant la directivité avec laquelle un échantillon se déplace vers son état final.
Score EIGD ( $Q_n$ ) : Le Déplacement Géométrique-Informationnel Effectif combine l'amplitude et l'efficacité :
$Q_n = G_n E_n = \frac{G_n^2}{L_n + \epsilon_d}$
Ce score favorise les échantillons qui subissent un changement prédictif substantiel sans oscillations intermédiaires excessives.

2.3 Difficulté Sensible aux Étiquettes Robustifiée

Pour compléter le score de trajectoire, un signal de difficulté sensible aux étiquettes est calculé sur la base de la confiance moyenne dans la classe de vérité terrain ( $q^{(t)}_n$ ). La difficulté $H_n$ est définie comme $1 - \text{moyenne}(q^{(t)}_n)$ . Pour éviter que des valeurs extrêmes ne dominent, un écrêtage de la queue supérieure est appliqué au $\kappa$ -ième percentile pour produire $H^{rob}_n$ .

2.4 Sélection Hiérarchique Sensible aux Classes

FRAP évite le classement global au profit d'un processus en deux étapes :

Allocation du Budget au Niveau de la Classe : Les statistiques de niveau classe (moyenne EIGD et moyenne de la difficulté écrêtée) sont agrégées et normalisées. Un score de priorité au niveau de la classe $D_c$ est calculé comme une somme pondérée de ces statistiques normalisées. Cette priorité, combinée à la taille de la classe, détermine le quota de rétention $K_c$ pour chaque classe, garantissant que le budget d'élagage global est distribué selon les comportements prédictifs spécifiques à chaque classe.
Sélection d'Échantillons au sein de la Classe : Au sein de chaque classe, les échantillons sont classés sur la base d'un score combiné $S_n = (1-\alpha)\tilde{Q}_n + \alpha\tilde{H}^{rob}_n$ , où $\tilde{Q}$ et $\tilde{H}$ sont normalisés au sein de la classe. Les $K_c$ meilleurs échantillons sont conservés.

3. Contributions Clés

Représentation de Trajectoire de Fisher–Rao : Un nouveau cadre représentant les échantillons via l'évolution de leurs distributions prédictives complètes plutôt que par des statistiques scalaires, utilisant la géométrie de Fisher–Rao pour mesurer le mouvement prédictif.
Score EIGD : L'introduction du Déplacement Géométrique-Informationnel Effectif, qui intègre le déplacement prédictif net et l'efficacité de la trajectoire cumulative.
Mécanisme Hiérarchique Sensible aux Classes : Une procédure de sélection qui sépare explicitement l'allocation du budget au niveau de la classe du classement des échantillons au sein de la classe, traitant les problèmes de déséquilibre de classes inhérents aux méthodes de classement global.
Évaluation Complète : Validation empirique sur plusieurs datasets (CIFAR-10, CIFAR-100, ImageNet-1K, Waterbirds) et ratios d'élagage, démontrant une performance supérieure par rapport aux baselines représentatives.

4. Résultats Expérimentaux

Les auteurs ont évalué FRAP contre des méthodes incluant Random, Forgetting, EL2N, CCS, MetriQ, Dyn-Unc, TDDS, et InfoBatch.

Performance : FRAP a systématiquement atteint la précision Top-1 la plus élevée sur tous les datasets et taux d'élagage testés.
- CIFAR-10 : A atteint 95,58 % à 30 % d'élagage et 87,86 % à 90 % d'élagage.
- CIFAR-100 : A atteint 77,78 % à 30 % d'élagage et 56,72 % à 90 % d'élagage.
- ImageNet-1K : A atteint 79,83 % à 25 % d'élagage et 78,58 % à 50 % d'élagage.
- Waterbirds : A atteint 96,42 % à 30 % d'élagage et 93,18 % à 90 % d'élagage.
Études d'Ablation :
- Le retrait de l'allocation au niveau de la classe ou du signal de difficulté a entraîné une précision moindre, confirmant la nécessité de ces deux composants.
- Le remplacement du score EIGD complet par le simple déplacement terminal ( $G_n$ ) a donné des performances inférieures, validant l'importance de l'efficacité de la trajectoire.
Sensibilité : Le coefficient de mélange $\alpha$ (équilibrant la trajectoire et la difficulté) a montré une performance optimale à $\alpha=0,5$ sur CIFAR-100.

5. Signification et Revendications

Le papier affirme que FRAP répond aux limitations critiques des méthodes d'élagage existantes en capturant l'évolution géométrique des distributions prédictives et en gérant explicitement les budgets de rétention par classe. Les auteurs déclarent que leur approche équilibre efficacement l'information tirée des trajectoires prédictives par rapport au coût computationnel de leur collecte.

Les résultats suggèrent que représenter les échantillons via leurs trajectoires prédictives complètes dans le simplexe de probabilité, plutôt que de s'appuyer sur des métriques statiques ou scalaires, fournit un signal plus robuste pour identifier les données informatives. Le mécanisme de sélection hiérarchique est présenté comme une étape nécessaire pour garantir qu'un élagage agressif ne nuise pas de manière disproportionnée à certaines classes. Les auteurs concluent que FRAP établit un nouvel état de l'art pour l'élagage de datasets sous les conditions testées, tout en reconnaissant que des travaux futurs sont nécessaires pour réduire la surcharge computationnelle associée à l'extraction des trajectoires d'entraînement complètes.