💻 computer science

FRAP: Fisher–Rao Geometric Trajectory Pruning for Class-Aware Dataset Selection

Het artikel stelt FRAP voor, een klasse-bewust dataset-pruning-framework dat Fisher–Rao-geometrie gebruikt om het voorspellende traject van trainingssamples te kwantificeren via een Effective Information-Geometric Displacement-score, wat een efficiënte selectie van informatieve data mogelijk maakt om computationele kosten te verlagen terwijl de classificatieprestaties behouden blijven.

Oorspronkelijke auteurs: Bahar Niknam, Hedieh Sajedi

Gepubliceerd 2026-09-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bahar Niknam, Hedieh Sajedi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Deep learning heeft de manier waarop machines de wereld zien en begrijpen getransformeerd, wat alles aandrijft van medische diagnostiek tot zelfrijdende auto's. Deze vooruitgang berust op het voeden van kunstmatige intelligentiesystemen met enorme hoeveelheden gelabelde voorbeelden, waardoor ze patronen kunnen leren door hun interne instellingen aan te passen. Echter, naarmate deze datasets zijn gegroeid tot miljoenen afbeeldingen, is de kosten van het verwerken ervan een aanzienlijke last geworden, die immense rekenkracht en geheugen vereist. Onderzoekers vermoedden al lang dat niet elk afzonderlijk voorbeeld in deze gigantische bibliotheken even nuttig is; in feite kan een groot deel van de data redundant zijn, omdat het weinig nieuwe informatie biedt zodra het systeem de basis heeft geleerd. De uitdaging is dan om te identificeren welke specifieke voorbeelden essentieel zijn voor het onderwijzen van een model en welke veilig kunnen worden weggegooid zonder de prestaties te schaden.

Een team onderzoekers aan de Universiteit van Teheran heeft een nieuwe methode ontwikkeld genaamd FRAP om dit probleem op te lossen. In plaats van datapunten te behandelen als statische items die door een enkele score worden beoordeeld, observeerden de onderzoekers hoe het begrip van het model voor elke afbeelding in de loop van de tijd veranderde. Ze trainden een model op de volledige dataset en legden de voorspellingen aan het einde van elke trainingssessie vast. Door het pad te volgen dat deze voorspellingen aflegden terwijl het model leerde, konden ze de unieke "reis" van elke individuele afbeelding zien. Sommige afbeeldingen zorgde ervoor dat het model wild heen en weer zwiepte tussen verschillende gissingen voordat het zich op het juiste antwoord vestigde, terwijl andere direct werden herkend en consistent bleven. Het team realiseerde zich dat de vorm en de lengte van deze voorspellingspaden de sleutel vormden tot het identificeren van de meest waardevolle trainingsdata.

Om deze paden te meten, gebruikten de onderzoekers een wiskundig concept dat waarschijnlijkheid behandelt als een gekromde ruimte, waardoor ze de werkelijke afstand tussen verschillende staten van onzekerheid kunnen berekenen. Ze combineerden deze meting van beweging met een eenvoudige controle van hoe zeker het model was van het juiste antwoord. Dit creëerde een duaal signaal: één deel mat hoeveel het denken van het model evolueerde, en het andere deel mat hoe moeilijk de afbeelding was voor het model om te beheersen. Cruciaal is dat de methode niet alleen alle afbeeldingen rangschikt van makkelijkst naar moeilijkst over de hele linie. In plaats daarvan bepaalt het eerst hoeveel afbeeldingen het uit elke categorie moet behouden, om er zeker van te zijn dat zeldzame of moeilijke groepen niet per ongels worden weggevaagd. Vervolgens selecteert het de beste voorbeelden binnen elke groep op basis van hun unieke leerreizen.

Wanneer getest op standaard beeldbibliotheken met tienduizenden foto's, presteerde deze aanpak consequent beter dan bestaande methoden. Op een dataset met tien categorieën behaalde de nieuwe methode een nauwkeurigheid van 95,58 procent terwijl slechts 30 procent van de data werd behouden, een resultaat dat hoger was dan welke andere geteste techniek ook. Zelfs op een veel grotere dataset met duizend categorieën behield de methode de hoogste nauwkeurigheid onder zijn concurrenten, waarbij bijna 80 procent nauwkeurigheid werd bereikt met slechts de helft van de oorspronkelijke data. De onderzoekers kwamen tot de conclusie dat het simpelweg kijken naar de uiteindelijke voorspelling van een afbeelding niet genoeg was; de geschiedenis van hoe het model tot die voorspelling kwam, deed er net zo toe. Door de specifieke mix van gemakkelijke en moeilijke voorbeelden van elke categorie te bewaren, kon het systeem net zo goed leren van een fractie van de data.

De studie suggereert dat de meest effectieve manier om een dataset te verkleinen is door de diversiteit van het leerproces zelf te respecteren. De onderzoekers toonden aan dat het weggooien van data op basis van een enkel momentopname van prestaties vaak leidt tot een verlies van belangrijke informatie, terwijl het volgen van de volledige evolutie van het begrip van het model de noodzakelijke lessen behoudt. Hoewel de methode een initiële trainingsperiode vereist om deze leerpaden in kaart te brengen, maken de resulterende kleinere datasets toekomstige training sneller en efficiënter. Dit werk biedt een praktisch blauwdruk voor het duurzamer maken van deep learning, en bewijst dat minder weten soms alleen mogelijk is als je precies begrijpt hoe het leren is gebeurd.

Technische Samenvatting: FRAP – Fisher–Rao Geometrische Traject-Pruning voor Class-Aware Dataset Selectie

1. Probleemstelling

De toenemende schaal van deep learning-datasets heeft substantiële computationele en geheugenkosten geïntroduceerd, wat de noodzaak voor effectieve dataset-pruning stimuleert. Hoewel extra data de generalisatie kan verbeteren, suggereert redundantie dat een aanzienlijk deel van de trainingsvoorbeelden beperkt voordeel biedt. Bestaande pruning-methoden vertrouwen vaak op statische eigenschappen (bijv. loss, gradiënten) of scalaire onzekerheidsmaten die op enkelvoudige tijdstippen zijn verzameld. Deze benaderingen falen in het vastleggen van de volledige geometrische evolutie van de predictieve distributie van een voorbeeld over de tijd. Bovendien maken veel methoden gebruik van globale rangschikkingsstrategieën die niet expliciet de distributie van het retentiebudget over klassen controleren, wat kan leiden tot ongewenste klasse-imbalans in de geprunede subset.

2. Methodologie

De auteurs stellen FRAP (Fisher–Rao Geometric Trajectory Pruning) voor, een class-aware framework dat trainingsvoorbeelden karakteriseert door de trajecten van hun predictieve distributies over geregistreerde trainingsepochs. De methode werkt op twee gekoppelde niveaus: traject-gebaseerde scoring en hiërarchische class-aware selectie.

2.1 Extractie van Predictieve Trajecten

Een referentiemodel wordt getraind op de volledige dataset voor $T$ epochs. Aan het einde van elke epoch evalueert het model de trainingsset om de predictieve waarschijnlijkheidsvector $p^{(t)}_n$ voor elk voorbeeld $n$ vast te leggen. Deze sequentie vormt het predictieve traject $\mathcal{T}_n$ .

2.2 Fisher–Rao Geometrische Scoring (EIGD)

Om de beweging van de predictieve distributie van een voorbeeld te kwantificeren, maakt FRAP gebruik van de Fisher–Rao geodetische afstand op de waarschijnlijkheidssimplex.

Smoothing: Predictieve vectoren worden gesmooth om strikt positieve componenten te garanderen voor geometrische berekeningen.
Padlengte ( $L_n$ ): De cumulatieve Fisher–Rao afstand tussen opeenvolgende predictieve toestanden over de epochs, wat de totale predictieve beweging vertegenwoordigt.
Netto Verplaatsing ( $G_n$ ): De Fisher–Rao afstand tussen de initiële ( $t=1$ ) en finale ( $t=T$ ) predictieve toestanden.
Traject Efficiëntie ( $E_n$ ): Gedefinieerd als de ratio van netto verplaatsing tot cumulatieve padlengte ( $G_n / (L_n + \epsilon_d)$ ), wat meet hoe direct een voorbeeld naar zijn finale staat beweegt.
EIGD Score ( $Q_n$ ): De Effective Information-Geometric Displacement combineert magnitude en efficiëntie:
$Q_n = G_n E_n = \frac{G_n^2}{L_n + \epsilon_d}$
Deze score bevoordeelt voorbeelden die een substantiële predictieve verandering ondergaan zonder excessieve tussenliggende oscillatie.

2.3 Robuust gelabelde Moeilijkheidsgraad

Om de traject-score aan te vullen, wordt een label-bewuste moeilijkheidssignaal berekend op basis van de gemiddelde confidentie in de grondwaarheid-klasse ( $q^{(t)}_n$ ). De moeilijkheid $H_n$ wordt gedefinieerd als $1 - \text{mean}(q^{(t)}_n)$ . Om extreme waarden te voorkomen, wordt een upper-tail clipping toegepast op het $\kappa$ -percentiel om $H^{rob}_n$ te produceren.

2.4 Hiërarchische Class-Aware Selectie

FRAP vermijdt globale rangschikking ten gunste van een tweestaps-proces:

Class-Level Budget Allocatie: Class-level statistieken (gemiddelde EIGD en gemiddelde geclippte moeilijkheid) worden geaggregeerd en genormaliseerd. Een class-level prioriteitsscore $D_c$ wordt berekend als een gewogen som van deze genormaliseerde statistieken. Deze prioriteit, gecombineerd met de klasse-omvang, bepaalt de retentiequota $K_c$ voor elke klasse, waardoor het globale pruning-budget wordt verdeeld volgens de klasse-specifieke predictieve gedragingen.
Within-Class Sample Selectie: Binnen elke klasse worden voorbeelden gerangschikt op basis van een gecombineerde score $S_n = (1-\alpha)\tilde{Q}_n + \alpha\tilde{H}^{rob}_n$ , waarbij $\tilde{Q}$ en $\tilde{H}$ binnen de klasse genormaliseerd zijn. De top $K_c$ voorbeelden worden behouden.

3. Belangrijkste Bijdragen

Fisher–Rao Traject Representatie: Een nieuw framework dat voorbeelden representeert via de evolutie van hun volledige predictieve distributies in plaats van scalaire statistieken, gebruikmakend van Fisher–Rao geometrie om predictieve beweging te meten.
EIGD Score: De introductie van de Effective Information-Geometric Displacement, die netto predictieve verplaatsing integreert met de efficiëntie van het cumulatieve traject.
Class-Aware Hiërarchisch Mechanisme: Een selectieprocedure die de class-level budgetallocatie expliciet scheidt van de within-class sample rangschikking, waarmee de problemen van klasse-imbalans inherent aan globale rangschikkingsmethoden worden aangepakt.
Uitgebreide Evaluatie: Empirische validatie over meerdere datasets (CIFAR-10, CIFAR-100, ImageNet-1K, Waterbirds) en pruning-ratio's, wat superieur rendement aantoont ten opzichte van representatieve baselines.

4. Experimentele Resultaten

De auteurs evalueerden FRAP tegen methoden zoals Random, Forgetting, EL2N, CCS, MetriQ, Dyn-Unc, TDDS en InfoBatch.

Prestaties: FRAP behaalde consistent de hoogste Top-1 accuratesse over alle geteste datasets en pruning-ratio's.
- CIFAR-10: Behaalde 95,58% bij 30% pruning en 87,86% bij 90% pruning.
- CIFAR-100: Behaalde 77,78% bij 30% pruning en 56,72% bij 90% pruning.
- ImageNet-1K: Behaalde 79,83% bij 25% pruning en 78,58% bij 50% pruning.
- Waterbirds: Behaalde 96,42% bij 30% pruning en 93,18% bij 90% pruning.
Ablatie-studies:
- Het verwijderen van de class-level allocatie of het difficulty-signaal resulteerde in lagere accuratesse, wat de noodzaak van beide componenten bevestigt.
- Het vervangen van de volledige EIGD-score door eenvoudige endpoint verplaatsing ( $G_n$ ) leverde lagere prestaties op, wat het belang van traject-efficiëntie valideert.
Sensitiviteit: De mengcoëfficiënt $\alpha$ (die traject en difficulty balanceert) vertoonde optimale prestaties bij $\alpha=0,5$ op CIFAR-100.

5. Betekenis en Claims

Het artikel claimt dat FRAP kritieke beperkingen in bestaande pruning-methoden aanpakt door de geometrische evolutie van predictieve distributies vast te leggen en expliciet de class-level retentiebudgetten te beheren. De auteurs stellen dat hun aanpak effectief de informatie verkregen uit predictieve trajecten balanceert met de computationele kosten van het verzamelen ervan.

De resultaten suggereren dat het representeren van voorbeelden via hun volledige predictieve trajecten in de waarschijnlijkheidssimplex, in plaats van het vertrouwen op statische of scalaire metrieken, een robuuster signaal biedt voor het identificeren van informatieve data. Het hiërarchische selectiemechanisme wordt gepresenteerd als een noodzakelijke stap om te waarborgen dat agressieve pruning niet onevenredig bepaalde klassen schaadt. De auteurs concluderen dat FRAP een nieuwe state-of-the-art vormt voor dataset-pruning onder de geteste condities, hoewel zij erkennen dat toekomstig werk nodig is om de computationele overhead die gepaard gaat met het extraheren van volledige trainings-trajecten te verminderen.