🤖 AI

Leveraging Data Symmetries to Select an Optimal Subset of Training Data under Label Noise

Dit artikel toont aan dat het benutten van datasymmetrieën en invarianties om de nauwkeurigheid van k-nabuur-benadering te verbeteren, de selectie van optimale, ruisarme trainings subsets in hoogdimensionale settings aanzienlijk verbetert, zelfs wanneer onderliggende invariantie-informatie slechts gedeeltelijk bekend is.

Oorspronkelijke auteurs: Kumar Shubham, Pavan Karjol, Kiran M K, Prathosh AP

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kumar Shubham, Pavan Karjol, Kiran M K, Prathosh AP

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren verschillende soorten fruit te herkennen. Je geeft hem een enorme stapel foto's, maar helaas heeft een ondeugende kabouter de labels op veel ervan verwisseld. Sommige foto's van appels zijn gelabeld als "bananen", en sommige sinaasappels als "druiven".

Als je al deze foto's zomaar aan de robot voert, raakt hij in de war en leert hij de verkeerde dingen. De standaardmanier om dit op te lossen, is proberen de robot "tougher" te maken, zodat hij de slechte labels negeert. Maar dit artikel stelt een andere, slimmere aanpak voor: In plaats van de robot tougher te maken, gooien we gewoon de slechte foto's weg voordat we beginnen met lesgeven.

Hier is het verhaal van hoe de auteurs de beste manier bedachten om alleen de "goede" foto's te vinden en te behouden, zelfs wanneer de stapel rommelig is en de foto's zeer complex zijn.

Het Probleem: De "Naaste Buur"-Fout

De onderzoekers keken naar een populaire methode genaamd CutStats. Denk aan CutStats als een detective die probeert de slechte labels te vinden door naar de buren van een foto te kijken.

Hoe het werkt: Als je een foto van een appel hebt, kijkt de detective naar de 10 foto's die het dichtstbij liggen. Als 9 ervan gelabeld zijn als "appel" en 1 als "banaan", neemt de detective aan dat het "banaan"-label een fout is en gooit die foto weg.
De Vangst: Deze detective werkt geweldig in een kleine, eenvoudige kamer (laagdimensionele data). Maar als je de detective in een enorm, multidimensionaal magazijn plaatst (hoogdimensionele data, zoals complexe afbeeldingen), breekt het concept van "dichtstbij" af. In een enorm magazijn voelt alles even ver weg van elkaar. De detective raakt verdwaald, kan niet zeggen wie echt dichtbij is, en begint de verkeerde foto's weg te gooien.

De Oplossing: De "Magische Spiegel" (Symmetrieën)

De auteurs realiseerden zich dat veel objecten uit de echte wereld symmetrieën hebben.

Rotatiesymmetrie: Een koffiekopje ziet eruit als een koffiekopje, of het nu naar links, rechts of ondersteboven is gedraaid.
Permutatiesymmetrie: Een set dobbelstenen ziet eruit als dezelfde set dobbelstenen, ongeacht hoe je de volgorde van de dobbelstenen schudt.

Het artikel betoogt dat als je deze regels (symmetrieën) kent, je een Magische Spiegel kunt bouwen (een Invariant Representatie genoemd).

Zonder de spiegel: De detective ziet een kopje dat 90 graden is gedraaid en denkt: "Dat is een ander object dan het kopje dat 0 graden is gedraaid!" Ze zijn te ver uit elkaar in het hoofd van de detective.
Met de spiegel: De spiegel neemt het kopje, draait het, en laat de detective de "essentie" van het kopje zien. Plotseling zien het kopje op 0 graden en het kopje op 90 graden er identiek uit voor de detective.

Door deze spiegel te gebruiken, kan de detective opnieuw gemakkelijk de "echte" buren vinden, zelfs in een enorm magazijn. Ze kunnen nauwkeurig de foto's met de verkeerde labels opsporen en verwijderen.

De Drie Grote Ontdekkingen

1. De Detective Heeft een Kaart Nodig
De auteurs bewezen wiskundig dat het succes van de strategie "slechte foto's weggooien" volledig afhangt van hoe goed de detective (het k-NN-algoritme) is in het vinden van buren. In eenvoudige kamers is de detective van nature goed. In enorme, complexe kamers faalt de detective tenzij je hem een kaart geeft (de symmetrieregels).

2. De Magische Spiegel Redt de Dag
Ze toonden aan dat als je een spiegel gebruikt die de symmetrie van het object respecteert (zoals rotatie of schudden), de detective weer perfect werkt, zelfs in de meest complexe, hoogdimensionale kamers. De spiegel verkleint het enorme magazijn effectief tot een hanteerbare grootte waar "dichtbij" weer zinvol wordt.

3. Je Hebt de Perfecte Kaart Niet Nodig
In de echte wereld weet je misschien niet de exacte regels van symmetrie (bijvoorbeeld, je weet misschien niet precies hoe de data is gedraaid). De auteurs toonden aan dat zelfs als je de spiegel uit de data zelf moet leren (met technieken zoals contrastief leren), het nog steeds wonderen doet. Het is alsof je de detective een enigszins wazige kaart geeft in plaats van een perfecte; het is niet perfect, maar het is nog steeds goed genoeg om de slechte foto's te vinden en de training van de robot te redden.

De Resultaten: De Data Schoonmaken

Het team testte dit op synthetische data (uitgedachte wiskundeproblemen) en data uit de echte wereld (zoals gedraaide afbeeldingen van handgeschreven cijfers en Tetris-blokken).

De Oude Manier: Het gebruik van de standaarddetective op rommelige data resulteerde in een verwarde robot.
De Nieuwe Manier: Het gebruik van de "Magische Spiegel" om eerst de data schoon te maken, resulteerde in een robot die bijna net zo goed presteerde als wanneer hij vanaf het begin op perfect schone data was getraind.

In het Kort

Wanneer je trainingsdata ruisig en rommelig is, probeer je je AI niet gewoon tougher te maken. Gebruik in plaats daarvan de verborgen regels van de wereld (symmetrieën) om een speciale filter te bouwen. Deze filter helpt je de "echte" buren van elk datapunt te vinden, waardoor je gemakkelijk de beschadigde labels kunt opsporen en verwijderen. Dit laat je achter met een schone, hoogwaardige dataset die ervoor zorgt dat je AI veel sneller en nauwkeuriger leert, zelfs wanneer de oorspronkelijke data een puinhoop was.

Technische Samenvatting: Benutten van Data-Symmetrieën voor het Selecteren van een Optimale Subset van Trainingsdata onder Labelruis

1. Probleemdefinitie

Moderne machine learning is sterk afhankelijk van grote gelabelde datasets, maar data die uit diverse bronnen wordt verzameld, lijdt vaak aan labelruis door kosteneffectieve annotatiestrategieën (bijvoorbeeld heuristieken, zwakke supervisie). Hoewel veel bestaande benaderingen zich richten op het verbeteren van de robuustheid van modellen tegen ruis in labels, behandelen ze de ruisachtige dataset vaak als vaststaand. Dit artikel behandelt het probleem van het direct mitigeren van labelruis op data-niveau door een optimale subset van trainingsdata te identificeren en te selecteren.

De auteurs richten zich op cutstats, een data-gerichte methode die $k$ -nearest neighbors ( $k$ -NN) gebruikt om samples met weinig ruis te detecteren door het label van een sample te vergelijken met dat van zijn buren. De effectiviteit van cutstats is echter grotendeels onontgonnen in hoogdimensionale regimes. Het kernprobleem dat wordt onderzocht, is het prestatiekloof tussen classifiers die zijn getraind op subsets geselecteerd door cutstats en die welke zijn getraind op ruisvrije data, met name door te analyseren hoe hoogdimensionaliteit de capaciteit van standaard $k$ -NN om de Bayes-optimale classifier te benaderen, verslechtert, waardoor het theoretisch optimale subset niet kan worden hersteld.

2. Methodologie

Theoretisch Kader

Het artikel legt een formele relatie vast tussen de nauwkeurigheid van een downstream-classifier die is getraind op een geselecteerde subset en de nauwkeurigheid van de $k$ -NN-heuristiek die voor selectie wordt gebruikt.

Foutpropagatie: De generalisatiekloof blijkt afhankelijk te zijn van de ruispercentages binnen de geselecteerde subset ( $\alpha_S, \gamma_S$ ). Deze percentages worden rechtstreeks bepaald door de class-specifieke nauwkeurigheid van de $k$ -NN-classifier ( $\lambda_0, \lambda_1$ ) bij het identificeren van correcte samples.
Beperking in Hoogdimensies: Met verwijzing naar Bahri et al. [2020a] tonen de auteurs aan dat hoewel $k$ -NN in lage dimensies de Bayes-optimale classifier kan benaderen, deze benadering in hoge dimensies faalt. Specifiek krimpt de bovengrens voor het aantal buren $k$ dat nodig is voor convergentie super-exponentieel naarmate de feature-dimensie $d$ toeneemt, waardoor het uiteindelijk onmogelijk wordt om een geldige $k$ te vinden die Bayes-optimaliteit garandeert.

Voorgestelde Oplossing: Invariante Representaties

Om de vloek van hoogdimensie te overwinnen, stellen de auteurs voor om data-symmetrieën en invarianties te benutten.

Invariante Representatiefunctie ( $F$ ): Als een dataset een onderliggende symmetriegroep $G$ toestaat (bijvoorbeeld orthogonale rotaties $SO(d)$ of permutaties $S_d$ ) zodanig dat class-labels invariant zijn onder de groepsactie ( $f(g \cdot x) = f(x)$ ), kan een invariante representatiefunctie $F$ worden geconstrueerd. Deze functie beeldt punten in dezelfde baan af op dezelfde representatie ( $F(x) = F(g \cdot x)$ ).
Gewijzigde Cutstats: In plaats van ruwe input-features te gebruiken voor afstandsberekeningen in $k$ -NN, maakt de methode gebruik van de invariante representatie $F$ . De gewichten en dichtstbijzijnde buren worden berekend in de representatieruimte:
$w_{i,j} = (1 + \|F(x_i) - F(x_j)\|^2)^{-1}$
Theoretisch Herstel: De auteurs bewijzen dat voor orthogonale en permutatiegroepen het gebruik van $F$ effectief de dimensionaliteit verlaagt of de datadichtheid in de representatieruimte verhoogt. Dit herstelt de voorwaarden die nodig zijn voor $k$ -NN om de Bayes-optimale classifier te benaderen, zelfs in hoogdimensionale settings.
Praktische Aanpassing: In scenario's waarbij de onderliggende symmetrie onbekend is, stelt het artikel voor om geleerde invariante representaties te gebruiken via groeps-equivariante netwerken of contrastief leren om $F$ te benaderen.

3. Belangrijkste Bijdragen

Theoretische Karakterisering van Cutstats: De auteurs stellen formeel vast dat de prestaties van een classifier die is getraind op een door cutstats geselecteerde subset, worden bepaald door de nauwkeurigheid van $k$ -NN onder labelruis. Ze tonen aan dat hoewel $k$ -NN de Bayes-classifier in lage dimensies benadert, deze garantie in hoge dimensies faalt.
Symmetrie-gedreven Subsetselectie: Het artikel biedt een theoretische analyse die aantoont dat het integreren van kennis over data-symmetrieën (specifiek orthogonale en permutatiegroepen) via invariante representaties de benadering van de Bayes-classifier in hoogdimensionale regimes behoudt, waardoor het herstellen van optimale subsets mogelijk wordt.
Praktische Validatie met Geleerde Representaties: Het werk toont aan dat zelfs wanneer de exacte invariante functie onbekend is, geleerde representaties (via groeps-invariant leren of contrastief leren) de prestaties van cutstats aanzienlijk kunnen verbeteren, waardoor de selectie van bijna-optimale subsets in real-world scenario's mogelijk wordt.

4. Experimentele Resultaten

De auteurs evalueerden hun aanpak op synthetische data, geroteerde MNIST en het Tetris-dataset, waarbij ze hun methode ("Ours") vergeleken met baselines zoals Vanilla Cutstats, selectie op basis van entropie en robuustheidsgebaseerde verliesfuncties (GCE).

Synthetische Data (Orthogonale & Permutatiegroepen): Op synthetische data met bekende symmetrieën behaalde de voorgestelde methode de hoogste downstream-classifier-nauwkeurigheid (68,52% voor Orthogonaal, 86,00% voor Permutatie) en subsetnauwkeurigheid (respectievelijk 74,31% en 74,42%), waarmee ze Vanilla Cutstats en andere baselines aanzienlijk overtroffen.
Geroteerde MNIST: Bij variërende ruisniveaus (0,4, 0,6, 0,8) presteerde de groeps-invariante representatiemethode ("Ours (group inv)") consistent beter dan contrastief leren en Vanilla Cutstats. Bijvoorbeeld, bij een ruisniveau van 0,6 bereikte het 89,37% classifier-nauwkeurigheid tegenover 83,78% voor Vanilla Cutstats.
Tetris Dataset: De methode toonde robuustheid op het Tetris-dataset (dat voldoet aan $SE(3)$-invariantie), met een nauwkeurigheid van 75,72% bij een ruisniveau van 0,4, terwijl andere subsetselectiemethoden grotendeels faalden.
Hoogdimensionale Analyse: Ablatiestudies op synthetische data met dimensies variërend van 200 tot 1000 toonden aan dat de prestaties van Vanilla Cutstats aanzienlijk verslechterden naarmate de dimensionaliteit toenam, terwijl de methode met invariante representaties stabiele, hoge nauwkeurigheid behield.
CIFAR-10N: Op het CIFAR-10N-dataset (Worst Labels) overtrof de variant met contrastief leren van de voorgestelde methode alle baselines, met een classifier-nauwkeurigheid van 65,30% en een subsetnauwkeurigheid van 90,48%.

5. Betekenis en Claims

Het artikel beweert dat het benutten van data-symmetrieën een principiële manier biedt om schone trainings subsets te selecteren in hoogdimensionale ruimten waar standaard op afstand gebaseerde methoden falen. De betekenis ligt in het verschuiven van de focus van het louter trainen van robuuste modellen naar het cureren van hoogwaardige data door gebruik te maken van de geometrische structuur van de data.

De auteurs merken bescheiden op dat de effectiviteit van hun methode wordt begrensd door hoe nauwkeurig de groepsinvariantie kan worden gemodelleerd en de mate waarin class-relevante informatie behouden blijft in de geleerde representaties. Ze concluderen dat hoewel geleerde representaties de onderliggende symmetrieën niet perfect kunnen vastleggen, ze voldoende zijn om de identificatie van bijna-optimale subsets te faciliteren, en zo een praktische oplossing bieden voor ruisachtige, hoogdimensionale datasituaties die veel voorkomen in enterprise- en crowdsourcing-omgevingen.