🤖 AI

Leveraging Data Symmetries to Select an Optimal Subset of Training Data under Label Noise

Dieser Artikel zeigt, dass die Nutzung von Datensymmetrien und Invarianzen zur Verbesserung der Genauigkeit des k-nächsten-Nachbarn die Auswahl optimaler, rauscharmer Trainingsuntergruppen in hochdimensionalen Szenarien erheblich verbessert, selbst wenn die zugrundeliegenden Invarianzinformationen nur teilweise bekannt sind.

Ursprüngliche Autoren: Kumar Shubham, Pavan Karjol, Kiran M K, Prathosh AP

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kumar Shubham, Pavan Karjol, Kiran M K, Prathosh AP

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Obstsorten zu erkennen. Sie geben ihm einen riesigen Haufen Fotos, aber leider hat ein schelmischer Kobold die Beschriftungen bei vielen davon vertauscht. Einige Fotos von Äpfeln sind mit „Banane" beschriftet, und einige Orangen sind mit „Trauben" beschriftet.

Wenn Sie dem Roboter einfach alle diese Fotos zuführen, gerät er in Verwirrung und lernt die falschen Dinge. Der übliche Weg, dies zu beheben, besteht darin, den Roboter „härter" zu machen, damit er die schlechten Beschriftungen ignoriert. Doch dieser Artikel schlägt einen anderen, intelligenteren Ansatz vor: Anstatt den Roboter härter zu machen, werfen wir die schlechten Fotos einfach weg, bevor wir mit dem Unterricht beginnen.

Hier ist die Geschichte davon, wie die Autoren den besten Weg herausfanden, nur die „guten" Fotos zu finden und zu behalten, selbst wenn der Haufen unordentlich ist und die Fotos sehr komplex sind.

Das Problem: Der „Nachbar-Nächster"-Irrtum

Die Forscher untersuchten eine beliebte Methode namens CutStats. Betrachten Sie CutStats als einen Detektiv, der versucht, die schlechten Beschriftungen zu finden, indem er sich die Nachbarn eines Fotos ansieht.

Funktionsweise: Wenn Sie ein Foto eines Apfels haben, betrachtet der Detektiv die 10 Fotos, die ihm am nächsten sind. Wenn 9 davon mit „Apfel" und 1 mit „Banane" beschriftet sind, geht der Detektiv davon aus, dass die „Banane"-Beschriftung ein Fehler ist, und wirft dieses Foto weg.
Der Haken: Dieser Detektiv funktioniert in einem kleinen, einfachen Raum (niederdimensionale Daten) hervorragend. Aber wenn Sie den Detektiv in ein riesiges, mehrdimensionales Lagerhaus stecken (hochdimensionale Daten, wie komplexe Bilder), bricht das Konzept des „Nächsten" zusammen. In einem riesigen Lagerhaus fühlt sich alles gleichermaßen weit von allem anderen entfernt an. Der Detektiv verirrt sich, kann nicht erkennen, wer wirklich nah ist, und beginnt, die falschen Fotos wegzuwerfen.

Die Lösung: Der „Magische Spiegel" (Symmetrien)

Die Autoren erkannten, dass viele reale Objekte Symmetrien aufweisen.

Rotationssymmetrie: Eine Kaffeetasse sieht wie eine Kaffeetasse aus, egal ob sie nach links, rechts oder auf dem Kopf gedreht ist.
Permutationssymmetrie: Ein Satz Würfel sieht wie derselbe Würfelsatz aus, egal wie Sie die Reihenfolge der Würfel mischen.

Der Artikel argumentiert, dass Sie, wenn Sie diese Regeln (Symmetrien) kennen, einen Magischen Spiegel (eine invariante Darstellung) bauen können.

Ohne den Spiegel: Der Detektiv sieht eine um 90 Grad gedrehte Tasse und denkt: „Das ist ein anderes Objekt als die Tasse, die um 0 Grad gedreht ist!" Sie sind in den Augen des Detektivs zu weit voneinander entfernt.
Mit dem Spiegel: Der Spiegel nimmt die Tasse, dreht sie und zeigt dem Detektiv das „Wesen" der Tasse. Plötzlich sehen die Tasse bei 0 Grad und die Tasse bei 90 Grad für den Detektiv identisch aus.

Durch die Verwendung dieses Spiegels kann der Detektiv erneut leicht die „wahren" Nachbarn finden, selbst in einem riesigen Lagerhaus. Er kann die Fotos mit den falschen Beschriftungen genau identifizieren und entfernen.

Die drei großen Entdeckungen

1. Der Detektiv braucht eine Karte
Die Autoren bewiesen mathematisch, dass der Erfolg der Strategie „schlechte Fotos wegwerfen" vollständig davon abhängt, wie gut der Detektiv (der k-NN-Algorithmus) darin ist, Nachbarn zu finden. In einfachen Räumen ist der Detektiv von Natur aus gut. In riesigen, komplexen Räumen versagt der Detektiv, es sei denn, Sie geben ihm eine Karte (die Symmetrieregeln).

2. Der Magische Spiegel rettet den Tag
Sie zeigten, dass der Detektiv wieder perfekt funktioniert, wenn Sie einen Spiegel verwenden, der die Symmetrie des Objekts respektiert (wie Rotation oder Mischen), selbst in den komplexesten, hochdimensionalen Räumen. Der Spiegel verkleinert das riesige Lagerhaus effektiv auf eine handhabbare Größe, in der „Nähe" wieder Sinn ergibt.

3. Sie brauchen keine perfekte Karte
In der realen Welt kennen Sie möglicherweise nicht die exakten Symmetrieregeln (zum Beispiel wissen Sie vielleicht nicht genau, wie die Daten gedreht wurden). Die Autoren zeigten, dass es auch dann Wunder wirkt, wenn Sie den Spiegel aus den Daten selbst lernen müssen (unter Verwendung von Techniken wie kontrastivem Lernen). Es ist, als würden Sie dem Detektiv eine leicht unscharfe Karte statt einer perfekten geben; sie ist nicht perfekt, aber immer noch gut genug, um die schlechten Fotos zu finden und das Training des Roboters zu retten.

Die Ergebnisse: Die Daten bereinigen

Das Team testete dies an synthetischen Daten (erfundenen mathematischen Problemen) und realen Daten (wie gedrehten Bildern von handschriftlichen Ziffern und Tetris-Blöcken).

Der alte Weg: Die Verwendung des Standarddetektivs auf unordentlichen Daten führte zu einem verwirrten Roboter.
Der neue Weg: Die Verwendung des „Magischen Spiegels", um die Daten zuerst zu bereinigen, führte zu einem Roboter, der fast genauso gut performte, als wäre er von Anfang an auf perfekt sauberen Daten trainiert worden.

Auf den Punkt gebracht

Wenn Ihre Trainingsdaten verrauscht und unordentlich sind, versuchen Sie nicht einfach, Ihrer KI beizubringen, hart zu sein. Verwenden Sie stattdessen die verborgenen Regeln der Welt (Symmetrien), um einen speziellen Filter zu bauen. Dieser Filter hilft Ihnen, die „wahren" Nachbarn jedes Datenpunkts zu finden, sodass Sie die beschädigten Beschriftungen leicht identifizieren und entfernen können. Dies hinterlässt Ihnen einen sauberen, hochwertigen Datensatz, der Ihrer KI ermöglicht, viel schneller und genauer zu lernen, selbst wenn die ursprünglichen Daten ein Chaos waren.

Technische Zusammenfassung: Nutzung von Datensymmetrien zur Auswahl eines optimalen Teilsatzes von Trainingsdaten unter Label-Rauschen

1. Problemdefinition

Modernes maschinelles Lernen stützt sich stark auf große, gelabelte Datensätze, doch Daten, die aus diversen Quellen stammen, leiden häufig unter Label-Rauschen aufgrund kosteneffizienter Annotationsstrategien (z. B. Heuristiken, schwache Überwachung). Während sich viele bestehende Ansätze auf die Verbesserung der Robustheit von Modellen gegenüber verrauschten Labels konzentrieren, behandeln sie den verrauschten Datensatz oft als fest vorgegeben. Dieser Beitrag adressiert das Problem der direkten Minderung von Label-Rauschen auf Datenebene durch die Identifizierung und Auswahl eines optimalen Teilsatzes von Trainingsdaten.

Die Autoren konzentrieren sich auf cutstats, eine datenzentrierte Methode, die $k$ -nächste-Nachbarn ( $k$ -NN) verwendet, um Proben mit geringem Rauschen zu erkennen, indem sie das Label einer Probe mit denen ihrer Nachbarn vergleicht. Die Wirksamkeit von cutstats ist jedoch in hochdimensionalen Regimen weitgehend unerforscht. Das untersuchte Kernproblem ist die Leistungslücke zwischen Klassifikatoren, die auf von cutstats ausgewählten Teilsätzen trainiert wurden, und solchen, die auf rauschfreien Daten trainiert wurden; dabei wird spezifisch analysiert, wie die Hochdimensionalität die Fähigkeit von Standard- $k$ -NN beeinträchtigt, den Bayes-optimalen Klassifikator zu approximieren, wodurch die Wiederherstellung des theoretisch optimalen Teilsatzes scheitert.

2. Methodik

Theoretischer Rahmen

Der Beitrag stellt eine formale Beziehung zwischen der Genauigkeit eines nachgelagerten Klassifikators, der auf einem ausgewählten Teilsatz trainiert wurde, und der Genauigkeit des für die Auswahl verwendeten $k$ -NN-Heuristik her.

Fehlerausbreitung: Die Generalisierungslücke hängt von den Rauschraten innerhalb des ausgewählten Teilsatzes ( $\alpha_S, \gamma_S$ ) ab. Diese Raten werden direkt durch die klassenweise Genauigkeit des $k$ -NN-Klassifikators ( $\lambda_0, \lambda_1$ ) bei der Identifizierung korrekter Proben bestimmt.
Hochdimensionale Einschränkung: Unter Berufung auf Bahri et al. [2020a] zeigen die Autoren, dass $k$ -NN zwar in niedrigen Dimensionen den Bayes-optimalen Klassifikator approximieren kann, diese Approximation jedoch in hohen Dimensionen zusammenbricht. Insbesondere schrumpft die obere Schranke für die Anzahl der Nachbarn $k$ , die für die Konvergenz erforderlich ist, superexponentiell mit zunehmender Merkmalsdimension $d$ , was es schließlich unmöglich macht, ein gültiges $k$ zu finden, das die Bayes-Optimalität garantiert.

Vorgeschlagene Lösung: Invariante Darstellungen

Um den Fluch der Hochdimensionalität zu überwinden, schlagen die Autoren die Nutzung von Datensymmetrien und Invarianzen vor.

Invariante Darstellungsfunktion ( $F$ ): Wenn ein Datensatz eine zugrunde liegende Symmetriegruppe $G$ zulässt (z. B. orthogonale Rotationen $SO(d)$ oder Permutationen $S_d$ ), sodass Klassenlabels unter der Gruppenaktion invariant sind ( $f(g \cdot x) = f(x)$ ), kann eine invariante Darstellungsfunktion $F$ konstruiert werden. Diese Funktion bildet Punkte im selben Orbit auf dieselbe Darstellung ab ( $F(x) = F(g \cdot x)$ ).
Modifiziertes Cutstats: Anstatt rohe Eingabemerkmale für Distanzberechnungen in $k$ -NN zu verwenden, nutzt die Methode die invariante Darstellung $F$ . Die Gewichte und nächsten Nachbarn werden im Darstellungsraum berechnet:
$w_{i,j} = (1 + \|F(x_i) - F(x_j)\|^2)^{-1}$
Theoretische Wiederherstellung: Die Autoren beweisen, dass für orthogonale und Permutationsgruppen die Verwendung von $F$ die Dimensionalität effektiv reduziert oder die Datendichte im Darstellungsraum erhöht. Dies stellt die Bedingungen wieder her, die erforderlich sind, damit $k$ -NN den Bayes-optimalen Klassifikator approximiert, selbst in hochdimensionalen Settings.
Praktische Anpassung: In Szenarien, in denen die zugrunde liegende Symmetrie unbekannt ist, schlägt der Beitrag die Verwendung von gelernten invarianten Darstellungen über gruppenäquivariante Netzwerke oder kontrastives Lernen vor, um $F$ zu approximieren.

3. Hauptbeiträge

Theoretische Charakterisierung von Cutstats: Die Autoren etablieren formal, dass die Leistung eines Klassifikators, der auf einem von cutstats ausgewählten Teilsatz trainiert wurde, durch die Genauigkeit von $k$ -NN unter Label-Rauschen bestimmt wird. Sie zeigen, dass $k$ -NN zwar in niedrigen Dimensionen den Bayes-Klassifikator approximiert, diese Garantie jedoch in hohen Dimensionen versagt.
Symmetriegesteuerte Teilsatzauswahl: Der Beitrag liefert eine theoretische Analyse, die zeigt, dass die Einbeziehung von Wissen über Datensymmetrien (insbesondere orthogonale und Permutationsgruppen) durch invariante Darstellungen die Approximation des Bayes-Klassifikators in hochdimensionalen Regimen erhält und die Wiederherstellung optimaler Teilsätze ermöglicht.
Praktische Validierung mit gelernten Darstellungen: Die Arbeit demonstriert, dass selbst wenn die exakte invariante Funktion unbekannt ist, gelernte Darstellungen (durch gruppeninvariantes Lernen oder kontrastives Lernen) die Leistung von cutstats erheblich verbessern können, was die Auswahl nahezu optimaler Teilsätze in realen Szenarien ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren bewerteten ihren Ansatz auf synthetischen Daten, rotiertem MNIST und dem Tetris-Datensatz und verglichen ihre Methode („Ours") mit Baselines wie Vanilla Cutstats, Entropie-basierter Auswahl und Robustheits-basierten Verlustfunktionen (GCE).

Synthetische Daten (Orthogonale & Permutationsgruppen): Auf synthetischen Daten mit bekannten Symmetrien erreichte die vorgeschlagene Methode die höchste Genauigkeit des nachgelagerten Klassifikators (68,52 % für Orthogonal, 86,00 % für Permutation) sowie die höchste Teilsatzgenauigkeit (74,31 % bzw. 74,42 %) und übertraf Vanilla Cutstats und andere Baselines signifikant.
Rotiertes MNIST: Unter variierenden Rauschpegeln (0,4; 0,6; 0,8) übertraf die gruppeninvariante Darstellungsmethode („Ours (group inv)") konsistent kontrastives Lernen und Vanilla Cutstats. Beispielsweise erreichte sie bei einem Rauschpegel von 0,6 eine Klassifikatorgenauigkeit von 89,37 % im Vergleich zu 83,78 % für Vanilla Cutstats.
Tetris-Datensatz: Die Methode zeigte Robustheit auf dem Tetris-Datensatz (Erfüllung der $SE(3)$-Invarianz) und erreichte bei einem Rauschpegel von 0,4 eine Genauigkeit von 75,72 %, während andere Teilsatzauswahlmethoden weitgehend versagten.
Hochdimensionale Analyse: Ablationsstudien an synthetischen Daten mit Dimensionen von 200 bis 1000 zeigten, dass die Leistung von Vanilla Cutstats mit zunehmender Dimensionalität signifikant abfiel, während die Methode mit invarianten Darstellungen eine stabile, hohe Genauigkeit beibehielt.
CIFAR-10N: Auf dem CIFAR-10N-Datensatz (Worst Labels) übertraf die kontrastive Lernvariante der vorgeschlagenen Methode alle Baselines und erreichte eine Klassifikatorgenauigkeit von 65,30 % sowie eine Teilsatzgenauigkeit von 90,48 %.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass die Nutzung von Datensymmetrien einen prinzipiellen Weg bietet, um saubere Trainings-Teilsätze in hochdimensionalen Räumen auszuwählen, in denen standardmäßige distanzbasierte Methoden versagen. Die Bedeutung liegt darin, den Fokus von der bloßen Schulung robuster Modelle hin zur Kurierung hochwertiger Daten zu verlagern, indem die geometrische Struktur der Daten ausgenutzt wird.

Die Autoren vermerken bescheiden, dass die Wirksamkeit ihrer Methode durch die Genauigkeit begrenzt ist, mit der die Gruppeninvarianz modelliert werden kann, und durch den Umfang, in dem klassenrelevante Informationen in den gelernten Darstellungen erhalten bleiben. Sie schließen, dass gelernte Darstellungen, auch wenn sie zugrunde liegende Symmetrien nicht perfekt erfassen, ausreichend sind, um die Identifizierung nahezu optimaler Teilsätze zu erleichtern, und bieten eine praktische Lösung für verrauschte, hochdimensionale Datenszenarien, die in Unternehmens- und Crowdsourcing-Umgebungen üblich sind.