🤖 machine learning

Random Label Prediction Heads for Studying Memorization in Deep Neural Networks

Dieses Paper führt Random Label Prediction Heads (RLP-heads) als eine neuartige Methode ein, um Memorierung und Rademacher-Komplexität über Netzwerkschichten hinweg empirisch zu messen, wobei aufgezeigt wird, dass die Reduzierung von Memorierung nicht immer die Generalisierung verbessert, was die traditionelle Äquivalenz zwischen Overfitting und Memorierung infrage stellt.

Ursprüngliche Autoren: Marlon Becker, Jonas Konrad, Luis Garcia Rodriguez, Benjamin Risse

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marlon Becker, Jonas Konrad, Luis Garcia Rodriguez, Benjamin Risse

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Schüler, der eine Prüfung ablegt. Normalerweise machen wir uns Sorgen, dass dieser Schüler nur den Lösungsschlüssel auswendig lernt, anstatt das Material tatsächlich zu verstehen. Wenn er den Schlüssel auswendig lernt, erreicht er bei der Übungsprüfung 100 %, scheitert aber bei der echten Prüfung, weil die Fragen leicht anders sind. Dies wird als „Overfitting“ oder „Auswendiglernen“ bezeichnet, und lange Zeit dachten Wissenschaftler, dass dies immer etwas Schlechtes sei.

Aber was wäre, wenn das Auswendiglernen einiger Dinge tatsächlich helfen könnte? Das ist die große Frage, die diese Arbeit stellt.

Der magische „Random Label“-Hut

Um herauszufinden, ob der Schüler auswendig lernt, gaben die Forscher dem Schüler einen zweiten, seltsamen Hut, den er tragen sollte: einen Random Label Prediction Head (RLP-Head).

So funktioniert es:

Die Hauptaufgabe: Der Schüler lernt einen normalen Datensatz (wie Bilder von Katzen und Hunden), um die echten Labels zu lernen.
Der geheime Test: Gleichzeitig weist der Forscher jedem einzelnen Bild heimlich eine zufällige, erfundene Zahl zu (wie „Label 42“ für eine Katze, „Label 7“ für einen Hund).
Die Aufgabe des Hutes: Der RLP-Head versucht, diese zufälligen Zahlen basierend auf dem, was der Schüler bisher gelernt hat, vorherzusagen.

Wenn der RLP-Head die zufälligen Zahlen gut vorhersagen kann, bedeutet das, dass der Schüler die spezifischen Details jedes einzelnen Bildes auswendig gelernt hat. Es ist so, als würde der Schüler sich merken: „Die Katze auf Foto Nr. 5 hat einen winzigen Kratzer am Ohr“, was zwar nutzlos ist, um zu wissen, was eine Katze ist, aber perfekt geeignet ist, um die dieser spezifischen Fotografie zugewiesene Zufallszahl zu erraten.

Die Forscher fanden heraus, dass diese Genauigkeit beim Zufallsraten ein großartiger Weg ist, um zu messen, wie viel der Modell „auswendig lernt“ anstatt zu „lernen“. Sie schlagen vor, dass dies wie ein Lineal für die Komplexität des Modells fungiert, ähnlich einem mathematischen Konzept namens Rademacher-Komplexität, die sich direkt schwer berechnen lässt, aber mit dieser Methode auf praktische Weise gemessen werden kann.

Die Wendung: Manchmal ist Auswendiglernen gut!

Hier wird die Geschichte interessant. Die Forscher versuchten, den Schüler daran zu hindern, diese Zufallszahlen auswendig zu lernen, indem sie eine „Bestrafung“ (einen Regularisierer) hinzufügten, wann immer der RLP-Head richtig rät. Sie wollten den Schüler dazu zwingen, die winzigen Details zu ignorieren und sich stattdessen auf das große Ganze zu konzentrieren.

Das Ergebnis bei großen Datensätzen (wie ImageNet):
Als sie dies an einem riesigen Datensatz mit Millionen von Bildern testeten, funktionierte die Bestrafung perfekt. Der Schüler hörte auf, die Zufallszahlen auswendig zu lernen, die Lücke zwischen seinem Übungsergebnis und dem echten Testergebnis wurde kleiner, und seine Testgenauigkeit stieg tatsächlich um 1,5 % (auf 68,5 %).

Die Lektion: Auf großen, gut abgetasteten Datensätzen ist das Auswendiglernen spezifischer Details meistens nur Rauschen. Es zu stoppen, hilft dem Modell, besser zu generalisieren.

Das Ergebnis bei kleineren Datensätzen (wie CIFAR-100):
Aber als sie dieselbe Bestrafung auf einen kleineren Datensatz anwandten, ging es schief. Der Schüler hörte auf, die Zufallszahlen auswendig zu lernen, aber seine Testgenauigkeit verschlechterte sich tatsächlich.

Die Lektion: Auf kleineren Datensätzen könnte das „Rauschen“, das der Schüler auswendig lernte, tatsächlich wichtig gewesen sein! Vielleicht waren diese spezifischen Details der einzige Weg, um eine seltene Art von Tier in der Gruppe zu erkennen. Indem man ihn zwang, diese Details zu ignorieren, verlor das Modell die Fähigkeit, diese schwierigen Fälle zu erkennen.

Die Autoren schlagen vor, dass Auswendiglernen nicht immer der Feind ist. Sie zeigen, dass in einigen Fällen (wie bei kleinen Datensätzen) das Stoppen des Auswendiglernens die Leistung beeinträchtigt. Sie vermuten, dass das „Rauschen“, das der Schüler auswendig lernte, tatsächlich wichtig sein könnte! Vielleicht waren diese spezifischen Details der einzige Weg, um eine seltene Art von Tier in der Gruppe zu erkennen. Wenn man ihn am Auswendiglernen hindert, vergisst er die seltenen Fälle und scheitert.

Wo geht das Auswendiglernen hin?

Die Forscher untersuchten auch, wo in das Gehirn (oder das Netzwerk) dieses Auswendiglernen geschieht. Sie fanden heraus, dass, wenn man die letzte Schicht (Layer) dafür bestraft, Details auswendig zu lernen, das Auswendiglernen nicht verschwindet – es verlagert sich lediglich in die früheren Schichten.

Es ist wie wenn man einem Schüler sagt: „Lerne nicht das Endergebnis auswendig“, dann fängt er vielleicht an, die Schritte in der Mitte der Aufgabe auswendig zu lernen. Die Forscher fanden heraus, dass, wenn sie die letzte Schicht bestraften, die früheren Schichten besser darin wurden, die echten Klassen vorherzusagen, obwohl die letzte Schicht gezwungen war, „sauber“ zu sein. Dies deutet darauf hin, dass das Netzwerk flexibel ist und Informationen verschieben kann.

Was sie ausgeschlossen haben

Die Arbeit argumentiert explizit gegen die alte Vorstellung, dass Auswendiglernen immer schlecht ist. Sie zeigen, dass in einigen Fällen (wie bei kleinen Datensätzen) das Stoppen des Auswendlernens die Leistung verschlechtert. Sie zeigen auch, dass das bloße Verkleinern eines Modells oder das Hinzufügen von Standardregeln (wie Dropout) das Problem nicht immer in der Weise löst, wie wir es erwarten; manchmal ist ein wenig Auswendiglernen notwendig, damit das Modell funktioniert.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihren Messungen. Sie bewiesen durch Experimente, dass:

Die Genauigkeit des RLP-Heads die Auswendiglern-Rate zuverlässig verfolgt (sie testeten dies, indem sie das Netzwerk einfroren und nur den Hut trainierten, was bestätigte, dass das Signal vom Gedächtnis des Netzwerks kommt und nicht vom Hut selbst).
Die Bestrafung des Auswendiglernens auf ImageNet die Testergebnisse verbessert (ein Gewinn von 1,5 %).
Die Bestrafung des Auswendiglernens auf CIFAR-100 die Testergebnisse verschlechtert.

Sie schlagen jedoch (anstatt es mit einem mathematischen Theorem zu beweisen), dass der Grund für diese gegensätzlichen Ergebnisse in der Art und Weise liegt, wie die Daten abgetastet werden. Sie hypothetisieren, dass das Auswendiglernen bei knapper Datenlage als Sicherheitsnetz für seltene Beispiele dient, und das Entfernen dieses Netzes dazu führt, dass das Modell fällt.

Das Fazit

Diese Arbeit führt ein cleveres neues Werkzeug ein (den RLP-Head), um in ein neuronales Netzwerk hineinzublicken und genau zu sehen, wie viel es auswendig lernt. Die große Überraschung? Auswendiglernen ist kein Bösewicht; es ist ein Werkzeug. Wenn Sie einen Berg an Daten haben, sollten Sie das Modell daran hindern, auswendig zu lernen. Aber wenn Sie nur wenige Beispiele haben, müssen Sie das Modell vielleicht dazu bringen, sich jedes einzelne Detail zu merken, um erfolgreich zu sein. Der Schlüssel liegt darin, zu wissen, in welcher Situation man sich befindet.

Technisches Resümee: Random Label Prediction Heads zur Untersuchung von Memorization in tiefen neuronalen Netzen

Problemstellung

Moderne Deep-Learning-Modelle sind durch extreme Überparametrisierung charakterisiert, was sie anfällig für Overfitting macht. Während Strategien wie Data Augmentation und explizite Regularisierung existieren, adressieren diese oft praktische Generalisierungsprobleme, ohne tiefe Einblicke in die Mechanismen des Overfittings zu geben. Jüngste Erkenntnisse (z. B. Zhang et al., 2021) zeigen, dass State-of-the-Art-Modelle in der Lage sind, Datensätze mit zufällig zugewiesenen Labels perfekt anzupassen, was auf eine Kapazität zur Memorization von probenspezifischen, aufgabenirrelevanten Informationen hindeutet.

Es besteht eine kritische Lücke im Verständnis darüber, wie diese Memorization mit der Generalisierung in realen Aufgaben interagiert. Die traditionelle Theorie setzt Overfitting oft mit Memorization gleich und nimmt an, dass letztere inhärent schädlich ist. Dennoch deuten Phänomene wie „Double Descent“ und Beobachtungen bezüglich Long-Tail-Verteilungen auf einen nuancierteren Zusammenhang hin. Darüber hinaus fehlt es bestehenden Methoden an einem Mechanismus, um Memorization während des Standardtrainings explizit zu messen und zu modulieren, ohne die Leistung der Primäraufgabe zu verändern.

Methodik

Die Autoren schlagen einen hybriden Ansatz vor, der Random Label Prediction Heads (RLP-Heads) nutzt, um Memorization zu untersuchen und zu regularisieren.

1. Architektur und Mechanismus

RLP-Head: Ein zusätzlicher Vorhersage-Kopf wird parallel zum Standard-Klassifikationskopf an den Feature-Extraktor angehängt (typischerweise nach der vorletzten Schicht, kann aber an beliebigen Tiefen platziert werden).
Random Labels: Jedem Trainingsbeispiel wird zu Beginn des Trainings ein festes, zufälliges Label zugewiesen. Diese Labels sind unabhängig von den wahren Klassen-Labels.
Trainingsdynamik:
- Der RLP-Head wird darauf trainiert, diese zufälligen Labels unter Verwendung eines Standard-Cross-Entropy-Loss ( $L_{rnd}$ ) vorherzusagen.
- Nur der RLP-Head erhält Gradienten aus $L_{rnd}$ ; der Haupt-Klassifikationskopf bleibt von dem Random-Label-Ziel unbeeinflusst.
- Interpretation: Die Genauigkeit des RLP-Heads bei der Vorhersage zufälliger Labels dient als empirische Schätzung der Rademacher-Komplexität des Modells. Eine hohe Genauigkeit bei zufälligen Labels zeigt an, dass das Netzwerk über eine ausreichende Kapazität verfügt, willkürliche Muster zu memorieren, was eine hohe Modellkomplexität widerspiegelt.

2. Regularisierungsstrategie

Um die Memorization aktiv zu steuern, führen die Autoren einen Memorization-Regularisierer ( $L_{reg}$ ) ein:

Ziel: Anstatt den Fehler bei zufälligen Labels zu minimieren, bestraft der Regularisierer den RLP-Head dafür, diese korrekt vorherzusagen.
Formulierung: $L_{reg} = \log(1 - \hat{p}_{\hat{y}})$ , wobei $\hat{p}_{\hat{y}}$ die vorhergesagte Wahrscheinlichkeit des zufälligen Labels ist. Dies kehrt die Standard-Cross-Entropy-Logik um und verstärkt die Bestrafung für konfidente Vorhersagen von zufälligen Labels.
Gradientenfluss: Gradienten aus $L_{reg}$ werden nur an den Feature-Extraktor zurückpropagiert, nicht an den RLP-Head selbst. Dies zwingt den Feature-Extraktor dazu, Repräsentationen zu lernen, die es dem RLP-Head nicht ermöglichen, einzelne Proben über Zufalls-Labels zu unterscheiden, wodurch das Lernen probenspezifischer Merkmale effektiv unterdrückt wird.

Zentrale Beiträge

RLP-Heads als Untersuchungswerkzeug: Die Einführung von RLP-Heads als Methode, um die schichtweise Memorization und Modellkomplexität empirisch zu messen, ohne das gesamte Netzwerk auf zufälligen Labels neu trainieren zu müssen.
Validierung der Metrik: Demonstration, dass die Genauigkeit bei zufälligen Labels mit etablierten Komplexitäts-Regularisierern (Dropout, Weight Decay, Label Smoothing) korreliert und als valider Proxy für die Rademacher-Komplexität dient.
Neuartige Regularisierungstechnik: Eine Methode, um Memorization explizit zu beschränken, indem die Performance des RLP-Heads bestraft wird, wodurch die Fähigkeit des Feature-Extraktors zur Kodierung probenspezifischer Informationen moduliert wird.
Neubewertung der Rolle der Memorization: Empirische Belege, die die Annahme infrage stellen, dass Memorization immer schädlich ist, und zeigen, dass sie die Generalisierung je nach Datensatz-Sampling entweder behindern oder fördern kann.

Experimentelle Ergebnisse

1. Memorization-Dynamik

Schichtweise Analyse: In Vision Transformern (ViT), die auf ImageNet trainiert wurden, steigt die Genauigkeit bei zufälligen Labels mit der Netzwerktiefe an. Frühe Schichten zeigen eine nahezu Null-Genauigkeit, während tiefere Schichten ~70 % erreichen, was darauf hindeutet, dass Memorization in den abstrahierten Feature-Repräsentationen stattfindet.
Zeitliche Entwicklung: Die Genauigkeit bei zufälligen Labels steigt leicht an, bevor die Divergenz zwischen Trainings- und Testgenauigkeit eintritt, was darauf hindeutet, dass Memorization früh im Trainingsprozess beginnt.

2. Einfluss der Regularisierung auf die Generalisierung

Der Effekt der Unterdrückung von Memorization variiert signifikant nach Datensatz und Modell:

ImageNet (ViT-B/32): Die RLP-Regularisierung reduziert erfolgreich die Genauigkeit bei zufälligen Labels (Memorization). Dies führt zu einer Abnahme der Trainingsgenauigkeit, aber zu einer signifikanten Steigerung der Testgenauigkeit (um bis zu +1,5 %), wodurch die Lücke zwischen Training und Test geschlossen wird. Dies steht im Einklang mit der klassischen Theorie, wonach Memorization die Generalisierung schadet.
CIFAR-100 (WideResNet-16-4): Die RLP-Regularisierung reduziert die Memorization, verschlechtert jedoch die Testgenauigkeit, selbst bei geringen Regularisierungsfaktoren. Die Trainingsgenauigkeit bleibt stabil. Dies widerspricht der klassischen Ansicht, dass weniger Memorization immer eine bessere Generalisierung zur Folge hat.

3. Die Rolle des Datensatz-Samplings

Die Autoren hypothetisieren, dass die duale Rolle der Memorization durch Sampling-Effekte getrieben wird:

Ausreichend gesampte Verteilungen (z. B. ImageNet): Die Unterdrückung der Memorization zwingt das Modell dazu, gemeinsame, klassenspezifische Merkmale zu lernen, was die Generalisierung verbessert.
Untergesampte Verteilungen (z. B. CIFAR-100, Long-tail): In Regionen mit wenigen Proben ist die Memorization spezifischer Instanzen notwendig, um die wahre Datenverteilung zu erfassen. Die Unterdrückung derselben zwingt das Modell, sich auf spureneffektive (spurious) gemeinsame Merkmale oder Artefakte unzureichender Stichproben zu verlassen, was die Generalisierung verschlechtert.
Evidenz:
- Auf ImageNet-Subsets verbessert der Regularisierer die Testgenauigkeit nur dann, wenn große Anteile der Daten verfügbar sind.
- Auf Long-tail-Datensätzen (ImageNet-LT) verhindert die Hemmung der Memorization die korrekte Vorhersage seltener Klassen.
- Hinzufügen von Label-Noise: In diesem Szenario ist Memorization rein schädlich. Der Regularisierer verbessert konsistent die Testleistung, was bestätigt: Wenn Memorization keinen distributiven Zweck erfüllt, behindert sie die Generalisierung.

4. Verschiebung der Memorization

Wenn die RLP-Regularisierung nur auf die letzte Schicht angewendet wird, wird die Memorization nicht eliminiert, sondern in frühere Schichten verschoben. Das Netzwerk transformiert probenspezifische Merkmale in klassenrelevante Informationen in früheren Schichten, um den Regularisierer zu umgehen. Die Anwendung der Regularisierung über alle Schichten hinweg unterdrückt diesen Shift, verbessert aber nicht zwangsläufig die Testgenauigkeit, was darauf hindeutet, dass ein gewisses Maß an Frühschicht-Memorization vorteilhaft sein kann.

Bedeutung und Ansprüche

Das Paper beansprucht, einen kontrollierten Rahmen zur Untersuchung und Modulation von Memorization in tiefen neuronalen Netzen bereitzustellen. Durch die Interpretation der Genauigkeit bei zufälligen Labels als empirischen Proxy für die Rademacher-Komplexität bieten die Autoren ein direktes Maß für die Modellkapazität und die probenspezifische Memorization.

Die primäre Bedeutung liegt in der Herausforderung der traditionellen Äquivalenz von Overfitting und Memorization. Die Autoren schlagen vor, dass Memorization nicht inhärent schädlich ist; vielmehr hängt ihr Einfluss auf die Generalisierung davon ab, ob der Datensatz ausreichend gesampelt wurde. In untergesampelten Regimen kann die Memorization spezifischer Beispiele der einzige Weg sein, um auf ungesehene Daten aus derselben Verteilung zu generalisieren.

Die Arbeit legt nahe, dass RLP-Heads und der daraus abgeleitete Regularisierer effektive Werkzeuge sind, um:

Zu diagnostizieren, wo und wann Memorization innerhalb eines Netzwerks auftritt.
Memorization explizit zu reduzieren, um die Generalisierung in gut gesampelten Umgebungen zu verbessern.
Die Trade-offs in Szenarien zu verstehen, in denen Datenknappheit die Memorization zu einer notwendigen Komponente des Lernens macht.

Die Autoren kommen zu dem Schluss, dass diese Erkenntnisse neue Hypothesen erfordern, um die scheinbar widersprüchlichen Ergebnisse der modernen Deep-Learning-Forschung zu versöhnen und über die binäre Sichtweise von Memorization als reinem Fehler zu hinausgehen.