🤖 machine learning

How Far Can Sharpness and Complexity Jointly Explain Generalization?

Diese Arbeit untersucht die gemeinsame Erklärungsleistung von Schärfe und Komplexität für die Generalisierung tiefer neuronaler Netze unter Anwendung einer Pareto-basierten Analyse und funktionsorientierter Definitionen und stellt fest, dass diese beiden Faktoren zwar das Verständnis über verschiedene Szenarien hinweg signifikant verbessern, jedoch noch keine vollständige Theorie der Generalisierung darstellen.

Ursprüngliche Autoren: Ziyu Cheng, Xitong Zhang, Longxiu Huang, Rongrong Wang

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ziyu Cheng, Xitong Zhang, Longxiu Huang, Rongrong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wie gut ein Schüler bei einer Abschlussprüfung abschneiden wird, basierend darauf, wie er gelernt hat. In der Welt des Deep Learning (KI) vermuten Forscher schon lange, dass zwei Hauptfaktoren bestimmen, wie gut ein KI-Modell bei neuen, ungesehenen Daten abschneidet:

Sharpness (Steilheit): Wie „zappelig“ oder sensibel ist das Modell? Wenn man das Modell leicht anstößt, ändert sich seine Antwort drastisch (steil) oder bleibt sie stabil (flach)?
Complexity (Komplexität): Wie „kompliziert“ sind die internen Regeln des Modells? Ist es eine einfache Anweisung oder ein massives, verheddertes Netz aus Möglichkeiten?

Lange Zeit versuchten Wissenschaftler, diese beiden Dinge mit einem Lineal zu messen, das auf den rohen Code des Modells (seine Parameter) blickte. Dieser Papier argumentiert jedoch, dass die Verwendung eines Lineals für den Code so ist, als würde man versuchen, den Geschmack eines Kuchens zu messen, indem man Mehl und Zucker separat wiegt. Es verfehlt den Punkt, denn man kann die Zutaten umstellen (den Code ändern), ohne tatsächlich den Geschmack (die Funktion) zu verändern.

Das große Experiment: Ein neuer Weg zu messen

Die Autoren dieser Arbeit stellten die Frage: „Wenn wir Sharpness und Complexity korrekt messen, können wir dann fast alles darüber erklären, wie gut eine KI generalisiert?“

Um dies zu beantworten, entwickelten sie zwei neue Werkzeuge:

Ein „Pareto“-Check: Anstatt nur eine gerade Linie zu ziehen, um zu sehen, ob die Daten passen, betrachteten sie die „bestmöglichen Kompromisse“. Stellen Sie sich einen Graphen vor, bei dem die linke untere Ecke die „perfekte Zone“ ist (geringe Sharpness, geringe Komplexität). Sie prüften, ob die Modelle, die tatsächlich gut funktionierten, sich in dieser perfekten Zone aufhielten. Wenn ein Modell in der perfekten Zone war, aber dennoch schlecht abschnitt, wäre ihre Theorie widerlegt gewesen.
Funktionsorientierte Metriken: Sie hörten auf, den rohen Code zu messen, und begannen, das Verhalten zu messen.
- Bayes Sharpness: Anstatt die Krümmung des Codes zu prüfen, fragten sie: „Wenn wir die Einstellungen des Modells zufällig leicht verändern, wie sehr ändert sich sein tatsächlicher Output?“
- Funktionale Komplexität: Anstatt die Anzahl der Verbindungen im Code zu zählen, fragten sie: „Wie sehr unterscheidet sich das Verhalten des Modells von einer zufälligen Vermutung?“

Was sie fanden

1. Das alte Lineal war fehlerhaft (Das „No-Batch-Norm“-Problem)
Als sie die alten Methoden (Messung des rohen Codes) auf bestimmte Arten von KI-Modellen anwandten (speziell jene ohne eine spezifische stabilisierende Schicht namens „Batch Normalization“), brach die Theorie zusammen. Die Modelle, die laut dem alten Lineal gut sein sollten, waren eigentlich schlecht und umgekehrt. Es war wie eine Wettervorhersage, die Sonnenschein vorhersagte, aber es regnete.

2. Das neue Lineal reparierte es (Größtenteils)
Als sie zu ihren neuen „funktionsorientierten“ Werkzeugen wechselten, funktionierte die Theorie plötzlich viel besser.

In den chaotischen, instabilen Modellen, in denen das alte Lineal versagte, identifizierte das neue Lineal korrekt, welche Modelle gut generalisieren würden.
Sie testeten sogar das Mischen verschiedener Arten von KI-Modellen miteinander (wie das Mischen von Äpfeln und Orangen). Das alte Lineal konnte sie überhaupt nicht vergleichen, aber das neue Lineal konnte erfolgreich vorhersagen, welche der gemischten Modelle am besten abschneiden würden.

3. Die Theorie ist noch nicht perfekt (Das „ViT“-Problem)
Es gibt jedoch eine Wendung in der Geschichte. Als sie einen spezifischen, sehr populären Typ moderner KI namens ViT (Vision Transformer) testeten, versagten auch die neuen Werkzeuge.

Warum? Die Autoren vermuten, dass diese spezifischen Modelle so übermäßig selbstbewusst und überangepasst (overfitted) an ihre Trainingsdaten waren, dass sie im Grunde „halluzinierten“. Sie waren so weit außerhalb des normalen Lernbereichs, dass keine einfache Theorie von Sharpness und Complexity sie erklären konnte.
Als sie diese Modelle zwangen, weniger extrem zu sein (indem sie Data Augmentation hinzufügten), begann die Theorie wieder zu funktionieren, was darauf hindeutet, dass das Scheitern auf einen „kaputten“ Zustand der Modelle zurückzuführen war und nicht unbedingt auf ein Versagen der Theorie selbst.

Das Fazenelement

Das Papier kommt zu dem Schluss, dass Sharpness und Complexity in der Tat kraftvolle Linsen sind, um zu verstehen, warum KI-Modelle generalisieren.

Erfolg: Indem sie diese Faktoren basierend auf dem Verhalten statt auf dem Code messen, erklärt die Theorie einen riesigen Teil dessen, was in der KI passiert.
Einschränkung: Sie erklärt noch nicht alles. Es gibt immer noch Fälle (wie die ViT-Modelle), in denen die Theorie versagt.

Das Fazit: Die Autoren sagen nicht, dass „Sharpness und Complexity die einzigen Dinge sind, die zählen“. Sie sagen: „Wenn man sie auf die richtige Weise misst, erklären sie viel mehr, als wir dachten. Aber wir haben noch etwas Arbeit vor uns, um die Ausreißer zu verstehen.“

Es ist so, als würde man erkennen, dass Körpergröße und Gewicht gute Prädiktoren dafür sind, wie schnell ein Läufer sein kann, aber man muss immer noch prüfen, ob der Läufer ein gebrochenes Bein hat, bevor man eine perfekte Vorhersage treffen kann.

Technische Zusammenfassung: Wie weit können Schärfe und Komplexität gemeinsam die Generalisierung erklären?

Problemstellung
Tiefe neuronale Netze erzielen oft eine starke Vorhersageleistung in hochgradig überparametrisierten Regimen, was eine Lücke zwischen empirischem Erfolg und theoretischem Verständnis schafft. Klassische kapazitätsbasierte Schranken scheitern daran zu erklären, warum diese Netzwerke auf strukturierten Daten gut generalisieren, während sie zufällige Labels problemlos anpassen können. Während die jüngere Literatur identifiziert hat, dass Schärfe (Empfindlichkeit gegenüber Störungen) und Komplexität (Größe oder Informationsgehalt des Modells) zwei zentrale Faktoren für die Generalisierung sind, bleibt deren gemeinsame Erklärungskraft weitgehend ungeklärt. Bestehende quantitative Evaluierungen haben Generalisierungsmaße oft als individuelle Skalar-Prädiktoren behandelt, indem sie Schärfe und Komplexität über vorgegebene funktionale Formen zu einem einzigen Skalar kombinierten. Dieser Ansatz lässt die Frage offen, wie viel der Generalisierung durch das Paar der Faktoren $(S, C)$ erklärt werden kann, ohne sich auf eine spezifische Kombination festzulegen, und ob Fehler in der Vorhersage aus dem Zwei-Faktoren-Framework selbst oder aus unzureichenden Metrikdefinitionen resultieren.

Methodik
Die Autoren verwenden eine empirische und konzeptionelle Analyse, um den Erklärungsspielraum der Schärfe-Komplexitäts-Perspektive über verschiedene Architekturen und Datensätze hinweg zu untersuchen.

Evaluierungs-Frameworks:
- Lineare Regression: Die Autoren passen ein lineares Modell $Gap = \beta_0 + \beta_S S + \beta_C C + \epsilon$ an, um die Vorhersagekraft von Metrik-Paaren zu bewerten. Sie berichten $R^2$ und die Vorzeichen der Koeffizienten.
- Pareto-Analyse (Pareto Contradiction Rate - PCR): Um Annahmen über Linearität zu vermeiden, führen die Autoren ein nicht-parametrisches Evaluierungswerkzeug ein. Sie prüfen, ob die durch $(S, C)$ -Metriken induzierte Ordnung mit der Ordnung der Generalisierungslücken übereinstimmt. Ein „kandidatisches Paar“ besteht aus zwei Modellen, von denen eines sowohl eine geringere Schärfe als auch eine geringere Komplexität aufweist. Ein „widersprüchliches Paar“ tritt auf, wenn das Modell mit niedrigerem $(S, C)$ eine schlechtere Generalisierungslücke aufweist. Die PCR ist das Verhältnis von widersprüchlichen Paaren zu kandidatischen Paaren. Eine niedrige PCR deutet auf eine starke Übereinstimmung mit der erwarteten monotonen Beziehung der Zwei-Faktoren-Perspektive hin.
Metrikdefinitionen:
- Parameter-Ebene-Baselines: Die Studie evaluiert bestehende skaleninvariante Metriken, spezifisch Adaptive SAM (adapS) für Schärfe und Path Norm für Komplexität. Diese werden mit nicht-invarianten Baselines wie der Hessian-Spur und der $\ell_2$ -Gewichtsnorm verglichen.
- Funktionsorientierte Metriken: Um die Parameterisierungs-Ambiguität zu adressieren (bei der unterschiedliche Parameter dieselbe Funktion ergeben), schlagen die Autoren Metriken vor, die näher am Funktionsraum definiert sind:
  - Bayes-Schärfe (bayesS): Definiert als der normalisierte, posterior-gemittelte Anstieg des Verlusts. Sie verwendet einen adaptiven Posterior $Q$ mit einer Kovarianz, die proportional zu den Parametermagnituden ist, um Skaleninvarianz zu gewährleisten, und misst die tatsächliche Änderung des Verlusts durch Stichproben-Prädiktoren statt sich auf Hessian-Approximationen zu verlassen.
  - Funktionale KL-Divergenz (func norm): Eine Komplexitätsmetrik, die aus der PAC-Bayes-Theorie abgeleitet ist. Sie berechnet die KL-Divergenz zwischen Prior- und Posterior-Verteilungen nachdem die Parameter-Stichproben auf ihre induzierten Funktionsausgaben auf einem Referenzdatensatz abgebildet wurden. Dies misst die Abweichung im prädiktiven Verhalten statt roher Parameterwerte.
Experimenteller Umfang:
Die Evaluierung deckt Normalisierung-ausgestattete Architekturen (ResNet, VGG, WideResNet), Normalisierung-deaktivierte Varianten (no-BN) und Vision Transformer (ViT) ab. Entscheidend ist, dass die Studie „Mixed“-Settings einschließt, in denen Modelle aus verschiedenen Architekturen und Datensätzen (CIFAR-10 und CIFAR-100) zusammengeführt werden, um die Vergleichbarkeit über Architekturen und Datensätze hinweg zu testen.

Wesentliche Beiträge

Analyse der gemeinsamen Erklärungskraft: Die Arbeit liefert die erste groß angelegte quantitative Evaluierung darüber, wie gut Schärfe und Komplexität gemeinsam die Generalisierung erklären, und geht damit über Einzel-Skalar-Maße hinaus.
Methodische Innovation: Die Einführung der Pareto-Analyse (PCR) als komplementäres Werkzeug zur linearen Regression ermöglicht die Bewertung der Zwei-Faktoren-Perspektive, ohne eine spezifische funktionale Form (linear oder anderweitig) zwischen $(S, C)$ und der Generalisierungslücke vorauszusetzen.
Funktionsorientierte Metriken: Der Vorschlag von Bayes-Schärfe und funktionaler KL-Divergenz bietet Realisierungen von Schärfe und Komplexität, die weniger von rohen Parameterreprentationen abhängen. Dies adresst das Problem der Parameterisierungs-Ambiguität, insbesondere in Architekturen mit Skip-Connections oder Normalisierungsschichten.
Diagnostische Erkenntnisse: Die Studie unterscheidet zwischen Fehlern, die durch unzureichende Metrikdefinitionen verursacht werden, und potenziellen intrinsischen Limitationen des Zwei-Faktoren-Frameworks.

Ergebnisse

Limitationen von Parameter-Ebene-Metriken: Bestehende skaleninvariante Baselines (z. B. adapS + Path Norm) performen vernünftig auf Normalisierung-ausgestatteten Netzwerken (z. B. ResNet18, WideResNet), verlieren aber signifikant an Erklärungskraft, wenn die Normalisierung entfernt wird (z. B. no-BN ResNet18) oder wenn Modelle über verschiedene Architekturen hinweg gepoolt werden. In diesen Fällen sinkt das Regressions- $R^2$ , die Koeffizienten werden negativ und die PCR steigt (was auf häufige Widersprüche hindeutet).
Erfolg von Funktionsorientierten Metriken: Das vorgeschlagene funktionsorientierte Paar $(bayesS, func\ norm)$ $(ba y es S, f u n c n or m)$ erweitert den Erklärungsspielraum signifikant.
- Es stellt ein hohes $R^2$ und eine niedrige PCR in Normalisierung-deaktivierten Settings wieder her, in denen Parameter-Ebene-Metriken versagen (z. B. no-BN ResNet18: $R^2$ verbessert sich von 0,07 auf 0,83; PCR sinkt von 77,8 % auf 1,2 %).
- Es behält die Vorhersagekraft in Cross-Architektur- und Cross-Datensatz-Mixed-Settings bei, was darauf hindeutet, dass diese Metriken eine stabilere Basis für den Vergleich bieten als Parameter-Ebene-Metriken.
Verbleibende Ausfälle: Die funktionsorientierten Metriken können die Generalisierung von Vision Transformern (ViT) nicht vollständig erklären, insbesondere in Standardsettings, in denen die Testverluste extrem hoch sind. In diesen Regimen liefert die Zwei-Faktoren-Perspektive eine hohe PCR und negative Koeffizienten. Die Autoren vermuten, dass dies daran liegen kann, dass die Metriken nicht vollständig auf Funktionsebene liegen (Bayes-Schärfe basiert immer noch auf Parameter-Raum-Störungen) oder weil diese Modelle außerhalb des sinnvollen Generalisierungsregimes operieren, in dem PAC-Bayes-Schranken lose sind.
Unzulänglichkeit des Einzel-Faktors: Eine Einzel-Faktor-Analyse bestätigt, dass weder Schärfe noch Komplexität allein ausreichen, um die Generalisierung zu erklären, was die Notwendigkeit der Zwei-Faktoren-Perspektive stützt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Schärfe-Komplexitäts-Perspektive eine informative Linse zum Verständnis der Generalisierung in diversen Settings ist, erhebt jedoch nicht den Anspruch, eine vollständige Theorie zu sein.

Verfeinerung der Sichtweise: Die Ergebnisse legen nahe, dass viele scheinbare Ausfälle der Zwei-Faktoren-Perspektive auf Limitationen in den Metrikdefinitionen (speziell der Abhängigkeit von Parameter-Repräsentationen) zurückzuführen sind und nicht auf intrinsische Mängel des Frameworks selbst. Durch den Übergang zu funktionsorientierten Definitionen kann der Erklärungsspielraum signifikant erweitert werden.
Offene Fragen: Die verbleibenden Ausfälle (z. B. bei ViT) deuten darauf hin, dass die aktuellen Realisierungen noch nicht vollständig sind. Die Autoren postulieren zwei Möglichkeiten: Entweder werden bessere, voll funktionsbasierte Definitionen von Schärfe und Komplexität benötigt, um den Spielraum weiter zu erweitern, oder das Zwei-Faktoren-Framework ist intrinsisch unvollständig und erfordert zusätzliche Faktoren jenseits von $(S, C)$ , um die Generalisierung vollständig zu erklären.
Praktischer Nutzen: Metriken mit starker Erklärungskraft können als diagnostische Werkzeuge für den Modellvergleich, die Hyperparameter-Selektion und das Design von Regularisierungspenalties dienen.

Zusammenfassend charakterisiert die Arbeit quantitativ die Grenzen des Schärfe-Komplexitäts-Frameworks und zeigt auf, dass dessen Effektivität zwar ein mächtiges Erklärungsverfahren ist, diese aber davon abhängt, wie diese Faktoren realisiert und gemessen werden.

Das große Experiment: Ein neuer Weg zu messen

Was sie fanden

Das Fazenelement

Technische Zusammenfassung: Wie weit können Schärfe und Komplexität gemeinsam die Generalisierung erklären?

Mehr davon