Training Neural Networks with Optimal Double-Bayesian Learning

Technische Zusammenfassung: Training neuronaler Netze mit optimalem doppel-bayesschem Lernen

Problemstellung
Das Training neuronaler Netze bleibt weitgehend ein empirischer Prozess, wobei Hyperparameter wie die Lernrate und der Impuls typischerweise auf Faustregeln, Erfahrung oder systematischen Gittersuchen basieren und nicht auf theoretischer Herleitung. Obwohl die Bedeutung dieser Parameter zur Vermeidung von Überanpassung und zur Sicherstellung einer unverzerrten Generalisierung weithin anerkannt ist, existiert keine abschließende Theorie zur Bestimmung ihrer optimalen Werte. Die aktuelle Literatur verlässt sich oft auf adaptive Lernraten (z. B. Adam) oder Methoden zweiter Ordnung, doch das „endgültige Urteil" über die optimale Trainingsmethode und spezifische Hyperparameterwerte bleibt ungeklärt. Die Empfindlichkeit der Trainingsergebnisse gegenüber der Lernrate – wobei kleine Werte lokale Optima riskieren und große Werte Oszillationen verursachen – erzeugt einen Zielkonflikt, der ohne einen prinzipiellen Rahmen schwer zu lösen ist.

Methodik: Der doppel-bayessche Rahmen
Die Arbeit schlägt einen theoretischen Rahmen vor, der auf einem „doppel-bayesschen" Entscheidungsmechanismus beruht, der zwei antagonistische bayessche Prozesse umfasst. Dieser Ansatz adressiert die inhärente Unsicherheit bei Messungen, indem er den Trainingsprozess als Auflösung der Unsicherheit zwischen einem Messobjekt und seinem Messwert modelliert.

1. Theoretische Grundlage:

   • Duale Prozesse: Der Rahmen postuliert zwei parallele Prozesse: einer schätzt die Gewissheit eines Messwerts ($P(A)$) ab, der andere die Gewissheit des Messobjekts ($P(B)$). Diese Prozesse sind durch den Satz von Bayes verknüpft, operieren jedoch mit unterschiedlichen Interpretationen bedingter Wahrscheinlichkeiten ($P(A|B)$ und $P(B|A)$).
   • Innere und äußere Gleichungen: Der Rahmen leitet zwei Gleichungen ab. Die „äußere Bayes-Gleichung" verknüpft die A-priori-Wahrscheinlichkeiten mit dem Verhältnis der A-posteriori-Wahrscheinlichkeiten über eine logarithmische Basis $\lambda$. Die „innere Bayes-Gleichung" wird durch Invertierung von Eingabe und Basis des Logarithmus abgeleitet, wobei der Logarithmusausdruck auf die A-priori-Werte verschoben wird.
   • Fixpunkte und Unsicherheit: Unter Verwendung der Informationstheorie behandelt die Arbeit das Lernen als Suche nach einem Fixpunkt, an dem die Eingabeschätzung auf den Zielwert abgebildet wird. Das Modell führt ein Prinzip der „intrinsischen Unsicherheit" ein: Das perfekte Wissen über den Winkel $\phi$ (der die Unsicherheit des Messwerts repräsentiert) impliziert eine maximale Unsicherheit über die Basis $\lambda$ (die die Objektunsicherheit repräsentiert), und umgekehrt.

2. Herleitung optimaler Hyperparameter:

   • Der goldene Schnitt: Die Lösung der inneren Bayes-Gleichung tritt auf, wenn die Wahrscheinlichkeitsterme mit dem goldenen Schnitt übereinstimmen ($\phi \approx 0,62$).
   • Impuls ($\alpha$): Durch die Erfüllung der inneren Gleichung bei $\phi = \pi/4$ und unter Berücksichtigung des Gradienten der äußeren Gleichung leitet die Arbeit ein theoretisches Impulsgewicht ab: $\alpha = \sqrt{2} \cdot \phi \approx 0,874$.
   • Lernrate ($\eta$): Durch eine Herleitung mittels des dualen Prozesses wird die Lernrate berechnet als $\eta = (1 - \alpha)^2 \approx 0,016$.
   • Trainingsmechanismus: Der Rahmen schlägt vor, dass das Training darin besteht, abwechselnd die innere Bayes-Gleichung zu erfüllen (Unsicherheit in einer Variable minimieren) und die äußere Gleichung nicht zu erfüllen (Unsicherheit im Gegenstück maximieren), wobei effektiv $\alpha$ als Impulsterm für die vorherige Iteration und $\eta$ als Lernrate für die aktuelle Iteration verwendet wird.

Experimentelle Validierung
Um die theoretisch abgeleiteten Werte ($\eta \approx 0,016$, $\alpha \approx 0,874$) zu validieren, führten die Autoren umfangreiche Gittersuchexperimente über vier verschiedene Aufgaben durch:

• Klassifizierung handschriftlicher Ziffern: MNIST-Datensatz unter Verwendung eines benutzerdefinierten 11-Schichten-CNN.
• Tuberkulose-Klassifizierung: Röntgenaufnahmen des Brustkorbs (TBX11K-Datensatz) unter Verwendung von DenseNet121.
• Lungen-Segmentierung: Röntgenaufnahmen des Brustkorbs (COVID-19-Datensatz) unter Verwendung von YOLOv8m-seg.
• Malaria-Zell-Erkennung: Blutausstrichbilder unter Verwendung von YOLOv8m.

Die Experimente variierten systematisch die Lernraten (0,0001 bis 0,2) und Impulswerte (0,0 bis 0,925) und verglichen den stochastischen Gradientenabstieg (SGD) mit dem Adam-Optimierer. Die Auswertungen umfassten die Variation der Trainingsdatensatzgrößen (100 %, 75 %, 50 %, 25 %) und die Einführung von Rauschen in Testdatensätze, um Generalisierung und Robustheit zu messen.

Hauptergebnisse

• Optimale Hyperparameter: Die Ergebnisse der Gittersuche zeigten konsistent, dass die theoretisch abgeleitete Lernrate ($\eta \approx 0,016$) und der nahe Wert von 0,01 die beste oder nahezu beste Leistung über Klassifizierungs-, Segmentierungs- und Erkennungsaufgaben hinweg erbrachten. Der abgeleitete Impulswert ($\alpha \approx 0,874$) lag ebenfalls im Bereich der besten Leistungen für SGD.
• SGD vs. Adam:
  • Leistung: SGD, wenn mit den abgeleiteten Hyperparametern abgestimmt, übertraf Adam konsistent in Bezug auf die endgültige Testgenauigkeit, den IoU und mAP50 über die meisten Aufgaben und Trainingsdatensatzgrößen hinweg.
  • Konvergenz: Adam konvergierte signifikant schneller (2–3 Mal weniger Epochen) zu seinem minimalen Validierungsverlust, was seine Popularität erklärt. Diese Geschwindigkeit ging jedoch oft auf Kosten der Generalisierung.
  • Überanpassung: In mehreren Fällen erreichte Adam einen niedrigeren Validierungsverlust, scheiterte jedoch daran, die beste Leistung auf dem Testdatensatz zu erzielen, was auf eine höhere Neigung zur Überanpassung im Vergleich zu SGD hindeutet.
• Rauschrobustheit: Unter verrauschten Testbedingungen (zufällig invertierte Pixelintensitäten) zeigten Modelle, die mit SGD trainiert wurden, eine überlegene Robustheit. Die Fehlerlücke zwischen SGD und Adam vergrößerte sich mit steigendem Rauschniveau, wobei SGD konsistent niedrigere Fehlerraten beibehielt.

Bedeutung und Behauptungen
Die Arbeit beansprucht, eine theoretische Begründung für die Hyperparameterauswahl beim Training neuronaler Netze zu liefern und sich über empirische Heuristiken hinaus zu bewegen. Ihre Hauptbeiträge sind:

1. Theoretische Herleitung: Sie bietet eine spezifische, theoretisch abgeleitete Lernrate ($\approx 0,016$) und ein Impulsgewicht ($\approx 0,874$) basierend auf einem doppel-bayesschen Rahmen, der Informationstheorie und bayessche Entscheidungsprozesse mit dem Netzwerktraining verknüpft.
2. Neuinterpretation des Impulses: Der Rahmen liefert eine neue Erklärung für den Impulsterm und schlägt vor, dass er nicht nur ein Glättungsfaktor ist, sondern eine notwendige Komponente zur Auflösung intrinsischer Unsicherheiten zwischen zwei parallelen bayesschen Prozessen.
3. Überlegenheit der Generalisierung: Die Ergebnisse deuten darauf hin, dass zwar adaptive Methoden wie Adam eine schnellere Konvergenz bieten, aber optimal abgestimmtes SGD weniger verzerrte Modelle mit besserer Generalisierung liefert, insbesondere in verrauschten Umgebungen.
4. Entscheidungsmodell: Der doppel-bayessche Ansatz wird als ein neuartiges Entscheidungsmodell präsentiert, bei dem Wissen über zwei Prozesse verteilt ist und der „optimale" Zustand ein Gleichgewicht der Unsicherheiten darstellt, analog zum Heisenbergschen Unschärfeprinzip.

Die Autoren schließen, dass ihr Rahmen neue Einblicke in das Konzept der Optimalität im Netzwerktraining bietet und die Verwendung von SGD mit spezifischen, theoretisch fundierten Hyperparametern zur Erreichung unverzerrter und robuster Modelle unterstützt.