Training Neural Networks with Optimal Double-Bayesian Learning

Technische Samenvatting: Het Trainen van Neuronale Netwerken met Optimale Dubbel-Bayesiaanse Leer

Probleemstelling
Het trainen van neuronale netwerken blijft grotendeels een empirisch proces, waarbij hyperparameters zoals de leersnelheid en momentum doorgaans worden geselecteerd op basis van vuistregels, ervaring of systematische roosterzoekopdrachten in plaats van theoretische afleiding. Hoewel het belang van deze parameters bij het voorkomen van overfitting en het waarborgen van onbevooroordeelde generalisatie breed wordt erkend, bestaat er geen overtuigende theorie voor het bepalen van hun optimale waarden. De huidige literatuur vertrouwt vaak op adaptieve leersnelheden (bijv. Adam) of methoden van de tweede orde, maar het "uiteindelijke oordeel" over de optimale trainingsmethode en specifieke hyperparameterwaarden blijft onopgelost. De gevoeligheid van trainingsresultaten voor de leersnelheid – waarbij kleine waarden het risico op lokale optima met zich meebrengen en grote waarden oscillatie veroorzaken – creëert een afweging die moeilijk te onderhandelen is zonder een principieel raamwerk.

Methodologie: Het Dubbel-Bayesiaanse Kader
Het artikel stelt een theoretisch kader voor dat is geworteld in een "dubbel-Bayesiaans" besluitvormingsmechanisme dat twee antagonistische Bayesiaanse processen omvat. Deze aanpak adresseert de inherente onzekerheid in metingen door het trainingsproces te modelleren als een oplossen van onzekerheid tussen een meetobject en zijn meetwaarde.

1. Theoretische Grondslag:

   • Dual Processen: Het kader postuleert twee parallelle processen: één dat de zekerheid van een meetwaarde ($P(A)$) schat en het ander dat de zekerheid van het meetobject ($P(B)$) schat. Deze processen zijn verbonden door de stelling van Bayes, maar opereren met distincte interpretaties van voorwaardelijke kansen ($P(A|B)$ en $P(B|A)$).
   • Binnen- en Buitenvergelijkingen: Het kader leidt twee vergelijkingen af. De "buiten-Bayesvergelijking" relateert de a-priorikansen tot de verhouding van de a-posteriorikansen via een logaritmische basis $\lambda$. De "binnen-Bayesvergelijking" wordt afgeleid door de invoer en de basis van de logaritme om te keren, waardoor de log-uitdrukking naar de priors wordt verplaatst.
   • Vastepunten en Onzekerheid: Met behulp van informatietheorie behandelt het artikel leren als het zoeken naar een vast punt waar de invoerschatting naar de doelwaarde wordt gemapt. Het model introduceert een principe van "intrinsieke onzekerheid": het perfect kennen van de hoek $\phi$ (die de onzekerheid van de meetwaarde vertegenwoordigt) impliceert maximale onzekerheid over de basis $\lambda$ (die objectonzekerheid vertegenwoordigt), en vice versa.

2. Afleiding van Optimale Hyperparameters:

   • De Gulden Snede: De oplossing van de binnen-Bayesvergelijking treedt op wanneer de waarschijnlijkheidstermen overeenkomen met de gulden snede ($\phi \approx 0,62$).
   • Momentum ($\alpha$): Door te voldoen aan de binnenvergelijking bij $\phi = \pi/4$ en rekening houdend met de gradiënt van de buitenvergelijking, leidt het artikel een theoretisch momentumgewicht af: $\alpha = \sqrt{2} \cdot \phi \approx 0,874$.
   • Leersnelheid ($\eta$): Via een afleiding met een dual-proces wordt de leersnelheid berekend als $\eta = (1 - \alpha)^2 \approx 0,016$.
   • Trainingsmechanisme: Het kader suggereert dat training het afwisselen inhoudt tussen het voldoen aan de binnen-Bayesvergelijking (onzekerheid in één variabele minimaliseren) en het niet voldoen aan de buitenvergelijking (onzekerheid in het tegenhanger maximaliseren), waarbij $\alpha$ effectief wordt gebruikt als het momentumterm voor de vorige iteratie en $\eta$ als de leersnelheid voor de huidige iteratie.

Experimentele Validatie
Om de theoretisch afgeleide waarden te valideren ($\eta \approx 0,016$, $\alpha \approx 0,874$), voerden de auteurs uitgebreide roosterzoekopdrachten uit over vier distincte taken:

• Handgeschreven Cijferclassificatie: MNIST-dataset met behulp van een aangepast 11-laags CNN.
• Tuberculoseclassificatie: Borst-RTG's (TBX11K-dataset) met behulp van DenseNet121.
• Longsegmentatie: Borst-RTG's (COVID-19-dataset) met behulp van YOLOv8m-seg.
• Malaria-cel detectie: Bloeduitstrijkjes met behulp van YOLOv8m.

De experimenten varieerden systematisch leersnelheden (0,0001 tot 0,2) en momentumwaarden (0,0 tot 0,925) en vergeleken Stochastic Gradient Descent (SGD) met de Adam-optimizer. Evaluaties omvatten het variëren van trainingssetgroottes (100%, 75%, 50%, 25%) en het introduceren van ruis in tests sets om generalisatie en robuustheid te meten.

Belangrijkste Resultaten

• Optimale Hyperparameters: De resultaten van de roosterzoekopdrachten toonden consistent aan dat de theoretisch afgeleide leersnelheid ($\eta \approx 0,016$) en de nabije waarde van 0,01 de beste of bijna beste prestaties opleverden over classificatie-, segmentatie- en detectietaken. De afgeleide momentumwaarde ($\alpha \approx 0,874$) viel ook binnen het best presterende bereik voor SGD.
• SGD versus Adam:
  • Prestaties: SGD, wanneer afgestemd met de afgeleide hyperparameters, presteerde consistent beter dan Adam in termen van uiteindelijke testnauwkeurigheid, IoU en mAP50 over de meeste taken en trainingssetgroottes.
  • Convergentie: Adam convergeerde significant sneller (2–3 keer minder epochen) naar zijn minimale validatieverlies, wat zijn populariteit verklaart. Deze snelheid kwam echter vaak ten koste van generalisatie.
  • Overfitting: In meerdere gevallen bereikte Adam een lager validatieverlies maar faalde het de beste prestatie op de testset te bereiken, wat wijst op een hogere neiging tot overfitting vergeleken met SGD.
• Ruisrobuustheid: Onder ruisige testomstandigheden (willekeurig omgekeerde pixelintensiteiten) toonden modellen die met SGD waren getraind superieure robuustheid. De foutkloof tussen SGD en Adam verbreedde naarmate de ruisniveaus toenamen, waarbij SGD consistent lagere foutpercentages behield.

Betekenis en Beweringen
Het artikel claimt een theoretische rechtvaardiging te bieden voor de selectie van hyperparameters bij het trainen van neuronale netwerken, verder gaand dan empirische heuristieken. De primaire bijdragen zijn:

1. Theoretische Afleiding: Het biedt een specifieke, theoretisch afgeleide leersnelheid ($\approx 0,016$) en momentumgewicht ($\approx 0,874$) gebaseerd op een dubbel-Bayesiaans kader, waarbij informatietheorie en Bayesiaanse besluitvormingsprocessen worden gekoppeld aan netwertraining.
2. Hertolking van Momentum: Het kader biedt een nieuwe verklaring voor de momentumterm, waarbij wordt gesuggereerd dat het niet slechts een gladmakende factor is, maar een noodzakelijk onderdeel om intrinsieke onzekerheden tussen twee parallelle Bayesiaanse processen op te lossen.
3. Superioriteit van Generalisatie: De resultaten suggereren dat, hoewel adaptieve methoden zoals Adam snellere convergentie bieden, optimaal afgestemde SGD minder bevooroordeelde modellen oplevert met betere generalisatie, met name in ruisige omgevingen.
4. Besluitvormingsmodel: De dubbel-Bayesiaanse aanpak wordt gepresenteerd als een nieuw besluitvormingsmodel waarbij kennis is verdeeld over twee processen, en de "optimale" toestand een balans van onzekerheden is, analoog aan het Onzekerheidsprincipe van Heisenberg.

De auteurs concluderen dat hun kader nieuwe inzichten biedt in het concept van optimaliteit bij netwertraining en het gebruik ondersteunt van SGD met specifieke, theoretisch onderbouwde hyperparameters om onbevooroordeelde en robuuste modellen te bereiken.