An optimal control approach for neural network architecture adaptation with a posteriori error estimation

Titel: Een Optimal Control-benadering voor de Adaptatie van Neurale Netwerkarchitecturen met A Posteriori Foutschatting

Probleemstelling
De diepte van een neuraal netwerk is een cruciale factor in het empirische succes van deep learning, maar het bepalen van het optimale aantal lagen voor een specifieke taak blijft grotendeels een kwestie van trial-and-error of computationeel dure metaheuristische zoektochten (Neural Architecture Search). Bestaande methoden voor het automatiseren van architectuurselectie vallen over het algemeen uiteen in twee categorieën: het zoeken in een discrete ruimte van architecturen (bijv. via evolutionaire algoritmen of reinforcement learning) of het laten groeien van netwerken door parameters toe te voegen. Hoewel sommige eerdere werken zich richten op het vergroten van de netwerkbreedte, vertrouwen methoden voor het vergroten van de netwerkdiepte vaak op gulotische heuristieken, sensitiviteitscriteria of topologische derivaten zonder een rigoureuze kwantitatieve link tussen de locatie van een nieuwe laag en de decompositie van de benaderingsfout van het netwerk. Bijgevolg is er een gebrek aan systematische kaders die bepalen waar een laag moet worden ingevoegd op basis van een wiskundig afgeleide foutdistributie over de diepte van het netwerk.

Methodologie
De auteurs stellen een nieuw framework voor dat de training van een neuraal netwerk herformuleert als een continu-tijd optimaal controleprobleem (optimal control problem). Door de diepte van het netwerk te behandelen als een continue tijdvariabele, worden de gewichten en biases gemodelleerd als functies die variëren over dit domein. De methodologie verloopt via de volgende stappen:

1. Continue Formulering: Het discrete trainingprobleem van een neuraal netwerk wordt beschouwd als een discretisatie van een continu optimaal controleprobleem waarbij de controles de laag-gewijze gewichten en biases zijn. De auteurs definiëren "ware" ruimtes voor gewichten en biases als continu differentieerbare functies en "eindige element"-ruimtes als stuksgewijs lineaire functies.
2. A Posteriori Foutschatting: Gebruikmakend van de Dual Weighted Residual (DWR)-methodologie uit de eindige elementenanalyse, leiden de auteurs rigoureuze a posteriori foutschattingen af. Zij formuleren een Lagrangiaan voor zowel het continue (ware) probleem als het discrete (stuksgewijs lineaire) probleem.
3. Foutdecompositie: De kern van de theoretische bijdrage is de afleiding van een expliciete foutgrens (Theorem 1 en Corollary 1) die de totale benaderingsfout decomponeert in interval-gewijze bijdragen. Deze grens kwantificeert het verschil tussen de loss behaald door het discrete netwerk en de theoretische loss van een netwerk met continu variërende parameters.
4. Adaptatiealgoritme: Op basis van deze foutschattingen wordt een iteratief adaptatiealgoritme (Algorithm 1) voorgesteld:
   • Train een netwerk met een vaste diepte.
   • Bereken de foutbijdrage voor elk interval (tussen de lagen) met behulp van de afgeleide bovengrens.
   • Voeg een nieuwe laag in op het interval met de maximale geschatte fout.
   • Initialiseer de gewichten en biases van de nieuwe laag door de parameters van de naburige lagen te interpoleren.
   • Herhaal het proces totdat de validatie-loss niet meer verbetert.
5. Implementatiedetails: Om de foutschattingen te berekenen, maken de auteurs gebruik van een twee-niveau discretisatieschema. Een grove mesh definieert de lagen van het netwerk, terwijl een fijne sub-mesh (gecontroleerd door parameter $K$) wordt gebruikt om de staat- en adjoint-ordinaire differentiaalvergelijkingen (ODE's) op te lossen via een forward Euler-schema. Dit zorgt ervoor dat de foutschatting zich richt op de parameterrepresentatiefout in plaats van de staat-discretisatiefout.

Belangrijkste Bijdragen

• Theoretisch Kader: Het artikel legt een rigoureus verband tussen de diepte-adaptatie van neurale netwerken en de optimal control-theorie, waarbij DWR wordt gebruikt om berekenbare bovengrenzen op de functionele fout af te leiden.
• Foutdecompositie: Het biedt een geprincipeerde methode om de totale benaderingsfout te decomponeren in interval-gewijze bijdragen, waarmee direct wordt geïdentificeerd welke diepte-intervallen het meest bijdragen aan de fout.
• Adaptatiestrategie: De auteurs lossen drie kritische ontwerpkeuzes voor diepte-groei schema's op: (i) waar een laag in te voegen (gebaseerd op maximale fout), (ii) wanneer te stoppen (gebaseerd op verbetering van de validatie-loss) en (iii) hoe nieuwe lagen te initialiseren (via interpolatie van buren).
• Nieuwe Architectuur: Het werk introduceert een netwerkarchitectuur waarbij gewichten en biases worden behandeld als stuksgewijs lineaire functies van een continue dieptevariabele, begrensd door een foutschatter.

Resultaten
De auteurs demonstreren de effectiviteit van hun benadering op twee datasets:

1. Synthetische Regressie: Een 2D-regressieprobleem waarbij een nietlineaire functie ($f(x, y) = e^{-0.1(x^2+y^2)} \sin x \cos y$) wordt geleerd. De methode voegde progressief lagen toe om complexe kenmerken te vangen, wat resulteerde in een uiteindelijke test-loss van $9.0 \times 10^{-6}$.
2. Inverse Probleem: Een ernstig slecht gestelde (ill-posed) inverse problem voor de Navier-Stokes vergelijking (het leren van de observable-naar-parameter kaart).

Vergelijkingen werden gemaakt met Net2Net, Forward Thinking, willekeurige laag-insertie en een baseline netwerk. De voorgestelde aanpak presteerde consequent beter dan deze methoden in termen van generalisatieprestaties (laagste test-loss). De auteurs merken echter op dat hun aanpak aanzienlijk meer rekentijd vereist (46 minuten versus 2,5–9 minuten voor anderen) vanwege de sub-discretisatie van staten en adjoints die nodig is voor de foutschatting en het iteratieve karakter van het adaptatieproces.

Betekenis en Claims
Het artikel beweert een "geprincipeerd" en "systematisch" alternatief te bieden voor heuristische diepte-groei strategieën. Door gebruik te maken van instrumenten uit de numerieke analyse (eindige elementenmethoden en optimal control), beargumenteren de auteurs dat hun benadering een rigoureus fundament biedt voor gerichte architectuurverfijning. De betekenis ligt in de verschuiving van "black box" zoekprocedures naar een methode waarbij de adaptatie van de architectuur wordt gedreven door expliciete, wiskundig afgeleide foutindicatoren. De auteurs benadrukken dat hun methode het netwerk in staat stelt om complexe, nietlineaire variaties in het onderliggende probleem efficiënt te vangen door lagen precies daar in te voegen waar de benaderingsfout het hoogst is. Zij beweren niet de computationele kosten van training te elimineren, maar eerder de efficiëntie van parametergebruik en de generalisatieprestaties te verbeteren ten opzichte van de uiteindelijke modelkwaliteit.