Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

Technische Samenvatting: Onzekerheidspropagatie door Getrainde Multi-Layer Perceptrons

Probleemstelling
Het artikel behandelt de uitdaging van onzekerheidspropagatie door getrainde machine learning-regressiemodellen, specifiek Multi-Layer Perceptrons (MLP's). Hoewel onzekerheidskwantificatie steeds vaker wordt voorgeschreven voor de betrouwbaarheid van modellen (bijv. onder de EU AI Act), vertrouwen bestaande methoden voor het propageren van bekende input-onzekerheden door een vast model vaak op sampling-gebaseerde benaderingen zoals Monte Carlo. Deze methoden benaderen de outputverdeling en vereisen aanzienlijke computationele middelen om een hoge nauwkeurigheid te bereiken. Analytische methoden, die exacte karakterisaties bieden, zijn vaak beperkt tot benaderingen (bijv. linearisatie, asymptotische limieten) of vertrouwen op oneindige reeksexpansies die computationeel moeizaam te evalueren zijn voor specifieke activatiefuncties.

Methodologie
De auteurs richten zich op volledig verbonden feed-forward MLP's met één verborgen laag en ReLU-activatiefuncties, waarbij zij ervan uitgaan dat de inputdata een multivariaat Gaussische distributie volgt. De architectuur bestaat uit:

1. Een inputvector $V$ die door een affine transformatie wordt geleid om $W$ te produceren.
2. Een component-gewijze ReLU-activatie ($X = W_+$) toegepast op $W$.
3. Een uiteindelijke affine transformatie om de scalaire output $Y$ te produceren.

De kern van de methodologische bijdrage is de afleiding van exacte analytische expressies voor het gemiddelde en de variantie van de output $Y$. De auteurs deconstrueren het probleem als volgt:

• Propagatie door de affine lagen wordt afgehandeld via standaard lineaire transformaties van Gaussische distributies.
• De primaire uitdaging ligt in het propageren van onzekerheid door de ReLU-activatie. De auteurs leiden gesloten vorm-expressies af voor de eerste en tweede momenten (gemiddelde en covariantie) van een gerectificeerde multivariaat Gaussische distributie.
• Specifiek bieden zij formules voor $E[X_i]$, $E[X_i^2]$, en $E[X_i X_j]$ (waarbij $X = W_+$) met behulp van standaard 1D en 2D Gaussische integralen die gebruikmaken van de kansdichtheidsfunctie ($\phi$) en de cumulatieve distributiefunctie ($\Phi$).
• Het artikel behandelt ook randgevallen waar de inputvarianties nul zijn of waar correlaties perfect zijn ($|\rho| = 1$), inclusief limiterende vormen voor deze scenario's.

Belangrijkste Bijdragen

1. Exacte Analytische Expressies: Het artikel presenteert gesloten vorm-formules voor de gemiddelde en variantie van de output van MLP's met ReLU-activaties en Gaussische inputs. In tegenstelling tot eerder werk (bijv. [19]) dat steunt op oneindige Taylor-reeksen, zijn deze expressies eindig en afhankelijk van enkel standaard Gaussische integralen.
2. Afhandeling van ReLU Non-lineariteit: De afleiding behandelt expliciet de non-lineariteit van de ReLU-functie zonder terug te vallen op linearisatie of aannames van een gemiddelde van nul, wat exacte resultaten oplevert voor de gerectificeerde distributie.
3. Uitbreiding naar Randgevallen: De auteurs breiden hun resultaten uit om degeneratieve gevallen af te handelen waarbij de input-onzekerheid nul is of waar de variabelen in de verborgen laag perfect gecorreleerd zijn.
4. Validatie: De analytische resultaten worden gevalideerd tegenover Monte Carlo-sampling met behulp van een reële testprobleem: het schatten van de State-of-Health (SOH) van lithium-ion cellen op basis van Electrical Impedance Spectroscopy (EIS) data.

Resultaten

• Theoretisch: De afgeleide expressies (Theorema 1, 2 en 3) maken het mogelijk om de outputmomenten te berekenen met een willekeurige precisie zonder de noodzaak van reeks-truncatie.
• Empirisch: In het SOH-voorspellingsexperiment werden de analytische resultaten vergeleken met Monte Carlo-simulaties met steekproefomvang variërend van $10^3$ tot $10^6$.
  • De Root Mean Square Error (RMSE) tussen de analytische en Monte Carlo-resultaten nam af naarmate het aantal Monte Carlo-trials toenam.
  • Met $10^6$ trials daalde de RMSE voor zowel de gemiddelde als de variantie-schattingen tot onder $10^{-5}$.
  • Log-log plots van RMSE versus steekproefomvang bevestigden een machtswet-relatie met een gradiënt van ongeveer $-0.5$, wat consistent is met de verwachte $1/\sqrt{n}$ convergentiesnelheid van Monte Carlo-methoden. Dit bevestigt dat de analytische expressies overeenkomen met de "ware" waarden die Monte Carlo-methoden benaderen.

Betekenis en Claims
Het artikel claimt dat de analytische benadering een oplossing biedt die nauwkeuriger, transparanter en reproduceerbaarder is dan sampling-gebaseerde methoden.

• Nauwkeurigheid: Analytische expressies karakteriseren de output-onzekerheid precies, terwijl sampling-methoden het slechts benaderen.
• Transparantie: De wiskundige afleiding biedt inzicht in de bronnen van gepropageerde onzekerheid, in tegen tegenstelling tot de "black box" natuur van sampling.
• Reproduceerbaarheid: Het reproduceren van de evaluatie vereist enkel de inputdistributie en de analytische formule, waardoor het nodig is om specifieke samplingprocessen niet te hoeven vastleggen of te repliceren.

De auteurs merken op dat hoewel de huidige resultaten exact zijn voor netwerken met één verborgen laag en ReLU, het uitbreiden van deze exacte resultaten naar diepere netwerken of andere activatiefuncties andere wiskundige technieken of benaderingen (zoals Gaussische benaderingen per laag) zou vereisen. Het artikel concludeert dat voor het specifieke geval van single-hidden-layer ReLU-netwerken met Gaussische inputs, exacte analytische onzekerheidspropagatie haalbaar en superieur is aan sampling.