Empirical Orlicz norms

Dit paper introduceert de empirische Orlicz-norm als schatter voor de Orlicz-norm van een verdeling, bewijst een wet van de grote getallen, en onthult dat voor de centrale limietstelling soms een niet-standaard convergentiesnelheid en een zwaarstaartige limietverdeling optreden, terwijl er over het algemeen geen uniforme convergentiesnelheid bestaat voor de klasse van verdelingen met een begrensde Orlicz-norm.

De kern

De "Empirische Orlicz-norm": Een Reis door de Wereld van Statistiek en Uitzonderlijke Gevallen

Stel je voor dat je een grote bak met ballen hebt. Sommige ballen zijn klein en zacht, andere zijn gigantisch en zwaar. In de statistiek willen we vaak weten: hoe groot kan een willekeurige bal worden? Ofwel: hoe zwaar is de "staart" van onze verdeling?

Voor deze vraag gebruiken wiskundigen een speciale maatstaf die ze de Orlicz-norm noemen. Het is als een "stress-test" voor data. Als je data goed gedraagt (zoals bij een normale verdeling), is deze test makkelijk te doorstaan. Maar wat als je data soms enorme, onvoorspelbare uitschieters heeft? Dan wordt de test lastig.

De auteur van dit artikel, Fabian Mies, kijkt naar een heel natuurlijke manier om deze norm te schatten op basis van een steekproef (een bak met ballen die je daadwerkelijk hebt). Hij noemt dit de empirische Orlicz-norm.

Hier is wat hij ontdekt, vertaald naar alledaagse taal:

1. De Basisregel: "Het werkt, maar langzaam"

Stel je voor dat je een schatting doet van het gemiddelde gewicht van de ballen. Als je maar genoeg ballen pakt, kom je steeds dichter bij het echte gemiddelde. Dit noemen we de Wet van de Grote Getallen.

• De bevinding: Mies toont aan dat deze nieuwe schatter voor de Orlicz-norm ook altijd naar het juiste antwoord toe groeit, zolang de ballen maar niet oneindig zwaar zijn. Je kunt erop vertrouwen dat het op de lange termijn klopt.

2. Het Verrassende: Soms is de "Normale" Weg niet Normaal

In de statistiek verwachten we meestal dat als je meer data verzamelt, je schattingen sneller en sneller precies worden, en dat ze zich gedragen als een klok (een normale verdeling). Dit is de "gouden standaard".

Maar Mies ontdekt iets raars:

• Het scenario: Stel je voor dat je ballen hebt die perfect normaal verdeeld zijn (zoals de lengte van mensen of fouten in een meting). Je zou denken dat de schatting van hun "stress-norm" ook perfect normaal zou zijn.
• De verrassing: Nee! Voor deze specifieke, heel normale ballen werkt de standaardregel niet. De schatting convergeert (naderen het juiste antwoord) veel trager dan verwacht.
• De analogie: Het is alsof je probeert de snelheid van een auto te meten. Normaal gesproken wordt je meting preciezer naarmate je langer meet. Maar in dit geval is het alsof je meet met een meetlint dat soms ineens uitrekt en krimpt. Je komt pas heel langzaam tot een goed antwoord, en de fouten die je maakt, lijken niet op een nette klok, maar op een zware, onvoorspelbare storm (een stabiele verdeling met een "dikke staart").

3. De "Geen Snelheid" Regel

Mies gaat nog een stap verder. Hij zegt: "Kijk, er is geen universele snelheid voor deze schatting."

• De metafoor: Stel je voor dat je probeert de snelheid van alle auto's ter wereld te voorspellen. Sommige auto's rijden 50 km/u, andere 200 km/u. Als je zegt "Ik kan de snelheid van elke auto binnen 1 minuut voorspellen", dan lieg je. Er zijn altijd auto's die zo raar gedragen dat je ze niet snel kunt voorspellen.
• De conclusie: Voor de Orlicz-norm geldt hetzelfde. Er is geen enkele snelheid (zoals "1 seconde" of "1 minuut") die voor elke mogelijke verdeling van data werkt. Je kunt nooit garanderen dat je schatting binnen een bepaalde tijd precies is, ongeacht hoe de data eruitziet.

4. Waarom is dit belangrijk? (De Regen en de Dijk)

Waarom zouden we hierover nadenken?
Stel je voor dat je een dijk bouwt en je wilt weten: Wat is de kans dat de regen zo hard valt dat de dijk breekt? Dit is een "extreme gebeurtenis".

• Vaak gebruiken wetenschappers modellen die aannemen dat extreme regenbuien "normaal" zijn.
• Mies' werk laat zien dat als je de "stress" van de regen (de Orlicz-norm) probeert te schatten op basis van historische data, je schatting heel onzeker kan zijn bij extreme waarden.
• De les: Je kunt deze schatting gebruiken als een veilige bovengrens. Het zegt je: "Kijk, de regen kan maximaal zo zwaar zijn." Het is misschien niet de exacte voorspelling, maar het is een veilige manier om te zeggen: "Bouw de dijk hoog genoeg, want we weten niet precies hoe erg het kan worden, maar we weten wat de grens is."

Samenvatting in één zin

Dit artikel vertelt ons dat het schatten van de "uithoudingsvermogen" van data (de Orlicz-norm) wel werkt, maar dat het gedrag van deze schatting verrassend en soms heel traag is, vooral bij data die we normaal vinden; er is geen snelle, universele formule die voor elke situatie werkt.

Kortom: Wiskunde is soms net als het weer; je kunt de algemene trend voorspellen, maar de uitzonderlijke stormen (de extreme waarden) gedragen zich op een manier die je niet snel kunt vangen met een simpele regel.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Empirical Orlicz norms" van Fabian Mies, geschreven in het Nederlands.

Titel: Empirische Orlicz-normen

Auteur: Fabian Mies (Technische Universiteit Delft)
Datum: 12 maart 2026

---

1. Probleemstelling

Orlicz-normen bieden een krachtig raamwerk in de waarschijnlijkheidstheorie en datawetenschap om staartgedrag van verdelingen te kwantificeren (bijv. sub-Gaussisch, sub-exponentieel, sub-Weibull). De Orlicz-norm $\|X\|_\psi$ van een stochastische variabele $X$ wordt gedefinieerd als:
$$\|X\|_\psi = \inf \left\{ \sigma > 0 \mid \mathbb{E}\left[\psi\left(\frac{|X|}{\sigma}\right)\right] \leq 1 \right\}$$
waarbij $\psi$ een convex, stijgende Orlicz-functie is.

Hoewel deze normen vaak worden gebruikt als aannames voor de asymptotische analyse van statistische methoden (zoals LASSO, robuuste schatters en bandit-problemen), is de empirische validatie ervan nauwelijks onderzocht. De kernvraag is: hoe kunnen we de Orlicz-norm schatten op basis van een steekproef $X_1, \dots, X_n$, en wat zijn de asymptotische eigenschappen van deze schatter?

Het artikel introduceert de empirische Orlicz-norm als de natuurlijke schatter:
$$\hat{\sigma}_\psi = \inf \left\{ \sigma > 0 \mid \frac{1}{n} \sum_{i=1}^n \psi\left(\frac{|X_i|}{\sigma}\right) \leq 1 \right\}$$

2. Methodologie

De auteur analyseert de asymptotische gedrag van $\hat{\sigma}_\psi$ onder verschillende scenario's:

1. Onafhankelijke en identiek verdeelde (i.i.d.) steekproeven: Basisanalyse van de schatter voor een enkele verdeling.
2. Lineaire en niet-parametrische regressie: Toepassing op residuen ($\hat{\epsilon}_i$) om de norm van de ruis te schatten.
3. Asymptotische theorie: Toepassing van de Wet van de Grote Getallen (WGG) en het Centrale Limiettheorema (CLT), inclusief gevallen waar standaard theorie faalt en generalisaties (zoals stabiele verdelingen) nodig zijn.

3. Belangrijkste Resultaten en Bijdragen

A. Wet van de Grote Getallen (Consistentie)

• Resultaat: Onder de minimale voorwaarde dat $\|X\|_\psi < \infty$, convergeert de empirische Orlicz-norm bijna zeker naar de ware norm:
  $$\hat{\sigma}_\psi \xrightarrow{a.s.} \sigma_\psi$$
• Toepassingen:
  • Lineaire Regressie: Als de covariaten en fouttermen een eindige Orlicz-norm hebben en de regressiecoëfficiënten consistent worden geschat, is de schatter voor de ruis-norm consistent.
  • Niet-parametrische Regressie: Een op verschillen gebaseerde schatter ($\hat{\sigma}_{\psi, np}$) wordt voorgesteld. Deze convergeert naar $\|\epsilon_2 - \epsilon_1\|_\psi$. Hoewel dit niet direct gelijk is aan $\|\epsilon\|_\psi$, biedt het een conservatieve bovengrens (vanwege de convexiteit van $\psi$ en Jensen's ongelijkheid), wat vaak voldoende is voor statistische toepassingen zoals regularisatieparameters kiezen.

B. Centrale Limiettheorema (CLT) en Convergentiesnelheden

De paper toont aan dat de convergentiesnelheid en de limietverdeling sterk afhankelijk zijn van de specifieke verdeling en de Orlicz-functie.

1. Standaard Geval (Gladde Condities):
   Als $\psi$ continu differentieerbaar is en momenten van hogere orde bestaan (bijv. $\mathbb{E}[\psi(|X|/\sigma_\psi)^2] < \infty$), geldt een standaard CLT met snelheid $\sqrt{n}$:
   $$\sqrt{n}(\hat{\sigma}_\psi - \sigma_\psi) \xrightarrow{d} \mathcal{N}(0, \tau^2)$$
   Dit geldt bijvoorbeeld voor exponentiële Orlicz-normen bij verdelingen met voldoende lichte staarten.

2. Niet-standaard Gevallen (Zware Staarten):
   Voor bepaalde canonieke voorbeelden faalt de standaard CLT:

   • Exponentiële verdeling: Voor de sub-exponentiële norm ($\psi_1$) is de convergentiesnelheid $\sqrt{n \log n}$, niet $\sqrt{n}$.
   • Weibull-verdeling: Vergelijkbaar gedrag met een log-factor.
   • Normale verdeling (Gaussisch): Dit is het meest opvallende resultaat. Voor de sub-Gaussische norm ($\psi_2(x) = e^{x^2}-1$) is de tweede moment van de transformatie oneindig. De schatter convergeert niet normaal, maar met een niet-standaarde snelheid van $n^{1/4} \log(n)^{3/8}$. De limietverdeling is een zwaarstaartige, stabiele verdeling met index $\beta = 4/3$.

C. Geen Uniforme Convergentiesnelheid

Een cruciale theoretische bevinding is dat er geen uniforme convergentiesnelheid bestaat voor de klasse van alle verdelingen met een begrensde Orlicz-norm.

• Stelling 3.5: Voor elke snelheid $n^{-\beta}$ kan een verdeling worden geconstrueerd waarbij de schatter langzamer convergeert.
• Stelling 3.6: Zelfs voor elke schatter (niet alleen de empirische norm) geldt dat er geen uniforme snelheid bestaat die de kans op fouten uniform klein houdt over de hele klasse van verdelingen. Dit betekent dat modelvrije schatting van Orlicz-normen fundamenteel moeilijker is dan parametrische schatting.

4. Statistische Implicaties en Toepassingen

• Staartschatting: De empirische Orlicz-norm kan worden gebruikt om conservatieve bovengrenzen te stellen voor staartkansen $P(X > t)$ via de ongelijkheid $P(X > t) \leq 1/\psi(t/\hat{\sigma}_\psi)$.
• Extrapolatie: De snelheid van convergentie van $\hat{\sigma}_\psi$ bepaalt hoe ver men betrouwbaar kan extrapoleren in de staart. Onder de standaard CLT-condities kan men extrapoleren tot $t_n \ll n^{2/\alpha}$, wat verder gaat dan wat vaak mogelijk is met extreme-waardetechnieken voor specifieke verdelingen, zij het dan als een bovengrens in plaats van een exacte schatting.
• Robuuste Statistiek: De bevindingen waarschuwen voor het blindelings aannemen van sub-Gaussische eigenschappen in data. Zelfs bij normale data kan de schatting van de sub-Gaussische norm onverwacht gedrag vertonen (stabiele limietverdeling), wat invloed heeft op de keuze van kritieke waarden in hypothesetoetsing.

5. Conclusie en Significantie

Dit artikel vult een belangrijke lacune in de literatuur door de theoretische eigenschappen van de empirische Orlicz-norm te analyseren. De belangrijkste bijdragen zijn:

1. Het bewijzen van consistentie onder minimale voorwaarden.
2. Het onthullen van niet-standaard asymptotisch gedrag (zware staarten, stabiele limieten) zelfs voor fundamentele verdelingen zoals de Gaussische verdeling bij sub-Gaussische normen.
3. Het aantonen van de fundamentele onmogelijkheid van een uniforme convergentiesnelheid voor deze klasse van verdelingen.

De paper illustreert dat het schatten van Orlicz-normen, hoewel mogelijk, complex is en dat standaard asymptotische theorie ($\sqrt{n}$-normaliteit) vaak niet van toepassing is, wat voorzichtigheid vereist bij het gebruik van deze normen in data-gedreven statistische methoden.