Beyond Lipschitz: Data-Driven Robustness via Discrete Modulus of Continuity

Technische Samenvatting: Voorbij Lipschitz: Datagedreven Robuustheid via Discrete Modulus van Continuïteit

Probleemstelling
De robuustheid van neurale netwerken wordt traditioneel gekwantificeerd met behulp van lokale of globale Lipschitz-constanten. Hoewel Lipschitz-continuïteit theoretische garanties biedt tegen adversariële perturbaties, betogen de auteurs dat dit vaak een ontoereikende metriek is. Het kan te grof zijn, waardoor het gefnuikte, datagebonden gedrag niet wordt vastgelegd, of te restrictief, wat potentieel de expressiviteit en nauwkeurigheid van het netwerk kan aantasten. Bijvoorbeeld, het afdwingen van Lipschitz-beperkingen op functies die continu maar niet Lipschitz zijn (bijv. $\sqrt{x}$) of op functies waarbij globale Lipschitz-bounds lokale variatie overschatten (bijv. $\tanh(x)$), kan het leren belemmeren. Bovendien vertrouwen bestaande methoden voor het schatten van Lipschitz-constanten vaak op specifieke architecturen of missen ze strakke theoretische garanties. Het artikel identificeert de behoefte aan een black-box, multi-scale notie van robuustheid die van toepassing is op alle architecturen en is geworteld in de data-distributie in plaats van uitsluitend in de modelinterne mechanismen.

Methodologie
Het voorgestelde raamwerk draait om de Discrete Modulus van Continuïteit (DMOC), een datagedreven, architecturen-onafhankelijke maatstaf voor regulariteit.

1. Theoretische Grondslag:

   • De DMOC is een discrete benadering van de klassieke Modulus van Continuïteit (MOC), $\omega(f, t) = \sup_{d_X(x,x') \leq t} d_Y(f(x), f(x'))$.
   • In tegenstelling tot de Lipschitz-constante, die de helling is van de minst homogene lineaire majorant van de MOC, biedt de MOC (en bij uitbreiding de DMOC) een schaalafhankelijke beschrijving van gevoeligheid. Het omvat Lipschitz-, Hölder- en zwakkere regulariteiten.
   • De auteurs definiëren $\rho$-genormaliseerde seminormen, $|f|_\rho = \sup_{t>0} \rho(t)^{-1}\omega(f, t)$, om regulariteit te kwantificeren. De DMOC-seminorm, $|f_N|_{\rho,N}$, wordt berekend over een eindige set datasites $X_N$.

2. Convergentietheorie:

   • Het artikel stelt convergentieresultaten vast voor door DMOC geïnduceerde seminormen. Stelling 2.4 biedt expliciete niet-asymptotische grenzen voor de fout $|f|_\rho - |f_N|_{\rho,N}$ in termen van de scheidingsafstand ($q_N$) en invulafstand ($h_{D,N}$) van de datasites.
   • Deze theorie verbindt de discrete schatter met zijn continue tegenhanger, en toont aan dat de nauwkeurigheid van de DMOC afhankelijk is van de geometrische kwaliteit van de onderliggende data-distributie.

3. Algoritmen:

   • Exacte Berekening (Algoritme 1): Berekent de DMOC door alle paarsgewijze afstanden in de dataset te evalueren. Dit heeft een kwadratische runtime-complexiteit, $O(N^2)$, wat onhaalbaar is voor grote datasets.
   • Minibatch-benadering (Algoritme 2): Om schaalbaarheid mogelijk te maken, stellen de auteurs een minibatch-algoritme voor. Door de data te shuffelen en batches te verwerken, wordt de kosten verlaagd tot $O(NC)$, waarbij $C$ de batchgrootte is. Dit maakt evaluatie mogelijk op grote datasets zoals ImageNet.

4. Diagnostische Metrieken:

   • Om DMOC's tussen verschillende netwerken of tegen de data te vergelijken, introduceren de auteurs alignatiemetrieken: een relatieve alignatiescore $S(w, w')$ en de Pearson-correlatiecoëfficiënt $r(w, w')$. Deze metrieken kwantificeren hoe goed het input-output-gedrag van een netwerk overeenkomt met de intrinsieke regulariteit van de data.

Belangrijkste Bijdragen

• Data-Centrisch Raamwerk: De DMOC verschuift de focus van modelregulariteit naar data-regulariteit, en biedt een basislijn waartegen netwerkrobuustheid wordt beoordeeld zonder toegang tot modelinterne mechanismen (black-box setting).
• Theoretische Garanties: Het artikel biedt expliciete convergentiesnelheden voor door DMOC geïnduceerde seminormen, gebaseerd op datascheiding en invulafstanden.
• Schaalbaarheid: De introductie van een minibatch-algoritme mitigeert de kwadratische rekenkosten, waardoor de methode toepasbaar wordt op grote datasets (bijv. ImageNet).
• Empirisch Diagnostisch Hulpmiddel: Het raamwerk dient als een architecturen-onafhankelijk diagnostisch middel dat getrainde van niet-getrainde netwerken onderscheidt en regimes van onder- en overfitting identificeert.

Experimentele Resultaten
De auteurs evalueerden de DMOC op vier datasets: California Housing, Iris, MNIST en ImageNet, met behulp van diverse feedforward ReLU-netwerken en AlexNet.

• Lipschitz-schatting: Als een speciaal geval levert de DMOC strakke Lipschitz-schattingen op. Op de California Housing-dataset waren DMOC-schattingen vergelijkbaar met state-of-the-art methoden zoals ECLipsE en ECLipsE-Fast, vaak sneller berekend (bijv. voltooid in 9 seconden versus 30–96 seconden voor ECLipsE op specifieke architecturen).
• Netwerktoestanden:
  • Goed passende netwerken: Toonden sterke alignatie met het DMOC-profiel van de data en hoge correlatiescores.
  • Niet-getrainde netwerken: Vertoonden verschillende gladheidspatronen, vaak met een onderschatting van de verwachte gladheid op grotere schalen.
  • Overfitting-netwerken: Neigden tot het overschrijden van de DMOC van de data, met oscillerende afwijkingen.
  • Onderfitting-netwerken: Vertoonden een te glad gedrag met weinig variatie over schalen, waardoor ze de complexiteit van de data niet vastlegden.
• ImageNet: De minibatch-aanpak slaagde erin DMOC's te berekenen voor AlexNet, en onthulde dat getrainde netwerken aanzienlijk grotere DMOC's hebben dan niet-getrainde netwerken, waarbij de resolutie verbetert naarmate de batchgrootte toeneemt.

Betekenis en Claims
Het artikel claimt dat de DMOC een rijkere, multi-scale beschrijving van netwerkregulariteit biedt dan de Lipschitz-constante. Door te vertrouwen op input-output-paren in metrische ruimten, biedt het een black-box, architecturen-onafhankelijk hulpmiddel voor het beoordelen van robuustheid. De auteurs benadrukken dat de DMOC niet zomaar een vervanging is voor Lipschitz-constanten, maar een verfijning die data-intrinsieke regulariteit vastlegt.

Het werk positioneert de DMOC primair als een post-hoc diagnostisch hulpmiddel. Het toont aan dat DMOC-profielen automatisch onderscheid kunnen maken tussen trainingstoestanden (onderfitting, overfitting, goed passend) en strakke Lipschitz-grenzen kunnen bieden. De auteurs merken bescheiden op dat hoewel het raamwerk theoretisch toepasbaar is op latente representaties in transformers, dit nog niet empirisch is onderzocht. Zij identificeren ook de huidige beperking van het gebruik van DMOC uitsluitend voor diagnose, en suggereren dat het integreren ervan in training via regularisatie een natuurlijke richting is voor toekomstig werk.