How Complexity Contributes to Learning Opacity in Machine Learning

Technische Samenvatting: Hoe Complexiteit Bijdraagt aan Leer-opaciteit in Machine Learning

Probleemstelling
Machine learning (ML), en met name neurale netwerken (NN), wordt gekenmerkt door "opaciteit" (ondoorzichtigheid). Terwijl er veel aandacht is besteed aan voorspellings-opaciteit (het onvermogen om te begrijpen waarom een specifieke voorspelling is gedaan), blijft leer-opaciteit onderbelicht. Leer-opaciteit wordt hier gedefinieerd als het gebrek aan begrip van de dynamische verschijnselen van de evolutie van de gewichten van een NN tijdens het trainingsproces. Zelfs onderzoekers met volledige toegang tot het leeralgoritme, de broncode en de trainingsdata kunnen vaak niet verklaren hoe specifieke gewichtconfiguraties worden geïnduceerd of waarom bepaalde trainingsverschijnselen (bijv. benign overfitting, grokking, verzadiging) optreden. Dit artikel stelt dat deze opaciteit niet louter het gevolg is van beperkte toegang of cognitieve beperkingen, maar voortkomt uit de intrinsieke eigenschappen van het leerproces zelf.

Methodologie en Conceptueel Kader
De auteurs maken gebruik van een conceptuele analyse via de lens van complexe dynamische systemen uit de natuurwetenschappen. Zij betogen dat het leren van een NN in essentie een complex systeem is en dat leer-opaciteit voortkomt uit de dynamische complexiteit die inherent is aan het optimalisatieproces.

De methodologie omvat:

1. Het mappen van NN-leren naar Dynamische Systemen: De auteurs leggen een analogie vast waarbij de gewichtswaarden van een NN overeenkomen met micro-toestanden, het leeralgoritme (bijv. gradiëntafdaling) de tijdsverloop reguleert, en de trainingsdata de externe context vertegenwoordigt.
2. Het identificeren van Drie Kerneigenschappen: Gebruikmakend van de complexiteitswetenschap, isoleert het artikel drie kenmerkende eigenschappen van complexe dynamiek die het begrip in de natuurwetenschappen beperken, en onderzoekt hun aanwezigheid in NN-training:
   • Gevoelige Afhankelijkheid van Initiële Condities (SI).
   • Feedback (F).
   • Contextgevoeligheid (CS).
3. Epistemologische Analyse: Voor elke eigenschap analyseert het artikel hoe deze het "begrip" in de natuurwetenschappen beperkt (vaak via dynamische modellering) en vergelijkt dit met de specifieke epistemologische uitdagingen die dit creëert voor ML-onderzoekers.

Belangrijkste Bijdragen en Resultaten

1. Gevoelige Afhankelijkheid van Initiële Condities (SI)

• Natuurwetenschappelijke Context: In complexe systemen betekent SI (vaak geassocieerd met nonlineariteit) dat kleine veranderingen in initiële toestanden leiden tot drastisch verschillende uitkomsten. Dit voorkomt de constructie van adequate deterministische representaties, wat dwingt tot een beroep op statistische inferentie en empirische observatie, wat onzekerheid introduceert.
• Toepassing op NN-leren: NN-training vertoont SI met betrekking tot de gewicht-initialisatiestrategie. Kleine veranderingen in de parameters van de waarschijnlijkheidsverdeling die wordt gebruikt om gewichten te initialiseren (bijv. de variantie in Gaussische verdelingen) kunnen leiden tot significante verschillen in convergentiesnelheid, generalisatieprestaties, of zelfs ervoor zorgen dat het netwerk geheel niet convergeert.
• Bijdrage aan Opaciteit: In tegenstelling tot de natuurwetenschappen, waar SI dwingt tot een verschuiving naar empirische studie, hebben ML-onderzoekers al volledige toegang tot het systeem. Echter, SI beperkt het pragmatisch begrip. Onderzoekers kunnen de gevolgen van een specifieke initialisatiestrategie niet kwalitatief voorzien vóór de training. Bijgevolg berust het selecteren van de "juiste" initialisatie vaak op gissen in plaats van op principiële richtlijnen, wat het vermogen om de leer-traject te controleren of te voorspellen belemmert.

2. Feedback (F)

• Natuurwetenschappelijke Context: Feedback houdt in dat er sprake is van wederzijdse afhankelijkheden waarbij systeembrede eigenschappen de micro-niveau dynamica beperken, welke op hun beurt weer invloed uitoefenen op die systeembrede eigenschappen. Dit vervaagt de causale volgorde en verhindert vaak het afleiden van analytische tijd-evolutiefuncties voor micro-toestanden, wat het gebruik van computersimulaties noodzakelijk maakt. Deze simulaties introduceren "epistemische opaciteit" omdat menselijke agenten niet elke computationele stap kunnen volgen.
• Toepassing op NN-leren: In gradiënt-gebaseerde optimalisatie bestaat er een feedbacklus tussen de micro-niveau gewicht-updates en de systeembrede loss-gradiënt. De update van een individueel gewicht hangt af van de gradiënt, die wordt berekend op basis van de huidige gewichtconfiguratie van het gehele netwerk. Omgekeerd verandert het wijzigen van een individueel gewicht de globale gradiënt.
• Bijdrage aan Opaciteit: Deze feedback voorkomt een tractabele, theoretische representatie van fijnmazige gewichtsdynamiek. Omdat analytische oplossingen vaak onmogelijk af te leiden zijn, leunt ML-onderzoek zwaar op empirische benaderingen en statistische inferentie. Het artikel betoogt dat de opaciteit hier voortkomt uit de epistemologische uitdagingen van dit inductieve perspectief (bijv. experimentele bias, slecht gedefinieerde concepten, en de moeilijkheid om de theoretische aannames voor statistische toetsen te voldoen), in plaats van de opaciteit van de simulatie zelf. Dit leidt tot problemen met reproduceerbaarheid en een gebrek aan diep theoretisch inzicht in het optimalisatieproces.

3. Contextgevoeligheid (CS)

• Natuurwetenschappelijke Context: CS verwijst naar de afhankelijkheid van een systeem van externe omgevingscondities. In zeer contextgevoelige systemen (zoals de biologie) zijn generalisaties minder stabiel, wat de mate van unificatie in wetenschappelijke verklaringen vermindert. Verklaringen vereisen specifiekere argumentpatronen voor verschillende contexten, wat de kracht van brede generalisaties vermindert.
• Toepassing op NN-leren: De leer-dynamiek van NN's is gevoelig voor de trainingsdata-distributie en de volgorde waarin data wordt gepresenteerd (bijv. curriculum learning). Kleine veranderingen in de data-ordening of -distributie kunnen de convergentiesnelheid en de generalisatieprestaties veranderen.
• Bijdrage aan Opaciteit: CS beïnvloedt het pragmatisch begrip door het moeilijk te maken om de kwalitatieve effecten van variaties in data te voorzien (bijv. bij adversarial training kunnen imperceptibele perturbaties de leeruitkomsten drastisch veranderen). Wat betreft unificatie merkt het artikel op dat hoewel CS de mate van unificatie in verklaringen van NN-leren waarschijnlijk vermindert, dit een openstaande vraag blijft, aangezien nog geen enkele studie de robuustheid van verklarende schema's over verschillende trainingsdata-distributies heeft geanalyseerd.

Betekenis en Claims
Het artikel concludeert dat leer-opaciteit onherleidbaar is in de zin dat het een structureel kenmerk is van het leerproces. De drie geïdentificeerde eigenschappen (SI, F en CS) zijn fundamenteel voor hoe ML-systemen leren; het pogen tot dempen of elimineren ervan zou de aard van ML fundamenteel veranderen.

• Aard van Opaciteit: De opaciteit is niet te wijten aan een gebrek aan toegang tot het mechanisme (aangezien onderzoekers volledige transparantie van de code hebben), maar is inherent aan de complexiteit van het dynamische systeem.
• Implicaties voor XAI: De auteurs suggereren dat het simpelweg bouwen van interpreteerbare algoritmen vanaf het begin het probleem niet zal oplossen als de onderliggende leer-dynamica complex blijft.
• Toekomstige Richtingen: Het artikel stelt voor dat kaders die ontwikkeld zijn voor het bestuderen van complexe natuurlijke systemen (bijv. het bepalen van passende niveaus van coarse-graining) waardevolle benaderingen kunnen bieden voor het analyseren van ML-systemen. Het stelt echter bescheiden dat het volledige potentieel van het beschouwen van ML-leren als een complex systeem een open veld blijft voor toekomstig onderzoek.

Samenvattend betoogt het artikel dat de moeilijkheid om het leren van NN's te begrijpen een direct gevolg is van de complexe dynamische eigenschappen die inherent zijn aan het optimalisatieproces, wat epistemologische barrières creëert die intrinsiek zijn aan het vakgebied in plaats van louter technische hindernissen.