🤖 machine learning

Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity

Dit artikel onderzoekt de kloof tussen theoretische en gerealiseerde expressiviteit in stuksgewijs affiene neurale netwerken door een rigoureuze bovengrens vast te stellen voor affiene regio's langs lijnsegmenten en aan te tonen dat het vergroten van de taakcomplexiteit paradoxaal genoeg leidt tot "expressiviteitsverzadiging", waarbij getrainde modellen aanzienlijk minder affiene regio's gebruiken dan hun architecturale capaciteit toelaat, wat vaak resulteert in gedegradeerde beslissingsgrenzen.

Oorspronkelijke auteurs: Xuan Qi, Yi Wei, Fanqi Yu, Manuel Lecha

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuan Qi, Yi Wei, Fanqi Yu, Manuel Lecha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Ongebruikte Gereedschapskist"-fenomeen

Stel je voor dat je een enorme, hoogwaardige gereedschapskist koopt met duizenden gespecialiseerde gereedschappen. Je verwacht dat als je jezelf een zeer moeilijke klus geeft (zoals het bouwen van een complexe klok), je bijna elk gereedschap in die kist zult gebruiken.

Dit paper ontdekt iets verrassends: Wanneer de klus extreem moeilijk wordt, gebruik je mogelijk juist minder gereedschappen dan wanneer de klus makkelijk is.

De auteurs noemen dit "Expressivity Saturation" (expressiviteitsverzadiging). Dat is een chique manier om te zeggen dat zelfs als een neuraal netwerk (een type AI) de theoretische mogelijkheid heeft om een razend complexe oplossing te creëren, het netwerk bij een te chaotische of moeilijke taak vaak genoegen neemt met een veel eenvoudigere, "gecollabeerde" oplossing die veel minder van zijn interne capaciteiten gebruikt.

De Twee Belangrijkste Experimenten

De onderzoekers bekeken dit probleem vanuit twee verschillende hoeken: een theoretisch "ééndimensionaal" perspectief en een praktisch "2D/3D" perspectief.

1. De "Kralensnoer"-theorie (1D Probes)

De Analogie: Stel je voor dat het neurale netwerk een lange snoer van kralen is. Als je een laserstraal (een rechte lijn) door dit snoer stuurt, raakt de laser verschillende kralen. Elke keer dat de laser een kraal raakt die van staat verandert, wordt de laserstraal in een nieuw segment "gebroken".

De Theorie: De auteurs bewezen een strikte regel: het aantal segmenten waarin de laser kan worden gebroken, hangt volledig af van hoeveel kralen (neuronen) er in het snoer zitten en hoeveel "schakelaars" elke kraal heeft.
De Bevinding: Ze berekenden het maximale aantal breuken dat mogelijk is. Echter, wanneer ze het netwerk daadwerkelijk trainden om een probleem op te lossen, was het aantal breuken vaak veel lager dan het maximum.
De Les: Al kan het snoer in 1.000 stukken worden gebroken, dat betekent niet dat het ook daadwerkelijk zal gebeuren. Als het patroon dat je probeert te leren te rommelig is, probeert het netwerk misschien niet eens al zijn potentiële breuken te gebruiken.

2. Het "Mozaïekvloer"-experiment (2D en 3D)

De Analogie: Stel je voor dat de inputdata een vloer is, en het neurale netwerk is een kunstenaar die probeert een mozaïek op deze vloer te schilderen. De kunstenaar heeft een enorme voorraad tegels (affiene regio's) tot zijn beschikking.

Makkelijke Taak: Als het plaatje simpel is (zoals een duidelijke smiley), gebruikt de kunstenaar veel tegels om een gedetailleerd, ingewikkeld mozaïek te maken.
Moeilijke Taak: Stel je nu voor dat de kunstenaar de opdracht krijgt om een plaatje te schilderen op basis van willekeurige ruis (zoals statische ruis op een oude tv). Er is geen echt patroon te volgen.
De Verrassing: In plaats van meer tegels te gebruiken om elke kleine stip van de ruis te proberen te vangen, gebruikt de kunstenaar eigenlijk minder tegels. Hij stopt met het proberen te maken van een gedetailleerd mozaïek en schildert gewoon een paar grote, vage vlakken.

Wat de Data Lieten Zien:
De onderzoekers trainden AI-modellen op willekeurige data met toenemende hoeveelheden "ruis" (meer samples).

Kleine hoeveelheid ruis: Het model gebruikte een gemiddeld aantal regio's om te leren.
Enorme hoeveelheid ruis: Het "regio-aantal" van het model stortte in. Het stopte met het creëren van complexe grenzen.
Het Resultaat: In de moeilijkste scenario's faalde het model niet alleen om te leren; het vereenvoudigde fysiek zijn interne structuur, waarbij het zijn complexe beslissingsgrenzen liet instorten tot enkele grote, ineffectieve vormen.

Waarom Gebeurt Dit? (Het "Verzadigingseffect")

Het paper suggereert dat wanneer een taak te complex wordt (zoals het proberen te onthouden van willekeurige ruis), het optimalisatieproces (het trainen) tegen een muur aanloopt.

Denk hierbij aan een wandelaar die een bergketen probeert te navigeren:

Makkelijk Terrein: De wandelaar kan veel kronkelende paden nemen en elke vallei en piek verkennen (hoog regio-gebruik).
Onmogelijk Terrein: Als het terrein een chaotische, verschuivende mist is, stopt de wandelaar met het proberen in kaart te brengen van elk detail. In plaats daarvan kiest hij slechts een paar brede richtingen en stopt hij met bewegen. Hij "verzadigt" zijn vermogen om te verkennen.

Het netwerk is niet "slim" genoeg om te beseffen dat de taak onmogelijk is, dus geeft het de complexiteit op en neemt het genoegen met een eenvoudige, weinig inspannende oplossing. Dit leidt tot gedegradeerde beslissingsgrenzen—de lijn die de AI trekt om "ja" van "nee" te scheiden, wordt rommelig en ineffectief.

Samenvatting van de Belangrijkste Punten

Capaciteit $\neq$ Gebruik: Al is een neuraal netwerk gebouwd om supercomplex te zijn (heeft een hoge "theoretische capaciteit"), dat betekent niet dat het die complexiteit ook daadwerkelijk zal gebruiken.
Complexiteit Doodt Complexiteit: Paradoxaal genoeg kan het moeilijker maken van de trainingsdata (meer willekeurige samples) ervoor zorgen dat het netwerk juist minder van zijn interne "schakelaars" en "regio's" gebruikt.
De Ineenstorting: In de meest moeilijke scenario's stort de interne kaart van de wereld van het netwerk in. Het stopt met het verfijnen van details en keert terug naar een grove, eenvoudige vorm, wat vaak leidt tot slechte prestaties.
De Kloof: Er is een enorme kloof tussen wat een netwerk kan doen (theorie) en wat het daadwerkelijk doet na training (realiteit), vooral wanneer de taak erg moeilijk is.

In een notendop: Het paper laat zien dat wanneer je een AI te hard pusht met chaotische data, de AI niet creatiever wordt, maar juist simpeler; het geeft de potentie om complex te zijn op.

Technische Samenvatting: Expressiviteitsverzadiging: Verminderd gebruik van affiene regio's bij toenemende taakcomplexiteit

Probleemstelling
Stuksgewijs-affine neurale netwerken (PANNs), zoals die gebruikmaken van ReLU- of LeakyReLU-activaties, definiëren continue stuksgewijs-affine (CPWA) afbeeldingen waarbij de invoerruimte wordt opgedeeld in affiene regio's. Hoewel het aantal van deze regio's dient als een natuurlijke proxy voor de expressieve capaciteit van een netwerk, bestaat er een aanzienlijke kloof tussen de theoretische worst-case capaciteit (vaak afgeleid van combinatorische grenzen) en het werkelijke aantal gerealiseerde affiene regio's na de training. Deze discrepantie is bijzonder kritiek wanneer de relatie tussen invoer en label zeer complex is. Het onderzoek onderzoekt of, bij vaste architecturen en trainingsprotocollen, het verhogen van de complexiteit van de taak (specifiek via willekeurige labels en toenemende steekproefomvang) leidt tot een vermindering van het aantal gerealiseerde affiene regio's, een fenomeen dat de auteurs expressiviteitsverzadiging noemen.

Methodologie
De auteurs hanteren een tweeledige aanpak die rigoureuze theoretische analyse op eendimensionale (1D) probes combineert met exacte empirische enumeratie in gebonden domeinen van hogere dimensies (2D en 3D).

Theoretische Analyse (1D Probes):
- De auteurs definiëren een affiene lijnsegment-probe $\gamma: [0, 1] \to \mathbb{R}^d$ .
- Zij leiden een deterministische, architectuurafhankelijke bovengrens af voor het aantal affiene stukken ( $\alpha(f; \gamma)$ ) die een CPWA MLP langs een dergelijke probe kan realiseren. Deze grens is een product van laag-specifieke breedte-termen en activatie-breukpuntfactoren.
- Hierm>>> uit zij een neuron-drempel ondergrens, die de minimale architecturale capaciteit vaststelt die nodig is om een doelfunctie met een voorgeschreven 1D-stukcomplexiteit te representeren.
- Zij introduceren metrieken voor gerealiseerde regio-efficiëntie ( $\eta_{norm}$ ) en statistieken voor regio's-per-neuron om de kloof tussen theoretische capaciteit en werkelijk gebruik te kwantificeren.
Empirische Enumeratie (2D en 3D):
- Om verder te gaan dan 1D-probes, ontwikkelen de auteurs algoritmen voor exacte enumeratie in gebonden domeinen.
- Algoritme 1 voert een exacte telling uit van affiene stukken langs 1D-lijnprobes door intervallipartities door de lagen van het netwerk te propageren.
- Algoritme 2 doorzoekt exhaustief alle affiene cellen die een voorgeschreven compact domein $\Omega$ (bijv. $[-1, 1]^d$ ) in 2D en 3D snijden. Dit omvat het identificeren van haalbare 'seeds', het terugwinnen van lokale affiene beschrijvingen, en het doorlopen van grensoverschrijdingen om de verzameling gerealiseerde regio's $R_\Omega(f)$ te enumereren.
- Experimenten maken gebruik van volledig verbonden ReLU MLP's getraind op datasets met willekeurige labels en variërende steekproefomvang om te dienen als een gecontroleerde proxy voor toenemende taakcomplexiteit.

Belangrijkste Bijdragen

Rigoureuze 1D Capaciteitsgrens: Het artikel bewijst een deterministische bovengrens op het aantal affiene stukken dat langs elke affiene lijnsegment-probe gerealiseerd kan worden voor CPWA MLP's. Dit levert een corolarium op dat een noodzakelijke neuron-drempel ondergrens biedt voor het representeren van doelwitten met specifieke 1D-stukcomplexiteit.
Bewijs van Expressiviteitsverzadiging: Door middel van exacte enumeratie in 2D en 3D tonen de auteurs aan dat, voor vaste architecturen en trainingsprotocollen, het verhogen van de taakcomplexiteit (via willekeurige labels en steekproefomvang) kan leiden tot een scherpe vermindering van het aantal gerealiseerde affiene regio's binnen een gebonden domein. Dit gebeurt ondanks dat de worst-case theoretische capaciteit van de architectuur ongewijzigd blijft.
Geometrische en Dynamische Koppeling: De studie levert visueel en kwantitatief bewijs voor de link tussen de instorting van gerealiseerde affiene regio's en het falen van het vormen van effectieve beslissingsgrenzen. In de meest uitdagende regimes (bijv. grote steekproefomvang met willekeurige labels) gaat de reductie in regio-gebruik samen met een gedegradeerde geometrie van de beslissingsgrens.

Resultaten

1D Consistentie: Exacte telling langs probes bevestigt dat het gerealiseerde aantal affiene stukken consistent ver onder de theoretische worst-case bovengrens ligt, zelfs bij willekeurige initialisatie. De "regio's-per-neuron" statistiek blijft binnen een bescheiden bereik, maar stort in wanneer de taakcomplexiteit de effectieve capaciteit van de vaste architectuur overstijgt.
2D/3D Verzadiging: In experimenten met vaste ReLU MLP's (bijv. $[32, 32, 32]$ $[32, 32, 32]$ ) en willekeurige labels:
- Bij kleine steekproefomvanggen neigt het aantal gerealiseerde regio's tijdens de training toe te nemen.
- Bij grote steekproefomvanggen (bijv. 5.000 tot 10.000) daalt het aantal gerealiseerde regio's tijdens de training scherp, vaak tot onder het niveau van de initialisatie.
- Deze "instorting" is robuust over verschillende optimizers (Adam vs. SGD) en initialisatieschema's (Xavier).
Beslissingsgrenzen: Visualisaties laten zien dat in regimes waar het regio-gebruik instort (hoge complexiteit), het netwerk er niet in slaagt effectieve beslissingsgrenzen te vormen, terwijl op leerbare datasets (bijv. make_moons), de verfijning van regio's correleert met de uitlijning van de grens.

Betekenis en Reikwijdte
Het artikel stelt dat de nominale worst-case expressieve capaciteit een onvolledige proxy is voor de werkelijk gerealiseerde niet-lineaire structuur na training. Het concept van expressiviteitsverzadiging suggereert dat in gecontroleerde laag-dimensionale settings, het verhogen van de taakcomplexiteit niet noodzakelijkerwijs leidt tot rijkere partitionering; in plaats daarvan kan het leiden tot een vermindering van het aantal gebruikte regio's en een slechte classificatiegeometrie.

De auteurs merken expliciet de beperkingen op:

De theoretische resultaten zijn beperkt tot 1D-probes en karakteriseren niet direct de vol-dimensionale regio-geometrie.
Exacte enumeratie is computationeel beperkt tot lage dimensies (2D/3D) en gematigde architecturen vanwege de NP- en #P-hardheid van het tellen van affiene regio's in algemene zin.
De bevindingen zijn gebaseerd op volledig verbonden ReLU MLP's en willekeurige label-regimes; ze stellen nog niet vast hoe deze fenomenen zich manifesteren in gestructureerde data, real-world toepassingen of complexere architecturen (bijv. CNN's, Transformers).

Dit werk dient als een fundamentele stap in het koppelen van input-label complexiteit aan gerealiseerd regio-gebruik, en biedt een nieuw perspectief op de kloof tussen expressieve capaciteit en expressieve utilitatie.