🤖 AI

No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks

Dit artikel stelt een tweestaps raamwerk voor voor het ontwerpen van taakspecifieke kunstmatige neuronen die intrinsieke inductieve biases benutten om traditionele universele neuronen te overtreffen, waarbij wordt aangetoond dat de overstap van taakgebaseerd architectuurontwerp naar taakgebaseerd neuronontwerp de kenmerkrepresentatie verbetert en competitieve prestaties bereikt over diverse benchmarks.

Oorspronkelijke auteurs: Feng-Lei Fan, Meng Wang, Hang-Cheng Dong, Jianwei Ma, Tieyong Zeng

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Feng-Lei Fan, Meng Wang, Hang-Cheng Dong, Jianwei Ma, Tieyong Zeng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Stop met het Gebruik van Dezelfde Tool voor Elke Klus

Stel je voor dat je een meester-timmerman bent. De afgelopen tien jaar heb je elk meubelstuk — stoelen, tafels, boekenplanken en kasten — gebouwd met exact hetzelfde type hamer. Het is een goede hamer, en hij werkt goed genoeg voor veel dingen. Maar je hebt gemerkt dat een schroevendraaier of een beitel soms een veel beter werk zou doen voor specifieke taken.

In de wereld van Kunstmatige Intelligentie (AI) zijn de meeste netwerken gebouwd als die timmerman. Ze gebruiken dezelfde "neuron" (de basisbouwsteen van het brein-achtige computersysteem) voor elk probleem, of het nu gaat om het voorspellen van het weer, het herkennen van een kat op een foto, of het analyseren van aandelenkoersen.

Dit artikel stelt: Waarom zou je dezelfde hamer voor alles gebruiken?

De auteurs stellen voor dat, net zoals het menselijk brein verschillende soorten neuronen gebruikt voor verschillende taken, AI dat ook zou moeten doen. Ze noemen deze "Taakgebaseerde Neuronen" (Task-based Neurons). In plaats van elk probleem in een generieke doos te dwingen, willen ze een op maat gemaakt gereedschap ontwerpen dat specifiek voor de taak in kwestie is gemaakt.

Het Probleem met de "Universele" Hamer

Huidige AI-netwerken zijn "homogeen", wat betekent dat elke neuron binnenin hen identiek is. Ze doen allemaal dezelfde wiskunde: ze nemen inputs, vermenigvuldigen ze met getallen, tellen ze op en sturen het resultaat door een eenvoudig filter (zoals een lichtschakelaar die aan of uit gaat).

De auteurs zeggen dat dit inefficiënt is. Het is alsof je een horloge probeert te repareren met een sloophamer. Je kunt het wel doen, maar je breekt misschien het horloge, of het duurt twee keer zo lang.

De Oplossing: Een Tweestaps "Custom Tool" Fabriek

Het artikel introduceert een nieuw framework om deze aangepaste neuronen te bouwen. Denk aan een fabriek die het perfecte gereedschap voor een specifieke taak ontwerpt voordat je zelfs maar begint met het bouwen van de machine.

Stap 1: De Detective (Vectorized Symbolic Regression)

Eerst fungeert het systeem als een detective die naar de data kijkt om het verborgen "recept" of patroon te vinden.

De Analogie: Stel je voor dat je probeert het geheime recept van een soep te raden. Je proeft de ingrediënten (data) en probeert de exacte formule op te schrijven.
De Innovatie: Normaal gesproken is het proberen te vinden van deze formule traag en rommelig, vooral als je honderden ingrediënten hebt (hoog-dimensionale data). De auteurs hebben een methode uitgevonden genaamd VSR (Vectorized Symbolic Regression).
Hoe het werkt: In plaats van het recept voor elk ingrediënt afzonderlijk te raden, gaat VSR ervan uit dat alle ingrediënten volgens dezelfde soort regel werken. Het groepeert ze en lost het puzzelstuk veel sneller op. Het vindt de wiskundige "vorm" van het probleem. Het kan bijvoorbeeld beseffen: "Oh, dit specifieke probleem is geen rechte lijn; het is eigenlijk een curve die lijkt op een parabool."

Stap 2: De Bouwer (Parameterizing the Formula)

Zodra de detective de formule heeft gevonden, neemt de bouwer die formule en verandert die in een werkende neuron.

De Analogie: De detective heeft het ontwerp gevonden voor een aangepaste moersleutel. De bouwer neemt dat ontwerp en bouwt de moersleutel, maar laat de handgreep verstelbaar zodat deze later strakker of losser kan worden gemaakt.
Het Resultaat: Deze nieuwe neuron is niet langer een generieke "aan/uit"-schakelaar. Het is een gespecialiseerd gereedschap dat precies weet hoe het de specifieke data moet afhandelen waarvoor het is ontworpen.

Waarom Dit Er Toe Doet: De "Specialist" vs. De "Generalist"

Het artikel testte dit idee op echte problemen, zoals het voorspellen van de grootte van asteroïden en het analyseren van botsingen van deeltjes.

Het Resultaat: De "Taakgebaseerde Netwerken" (bestaande uit deze aangepaste neuronen) presteerden beter dan de standaard netwerken, zelfs toen ze kleiner waren en minder computerbronnen gebruikten.
De Kernboodschap: Een netwerk gebouwd met specialisten (aangepaste neuronen) kan een probleem oplossen met een lichtere, simpelere structuur dan een netwerk gebouwd met generalisten (standaard neuronen). Het is als het hebben van een team van gespecialiseerde chirurgen versus een team van huisartsen; voor een specifieke operatie doen de experts het werk sneller en met minder risico.

Wat Betreft Afbeeldingen? (De "Compressie" Truc)

De auteurs hebben dit ook geprobeerd op afbeeldingen (zoals foto's). Je kunt niet direct een aangepaste formule uitvoeren op een foto met miljoens pixels; dat zou te traag zijn.

De Analogie: Stel je voor dat je een hele stad probeert te beschrijven door elke individuele baksteen in elk gebouw op te sommen. Dat is onmogelijk. In plaats daarvan neem je eerst een foto van de stad en verklein je deze tot een kleine, gedetailleerde kaart (een "latent vector").
Het Proces: Ze gebruikten een "autoencoder" (een hulpmiddel dat afbeeldingen comprimeert tot een korte samenvatting) om de foto om te zetten in een kleine lijst met getallen. Daarna gebruikten ze hun "Detective" (VSR) om de beste formule voor die kleine lijst te vinden. Ten slotte zetten ze die formule om in een speciale filter voor de afbeelding.
De Uitkomst: Zelfs bij complexe beeldtaken presteerden deze aangepaste filters beter dan de standaard versies, vooral bij de moeilijkste delen van het probleem (de "slechtst presterende" klassen van afbeeldingen).

Samenvatting: De Mythe van "One-Size-Fits-All" is Voorbij

Het artikel concludeert dat het tijdperk van "one-size-fits-all" neuronen ten einde loopt.

De Oude Manier: Bouw een enorm, complex netwerk met dezelfde basissteen voor alles, in de hoop dat het groot genoeg is om het probleem op te lossen.
De Nieuwe Manier: Kijk eerst naar het probleem, ontwerp een aangepaste steen die perfect bij dat specifieke probleem past, en bouw een kleiner, efficiënter netwerk met die aangepaste stenen.

De auteurs hebben hun code gedeeld, in een uitnodiging aan anderen om te stoppen met het gebruik van dezelfde hamer voor elke klus en te beginnen met het ontwerpen van het juiste gereedschap voor de taak.

Technische Samenvatting: Geen One-Size-Fits-All Neuronen: Taakgebaseerde Neuronen voor Artificiële Neurale Netwerken

Probleemstelling
Huidig diep leeronderzoek richt zich voornamelijk op het ontwerpen van nieuwe netwerkarchitecturen (bijv. shortcuts, Neural Architecture Search), terwijl er bijna uitsluitend gebruik wordt gemaakt van één homogeen type neuron: het lineaire neuron (een inwendig product gevolgd door een niet-lineaire activatie). Deze aanpak contrasteert met de biologische realiteit, waarbij het menselijk brein aanzienlijke neuronale diversiteit vertoont en vertrouwt op "taakgebaseerde" neuronen in plaats van een universeel type. Hoewel recente studies specifieke niet-lineaire neuronen hebben geïntroduceerd (bijv. kwadratische of polynomiale), blijven dit vaste ontwerpen die niet optimaal kunnen zijn voor alle taken. Het artikel stelt dat er geen "one-size-fits-all" neuron bestaat en dat het vakgebied moet verschuiven van het ontwerpen van taakgebaseerde architecturen naar het ontwerpen van taakgebaseerde neuronen die beschikken over een intrinsieke inductieve bias die specifiek is voor de aanwezige data.

Methodologie
De auteurs stellen een tweestaps-framework voor om taakgebaseerde neuronen te prototypen, gecentreerd rond Vectorized Symbolic Regression (VSR):

Vectorized Symbolic Regression (VSR):
- Doel: Om optimale analytische formules te identificeren die de inputdata fitten door gebruik te maken van een vooraf gedefinieerde ruimte van basisfuncties (bijv. polynomen, trigonometrische functies).
- Mechanisme: In tegenstelling tot traditionele Symbolic Regression (SR), die vaak heterogene formules voor verschillende variabelen oplevert, dwingt VSR homogeniteit af. Het stapelt alle inputvariabelen in een vector en reguleert elke variabele om dezelfde berekening uit te voeren.
- Operatoren: De zoekruimte bevat vector-operatoren (Hadamard-product, inwendig product) en scalaire operatoren (+, −, ×, ÷) toegepast elementgewijs.
- Zoekalgoritme: Het framework maakt gebruik van Genetic Programming (GP) met mutatie, crossover en selectie om expressietrees te evolueren. De output is een wiskundige formule die een basispatroon in de data vertegenwoordigt.
- Voordelen: VSR pakt de computationele inefficiëntie van traditionele SR in hoge dimensies aan, maakt parallelle berekeningen mogelijk (cruciaal voor GPU-acceleratie) en reduceert de complexiteit van de zoekruimte naar $O(d)$ parameters.
Neuron Parameterisatie en Netwerkintegratie:
- Herparameterisatie: De vaste constanten in de door VSR ontdekte formule worden vervangen door leerbare parameters. Dit transformeert de statische formule in een dynamische aggregatiefunctie voor een neuron.
- Activatiefuncties: Standaard activatiefuncties (bijv. ReLU, Sigmoid) worden behouden en gekoppeld aan de geaggregeerde output, aangezien deze bewezen effectief zijn.
- Architectuuradaptatie:
  - Fully Connected Networks: De geleerde formule wordt uitgebreid naar polynomiale termen (bijv. $x, x \odot x, x \odot x \odot x$ ), elk vermenigvuldigd met een leerbare gewichtsmatrix.
  - Convolutional Networks: Voor afbeeldingen reduceert een autoencoder eerst de dimensionaliteit. De VSR-formule wordt vervolgens toegepast op latente vectoren, en de resulterende termen worden omgezet in leerbare convolutiekernels.
- Theoretische Basis: Het artikel presenteert een stelling (Theorem 1) die suggereert dat als een single-layer netwerk met taakgebaseerde neuronen een lagere optimale fout ( $\|e^*_1\|$ ) bereikt dan een generiek neuron, een dieper netwerk bestaande uit deze neuronen ( $\|e^*_l\|$ ) ook een lagere fout zal bereiken, mits de architectuur consistent is.

Belangrijkste Bijdragen

Taakgebaseerd Neuron Framework: Een nieuw pad voor NeuroAI dat neuronen ontwerpt op basis van de specifieke taak in plaats van een universele architectuur. Dit introduceert een nieuwe dimensie in het ontwerp van deep learning-modellen.
Vectorized Symbolic Regression (VSR): De eerste toepassing van symbolic regression bij het ontwerp van deep learning-neuronen. VSR lost de schaalbaarheidsproblemen van traditionele SR in hoog-dimensionale ruimtes op en faciliteert parallel computing.
Empirische Validatie: Systematische experimenten over synthetische data, publieke benchmarks en real-world toepassingen tonen aan dat taakgebaseerde neuronen en de bijbehorende netwerken beter presteren dan vooraf ingestelde neuronen en state-of-the-art modellen.

Resultaten

Synthetische Data: VSR slaagde erin de grondwaarheid (ground-truth) polynomiale formules te herstellen uit ruisige data. Taakgebaseerde netwerken (TN) bereikten een significant lagere Mean Squared Error (MSE) dan Lineaire Netwerken (LN), zelfs met minder parameters en minder diepte.
Tabulaire Data: Op real-world datasets (High-energy Particle Collision en Asteroid Prediction) presteerde TN beter dan geavanceerde modellen zoals XGBoost, LightGBM, CatBoost, TabNet en diverse Transformer-gebaseerde tabulaire modellen (TabTransformer, FT-Transformer). TN behaalde de beste prestaties op beide datasets met minimale capaciteit (single-layer varianten).
Vergelijking met KANs: TN vertoonde superieure of zeer competitieve prestaties ten opzien van Kolmogorov-Arnold Networks (KAN) en varianten daarvan (ChebyKAN, FourierKAN, FastKAN) over 16 regressie- en classificatiedatasets, vaak met minder parameters en FLOPs.
Beeldgegevens: Bij toepassing op de 20 slechtst presterende klassen van ImageNet met MobileNet-V2, ResNet-18 en ViT-B-32 backbones, presteerde TN consequent beter dan conventionele neuronen, waarbij een hogere Top-1 accuratesse werd bereikt met minder parameters.
Schaalbaarheid: Experimenten toonden aan dat terwijl traditionele SR moeite heeft met dimensies boven de 80, VSR robuuste prestaties behoudt en effectief schaalt tot 400 dimensies, waarbij het SR in hoog-dimensionale regimes overtreft.
Ablatie: Vergelijkingen met neuronen die willekeurige polynomen gebruiken, bevestigden dat de via VSR geleerde formules niet arbitrair zijn, maar essentiële datapatronen vastleggen.

Betekenis en Claims
Het artikel claimt dat het voorgestelde framework een belangrijke stap vormt richting NeuroAI door neuronale diversiteit te introduceren in artificiële netwerken. Het voert aan dat:

Efficiëntie: Taakgebaseerde neuronen een hoge prestatie kunnen leveren met minder diepe netwerken en minder parameters vergeleken met generieke neuronen, wat suggereert dat de "diepte" van een netwerk kan worden geruild voor "neuronale expressiviteit".
Aanpasbaarheid: De methode is flexibel; hoewel de initiële experimenten polynomen gebruikten, kan het framework worden uitgebreid naar andere basisfuncties (bijv. trigonometrische functies) om specifieke fysieke of signaalverwerkingstaken te ondersteunen.
Haalbaarheid: De aanpak is computationeel haalbaar, waarbij VSR betrouwbaar convergeert en de inferentietijden van TN vergelijkbaar zijn met die van lineaire netwerken.
Toekomstig Potentieel: De auteurs suggereren dat taakgebaseerde neuronen kunnen worden geïntegreerd in architecturen die worden ontdekt door Neural Architecture Search (NAS), wat een synergetisch pad biedt voor toekomstig AutoML-onderzoek.

Het artikel behoudt een bescheiden toon en erkent dat, hoewel de resultaten veelbelovend zijn, het VSR-proces verdere optimalisatie vereist voor snelheid en dat de selectie van basisfuncties in toekomstig werk breder geautomatiseerd kan worden. Het claimt niet alle deep learning-uitdagingen op te lossen, maar biedt een levensvatbaar alternatief voor het huidige paradigma van homogene neuronen.