🧬 biology

Signal-to-Noise Ratio and Sample Size Govern Representational Alignment in Neural Networks

Dit artikel toont aan dat de representatieve alignering over neurale netwerken heen op een niet-monotoon manier wordt beheerst door het signaal-ruisverhouding en de steekproefgrootte, waarbij met name een geminimaliseerde alignering nabij de interpolatiedrempel wordt aangetoond, een fenomeen dat losstaat van de generalisatieprestaties.

Oorspronkelijke auteurs: Ali Hussaini Umar, Alessandro Laio

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Hussaini Umar, Alessandro Laio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Idee: Leren Verschillende Studenten Op Dezelfde Manier?

Stel je een klas met studenten (neurale netwerken) voor die allemaal proberen hetzelfde onderwerp te leren (zoals wiskunde of het herkennen van katten op foto's). Je geeft elke student een lichtelijk ander lesboek (trainingsdata) en laat ze zelfstandig studeren.

Normaal gesproken gaan we ervan uit dat als twee studenten dezelfde toetsscore halen, ze het materiaal op dezelfde manier hebben geleerd. Maar dit artikel stelt een diepere vraag: Zelfs als ze dezelfde score halen, zien ze de wereld dan echt op dezelfde manier in hun hoofd?

De onderzoekers ontdekten dat het antwoord nee is. Twee studenten kunnen de toets perfect halen, maar toch volledig verschillende mentale kaarten van het onderwerp hebben. Bovendien veranderen de kwaliteit van hun lesboeken (hoe helder de informatie is) en de grootte van hun lesboeken (hoeveel voorbeelden ze bestuderen) hoe ze hun denken op elkaar afstemmen, maar niet altijd op de manier die je zou verwachten.

De Hulpmiddelen: Het Meten van "Mentale Gelijkenis"

Om uit te zoeken of twee studenten op dezelfde manier denken, hadden de onderzoekers een speciale liniaal nodig. Standaardlinialen (zoals het controleren of twee kaarten er hetzelfde uitzien) werkten niet goed, omdat de interne kaarten van de studenten gebogen en gedraaid waren als een achtbaan, en niet plat als een stuk papier.

In plaats daarvan gebruikten ze een hulpmiddel genaamd Conditionele Copula-entropie (CCE).

De Analogie: Stel je voor dat Student A een kaart van een stad heeft. Als je tegen Student A zegt: "Ik sta precies naast de bibliotheek", kan Student B dan raden waar je bent?
- Als Student B dit makkelijk kan raden, zijn hun kaarten op elkaar afgestemd (ze zien de buurtstructuur op dezelfde manier).
- Als Student B volledig verdwaald is, zijn hun kaarten niet op elkaar afgestemd.
De onderzoekers maten hoe goed de "buurt"-voorspellingen van de ene student overeenkwamen met die van de andere.

De Twee Belangrijkste Factoren

Het artikel testte twee dingen die veranderen hoe deze studenten leren:

1. Signaal-Ruisverhouding (SNR): "De Duidelijkheid van het Lesboek"

De Analogie: Stel je voor dat je voor een toets studeert.
- Hoge SNR: Het lesboek is helder, de leraar spreekt luid en er is geen achtergrondlawaai.
- Lage SNR: Het lesboek is wazig, de leraar mompelt en er is bouwlawaai buiten.
De Bevinding: Wanneer het "lesboek" helderder is (Hoge SNR), worden de interne kaarten van de studenten meer op elkaar gelijkend. Ze zijn het allemaal eens over hoe de buurt eruitziet. Wanneer het lawaai hoog is, worden hun interne kaarten chaotisch en verschillend van elkaar.

2. Steekproefgrootte: "De Grootte van het Lesboek"

De Analogie: Hoeveel pagina's met voorbeelden bestudeert de student?
- Te weinig pagina's: Ze hebben niet genoeg voorbeelden gezien om een stevig oordeel te vormen.
- Precies genoeg pagina's: Ze hebben precies genoeg om de antwoorden perfect te onthouden.
- Te veel pagina's: Ze hebben zoveel voorbeelden gezien dat ze patronen gaan vinden die er zelfs niet zijn.
De Bevinding: Hier wordt het raar. De afstemming van hun denken gaat niet in een rechte lijn omhoog en omlaag.
- Het daalt tot het laagste punt precies op het moment dat de student net genoeg data heeft om de trainingsset perfect te onthouden (de "interpolatiedrempel").
- Op dit exacte moment zijn, zelfs als de studenten perfecte scores halen op de oefentoets, hun interne kaarten volledig verschillend van elkaar. Ze onthouden allemaal de antwoorden op hun eigen unieke, chaotische manier.
- Zodra ze meer dan dat bestuderen (overparameteriseerd), beginnen hun kaarten weer op elkaar te lijken.

De Verrassende Draai: Goede Cijfers $\neq$ Goed Denken

De belangrijkste ontdekking is dat een goed cijfer halen niet betekent dat je een goed begrip hebt.

Het Scenario: De onderzoekers vergeleken een "Lineair Netwerk" (een simpele student) en een "Niet-lineair Netwerk" (een complexe, creatieve student).
Het Resultaat: De simpele student behaalde betere toetsscores (lagere fout). Echter, de complexe student had betere, meer gestructureerde interne kaarten.
De Conclusie: De complexe student leerde een rijker, informatiever manier om de data te zien, zelfs al maakte hij meer fouten op de eindexamens.
De Waarschuwing: Als je alleen kijkt naar toetsscores (generalisatiefout), denk je misschien dat de simpele student "slimmer" is of een beter model heeft. Maar in werkelijkheid heeft de complexe student een nuttigere interne representatie van de wereld.

Samenvatting in Gewone Taal

Afstemming: Neuraal netwerken die op verschillende data zijn getraind, eindigen vaak met vergelijkbare interne "kaarten" van de wereld.
Duidelijkheid telt: Hoe duidelijker de data (minder ruis), hoe meer deze kaarten op elkaar gaan lijken.
Hoeveelheid is lastig: De grootte van de dataset verandert de afstemming in een "U-vorm". De kaarten zijn het meest verschillend (minst op elkaar afgestemd) precies op het moment dat het netwerk net groot genoeg is om de trainingsdata perfect te onthouden.
Prestatie is een slechte maatstaf: Een netwerk kan een hogere toetsscore halen, maar toch een "dommere" of minder informatieve interne kaart hebben dan een netwerk met een lagere score. Je kunt de kwaliteit van het interne denken van een netwerk niet alleen beoordelen door naar de toetsscores te kijken.

Het artikel concludeert dat we om echt te begrijpen hoe AI leert, naar binnen in de "hersenen" (de representaties) moeten kijken, en niet alleen naar de eindexamenscore.

Technische Samenvatting: Signaal-ruisverhouding en Steekproefomvang Beheersen Representatieve Alignering in Neuronale Netwerken

Probleemstelling

Diep leermodellen die onafhankelijk worden getraind, convergeren vaak naar structureel vergelijkbare interne representaties, een fenomeen dat bekendstaat als representatieve alignering. Hoewel empirisch bewijs voor deze "Platonische Representatiehypothese" robuust is, blijven de theoretische mechanismen die dit beheersen onduidelijk. Specifiek blijven fundamentele vragen bestaan over:

Hoe alignering afhankelijk is van de kwaliteit (ruisniveaus) en hoeveelheid (steekproefomvang) van trainingsdata.
Of de mechanismen die alignering aandrijven verschillen tussen ondergeparametriseerde en overgeparametriseerde regimes.
Of representatieve alignering een betrouwbare voorspeller is van modelkwaliteit (generalisatiefout).

Bestaande studies kwantificeren alignering voornamelijk met hulpmiddelen zoals Representational Similarity Analysis (RSA), Singular Vector Canonical Correlation Analysis (SVCCA) en Centered Kernel Alignment (CKA). Deze metrieken gaan echter vaak uit van lineaire correspondenties en kunnen ongeschikt zijn voor representaties die liggen op sterk gekromde, niet-lineaire variëteiten. Bovendien is het onduidelijk of betere generalisatieprestaties noodzakelijkerwijs meer gealigneerde interne representaties impliceren.

Methodologie

Theoretisch Kader en Metriek

De auteurs stellen een nieuwe statistische maatstaf voor alignering voor, genaamd Conditionele Copula-entropie (CCE). In tegenstelling tot symmetrische maatstaven (zoals CKA) is CCE asymmetrisch en kwantificeert het hoe goed de buurtstructuur van de ene representatie de buurtstructuur van de andere voorspelt.

Definitie: CCE is afgeleid van de Informatie-ongelijkheid (II) en gedefinieerd als de negatieve conditionele entropie van copulavariabelen: $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$ .
Redenering: Het vangt lokale representatieve alignering door de reductie in onzekerheid over afstanden in ruimte $B$ te meten, gegeven dat punten infinitesimaal dicht bij elkaar liggen in ruimte $A$ .
Analytische Hanterbaarheid: Cruciaal is dat CCE voor een-dimensionale projecties van Gaussische vectoren een gesloten vorm toestaat die afhankelijk is van de correlatiecoëfficiënt $\rho$ : $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$ .

Experimentele Opzet

De studie hanteert een meerlagige aanpak om de theorie te valideren:

Lineaire Leraar-Leerling Setting (Analytisch):
- Model: Een tweelaags diep lineair netwerk getraind via gradiëntafstijging op een ruisbeïnvloede lineaire regressietask ( $y = w^* \cdot x + \epsilon$ ).
- Protocol: Twee identieke studentnetwerken worden onafhankelijk getraind op onafhankelijke datasets getrokken uit dezelfde leraardistributie.
- Analyse: De auteurs leiden de asymptotische correlatie ( $\rho^*$ ) af tussen de verborgen representaties van de twee netwerken bij het globale minimum. Dit maakt de analytische berekening van CCE mogelijk als functie van de Signaal-ruisverhouding (SNR) en de verhouding tussen trainingssteekproeven en invoerdimensie ( $\alpha = n/d$ ).
Niet-lineaire Simulaties (Numeriek):
- Model: Tweelaagse netwerken met ReLU-activatiefuncties.
- Task: Dezelfde synthetische regressietask als in de lineaire setting.
- Vergelijking: Directe vergelijking van alignering en generalisatiefout tussen lineaire en ReLU-netwerken getraind op dezelfde data.
Real-world Classificatie:
- Datasets: CIFAR-10 (met een CNN) en MNIST (met een Volledig Verbonden Neuraal Netwerk).
- Protocol: Netwerken worden getraind op onafhankelijke subsets van data met variërende niveaus van labelruis (werkend als inverse SNR).
- Metriek: CCE wordt berekend tussen de representaties van de voorlaatste laag.

Belangrijkste Bijdragen

Theoretische Afleiding: Het artikel vestigt een theoretisch kader voor het analyseren van representatieve alignering in diepe lineaire netwerken, waarbij gesloten vormen voor CCE worden afgeleid op basis van de correlatie van geleerde gewichten.
Beheersende Factoren: De auteurs tonen aan dat alignering wordt beheerst door twee primaire factoren:
- Signaal-ruisverhouding (SNR): Alignering neemt monotoon toe met SNR in alle regimes (lineair en niet-lineair, regressie en classificatie).
- Steekproefomvang: Alignering varieert niet-monotoon met de trainingssteekproefomvang. Het bereikt een minimum nabij de interpolatiedrempel ( $n \approx d$ of $n \approx p$ ), wat de "dubbele daling"-gedraging weerspiegelt die wordt waargenomen in generalisatiefout.
Ontkoppeling van Alignering en Generalisatie: De studie levert bewijs dat hoge generalisatieprestaties niet noodzakelijkerwijs hoge representatieve alignering impliceren.
- In het ondergeparametriseerde regime kunnen netwerken met verschillende SNR's identieke generalisatiefouten bereiken maar verschillende graden van alignering vertonen.
- In het overgeparametriseerde regime kunnen netwerken met lagere SNR (betere generalisatie) minder gealigneerde representaties hebben dan die met hogere SNR.
Informativiteit versus Prestatie: Het artikel toont aan dat een netwerk hogere taskprestaties kan behalen terwijl het minder informatieve interne representaties leert dan een netwerk met lagere prestaties. Dit benadrukt dat taskprestatie een ontoereikende proxy is voor representatiekwaliteit.

Resultaten

Lineaire Netwerken

Generalisatiefout: Vertoont de karakteristieke dubbele daling-curve, met een piek bij de interpolatiedrempel ( $\alpha = 1$ ).
Alignering (CCE): Vertoont eveneens een niet-monotoon afhankelijkheid van steekproefomvang, met een minimum (bijna nul alignering) bij de interpolatiedrempel.
SNR-afhankelijkheid: Hogere SNR leidt consequent tot sterkere alignering. Opmerkelijk is dat in het ondergeparametriseerde regime ( $\alpha > 1$ ), verschillende SNR's dezelfde generalisatiefout opleveren maar verschillende aligneringsniveaus.

Niet-lineaire Netwerken (ReLU)

Kwalitatieve Similariteit: Het gedrag van CCE en generalisatiefout in ReLU-netwerken weerspiegelt kwalitatief het lineaire geval: niet-monotoon afhankelijkheid van steekproefomvang met een minimum nabij de interpolatiedrempel, en monotoon verbetering met SNR.
Kwantitatieve Verschillen: In tegenstelling tot het lineaire geval divergeert de generalisatiefout niet bij de interpolatiedrempel, en collapseert CCE niet tot nul. In plaats daarvan convergeert het naar een SNR-afhankelijke waarde, wat suggereert dat zelfs bij de drempel niet-lineaire netwerken enige gedeelde informatie behouden.
Vergelijking Lineair versus ReLU: Wanneer getraind op dezelfde dataset, bereikt het lineaire netwerk een lagere generalisatiefout (dichter bij de Bayes-optimale leraar voor dit lineaire probleem) maar leert het minder informatieve representaties (lagere CCE) in vergelijking met het ReLU-netwerk. Het ReLU-netwerk, ondanks hogere fout, vangt rijkere structurele informatie.

Real-world Data (CIFAR-10, MNIST)

Labelruis: Het introduceren van labelruis (inverse SNR) verhoogt de generalisatiefout en vermindert representatieve alignering.
Steekproefomvang: De niet-monotone relatie tussen steekproefomvang en alignering blijft gelden, met een minimum nabij de interpolatiedrempel.
Consistentie: De bevindingen strekken zich uit van synthetische lineaire settings tot complexe, real-world classificatietasks met standaardarchitecturen.

Betekenis en Aanspraken

Het artikel claimt een niet-triviale afhankelijkheid van alignering van datakwaliteit en -hoeveelheid te bieden, die is ontkoppeld van generalisatieprestatie. Door CCE in te voeren, bieden de auteurs een metriek die in staat is om alignering op sterk gekromde variëteiten te vangen, waar traditionele lineaire maatstaven (CKA, SVCCA) kunnen falen of schijnbare similariteiten rapporteren.

De kernbetekenis ligt in het uitdagen van de aanname dat betere taskprestatie gelijkstaat aan betere of meer gealigneerde interne representaties. De auteurs betogen dat:

Taskprestatie een ontoereikende proxy is voor representatiekwaliteit. Een netwerk kan een ander in een specifieke task overtreffen, maar toch minder gestructureerde of informatieve interne representaties coderen.
Alignering geen universele indicator is van "goed" leren. De mechanismen die alignering aandrijven (SNR, steekproefomvang) werken onafhankelijk van de mechanismen die generalisatiefout aandrijven in bepaalde regimes.

Deze bevindingen dragen bij aan het opbouwen van een principiële theorie van representatieleren door specifieke voorwaarden (SNR en steekproefomvang relatief tot dimensionaliteit) te identificeren waaronder onafhankelijk getrainde netwerken convergeren naar vergelijkbaar gestructureerde interne representaties. Het werk suggereert dat de "Platonische" convergentie van representaties niet gegarandeerd is, maar strikt wordt beheerst door de statistische eigenschappen van de data en het trainingsregime.