Technische Samenvatting: Leren van Compositional Latente Structuur met Vectornetwerken

Probleemstelling

Moderne diepe netwerken vertrouwen doorgaans op een gedeelde, dichte parameterbasis om diverse berekeningen te implementeren. Via foutbackpropagatie worden onderscheiden kenmerken, vaardigheden en gedragingen gecodeerd in overlappende richtingen van dezelfde gewichtsmatrices, een fenomeen dat de auteurs gewichtverstrengeling noemen. In dit regime leiden verbeteringen voor één gedrag vaak onbedoeld tot effecten op anderen, omdat gradiënten bij de output worden geaggregeerd en door alle lagen worden gepropageerd. Bijgevolg ontbreken standaardnetwerken "adresbare verantwoordelijkheid" in de gewichtsruimte: ze slaan geleerde componenten niet op als persistente, herbruikbare objecten die geïsoleerd, gecombineerd of onafhankelijk kunnen worden bijgewerkt. Hoewel post-hoc interpretabiliteitsmethoden soms functionele circuits kunnen identificeren, dwingt de architectuur zelf geen decompositie af in herbruikbare eenheden. Deze beperking hindert compositional generalisatie, waarbij een systeem bekende factoren moet hercombineren tot nieuwe configuraties zonder opnieuw te trainen. Bestaande benaderingen zoals Mixture-of-Experts of object-gerichte modellen introduceren routing of modulariteit, maar werken vaak via feedforward-routing over dichte modules of maken per-stichproef verantwoordelijkheid niet expliciet in de gewichtsruimte zelf.

Methodologie: Het Vectornetwerk (VN)

De Vectornetwerk (VN)-architectuur adresseert deze beperkingen door vaste, dichte gewichtsmatrices te vervangen door een bibliotheek van herbruikbare rang-1 gewichtsatomen. Het kernmechanisme omvat een tweefasenproces: snelle inferentie om stichproefspecifieke transformaties samen te stellen, en langzaam leren om de onderliggende dictionary bij te werken.

1. Architectuur en Rang-1 Atomen

Elke laag $l$ in een VN wordt niet geparametriseerd door één enkele matrix $W$, maar door een dictionary van $K_l$ rang-1 gewichtsatomen. Elk atoom $i$ wordt gedefinieerd door een paar geleerde codevectoren: een inputvector $s_{l,i}$ en een outputvector $u_{l,i}$. Samen vormen ze een rang-1 operator:
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
Voor een gegeven input $x_l$ inferent het netwerk een sparse set van coëfficiënten $g_l$ (waarbij $g_{l,i}$ de bijdrage van atoom $i$ schaalt). De effectieve, stichproefspecifieke gewichtsmatrix $W^*_l(x_l)$ wordt gesynthetiseerd als een lineaire combinatie van deze atomen:
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
Dit stelt het netwerk in staat om voor elke stichproef een op maat gemaakte transformatie samen te stellen met behulp van een kleine subset van de gedeelde dictionary, in plaats van een monolithische vaste matrix toe te passen.

2. Snelle Inferentie via Energie-minimalisatie

Voor elke stichproef voert het VN snelle inferentie uit om de sparse coëfficiënten $g_l$ te bepalen. Dit wordt bereikt door een lokaal energiefunctie $E_l$ te minimaliseren die drie termen in evenwicht brengt:

1. Inputreconstructie: Minimaliseren van de fout tussen de input $x_l$ en de reconstructie $S_l g_l$ (waarbij $S_l$ de input-zijde codevectoren bevat).
2. Top-down consistentie: Minimaliseren van de fout tussen het top-down doel $h_{l,target}$ (geleverd door de laag erboven) en het interface-bericht $U_l g_l$ (waarbij $U_l$ de output-zijde codevectoren bevat).
3. Sparsiteit: Een $\ell_1$-straf $\lambda_l \|g_l\|_1$ om een sparse actieve set af te dwingen.

De inferentie verloopt via iteratieve opwaartse en neerwaartse scans (gelijkend aan een encoder-decoder settle) met behulp van proximaal-gradiëntstappen (ISTA/FISTA-stijl). Het proces convergeert naar een vast punt met sparsiteit waarbij slechts enkele atomen actief zijn. De bovenste laag kan bovendien een harde top-$k$-beperking afdwingen.

3. Langzaam Leren: Atomic-Hebb-bijwerkingen

Zodra de snelle inferentie convergeert, worden de gewichtsatomen bijgewerkt via langzaam leren. Cruciaal worden bijwerkingen alleen toegepast op de atomen met niet-nul coëfficiënten ($g^*_{l,i} \neq 0$). De update-regel, genaamd Atomic-Hebb, is een lokale residu-update geschaald naar de geïnfereerde verantwoordelijkheid:
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
waarbij $r^x_l$ en $r^h_l$ respectievelijk de reconstructie- en top-down-residuen zijn. Theoretische analyse (via Danskin's Theorem) bewijst dat deze lokale updates exact equivalent zijn aan de impliciete gradiënten van de globale vrije energie, ondanks dat het inferentieproces als een black box wordt behandeld. Dit zorgt ervoor dat credit-toewijzing gelokaliseerd blijft tot de specifieke gewichtsatomen die verantwoordelijk zijn voor de huidige verklaring, waardoor de diffuse gewichtverstrengeling die voorkomt bij standaard backpropagatie wordt voorkomen.

Belangrijkste Bijdragen

1. Rang-1 Gewichtsatomen als Bouwstenen: De auteurs stellen een hiërarchisch recurrente architectuur voor waarbij lagen zijn samengesteld uit herbruikbare rang-1 atomen, waardoor netwerkfuncties adresseerbaar, inspecteerbaar en compositabel worden.
2. Inferentie-gedefinieerde Effectieve Gewichten: De effectieve gewichtsmatrix voor een stichproef is niet vast, maar wordt geïnfereerd via energie-minimalisatie over sparse coëfficiënten. Dit scheidt de snelle selectie van componenten van het langzame leren van de dictionary.
3. Atomic-Hebb-leerregel: Een leerregel die alleen de geselecteerde gewichtsatomen bijwerkt met behulp van lokale residusignalen die zijn geschaald naar de geïnfereerde coëfficiënten. Dit beperkt de overlap tussen ongerelateerde updates en behoudt de herbruikbaarheid van geleerde componenten.
4. Structurele Beperking van Gewichts-update-overlap: Door updates te beperken tot de sparse actieve set, beperkt de architectuur structureel gewichtverstrengeling, waardoor het leren van één gedrag niet noodzakelijk andere gedragingen degradeert.

Experimentele Resultaten

De auteurs evalueren VN op vier benchmarks die zich uitstrekken over 1D-signalen, 2D-ruimtelijke decoding, N-lichaamsdynamica en compositional MNIST. In alle gevallen worden modellen getraind in-distributie (ID) en getest op out-of-distributie (OOD) gevallen die nieuwe combinaties van bekende factoren omvatten.

• Ruimtelijke Compositie: In een taak die reconstructie vereist van Gaussische bulten op ongezette posities, vertoonden standaard CNN's en VAE's aanzienlijke OOD-fouten. VN handhaafde een uniform lage fout over het ruimtelijke domein en presteerde beter dan zowel dichte baselines als hand-gescheiden decoders.
• Functiecompositie: Op 1D-signaalreconstructie en gemaskerde voorspellingstaken die sommen en geneste composities van sinus-, cosinus-, polynoom- en Gaussische functies omvatten, toonde VN superieure stabiliteit. Hoewel sterke sequentiemodellen (Transformers, Mamba) goed presteerden op ID en eenvoudige OOD-reconstructie, degradeerden ze aanzienlijk op gemaskerde voorspellingstaken die het herstel van herbruikbare structuur vereisten. VN behaalde het duidelijkste voordeel in deze strengere tests.
• N-lichaamsdynamica: In een fysicabenchmark met gemengde krachtvelden (zwaartekracht, weerstand, Lorentz, veer) en variërende aantallen lichamen, handhaafde VN een lage fout onder complexe OOD-verschuivingen (meerdere krachten, verminderde aantallen lichamen). Baselines zoals MLP's, GNN's en Transformers vertoonden grote fouttoenames wanneer krachten werden gecombineerd of het aantal lichamen veranderde, terwijl VN robuust bleef.
• Beeldcompositie: Op MNIST-cijferreconstructie en dynamische transformatietaken (Rotatie/Translatie/Schaaling) presteerde VN aanzienlijk beter dan auto-encoders in OOD-omgevingen die additieve mengsels, max-projecties en complexe transformatiecomposities omvatten. Het voordeel was ongeveer een orde van grootte in de sterkste OOD-omstandigheden.

Over alle benchmarks heen matchte VN sterke baselines op ID-prestaties, maar behaalde substantieel lagere OOD-fouten (vaak met een orde van grootte) wanneer bekende factoren op nieuwe manieren moesten worden hercombinatie.

Betekenis en Claims

Het artikel stelt dat Vectornetwerken compositional generalisatie maken tot een structurele eigenschap van de architectuur en het inferentieproces, in plaats van een breekbaar neveneffect van het passen van veel gedragingen in een gedeelde dichte basis.

• Expliciete Verantwoordelijkheid in de Gewichtsruimte: In tegenstelling tot standaardnetwerken waar verantwoordelijkheid impliciet en verstrengeld is, infereert VN expliciet welke gewichtsatomen verantwoordelijk zijn voor een stichproef voordat ze worden bijgewerkt. Deze "snelle-hercombinatie / langzame-opslag"-split lokaliseert plasticiteit.
• Compositie op Mechanismeniveau: De resultaten suggereren dat VN herbruikbare componenten op mechanismeniveau leert (bijvoorbeeld specifieke krachtwetten of ruimtelijke factoren) die kunnen worden hercombinatie om nieuwe inputs te verklaren, in plaats van louter te interpoleren binnen de trainingsdistributie.
• Efficiëntie en Schaalbaarheid: De auteurs suggereren dat zodra een bibliotheek van latente factoren is geleerd, nieuwe inputs kunnen worden verwerkt door hercombinatie, wat een natuurlijke route biedt naar verbeterde data-efficiëntie, met name in de "lange staart" van ongeziene combinaties.
• Beperkingen: Het artikel erkent dat de huidige implementatie afhankelijk is van recurrente sparse inferentie, wat trager is dan een enkele feedforward-passage. De auteurs merken op dat deze inferentie in toekomstig werk mogelijk kan worden benaderd door geleerde feedforward-updates, maar dat de huidige vorm prioriteit geeft aan interpreteerbaarheid en modulariteit.

Kortom, het Vectornetwerk stelt een verschuiving voor van state-routing (zoals in Transformers) naar verantwoordelijkheid in de gewichtsruimte, waarbij berekening eerst sparse verantwoordelijkheid infereert over herbruikbare gewichtcomponenten, en leren vervolgens selectief optreedt op die geïnfereerde structuur. Deze aanpak beoogt het probleem van gewichtverstrengeling op te lossen en robuuste generalisatie naar nieuwe composities van bekende factoren mogelijk te maken.