Technische Samenvatting: Compositionaliteit Emergent in een Nauw Diepte–Connectiviteitsregime

Probleemstelling

Moderne fundamentale modellen (LLM's, VLM's, diffusiemodellen) vertonen sterke capaciteiten, maar lijden aan fragiele generalisatie, met name in compositioneel begrip. Kleine, taakirrelevante perturbaties kunnen vaak scherpe gedragsveranderingen triggeren, wat wijst op een gebrek aan robuuste interne compositionele structuur. Terwijl evolutionaire algoritmen (bijv. NEAT op Picbreeder) "Unified Factored Representations" (UFR) kunnen ontdekken — verenigde, herbruikbare en semantisch stabiele primitieven — convergeert standaard gradiëntgebaseerde optimalisatie (SGD) doorgaans naar "Fractured Entangled Representations" (FER). In FER zijn concepten verdeeld over overlappende neuronen en zijn kenmerken polysemantisch, waardoor ze niet uitlijnen met stabiele, interpreteerbare betekenissen.

De centrale vraag die wordt geadresseerd is: Kan monosemantiek en compositionaliteit emergeren tijdens standaard gradiëntgebaseerde backpropagation, en zo ja, onder welke specifieke architecturale condities? De auteurs hypothetiseren dat deze emergentie geen standaarduitkomst is van schaal of lage loss, maar wordt beheerst door een structureel bereikbaarheidsprobleem dat wordt gedefinieerd door de interactie tussen netwerkdiepte en connectiviteit.

Methodologie

1. Evaluatie Suite: EMC2-Bench

Om compositionaliteit te kwantificeren, introduceren de auteurs een perturbatiegebaseerde evaluatie suite genaamd EMC2-Bench.

• Metriek: De "Compositional Score" wordt gedefinieerd als het fractie van niet-nul parameters die, wanneer ze worden geperturbeerd door ruis ($\delta$), de globale semantische identiteit van de gegenereerde afbeelding behouden.
• Procedure: Voor elk niet-nul gewicht $w$ wordt een geperturbeerde kopie $w' = w + \delta$ gemaakt. Het netwerk genereert een afbeelding, die door een Vision-Language Model (VLM) judge (Qwen3-VL-4B-Thinking) wordt geëvalueerd om te bepalen of de semantische inhoud (bijv. "schedel") intact blijft.
• Baseline: De benchmark vergelijkt dichte MLPs getraind via SGD met evolutionaire oplossingen (Picbreeder CPPNs) en diverse pruning-strategieën.

2. Structurele Interventies

• Similarity-based Pruning (SP): Om compositionele connectiviteit te herstellen, stellen de auteurs een iteratief prune-retrain algoritme voor.
  • Mechanisme: Binnen elke laag worden neuron-wijze feature maps geëxtraheerd. Neuronen met een hoge cosinus-gelijkenis worden geïdentificeerd als redundant. Eén neuron uit elk redundant paar wordt willekeurig geselecteerd voor verwijdering, en de inkomende/uitgaande gewichten worden op nul gezet.
  • Doel: Dit dwingt het netwerk om verschillende neuronen toe te wijzen aan verschillende semantische factoren, waardoor verstrengelde oplossingen instorten tot ijle, herbruikbare circuits.
• Heuristische Diepte Predictor: In het besef dat optimale diepte doelafhankelijk is, stellen de auteurs het gebruik van de PNG-compressieratio van de doelafbeelding voor als proxy voor beeldcomplexiteit. Een lineair verband wordt waargenomen tussen beeldcomplexiteit en de empirisch optimale diepte, wat een lichtgewicht voorspelling van de "sweet spot" diepte mogelijk maakt zonder uitputtend zoeken.

3. Theoretisch Kader

Het paper biedt een theoretische rechtvaardiging gebaseerd op:

• Compositionele Sparsity: Gebruikmakend van de manifold-hypothese, betogen de auteurs dat compositionele oplossingen factoriseren door een Directed Acyclic Graph (DAG) met een begrensde lokale ariteit.
• Volume-Ratio Argument: Ze definiëren de "compositional volume ratio" $\rho(W, L)$ als de waarschijnlijkheid dat een willekeurige parameterconfiguratie in een compositionele basin terechtkomt. Ze bewijzen dat $\rho$ scherp geconcentreerd is bij een specifieke $(W_{min}, L^*)$ en exponentieel afneemt naarmate breedte ($W$) of diepte ($L$) van dit punt afwijkt.
• Feature Interference Bounds: Met behulp van de Welch-bound demonstreren ze dat compositionele sparsity de geometrische ondergrens op feature-interferentie vermindert, waardoor monosemantische (orthogonale) kenmerken geometrisch haalbaar zijn alleen wanneer het aantal primitieven $r$ kleiner dan of gelijk is aan de dimensie $d$.

Belangrijkste Resultaten

1. Het Nauwe Diepte–Connectiviteitsregime

Compositionaliteit emergeert niet universeel; het verschijnt alleen in een specif으로 regime:

• Connectiviteit: Compositionaliteit is sterk afhankelijk van welke verbindingen overblijven, niet alleen van het niveau van sparsity. Standaard pruning-methoden (Lottery Ticket Hypothesis, Wanda, LLM-Pruner) falen in het herstellen van compositionele structuren (score 0 op EMC2-Bench). Alleen Similarity-based Pruning (SP) levert niet-nul scores op, wat aangeeft dat de organisatie van verbindingen cruciaal is.
• Diepte: Compositionaliteit vertoont een niet-monotone relatie met diepte. Voor specifieke targets (bijv. schedel, vlinder, appel) piekt de compositional score bij een specifieke diepte en daalt deze snel als het netwerk minder diep of juist dieper wordt gemaakt. Deze optimale diepte is doel-specifiek.

2. Optimalisatie en Emergentie

• Optimizer Sensitiviteit: Zelfs met de juiste architectuur doet de optimizer ertoe. Muon (een optimizer die gebruikmaakt van Newton-Schulz iteraties) bereikt een lagere trainingsloss en hogere compositional scores dan Adam. Dit suggereert dat betere minima (vlakker, stabieler) vereist zijn om de compositionele basin te bereiken.
• Fragiliteit van FER: Wanneer diepte- of connectiviteitscondities worden geschonden, convergeert gradiëntafdaling stilletjes naar gefragmenteerde oplossingen. Kleine perturbaties aan gewichten in deze oplossingen veroorzaken semantische drift, terwijl compositionele oplossingen robuust blijven.

3. Generalisatie naar Onbekende Targets

De methode is overdraagbaar naar afbeeldingen waarbij de onderliggende compositionele oplossing onbekend is (bijv. natuurlijke scènes, afbeeldingen met meerdere objecten). SP in combinatie met de heuristische diepte predictor slaagt erin om monosemantische intermediaire kenmerken en betekenisvolle outputvariaties te herstellen onder weight sweeping, hoewel het effect zwakker is voor complexe scènes met meerdere objecten.

Betekenis en Claims

Het paper claimt dat generalisatie architecturale beperkingen vereist die maken dat compositionele oplossingen toegankelijk zijn voor gradiëntgebaseerde training.

• Weerlegging van Scale-Only Oplossingen: De auteurs betogen dat schalen alleen (vergroten van breedte of diepte) de neiging heeft om gefragmenteerde oplossingen op te leveren, omdat de relatieve maat van de compositionele manifold krimpt naarmate de parameterruimte groter wordt (Volume-Ratio Argument).
• Mechanistisch Inzicht: Het werk overbrugt de kloof tussen het bestaan van compacte, modulaire implementaties (bewezen door evolutionaire algoritmen) en het falen van vanilla backpropagation om deze te vinden. Het stelt dat SGD alleen naar compositionele basins wordt gestuurd wanneer de architectuur "precies goed is" (smal diepte-connectiviteit sweet spot) en de optimizer in staat is om vlakke minima te vinden.
• Praktische Implicaties: De introductie van SP en de diepte predictor biedt een pad om compositionele structuur in standaard MLPs te induceren zonder de trainingsdoelstelling te veranderen, simpelweg door de architectuur en de pruning-strategie te beperken.

De auteurs blijven bescheiden en merken op dat hoewel hun framework single-object compositionaliteit goed verklaart, ruimtelijke compositionaliteit in scènes met meerdere objecten een open grens blijft vanwege de exponentiële toename van vereiste primitieven ($P$), wat de volume ratio $\rho$ doet instorten. Ze beweren niet de algemene compositionele redenering voor alle visuele taken te hebben opgelost, maar hebben een specifiek structureel regime geïdentificeerd waar dit empirisch en theoretisch bereikbaar is.