Unambiguous Representations in Neural Networks: An Information-Theoretic Approach to Intentionality

Dit artikel maakt gebruik van informatietheorie om aan te tonen dat neurale netwerken eenduidige, intrinsieke representaties kunnen coderen die decodeerbaar zijn vanuit hun relationele connectiviteitsstructuren, waardoor een kwantitatieve methode wordt geboden om de laag-ambigue toestanden te meten die worden gepostuleerd door theorieën over bewustzijn zoals IIT en narrow representationalism.

De kern

Het Grote Idee: Hoe "weet" een brein wat het ziet?

Stel je voor dat je een doos met digitale bestanden hebt. Eén bestand is een reeks getallen: 010101.

• Als je een JPEG-decoder gebruikt, wordt die reeks een plaatje van een kat.
• Als je een MP3-decoder gebruikt, wordt diezelfde reeks een liedje van een blaffende hond.

De reeks zelf weet niet wat het is. Het is ambigu. De betekenis hangt volledig af van de "decoder" die je van buitenaf toepast. Dit is hoe computers normaal gesproken werken.

Bewustzijn is anders.
Wanneer je naar een rood vierkant kijkt, heeft je brein geen extern handboek nodig om te vertellen: "Oké, dit neurale patroon betekent 'rood vierkant'." De ervaring van het zien van rood is inherent aan de hersentoestand zelf. Je kunt diezelfde hersentoestand niet per ongeluk interpreteren als "het zien van een groene driehoek".

De paper stelt een grote vraag: Hoe legt een hersentoestand de betekenis vast zodat deze niet verkeerd geïnterpreteerd kan worden? De auteurs noemen dit "onambigue representatie."

Het Experiment: De "Verstoorde Puzzel" Test

Om dit te testen, trainden de onderzoekers eenvoudige computerbreinen (neurale netwerken) om handgeschreven cijfers te herkennen (zoals de cijfers 0–9). Daarna deden ze iets trucs: ze verstoorden de neuronen.

Stel je voor dat je een team van 10 werkers (output-neuronen) hebt die bedoeld zijn om het cijfer te roepen dat ze zien.

• In een normale opstelling roept Werker #1 altijd "1", Werker #2 roept "2", enzovoort.
• In het experiment hebben de onderzoekers de werkers door elkaar gehusseld, zodat Werker #1 nu misschien degene is die "7" roept, en Werker #5 misschien "2" roept.

De Uitdaging: Als je alleen kijkt naar hoe de werkers met elkaar praten (hun verbindingen en relaties), kun je dan uitzoeken welk cijfer elke werker eigenlijk roept?

Als de relaties tussen de werkers slechts willekeurige ruis zijn, kun je het niet raden. Maar als hun relaties een unieke, rigide structuur vormen die alleen past bij één specifieke schikking, dan is de betekenis "onambigu".

De Belangrijke Ontdekking: De "Dropout" Magie

De onderzoekers probeerden twee verschillende manieren om deze computerbreinen te trainen:

1. Standaard Training: Het brein leert normaal gesproken.
2. Dropout Training: Tijdens het leren wordt het brein gedwongen om willekeurige delen van zichzelf te "vergeten" (zoals een student die moet studeren met de ogen half dicht de helft van de tijd). Dit dwingt het brein om robuuste, gedistribueerde verbindingen op te bouwen.

De Resultaten:

• Standaard Training: Wanneer ze de neuronen door elkaar gehusseld hadden, konden ze het juiste cijfer slechts ongeveer 38% van de tijd raden (wat nauwelijks beter is dan willekeurig gokken). De relaties tussen de neuronen waren vaag en ambigu.
• Dropout Training: Wanneer ze de neuronen door elkaar gehusseld hadden, konden ze het juiste cijfer 100% van de tijd raden.

De Analogie:
Denk aan het brein met Standaard Training als een groep mensen die een touw vasthouden. Als je aan één persoon trekt, beweegt de hele groep mee, maar de vorm is los en wiebelig. Je kunt niet precies zien wie wie is door alleen naar de vorm van het touw te kijken.

Denk aan het brein met Dropout Training als een kristal. De atomen (neuronen) zijn vergrendeld in een zeer specifieke, rigide geometrische vorm. Als je de atomen door elkaar husselt, valt het kristal uit elkaar of ziet het er volledig fout uit. Maar als je naar het patroon van de verbindingen kijkt, is het zo uniek dat je direct kunt zeggen: "Ah, dit specifieke atoom moet de hoekstuk zijn, en deze hier de centrale kern." De structuur zelf dicteert de betekenis.

Hoe zit het met "Waar" dingen zich bevinden?

De onderzoekers testten ook of het brein kon achterhalen waar op een scherm een pixel zich bevond, enkel door te kijken naar de verbindingen.

• Ze ontdekten dat het brein de locatie van een pixel met een hoge nauwkeurigheid (tot 84% precisie) kon decoderen door enkel te kijken naar het web van verbindingen tussen de input-neuronen.
• Dit suggereert dat de "kaart" van het visuele veld is ingebouwd in de geometrie van de verbindingen, en niet alleen in de activiteit.

Waarom is dit belangrijk?

De paper beweert niet dat deze computerbreinen "bewust" zijn of dat we dit moeten gebruiken om ziekten te genezen. In plaats daarvan biedt het een kwantitatieve tool.

1. Ambiguïteit is een echt fenomeen: Je kunt meten hoe "verward" de interne taal van een neuraal netwerk is.
2. Training maakt uit: Hoe je een systeem traint, verandert hoe helder het informatie representeert, zelfs als het systeem dezelfde taak (zoals het herkennen van cijfers) even goed uitvoert.
3. Een test voor bewustzijnstheorieën: Sommige theorieën over bewustzijn (zoals "Narrow Representationalism" of "IIT") stellen dat voor een systeem om bewust te zijn, de interne toestanden onambigu moeten zijn. Deze paper bewijst dat neurale netwerken kunnen voorzien in deze onambigue toestand door middel van specifieke trainingsmethoden.

Samenvatting in één zin

De paper laat zien dat door computerbreinen op een specifieke manier te trainen (met behulp van "dropout"), de interne verbindingen tussen neuronen zo rigide en uniek worden dat de betekenis van elke neuron wordt vastgelegd door de positie in het netwerk, waardoor de representatie "onambigu" wordt, net zoals onze bewuste ervaring.

Technische samenvatting

Technische Samenvatting: Ondubbelzinnige Representaties in Neurale Netwerken

Probleemstelling

Conventionele representaties (bijv. bitstrings, letters) zijn inherent ambigu; hun betekenis hangt volledig af van een externe decoder of conventie. Een enkele bitstring kan een JPEG of een MP3 coderen, afhankelijk van het decoderingsschema. In contrast hiermee wordt gesteld dat de bewuste ervaring fundamenteel anders is: een neurale staat die overeenkomt met de perceptie van een rood vierkant kan niet tegelijkertijd de perceptie van een groene driehoek coderen. Deze intrinsieke aard van bewustzijn suggereert dat bewuste representaties ondubbelzinnig moeten zijn, waarbij de inhoud uitsluitend wordt bepaald door de neurale staat zelf, en niet door externe interpretatie.

Het artikel adresseert de vraag of neurale netwerken representatieve inhoud ondubbelzinnig kunnen coderen via hun interne relationele structuur. Specifiek wordt onderzocht of de inhoud van een neuron (bijv. de cijferklasse die het representeert of de ruimtelijke positie van een input die het codeert) uniek bepaald kan worden door zijn connectiviteitspatronen ten opzichte van andere neuronen, zonder kennis van de trainingsprocedure of externe labeling.

Methodologie

Theoretisch Kader

De auteurs formaliseren representatieve ambiguïteit met behulp van informatietheorie. Ambiguïteit wordt gedefinieerd als de voorwaardelijke entropie $H(I|R)$, waarbij $I$ mogelijke interpretaties representeert en $R$ de representatie is.

• Hoge Ambiguïteit: Uniforme verdeling over interpretaties (minimale informatie over de inhoud).
• Lage Ambiguïteit: Geconcentreerde waarschijnlijkheid (hoge zekerheid over de inhoud).
  De hypothese is dat de relationele structuur (het web van interne relaties) binnen een netwerk mogelijke interpretaties kan beperken, waardoor $H(I|R)$ wordt verminderd.

Experimentele Opzet

Er zijn twee primaire experimenten uitgevoerd met behulp van volledig verbonden neurale netwerken, getraind op de MNIST-cijferclassificatietaak (784-50-50-10 architectuur). Drie trainingsparadigma's werden vergeleken:

1. Ongetraind: Willekeurige initialisatie (controle).
2. Standaard Backpropagation: Standaard training.
3. Dropout Training: Backpropagation met 20% dropout op de verborgen lagen.

Experiment 1: Decoderen van de Identiteit van de Outputneuron-klasse

• Taak: Bepalen welke cijferklasse (0–9) een outputneuron representeert, enkel gebaseerd op zijn connectiviteit.
• Procedure: Neuronen in de outputlaag werden willekeurig gepermuteerd om positionele informatie te verwijderen. De relationele structuur werd geëxtraheerd via de Gram-matrix van de cosinus-gelijkenissen tussen de gewichtsvectoren van de neuronen.
• Decoderingsmethoden:
  1. Geometrische Matching: Een referentie Gram-matrix (gemiddelde van netwerken met bekende ordening) werd vergeleken met testnetwerken. De permutatie die de Frobenius-afstand minimaliseerde, werd geselecteerd.
  2. Getrainde Decoder: Een transformer-gebaseerde decoder (zonder positionele encodings om permutatie-invariantie te waarborgen) werd getraind om de klasse-identiteit te voorspellen op basis van de relationele structuur.
• Ablatie: Er werd getest of lokale buurten (de gelijkenis van een doelneuron met alle anderen) voldoende zijn of dat de volledige globale geometrie vereist is.
• Schaling: Het aantal outputneuronen werd gevarieerd (2 tot 10) om te testen of toenemende relationele complexiteit de ambiguïteit vermindert.
• Cross-Architectuur: De transfereerbaarheid naar verschillende verborgen laag-architecturen werd getest (50-50, 25-25, 100).

Experiment 2: Decoderen van de Ruimtelijke Positie van de Inputneuron

• Taak: Decoderen van de Euclidische afstand van een pixel die overeenkomt met een inputneuron van het midden van de afbeelding.
• Procedure: Vergelijkbaar met Experiment 1, maar toegepast op de inputlaag-gewichten ($784 \times 50$). Vanwege het grote aantal permutaties ($784!$) werd alleen de getrainde decoder (regressie-taak) gebruikt.
• Metriek: $R^2$-score voor het voorspellen van de ruimtelijke afstand.

Kwantificeren van Ambiguïteit

De auteurs berekenden Ambiguity Reduction Scores (ARS) om de reductie in voorwaardelijke entropie ten opzichte van maximale entropie te kwantificeren.

• Voor classificatie: Afgeleid van accuratesse met behulp van Fano's ongelijkheid.
• Voor regressie: Afgeleid van $R^2$ uitgaande van Gaussische residuen.
  Een ARS van 1.0 duidt op volledige disambiguatie ($H(I|R, C) = 0$).

Belangrijkste Resultaten

1. Decoderen van de Outputneuron Class Identity

• Ongetrainde Netwerken: De decoderingsaccuratesse lag op het niveau van toeval (10%), wat valideert dat willekeurige gewichten geen herstelbare structuur bevatten.
• Standaard Backpropagation: Bereikte 25% accuratesse met de getrainde decoder en 38% met geometrische matching. Hoewel dit boven het niveau van toeval lag, vertoonde de relationele geometrie aanzienlijke ambiguïteit (meerdere permutaties leverden vergelijkbare afstanden op tot de referentie).
• Dropout Training: Bereikte 100% accuratesse met geometrische matching (nul variantie) en 75% met de getrainde decoder. De ware permutatie was duidelijk gescheiden van alle onjuiste alternatieven in de geometrische ruimte.
• Orthogonaliteit aan Prestaties: Ondanks deze drastische verschillen in representatieve ambiguïteit, was de onderliggende MNIST-classificatie-accuratesse nagenoeg identiek over alle trainingsparadigma's.

2. Structurele Noodzakelijkheid en Complexiteit

• Globaal vs. Lokaal: Het verwijderen van de globale geometrische context (het verstrekken van enkel lokale gelijkenisvectoren) veroorzaakte een substantiële daling in de decoderingsaccuratesse, wat aangeeft dat de inhoud van een neuron wordt bepaald door zijn positie binnen de volledige relationele geometrie, en niet enkel door lokale buren.
• Relationele Complexiteit: De accuratesse schaalde monotoon met het aantal neuronen dat werd gebruikt om de relationele structuur te berekenen. Met 2 neuronen lag de prestatie op het niveau van toeval (50%); met 10 neuronen bereikte het 100%. Dit demonstreert dat rijkere relationele geometrieën meer beperkingen opleggen aan interpretaties.

3. Invariantie en Generalisatie

• Architectuur-invariantie: Geometrische matching bereikte een sterke decoderingsaccuratesse over verschillende verborgen laag-architecturen (bijv. het decoderen van een 25-25 netwerk met een 50-50 referentie), wat suggereert dat de relationele codering van inhoud grotendeels architectuur-invariant is.
• Dataset Discriminatie: Een binaire classifier kon onderscheid maken tussen netwerken getraind op MNIST versus Fashion-MNIST met bijna perfecte accuratesse (99,8% voor dropout) op basis van louter de relationele structuur.

4. Inputneuron Ruimtelijke Positie

• In tegen tegenstelling tot de resultaten van de outputlaag, leverde standaard backpropagation een hogere ruimtelijke decoderingsaccuratesse op ($R^2 = 0,844$) dan dropout training ($R^2 = 0,695$).
• Echter, in beide gevallen presteerde de volledige relationele structuur aanzienlijk beter dan de lokale buurtinformatie.
• De Ambiguity Reduction Scores (ARS) voor inputposities varieerden van 0,419 tot 0,654, wat wijst op substantiële maar niet perfecte disambiguatie.

Betekenis en Claims

Het artikel claimt een kwantitatieve methode te bieden voor het meten van representatieve ambiguïteit in neurale systemen. De primaire bijdragen zijn:

1. Operationalisering van Ondubbelzinnigheid: Het demonstreert dat neurale netwerken informatie kunnen coderen op een manier die ondubbelzinnig is met betrekking tot de relationele structuur. Voor dropout-getrainde netwerken specificeert de relationele geometrie alleen de representatieve inhoud volledig, waarbij een ARS van 1,0 wordt bereikt.
2. Orthogonaliteit van Ambiguïteit en Prestaties: De studie toont aan dat representatieve ambiguïteit een dimensie van neurale representatie is die onafhankelijk kan variëren van de gedragsmatige taakprestaties. Een netwerk kan een taak perfect uitvoeren terwijl het informatie ofwel ambigu (standaard backprop) ofwel ondubbelzinnig (dropout) codeert.
3. Theoretische Afstemming: De resultaten ondersteunen theoretische verklaringen van bewustzijn (zoals Narrow Representationalism en Integrated Information Theory) die stellen dat bewuste staten ondubbelzinnig moeten zijn. Het artikel voert aan dat als bewustzijn supervenieert op hersentoestanden, die toestanden de inhoud ondubbelzinnig moeten bepalen. De experimentele bevinding dat relationele structuur inhoud kan vastleggen zonder externe decodering, komt overeen met de "intrinsieke" aard van fenomenale ervaring.
4. Structurele Determinatie: Het werk suggereert dat inhoud niet louter conventioneel wordt toegewezen, maar structureel bepaald kan worden door de interne relaties van het systeem. De decoder die in de experimenten werd gebruikt, legt geen betekenis op, maar ontdekt consistente relationele patronen die inherent zijn aan de specifieke netwerkinstanties.

De auteurs blijven bescheiden in hun claims en stellen expliciet dat zij niet beweren dat MNIST-netwerken bewust zijn. In plaats daarvan stellen zij voor dat hun kader een noodzakelijke (hoewel niet voldoende) voorwaarde biedt voor fenomenale ervaring: het vermogen van een neuraal substraat om inhoud ondubbelzinnig te coderen via zijn interne structuur.