Technische Samenvatting: Temporele Coding als Substraat voor Sensorimotorische Objectinferentie

1. Probleemstelling

De Thousand Brains Theory (TBT) en haar open-source implementatie, Monty, modelleren objectherkenning via sensorimotorische inferentie: het identificeren van objecten door actief een sensor over hun oppervlak te bewegen en bewijs stap-voor-stap op te hopen. De huidige Monty-implementatie codeert echter elk contact als een dicht drijvende-kommavector. Hoewel het systeem verplaatsing tussen stappen bijhoudt en bewijs ophoopt, behandelt het het patroon van feature-activatie bij elk contact als een ongesorteerde verzameling.

Deze aanpak gooit kritieke informatie weg: de richtingssequentie waarin features worden aangetroffen. Bijvoorbeeld, een sensor die van links naar rechts over een mokhandvat beweegt (glad → gebogen → rand) genereert hetzelfde opgehoopte bewijs als een sensor die van rechts naar links beweegt (rand → gebogen → glad), ondanks dat deze traversies tegengestelde ruimtelijke richtingen vertegenwoordigen. De huidige architectuur faalt erin om weer te geven dat "feature A eerder werd gevoeld dan feature B", een sequentie die inherent ruimtelijke betekenis draagt over de geometrie van het object.

2. Methodologie

Het artikel stelt een herinterpretatie van de Monty-architectuur voor waarbij de representatie van sensorcontact verschuift van dichte vectoren naar rangorde-spikepakketten. Deze wijziging behoudt de temporele sequentie van feature-activatie, waardoor de vuurvolgorde de representatie zelf wordt. De voorgestelde architectuur bestaat uit vier geïntegreerde componenten:

A. SpikeEncoder

In plaats van een statische vector, produceert elk contact een korte burst van neurale gebeurtenissen. Neuronen vuren in een rangorde gebaseerd op activatiesterkte: het sterkst geactiveerde neuron vuurt eerst ($t=0$), gevolgd door anderen met toenemende latentie.

• Mechanisme: Als een contact neuron $N_1, N_2, N_3$ activeert met sterktes $0.9, 0.2, 0.1$, is het spikepakket gesorteerd als $N_1 \to N_2 \to N_3$.
• Betekenis: Twee contacten met identieke featureverzamelingen maar verschillende traversie-ordes produceren onderscheidende spike-sequenties (bijvoorbeeld, $N_{glad}$ leidt in het ene geval, $N_{rand}$ leidt in het andere).

B. LatencyDecoder

Deze component leidt ruimtelijke verplaatsing impliciet af uit de inter-pakket latentie (het tijdsinterval tussen opeenvolgende spike-bursts).

• Mechanisme: Bij aanneming van een uniforme motorische snelheid $v$, wordt verplaatsing berekend als $\Delta x \approx v \cdot \Delta t \cdot \text{richting}$.
• Betekenis: Dit elimineert de noodzaak voor expliciete coördinatieberekeningen of externe odometrie; de timing van neurale gebeurtenissen dient als ruimtelijke maatstaf.

C. STDP-leerregel

Het leermechanisme vervangt standaard ophoping door Spike-Timing Dependent Plasticity (STDP).

• Mechanisme: Synaptische gewichten worden versterkt als een presynaptisch neuron net voor een postsynaptisch neuron vuurt (causale orde) en verzwakt als de orde omgekeerd is.
• Betekenis: Na herhaalde exploratie codeert de gewichtsmatrix de richtingsstructuur van de oppervlaktetraversie (bijvoorbeeld, $N_{glad} \to N_{gebogen} \to N_{rand}$), en onderscheidt tussen voorwaartse en omgekeerde traversies die dichte vectoren niet kunnen onderscheiden.

D. Adaptieve Beweophouder met Leerbaar $\lambda$

Een leerbaar parameter $\lambda$ ($0 \le \lambda \le 1$) controleert de balans tussen vertrouwen op het meest recente contact versus opgehoopte geschiedenis.

• Mechanisme: De updateregel is $E(t+1) = (1-\lambda) \cdot \text{likelihood}(\text{obs}_t) + \lambda \cdot E(t)$.
• Adaptatie: $\lambda$ wordt aangepast op basis van voorspellingsfout. Voor uniforme objecten (bijvoorbeeld een bol) convergeert $\lambda$ naar lage waarden (vertrouwen op huidig contact); voor complexe objecten met verspreide unieke features (bijvoorbeeld een boormachine) convergeert $\lambda$ naar hoge waarden (vertrouwen op geschiedenis).

3. Belangrijkste Bijdragen

1. Informatieve Analyse: Een nauwkeurige weergave van de ruimtelijke informatie die wordt weggegooid door dichte vectorrepresentaties tijdens sensorimotorische exploratie.
2. Rangorde-encoding: Een spikepakket-encoding-schema dat de richtingssequentie van feature-activatie behoudt.
3. Impliciete Verplaatsing: Een mechanisme om ruimtelijke verplaatsing af te leiden uit inter-pakket timingintervallen zonder expliciete pose-transformaties.
4. Causaal Leren: Een op STDP gebaseerde leerregel die traversierichting codeert in synaptische gewichten.
5. Adaptieve Context: Een leerbaar $\lambda$-parameter die het geheugenhorizon aanpast aan de geometrische complexiteit van specifieke objecten.
6. Implementatie: Een minimale implementatie die ongeveer 450 regels NumPy-code vereist binnen de bestaande Monty-codebasis, vergezeld van drie testbare voorspellingen.

4. Experimentele Resultaten

Het artikel valideert de kernclaims via drie synthetische experimenten met behulp van de YCB-objectdataset-benchmark:

• Traversie-discriminatie (Voorspelling 3):
  • Taak: Onderscheid maken tussen twee objecten met identieke featureverzamelingen maar tegengestelde ruimtelijke ordeningen (bijvoorbeeld Glad-Gebogen-Rand versus Rand-Gebogen-Glad).
  • Resultaat: Dichte ophoping presteerde op niveau van toeval (51,2%) omdat de opgetelde featurevectoren identiek waren. Temporele coding bereikte 100% nauwkeurigheid door gebruik te maken van de onderscheidende causale paden die via STDP zijn gecodeerd.
• Ruisrobustheid (Voorspelling 2):
  • Taak: Prestaties evalueren onder wisselende niveaus van sensordruis ($\sigma$).
  • Resultaat: Temporele coding behield een voordeel van 30–50 procentpunten in nauwkeurigheid ten opzichte van dichte ophoping over alle geteste ruisniveaus. Terwijl de prestaties van dichte ophoping op toeval bleven, degradeerde temporele coding op een soepele manier, met behoud van 79,2% nauwkeurigheid zelfs bij hoge ruis ($\sigma=0,50$).
• Lambda-convergentie:
  • Taak: De convergentie van $\lambda$ observeren over objecten met variërende geometrische complexiteit.
  • Resultaat: Het systeem leerde autonoom onderscheidende $\lambda$-waarden die de objectstructuur weerspiegelen: 0,30 voor uniforme oppervlakken (bol), 0,60 voor gematigde complexiteit, en 0,87 voor complexe oppervlakken (boormachine).

5. Betekenis en Claims

Het artikel betoogt dat de sequentie van contacten niet slechts een voertuig voor betekenis is, maar de betekenis zelf vormt in sensorimotorische inferentie. Door de temporele orde van feature-activatie weg te gooien, verliezen huidige dichte-vectorimplementaties van TBT het vermogen om ruimtelijk tegengestelde traversies van hetzelfde object te onderscheiden.

De voorgestelde architectuur demonstreert dat temporele coding structurele voordelen biedt in:

• Data-efficiëntie: Het bereiken van hoge discriminatienauwkeurigheid met minder contacten.
• Robustheid: Het behouden van prestaties onder ruisende motorische uitvoering waar coördinatschattingen zijn aangetast.
• Generalisatie: Het coderen van paarwijze causale ordeningen die overdragen naar nieuwe ruimtelijke ordeningen van features.

De auteurs stellen expliciet dat dit werk rekenkundige efficiëntie in sensorimotorische inferentie adresseert en niet claimt vragen van machinebewustzijn op te lossen. De centrale claim is bescheiden maar specifiek: de voorgestelde rangorde-spikepakket-architectuur herstelt informatie die het huidige Monty-kader weggooit, waardoor het systeem in staat wordt gesteld objectgeometrieën te onderscheiden die momenteel niet te onderscheiden zijn. End-to-end evaluatie op de volledige YCB-benchmark wordt aangegeven als toekomstig werk.