Riepilogo Tecnico: La Codifica Temporale come Substrato per l'Inferenza Sensorimotoria degli Oggetti

1. Enunciato del Problema

La Teoria dei Mille Cervelli (TBT) e la sua implementazione open-source, Monty, modellano il riconoscimento degli oggetti attraverso l'inferenza sensorimotoria: identificare gli oggetti muovendo attivamente un sensore sulla loro superficie e accumulando prove contatto per contatto. Tuttavia, l'attuale implementazione di Monty codifica ogni contatto come un vettore denso a virgola mobile. Sebbene il sistema tracci lo spostamento inter-step e accumuli prove, tratta il pattern di attivazione delle caratteristiche in ogni contatto come un insieme non ordinato.

Questo approccio scarta informazioni critiche: la sequenza direzionale in cui le caratteristiche vengono incontrate. Ad esempio, un sensore che si muove da sinistra a destra su un manico di tazza (liscio → curvo → spigolo) genera la stessa prova accumulata di un sensore che si muove da destra a sinistra (spigolo → curvo → liscio), nonostante queste traversate rappresentino direzioni spaziali opposte. L'architettura attuale non riesce a rappresentare che "la caratteristica A è stata percepita prima della caratteristica B", una sequenza che porta intrinsecamente un significato spaziale sulla geometria dell'oggetto.

2. Metodologia

Il documento propone una reinterpretazione dell'architettura Monty in cui la rappresentazione del contatto del sensore passa dai vettori densi ai pacchetti di impulsi a ordine di rango. Questo cambiamento preserva la sequenza temporale dell'attivazione delle caratteristiche, rendendo l'ordine di scarica la rappresentazione stessa. L'architettura proposta è composta da quattro componenti integrati:

A. SpikeEncoder

Invece di un vettore statico, ogni contatto produce un breve burst di eventi neurali. I neuroni scaricano in un ordine di rango basato sulla forza di attivazione: il neurone più fortemente attivato scarica per primo ($t=0$), seguito dagli altri con latenza crescente.

• Meccanismo: Se un contatto attiva i neuroni $N_1, N_2, N_3$ con forze $0.9, 0.2, 0.1$, il pacchetto di impulsi è ordinato $N_1 \to N_2 \to N_3$.
• Significato: Due contatti con insiemi di caratteristiche identici ma ordini di traversata diversi producono sequenze di impulsi distinte (ad esempio, $N_{liscio}$ guida in uno, $N_{spigolo}$ guida nell'altro).

B. LatencyDecoder

Questo componente inferisce lo spostamento spaziale implicitamente dalla latenza inter-pacchetto (l'intervallo di tempo tra burst di impulsi successivi).

• Meccanismo: Assumendo una velocità motoria uniforme $v$, lo spostamento è calcolato come $\Delta x \approx v \cdot \Delta t \cdot \text{direzione}$.
• Significato: Questo elimina la necessità di calcoli espliciti delle coordinate o di odometria esterna; il tempismo degli eventi neurali funge da metrica spaziale.

C. Regola di Apprendimento STDP

Il meccanismo di apprendimento sostituisce l'accumulo standard con la Plasticità Dipendente dal Tempismo degli Impulsi (STDP).

• Meccanismo: I pesi sinaptici vengono rafforzati se un neurone presinaptico scarica poco prima di un neurone postsinaptico (ordine causale) e indeboliti se l'ordine è invertito.
• Significato: Dopo ripetute esplorazioni, la matrice dei pesi codifica la struttura direzionale della traversata della superficie (ad esempio, $N_{liscio} \to N_{curvo} \to N_{spigolo}$), distinguendo tra traversate in avanti e inverse che i vettori densi non possono distinguere.

D. Accumulatore di Prove Adattivo con $\lambda$ Apprendibile

Un parametro apprendibile $\lambda$ ($0 \le \lambda \le 1$) controlla l'equilibrio tra affidarsi al contatto più recente e alla storia accumulata.

• Meccanismo: La regola di aggiornamento è $E(t+1) = (1-\lambda) \cdot \text{verosimiglianza}(\text{obs}_t) + \lambda \cdot E(t)$.
• Adattamento: $\lambda$ viene aggiustato in base all'errore di previsione. Per oggetti uniformi (ad esempio, una sfera), $\lambda$ converge verso valori bassi (fidandosi del contatto corrente); per oggetti complessi con caratteristiche uniche distribuite (ad esempio, un trapano elettrico), $\lambda$ converge verso valori alti (affidandosi alla storia).

3. Contributi Chiave

1. Analisi Informativa: Un resoconto preciso delle informazioni spaziali scartate dalle rappresentazioni a vettore denso durante l'esplorazione sensorimotoria.
2. Codifica a Ordine di Rango: Uno schema di codifica a pacchetto di impulsi che preserva la sequenza direzionale dell'attivazione delle caratteristiche.
3. Spostamento Implicito: Un meccanismo per inferire lo spostamento spaziale dagli intervalli di tempismo inter-pacchetto senza trasformazioni di posa esplicite.
4. Apprendimento Causale: Una regola di apprendimento basata su STDP che codifica la direzione di traversata nei pesi sinaptici.
5. Contesto Adattivo: Un parametro $\lambda$ apprendibile che adatta l'orizzonte di memoria alla complessità geometrica di oggetti specifici.
6. Implementazione: Un'implementazione minima che richiede circa 450 righe di codice NumPy all'interno dell'attuale codice di Monty, accompagnata da tre previsioni verificabili.

4. Risultati Sperimentali

Il documento convalida le affermazioni fondamentali attraverso tre esperimenti sintetici utilizzando il benchmark del dataset di oggetti YCB:

• Discriminazione di Traversata (Previsione 3):
  • Compito: Distinguere tra due oggetti con insiemi di caratteristiche identici ma disposizioni spaziali opposte (ad esempio, Liscio-Curvo-Spigolo vs. Spigolo-Curvo-Liscio).
  • Risultato: L'accumulo denso ha performato a livello casuale (51,2%) perché i vettori di caratteristiche sommati erano identici. La codifica temporale ha raggiunto il 100% di accuratezza sfruttando i percorsi causali distinti codificati tramite STDP.
• Robustezza al Rumore (Previsione 2):
  • Compito: Valutare le prestazioni sotto diversi livelli di rumore del sensore ($\sigma$).
  • Risultato: La codifica temporale ha mantenuto un vantaggio di accuratezza del 30–50 punti percentuali rispetto all'accumulo denso su tutti i livelli di rumore testati. Mentre le prestazioni dense sono rimaste al livello casuale, la codifica temporale si è degradata in modo graduale, mantenendo un'accuratezza del 79,2% anche ad alto rumore ($\sigma=0.50$).
• Convergenza di Lambda:
  • Compito: Osservare la convergenza di $\lambda$ su oggetti di diversa complessità geometrica.
  • Risultato: Il sistema ha appreso autonomamente valori distinti di $\lambda$ che riflettono la struttura dell'oggetto: 0,30 per superfici uniformi (sfera), 0,60 per complessità moderata e 0,87 per superfici complesse (trapano elettrico).

5. Significato e Affermazioni

Il documento sostiene che la sequenza dei contatti non è meramente un veicolo per il significato, ma costituisce il significato stesso nell'inferenza sensorimotoria. Scartando l'ordine temporale dell'attivazione delle caratteristiche, le attuali implementazioni a vettore denso della TBT perdono la capacità di distinguere traversate spazialmente opposte dello stesso oggetto.

L'architettura proposta dimostra che la codifica temporale offre vantaggi strutturali in:

• Efficienza dei Dati: Raggiungere un'alta accuratezza di discriminazione con meno contatti.
• Robustezza: Mantenere le prestazioni sotto esecuzione motoria rumorosa dove le stime delle coordinate sono degradate.
• Generalizzazione: Codificare ordini causali a coppie che si trasferiscono a nuove disposizioni spaziali delle caratteristiche.

Gli autori dichiarano esplicitamente che questo lavoro affronta l'efficienza computazionale nell'inferenza sensorimotoria e non afferma di risolvere questioni relative alla coscienza delle macchine. L'affermazione centrale è modesta ma specifica: l'architettura proposta di pacchetti di impulsi a ordine di rango recupera informazioni che l'attuale framework Monty scarta, consentendo al sistema di distinguere geometrie di oggetti che attualmente sono indistinguibili. La valutazione end-to-end sull'intero benchmark YCB è indicata come lavoro futuro.