Riepilogo Tecnico: Instradamento Sequenziale Bayesiano Neurale (NBSR)

1. Enunciato del Problema

Le architetture standard di deep learning si basano su calcoli forward statici e densi che elaborano simultaneamente tutte le caratteristiche di input per produrre una distribuzione di probabilità monolitica. Sebbene efficaci per la precisione semantica, questi modelli soffrono di tre limitazioni critiche:

1. Mancanza di Plausibilità Cognitiva: Non riescono a modellare la natura sequenziale e di accumulo di prove del processo decisionale umano, dove le ipotesi vengono progressivamente affinate anziché valutate tutte in una volta.
2. Scarsa Interpretabilità: La natura "scatola nera" delle reti dense oscura come vengono acquisite le prove e come evolve l'incertezza, rendendo difficile l'audit delle decisioni.
3. Inefficienza e Sovraconfidenza: Sprecano risorse computazionali non necessarie su input facilmente classificabili e spesso producono previsioni eccessivamente sicure su dati fuori distribuzione (OOD) a causa della mancanza di meccanismi nativi di quantificazione dell'incertezza.

Sebbene le architetture Mixture-of-Experts (MoE) introducano un calcolo condizionale, esse si basano tipicamente su un instradamento soft e continuo che non mantiene uno stato di credenza che evolve temporalmente, né permettono l'accumulo sequenziale di prove o l'uscita dinamica anticipata.

2. Metodologia: Instradamento Sequenziale Bayesiano Neurale (NBSR)

NBSR è un framework dinamico che modella l'inferenza neurale come una traversata attiva e di accumulo di prove su un Grafo Aciclico Diretto (DAG) gerarchico. Unifica l'esecuzione neurale condizionale, l'incertezza evidenziale e il processo decisionale sequenziale.

Architettura di Base

• Oracolo della Conoscenza Globale: A differenza delle reti feed-forward standard, dove le caratteristiche vengono trasformate e scartate strato per strato, NBSR incorpora l'input $x$ una sola volta in un vettore di caratteristiche denso $h_x$ utilizzando un backbone condiviso. Questo vettore agisce come un "Oracolo della Conoscenza" persistente trasmesso a tutti i nodi del DAG, assicurando che ogni decisione abbia accesso all'intero stato contestuale.
• Il Grafo Decisionale: Il modello attraversa un DAG dove i nodi rappresentano stati decisionali. Ad ogni nodo $v_t$, una Rete di Instradamento (MLP) seleziona un percorso discreto basato sulle caratteristiche globali $h_x$ e sull'attuale Stato di Credenza Bayesiana $\alpha_t$.
• Estrazione delle Prove: Una volta raggiunto un nodo selezionato, una Rete Esperta locale interroga l'Oracolo $h_x$ per estrarre un vettore di prove strettamente positivo $e_t$.
• Aggiornamento della Credenza Bayesiana: Lo stato di credenza viene aggiornato tramite addizione coniugata esatta: $\alpha_{t+1} = \alpha_t + e_t$. Qui, $\alpha$ rappresenta i parametri di concentrazione di una distribuzione Dirichlet. I vettori di prova $e_t$ agiscono come pseudo-conteggi bayesiani, aggiornando deterministicamente lo stato Dirichlet. Questo processo impone matematicamente l'"affinamento" dei confini decisionali man mano che le prove si accumulano.

Meccanismi di Addestramento e Inferenza

• Instradamento Discreto Differenziabile: Per abilitare l'addestramento end-to-end della struttura ad albero discreta, NBSR impiega la rilassazione Gumbel-Softmax accoppiata al Stima Straight-Through (STE).
  • Passo Forward: Il router seleziona un percorso singolo e rigido (argmax), garantendo efficienza computazionale eseguendo solo i nodi visitati.
  • Passo Backward: I gradienti fluiscono attraverso l'approssimazione continua Gumbel-Softmax, permettendo al router di apprendere la selezione ottimale del percorso senza il problema della scomparsa del gradiente delle operazioni discrete.
• Obiettivo di Addestramento: La funzione di perdita combina la Negativa Log-Likelihood (NLL) dell'aspettativa Dirichlet finale con un termine di penalità per l'entropia ($\lambda \sum H(\alpha_t)$). Ciò incoraggia il modello non solo a massimizzare l'accuratezza, ma anche a ridurre l'incertezza (entropia) il più rapidamente possibile lungo la traiettoria.
• Strategie di Inferenza:
  • Uscita Anticipata: Se l'entropia differenziale dello stato di credenza $H(\alpha_t)$ scende sotto una soglia $\eta$, la traversata si interrompe immediatamente, risparmiando FLOP computazionali.
  • Astensione Epistemica: Se la precisione totale $\alpha_0$ rimane bassa (indicando alta incertezza) anche dopo la traversata completa, il modello si astiene dalla previsione, fornendo un meccanismo di sicurezza nativo per input OOD.

3. Contributi Chiave

1. Framework di Instradamento Sequenziale Bayesiano: Una formulazione innovativa in cui le decisioni di instradamento discrete aggiornano sequenzialmente uno stato di credenza Dirichlet tramite addizione coniugata esatta, imponendo matematicamente l'affinamento progressivo delle ipotesi.
2. Instradamento Rigido End-to-End: Adattamento dello stimatore Gumbel-Softmax per addestrare alberi decisionali gerarchici discreti, prevenendo il collasso della rappresentazione e abilitando un'uscita anticipata dinamica basata sull'entropia.
3. Garanzie Teoriche: Dimostrazioni formali che, sotto estrazione di prove strettamente positive, la precisione Dirichlet totale aumenta monotonicamente lungo qualsiasi traiettoria valida e la varianza predittiva marginale è di conseguenza limitata. Si dimostra che il framework recupera la distribuzione condizionale Bayesiana ottimale sotto ipotesi di capacità idealizzate.
4. Inferenza Interpretabile e Sicura: Il framework fornisce tracce di audit causali trasparenti per ogni decisione. Utilizza la precisione Dirichlet nativa per attivare astensioni di sicurezza OOD, prevenendo allucinazioni.
5. Estensioni Razionali-Risorse: Estensione riuscita della topologia DAG per incorporare memoria temporale (NBSR-Mem) per il controllo autonomo e formulazione come Macchina di Stato Autoregressiva (AR-NBSR) per la Progettazione Sperimentale Bayesiana Ottimale consapevole dei costi.

4. Risultati Sperimentali

Il framework è stato valutato su cinque domini diversi:

• Categorizzazione Visiva (CIFAR-10): NBSR ha raggiunto un'accuratezza massima del 96,74%, superando sia un ResNet-18 piatto (96,60%) che un MoE sparso (96,43%). Crucialmente, ha raggiunto un Errore di Calibrazione Atteso (ECE) significativamente inferiore di 0,015 rispetto alle linee di base (~0,027). Il modello ha dimostrato un'uscita anticipata del 90% alla profondità 1 senza degradazione dell'accuratezza, validando la sua razionalità delle risorse.
• Diagnosi Medica Strutturata: In un compito di triage clinico, NBSR ha eguagliato l'accuratezza diagnostica di un MLP piatto (97,62%) fornendo allo stesso tempo attribuzioni di caratteristiche specifiche per paziente e dipendenti dal percorso. Ha ridotto con successo la profondità media di inferenza da 2,0 a 1,0 per casi inequivocabili, tagliando i tempi di inferenza senza perdita di prestazioni.
• Modellazione del Linguaggio: Su un compito controllato di disambiguazione sintattico-semantica, NBSR ha preservato la capacità generativa (Perplessità 13,81 vs 13,43 della linea di base) esponendo al contempo tracce di instradamento trasparenti (ad esempio, distinguendo esperti sintattici da semantici). Ha dimostrato la capacità di astenersi su prompt OOD dove i modelli softmax standard generano allucinazioni.
• Controllo Parzialmente Osservabile (POMDP): In un compito di navigazione con amnesia spaziale, NBSR-Mem (incorporando memoria ricorrente) ha raggiunto un tasso di successo del 100%, eguagliando le prestazioni di una CNN-GRU a scatola nera. A differenza della linea di base a scatola nera, NBSR-Mem ha rilevato con successo input OOD "Pericolo Alieno" e ha attivato una fermata sicura (tasso di astensione del 100%) invece di crashare.
• Triage Clinico Attivo (BOED): La formulazione AR-NBSR ha agito come un agente di apprendimento attivo, imparando a selezionare test diagnostici per massimizzare il guadagno informativo per unità di costo. Ha raggiunto l'accuratezza diagnostica massima a un costo medio significativamente inferiore (~$45-$50) rispetto alle linee di base greedy ($60-$80), dimostrando una pianificazione non miope e razionale delle risorse.

5. Significato e Affermazioni

Il documento sostiene che NBSR rappresenta un cambiamento fondamentale dal deep learning statico e monolitico verso un paradigma attivo di acquisizione sequenziale di caratteristiche. Il suo significato risiede nell'unificazione di tre concetti precedentemente separati:

1. Esecuzione Condizionale: Passaggio da una media parallela soft a un instradamento rigido e dipendente dal percorso.
2. Incertezza Evidenziale: Trattamento dell'incertezza non come diagnosi ausiliaria, ma come variabile di stato che controlla attivamente il calcolo (tramite uscita anticipata e astensione).
3. Ragionamento Sequenziale: Modellazione dell'inferenza come una traiettoria di credenza causale in avanti dove stati intermedi e contributi esperti sono ispezionabili.

Gli autori affermano che NBSR fornisce un framework matematicamente fondato per un'AI agenziale interpretabile, modulare e razionale delle risorse. Garantendo che gli esperti vengano interrogati selettivamente anziché mediati in modo soft, e che l'incertezza sia intrinseca allo stato, il framework offre una strada verso sistemi AI non solo accurati, ma anche trasparenti, sicuri ed efficienti dal punto di vista computazionale. Il documento conclude che, sebbene NBSR sia attualmente validato su benchmark specifici, la sua architettura supporta naturalmente future estensioni verso l'integrazione neuro-simbolica, topologie illimitate tramite processi Dirichlet e acquisizione dinamica di competenze.