Sintesi Tecnica: NeSyCat Torch

Definizione del Problema

L'IA Neurosimbolica (NeSy) mira a combinare le capacità percettive delle reti neurali con il ragionamento strutturato della logica simbolica. Tuttavia, il campo soffre di frammentazione: i sistemi classici, fuzzy e probabilistici definiscono la verità attraverso regole induttive distinte, impedendo il trasferimento di basi di conoscenza e obiettivi di apprendimento tra di essi. Sebbene l'Unified Language for Learning and Reasoning (ULLER) abbia precedentemente unificato queste semantiche sotto un unico framework categorico basato sui monadi, mancava di un'implementazione per predicati e funzioni appresi dalle reti neurali. Inoltre, le implementazioni esistenti spesso faticano con la scalabilità e la stabilità numerica nel passaggio da contesti discreti a contesti continui o a batch di grandi dimensioni.

Metodologia

Il paper introduce NeSyCat Torch, un'implementazione tensoriale differenziabile del framework categorico NeSyCat. La metodologia centrale consiste nell'interpretare i simboli computazionali tramite reti neurali all'interno di un'architettura monadica parametrica unificata.

1. Framework Categorico e Monadi

Il framework estende la semantica categorica di Johnstone (2002) organizzando sintassi e semantica in quattro livelli: categorico, logico, di dominio e grammaticale. Il meccanismo unificante è il monade forte $M$, che parametrizza l'effetto (ad esempio, probabilità, pesi tensoriali). Il paper utilizza tre specifici livelli monadici (Tabella 1):

• Monade di Distribuzione ($D$): Rappresenta distribuzioni di probabilità a supporto finito. Funge da semantica di riferimento e di lettura metrica, dove il bind ($>>=$) esegue la marginalizzazione (legge della probabilità totale).
• Monade Tensoriale ($T$) / Monade Log-Tensoriale ($T_{log}$): Implementa la monade di distribuzione in modo differenziabile utilizzando numeri reali (logit) invece di probabilità. $T_{log}$ opera sul semianello logaritmico $(\mathbb{R}, \text{logsumexp}, +)$ per garantire stabilità numerica e differenziabilità, evitando la degenerazione del gradiente associata agli operatori fuzzy in $[0,1]$.
• Monade di Batch ($B$): Una monade reader su un insieme di indici di batch che consente l'elaborazione parallela di mini-batch senza introdurre casualità.

2. Sintassi e Semantica

Il sistema supporta tre tipi di simboli:

• Tarski: Mappe deterministiche (FOL standard).
• Kleisli: Mappe effettuali in $M$.
• NeSy: Mappe neurali che prendono carrier monadici come input e producono carrier monadici come output.

Le formule sono costruite usando la do-notation (zucchero sintattico per il bind monadico). Un'innovazione chiave è il trattamento dei simboli di funzione computazionale (ad esempio, $digit: \text{Image} \to M \text{Digit}$) e dei predicati. La semantica è definita in modo induttivo:

• Bind ($\leftarrow$): Esegue la marginalizzazione in $D$ e la convoluzione nello spazio logaritmico in $T$.
• Quantificatori: Aggregano valori di verità monadici su domini finiti.
• Valutazione Pigra (Lazy Evaluation): Il framework utilizza monadi pigre per differire il calcolo delle probabilità marginalizzate finché non sono strettamente necessarie, potando i rami non necessari.

3. Addestramento e Inferenza

L'addestramento minimizza la perdita di conoscenza (media del logaritmo negativo della verità degli assiomi) su un dataset.

• Batching: Inve Instead di eseguire il programma do-notation $N$ volte per $N$ campioni, il sistema lo esegue una sola volta su un batch tensoriale. La monade di batch $B$ è composta con la monade tensoriale $T$ ($B \circ T$).
• Gestione dei Dati: Le osservazioni sono trattate come valori "certi" (codificati one-hot nello spazio logaritmico) che entrano nella formula tramite liftB.
• Implementazione: Il framework è implementato in Haskell (HaskTorch), Python (JAX) e Python (PyTorch). Il backend JAX utilizza la compilazione JIT per la convoluzione nello spazio logaritmico e la differenziazione.

Contributi Chiave

1. Implementazione Neurale di NeSyCat: Fornisce la prima implementazione neurale del framework NeSyCat, colmando il divario tra l'astratta semantica categorica e il deep learning pratico.
2. Parametricità Monadica Unificata: Dimostra che un singolo codice, scritto in do-notation monadica, può istanziare diverse semantiche (probabilistiche, fuzzy, classiche) semplicemente cambiando la monade sottostante.
3. Monade Log-Tensoriale Differenziabile: Introduce un backend di addestramento numericamente stabile e differenziabile utilizzando il semianello logaritmico, evitando la necessità di una normalizzazione softmax esplicita durante i passaggi intermedi (deferendola al confine).
4. Scalabilità tramite Pigrizia: Ottiene un addestramento efficiente su batch e problemi multi-digit differendo i calcoli di marginalizzazione.

Risultati Sperimentali

Gli autori hanno valutato il framework sul compito di addizione MNIST (supervisione distante: viene osservata solo la somma di due cifre scritte a mano, non le cifre stesse).

• Accuratezza:
  • Singola Cifra ($N=1$): NeSyCat Torch ha raggiunto il 94,6% (stile LTN) e il 94,2% (stile DeepProbLog), superando LTN (93,5%) e DeepProbLog (92,2%).
  • Multi-Cifra ($N=4$): NeSyCat Torch ha raggiunto un'accuratezza del 92,0%. Al contrario, LTN e DeepProbLog sono andati in timeout (T/O) su questo compito.
  • Confronto: L'approccio si avvicina all'accuratezza di DeepStochLog (92,7% per $N=4$), che è attualmente il baseline più accurato, mantenendo al contempo un framework uniforme applicabile a vari approcci del primo ordine.
• Efficienza:
  • I passi di addestramento su una singola GPU A100 sono stati significativamente più veloci di LTN (0,52ms vs 5,36ms per passo per lo stile LTN su hardware più vecchio).
  • Il sistema converge rapidamente; l'intero sweep di 15 seed per l'addizione a singola cifra ha richiesto circa 1,5 minuti.
• Generalizzazione: La rete ha imparato a riconoscere le cifre con un'accuratezza del ~97% solo dalle somme osservate, senza utilizzare le etichette delle cifre.

Significato e Rivendicazioni

Il paper sostiene che NeSyCat Torch riesca a scalare la generalità del framework categorico NeSyCat al livello dell'implementazione neurale. Il suo significato primario risiede in:

• Unificazione: Offre un framework unico e uniforme che si applica a molti approcci NeSy del primo ordine (classici, fuzzy, probabilistici) semplicemente istanziando la monade, anziché richiedere definizioni separate per ciascuno.
• Scalabilità: Utilizzando monadi pigre e strutture tensoriali, supera i colli di bottiglia computazionali (come il conteggio del modello pesato #P-hard in DeepProbLog) che limitano altri metodi su problemi più grandi (ad esempio, $N=4$ cifre).
• Estensibilità: Il framework è parametrico; sebbene l'attuale lavoro si concentri su distribuzioni a supporto finito, gli autori notano che istanziando la monade Giry si potrebbe estendere l'approccio alla probabilità continua (sebbene una rappresentazione neurale per questo sia lasciata alla ricerca futura).

Gli autori notano con modestia che, sebbene l'attuale implementazione gestisca efficacemente domini finiti e distribuzioni discrete, la generalizzazione a domini infiniti e la rappresentazione neurale efficiente della probabilità continua rimangono una sfida aperta per la ricerca futura.