Riepilogo Tecnico: Logica delle Ipotesi (LoH)

Enunciato del Problema

L'integrazione neurosimbolica (NeSy) mira a combinare il potere deduttivo della logica simbolica con le capacità di apprendimento delle reti neurali. Gli approcci esistenti occupano tipicamente le estremità opposte di uno spettro:

1. Iniezione di Conoscenza: Metodi come DeepProbLog e LTN si basano su esperti di dominio che forniscono formule logiche di alta qualità come priori o vincoli. Ciò presuppone che tali regole siano prontamente disponibili e non gestisce scenari in cui le regole devono essere apprese o parzialmente riviste.
2. Induzione di Regole: Metodi come SATNet, DSL e Programmazione Logica Induttiva (ILP) apprendono regole simboliche direttamente dai dati. Sebbene flessibili, spesso faticano a incorporare conoscenze prioritarie parziali o a imporre specifici modelli sintattici (ad esempio, clausole a lunghezza fissa) senza meccanismi ad hoc.

Rimane un divario significativo nella gestione di scenari intermedi in cui viene fornita una struttura logica parziale, ma i componenti mancanti devono essere appresi, oppure in cui le regole apprese devono aderire a vincoli sintattici specifici. I modelli NeSy differenziabili attuali spesso mancano della flessibilità necessaria per coprire questo spettro "da zero a conoscenza completa" all'interno di un unico quadro principiale. Inoltre, molti modelli esistenti che utilizzano la logica fuzzy (ad esempio, le t-norme Prodotto o Łukasiewicz) soffrono di una discrepanza tra le prestazioni di addestramento continue e l'estrazione discreta e interpretabile delle regole, portando a una perdita di accuratezza in seguito alla binarizzazione.

Metodologia: La Logica delle Ipotesi (LoH)

Gli autori propongono la Logica delle Ipotesi (LoH), un nuovo formalismo logico che unifica l'iniezione di conoscenza e l'induzione di regole.

1. L'Operatore di Scelta

LoH estende la sintassi della logica proposizionale standard con un operatore di scelta $[\Phi_1, \dots, \Phi_n]$.

• Sintassi: Una formula $\Phi$ può contenere operatori di scelta che selezionano una sottoformula da un pool finito di candidati.
• Semantica: Una singola formula LoH rappresenta uno spazio delle ipotesi $\mathcal{H}(\Phi)$, che è l'insieme di tutte le formule proposizionali classiche ottenute selezionando esattamente una sottoformula per ogni operatore di scelta.
• Flessibilità: Ciò consente la rappresentazione di formule non specificate. Regolando la presenza di operatori di scelta, LoH può rappresentare qualsiasi cosa, da una regola completamente specificata (nessuna scelta) a uno spazio di ricerca completamente guidato dai dati (tutte le scelte).

2. Compilazione in Grafi Differenziabili

Per abilitare l'apprendimento tramite backpropagation, le formule LoH vengono compilate in grafi computazionali differenziabili:

• Porte Ponderate: A ogni sottoformula candidata $\Phi_i$ in un operatore di scelta viene assegnato un peso apprendibile $w_i \in [0, 1]$.
• Compilazione Duale: L'operatore di scelta viene convertito in una formula proposizionale utilizzando la Compilazione Disgiuntiva ($\bigvee w_i \land \Phi_i$) o la Compilazione Congiuntiva ($\bigwedge \neg w_i \lor \Phi_i$). La scelta tra queste dipende dal contesto dell'operatore (ad esempio, all'interno di una congiunzione rispetto a una disgiunzione) per ottimizzare il flusso del gradiente.
• Semantica Logica Fuzzy: Le formule compilate sono interpretate utilizzando la logica fuzzy Gödel (dove la congiunzione è $\min$ e la disgiunzione è $\max$). Ciò rende le operazioni logiche differenziabili.

3. Il Trucco di Gödel e la Discretizzazione

Un componente critico è il meccanismo per apprendere decisioni discrete mantenendo la differenziabilità:

• Parametrizzazione: Invece di apprendere direttamente i pesi $w_i$, il modello apprende i logit $z_i$.
• Ricerca Locale Stocastica: Durante il passaggio in avanti, viene aggiunto rumore Gumbel ai logit. I valori vengono quindi spostati in modo che esattamente un logit sia positivo, e viene applicata una funzione sigmoide per produrre i pesi.
• Teorema 1 (Estrazione Senza Perdita): Sfruttando le proprietà della logica Gödel, gli autori dimostrano che per qualsiasi interpretazione fuzzy, l'arrotondamento dei valori di output utilizzando una soglia di 0.5 produce un'interpretazione booleana coerente con il modello continuo. Ciò garantisce che discretizzare il modello appreso non comporti alcuna perdita di accuratezza rispetto alla versione continua, una proprietà non garantita da altre logiche fuzzy come Prodotto o Łukasiewicz.

4. Integrazione Architettonica

LoH può essere impilato sopra le reti neurali (ad esempio, CNN) per apprendere mappature percezione-simbolo end-to-end. Gli operatori di scelta possono anche essere utilizzati per imporre modelli sintattici (ad esempio, clausole a larghezza fissa) o per selezionare sottoinsiemi di una base di conoscenza nota.

Contributi Chiave

1. Linguaggio Innovativo (LoH): Un formalismo che estende la logica proposizionale con un operatore di scelta, consentendo la rappresentazione compatta degli spazi delle ipotesi e l'integrazione flessibile di conoscenze prioritarie parziali.
2. Compilazione Differenziabile: Una procedura per compilare formule LoH in grafi computazionali utilizzando la logica fuzzy Gödel e il trucco di Gödel. Ciò consente l'apprendimento end-to-end di regole logiche discrete senza degradazione dell'accuratezza in seguito alla binarizzazione.
3. Quadro Unificante: LoH include i paradigmi NeSy esistenti. Può funzionare come un puro inducente di regole (nessuna conoscenza), un iniettore di conoscenza (conoscenza completa) o un sistema ibrido che gestisce scenari intermedi (conoscenza parziale, vincoli di modello).
4. Validazione Empirica: Il quadro dimostra prestazioni solide su dati tabulari e compiti percettivi (Tris Visivo), superando o eguagliando modelli all'avanguardia come MLLP e DLN, fornendo al contempo regole discrete e interpretabili.

Risultati Sperimentali

Gli autori hanno valutato LoH su due fronti principali:

1. Classificazione Tabulare (12 Dataset UCI)

• Configurazione: I modelli LoH sono stati confrontati con Alberi Decisionali (DT), Foreste Casuali (RF), XGBoost, Reti Neurali standard (NN), Reti Logiche Differenziabili (DLN) e Percettroni Logici Multistrato (MLLP).
• Risultati:
  • LoH ha ottenuto punteggi F1 competitivi, spesso eguagliando o superando le prestazioni delle NN standard e di MLLP.
  • A differenza di MLLP, dove le regole estratte (CRS) spesso subiscono un calo significativo delle prestazioni rispetto al modello continuo, le regole discrete di LoH mantengono la stessa accuratezza del modello continuo grazie alla semantica Gödel.
  • LoH ha costantemente superato CRS e DLN (nella sua forma discreta) sulla maggior parte dei dataset, in particolare nei contesti multiclasse con un numero ridotto di classi.

2. Tris Visivo

• Configurazione: Un compito percettivo in cui l'input è una griglia $3 \times 3$ di cifre MNIST (0=X, 1=O, 2=Vuoto) invece di input simbolici. L'obiettivo è prevedere se 'X' vince.
• Risultati:
  • LoH (in particolare la variante DNF) ha ottenuto le prestazioni più elevate, trovando la formula logica corretta al 100% in 4 esecuzioni su 30.
  • Altri modelli (MLLP, DLN) hanno faticato con la valutazione simbolica dopo l'addestramento, spesso non riuscendo a produrre regole discrete accurate nonostante prestazioni continue ragionevoli.
  • Il modello ha appreso con successo ad ancorare i simboli (identificando X, O e Vuoto dalle immagini) e a scoprire la struttura logica sottostante simultaneamente.

3. Simulazione del Rischio di Incendi Boschivi (Regimi di Conoscenza)

• Configurazione: Un compito sintetico che testa diversi livelli di conoscenza prioria: Conoscenza Completa, Selezione di Regole Affidabili, Selezione di Una Regola per Insieme e Conoscenza Parziale.
• Risultati: LoH si è adattato con successo a tutti i regimi. Rispetto a una baseline $\partial$ILP modificata, LoH l'ha superata nei regimi che coinvolgono grandi spazi delle ipotesi, dimostrando una superiore efficienza nella gestione della selezione di regole complesse e dell'integrazione di conoscenze parziali.

Significato e Affermazioni

Il documento afferma che LoH fornisce un unico quadro di apprendimento principiale che colma il divario tra iniezione di conoscenza e induzione di regole. Il suo significato principale risiede in:

• Flessibilità: Consente ai ricercatori di specificare l'esatta quantità di conoscenza prioria disponibile, da "zero" a "completa", e di gestire casi intermedi in cui le regole necessitano di revisione o completamento.
• Discretizzazione Senza Perdita: Sfruttando la logica Gödel e il trucco di Gödel, LoH garantisce che le regole discrete e interpretabili estratte dal modello siano accurate quanto il modello continuo utilizzato durante l'addestramento. Ciò affronta una limitazione maggiore negli approcci neurosimbolici precedenti.
• Apprendimento End-to-End: Consente l'apprendimento simultaneo di regole simboliche e mappature percezione-simbolo, ancorando concetti astratti nei dati grezzi senza richiedere componenti simbolici pre-addestrati.

Gli autori riconoscono le limitazioni, notando che l'implementazione attuale è proposizionale e che la scalabilità rimane una sfida per le estensioni del primo ordine a causa dell'esplosione combinatoria delle groundings. Tuttavia, sostengono che LoH offra una base solida per futuri sviluppi nell'IA neurosimbolica.