Sintesi Tecnica: Programmazione Logica Differenziabile per Mitigare le Scorciatoie di Ragionamento nei Sistemi Neurosimbolici

1. Definizione del Problema

I sistemi neurosimbolici (NeSy) mirano a combinare le capacità di generalizzazione delle reti neurali con l'interpretabza della logica simbolica. Tuttavia, ricerche recenti indicano che questi sistemi sono soggetti a scorciatoie di ragionamento (reasoning shortcuts), dove i modelli raggiungono un'elevata accuratezza di addestramento sfruttando pattern spuri o percorsi di ragionamento eccessivamente semplicistici invece di apprendere i concetti semantici intesi. Gli autori identificano due manifestazioni specifiche di questo fenomeno:

1. Scorciatoie di Soddisfacimento dei Vincoli: Il modello soddisfa trivialmente i vincoli logici senza apprendere il concetto inteso. Ad esempio, in un vincolo $P \to Q$, un modello potrebbe imparare a falsificare sempre $P$ (rendendo l'implicazione vacuamente vera) piuttosto che apprendere la relazione tra $P$ e $Q$. Questo è particolarmente prevalente nei contesti semi-supervisionati dove i vincoli logici forniscono la supervisione primaria.
2. Scorciatoie di Cognizione: Il modello apprende mappature errate tra input e concetti a causa di dati di addestramento distorti o confusi. Anche se le regole logiche sono sintatticamente soddisfatte, la mappatura semantica è errata (ad esempio, confondendo i concetti di cifra in un compito di addizione distorto).

Gli approcci esistenti spesso si affidano a distribuzioni di probabilità "morbide" (soft) o rilassamenti della logica fuzzy, che permettono ai vincoli di essere soddisfatti attraverso assegnazioni di valori di verità parziali. Questa flessibilità può consentire ai modelli di bypassare la necessità di classificazioni concettuali definitive, facilitando così comportamenti di scorciatoia.

2. Metodologia

Gli autori propongono un framework di programmazione logica differenziabile basata su matrici per affrontare questi problemi. L'approccio si basa sul lavoro precedente che codifica i programmi logici come operazioni matriciali, ma introduce elementi di design specifici per imporre un esplicito radicamento (grounding).

2.1 Codifica Matriciale e Semantica

Il nucleo del metodo consiste nel rappresentare un programma logico proposizionale normale come operazioni matriciali:

• Matrice del Programma ($Q$): Codifica le regole. Ogni riga rappresenta una regola, e le colonne corrispondono agli atomi e alle loro negazioni.
• Matrice delle Teste ($D$): Mappa i corpi delle regole alle loro teste atomiche.
• Gestione Unificata dei Vincoli: Gli integrali di vincolo (es. $\leftarrow a \land b$) vengono riscritti utilizzando un atomo ausiliario $z$ (es. $z \leftarrow a \land b \land \neg z$) dove $z$ deve rimanere falso. Ciò consente di trattare i vincoli in modo identico alle regole di implicazione all'interno di una singola struttura matriciale, riducendo i requisiti di archiviazione rispetto ai metodi precedenti che richiedevano matrici separate.

2.2 Valutazione Differenziabile

Gli output delle reti neurali sono trattati come valori di verità continui che formano un vettore di interpretazione $v$. Questo viene esteso a $w = [v; 1-v]$ per includere le negazioni. La derivazione degli atomi è calcolata tramite:
$$h = \min(1, D(1 - \min(1, Q(1 - w))))$$
Questa formulazione implementa implicitamente la t-norma di Łukasiewicz (aggregazione di somma limitata) per le congiunzioni. La funzione di perdita è definita come la Cross-Entropy Binaria (BCE) tra i valori morbidi derivati $h$ e le etichette target $t$.

2.3 Distinzione Architetturale Chiave

A differenza degli approcci di logica fuzzy (es. Logic Tensor Networks) o della compilazione probabilistica (es. DeepProbLog) che si affidano a rilassamenti morbidi, questo metodo stabilisce una corrispondenza uno-a-uno tra gli output neurali e gli atomi logici. La struttura matriciale crea percorsi di gradiente diretti dalle violazioni dei vincoli alle specifiche predizioni neurali responsabili, costringendo il modello a impegnarsi in classificazioni concettuali definitive piuttosto che soddisfare i vincoli tramite valori di verità parziali.

3. Contributi Chiave

1. Metodo di Mitigazione Basato su Matrici: Un nuovo approccio di programmazione logica differenziabile che utilizza una codifica matriciale unificata per mitigare sia le scorciatoie di soddisfacimento dei vincoli che quelle di cognizione.
2. Trattamento Unificato dei Vincoli: Una strategia di codifica che integra i vincoli di integrità e le implicazioni in una singola matrice utilizzando atomi ausiliari, preservando la semantica del modello supportato e riducendo l'archiviazione.
3. Analisi Empirica delle T-Norme: Un confronto sistematico tra le operazioni matriciali e le t-norme della logica fuzzy (Łukasiewicz, Product, Gödel), analizzando le loro proprietà di flusso del gradiente e l'impatto sulla mitigazione delle scorciatoie.
4. Valutazione Sistematica: Esperimenti estesi su varianti di MNIST che dimostrano come il radicamento degli atomi uno-a-uno superi significativamente i metodi di rilassamento morbido nell'apprendimento dei concetti intesi sotto supervisione distorta o debole.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo (MatLP) contro baseline che includono CNN, Logic Tensor Networks (LTN), Semantic Loss, DeepProbLog, DeepStochLog e NeurASP su due compiti.

4.1 Scorciatoie di Soddisfacimento dei Vincoli (MNIST 6/9)

In un compito semi-supervisionato in cui una classe di cifre (es. "6") non è etichettata e deve essere appresa tramite un vincolo logico che coinvolge immagini ruotate:

• Baseline: Modelli come Semantic Loss, LTN e NeurASP hanno raggiunto elevati tassi di soddisfacimento dei vincoli (es. 100% di soddisfacimento del vincolo di rotazione) ma hanno fallito nell'apprendere il concetto della cifra mancante (0% di accuratezza sulla classe mancante). Hanno soddisfatto i vincoli sopprimendo la probabilità della classe corrispondente senza impegnarsi sulla classe target.
• MatLP: Ha raggiunto un'elevata accuratezza sulla cifra mancante (92,3% su MNIST, 42,4% su USPS) mantenendo il soddisfacimento dei vincoli. L'approccio basato su matrici ha costretto il modello a classificare effettivamente la cifra invece di sfruttare il vincolo in modo vacuo.

4.2 Scorciatoie di Cognizione (MNIST-Half)

In un compito di addizione distorto in cui viene osservato solo un sottoinsieme di coppie di cifre, portando a mappature concettuali ambigue:

• Caso 1 (Alto Bias): Con sole 4 regole, la maggior parte dei modelli (inclusi LTN e DeepProbLog) non è riuscita a disambiguare i concetti, raggiungendo un'accuratezza vicina al caso casuale.
• Casi 2-5 (Aumento dei Vincoli): Man mano che venivano aggiunte regole supplementari per disambiguare le mappature:
  • Metodi di Rilassamento Morbido (LTN, Semantic Loss): Hanno faticato a uscire dalle scorciatoie iniziali, mostrando un miglioramento minimo dell'accuratezza nonostante l'aumento dei vincoli.
  • Metodi di Radicamento Esplicito (NeurASP, MatLP): Hanno dimostrato un miglioramento progressivo. NeurASP ha raggiunto un'accuratezza quasi perfetta rapidamente, mentre MatLP ha mostrato un miglioramento costante e robusto (dal 41% al 99,5% di accuratezza) con l'aggiunta dei vincoli.
• Confronto tra T-Norme: Su MNIST Addition standard, la t-norma Product ha ottenuto l'accuratezza più elevata (91,7%), seguita dal metodo basato su matrici (88,5%). La t-norma Gödel ha performato peggio (82,9%) a causa della scarsità dei gradienti.

5. Significato e Rivendicazioni

Il paper sostiene che l'accoppiamento tra conoscenza simbolica e apprendimento neurale è critico per mitigare le scorciatoie di ragionamento. Nello specifico:

• Il Radicamento Esplicito è Necessario ma Non Sufficiente: Sebbene il radicamento uno-a-uno degli atomi (come in NeurASP e MatLP) aiuti, il meccanismo di ottimizzazione è fondamentale. NeurASP è fallito nei compiti di soddisfacimento dei vincoli dove MatLP ha avuto successo, suggerendo che la valutazione differenziabile continua combinata con il radicamento esplicito sia superiore alla sola enumerazione discreta.
• Proprietà del Flusso del Gradiente: L'approccio basato su matrici crea percorsi di gradiente diretti dalle violazioni alle predizioni responsabili, impedendo ai modelli di soddisfare i vincoli attraverso valori di verità "parziali" che non corrispondono alle semantiche intese.
• Limitazioni: Gli autori notano che la loro valutazione è limitata a programmi proposizionali su compiti basati su MNIST. Non rivendicano un'immediata generalizzabilità a ragionamenti di primo ordine complessi o compiti di visione del mondo reale, identificando la scalabilità tramite matrici sparse e l'estensione alla logica del primo ordine come lavori futuri.

In conclusione, gli autori dimostrano che la programmazione logica differenziabile basata su matrici, imponendo un radicamento esplicito e una propagazione diretta del gradiente, offre una scelta architettonica robusta per prevenire i sistemi neurosimbolici dall'esplorare scorciatoie di ragionamento in presenza di dati distorti o con supervisione debole.