Sintesi Tecnica: Supervisione Debole Neuro-Simbolica: Teoria e Semantica

Definizione del Problema

Il documento affronta le sfide della Supervisione Debole (Weak Supervision), specificamente nel contesto dell'Apprendimento Multi-Istanza con Etichettatura Parziale (MI-PLL - Multi-Instance Partial Label Learning). Nel MI-PLL, i dati di addestramento consistono in "sacchi" (bags) di istanze, dove ogni sacco è associato a un insieme di etichette candidate che contiene almeno un'etichetta vera e potenzialmente dei falsi positivi. La difficoltà principale risiede nell'ambiguità dei segnali di supervisione e nell'incertezza delle mappature istanza-etichetta.

Sebbene il lavoro teorico esistente (ad es., Wang et al. [5]; Tsamoura et al. [6]) abbia stabilito limiti di complessità campionaria e analisi del rischio specifico per classe per il MI-PLL, questi framework spesso mancano di un meccanismo logico strutturato per guidare l'apprendimento, diagnosticare modalità di fallimento semantico o garantire l'affidabilità in applicazioni ad alto rischio. Il documento identifica una lacuna nella fornitura di una semantica formale che integri la Programmazione Logica Induttiva (ILP) per strutturare la relazione tra gli output neurali rumorosi e le etichette deboli a livello di sacco.

Metodologia

1. Framework Semantico: CP, TP e OP

Gli autori propongono un framework neuro-simbolico basato su tre predicati ausiliari logici che formalizzano il problema MI-PLL:

• CP (Predicato del Classificatore): Rappresenta la predizione per istanza $f(x_i) = y_i$. Mappa input non simbolici (ad es., immagini) verso etichette di istanza latenti.
• TP (Predicato di Transizione): Rappresenta l'operatore di aggregazione $\sigma$ che mappa un vettore di etichette di istanza verso un'etichetta a livello di sacco ($s = \sigma(y_1, \dots, y_M)$). Questo definisce lo spazio delle ipotesi sulle transizioni di etichetta.
• OP (Predicato Osservato): Registra la supervisione debole osservata, collegando un sacco di istanze $x$ all'etichetta osservata a livello di sacco $s$.

Il framework tratta il compito di apprendimento come la ricerca di un'ipotesi $H = (f, \sigma)$ tale che le predizioni CP, quando aggregate tramite il TP, siano logicamente coerenti con le osservazioni OP.

2. Compiti Induttivi

Il documento formalizza due distinti scenari induttivi all'interno di questa struttura semantica:

• Scenario 1 (Inferenza del TP): Dato l'OP osservato e le predizioni a livello di istanza CP (assunte disponibili o pre-addestrate), l'obiettivo è inferire il predicato di transizione (operatore di aggregazione $\sigma$) che meglio spiega la relazione tra le etichette di istanza e le etichette di sacco.
• Scenario 2 (Inferenza del CP): Dato l'OP osservato e un predicato di transizione fisso TP ( $\sigma$ noto), l'obiettivo è inferire il classificatore $f$ (e quindi le assegnazioni CP) che soddisfi i vincoli logici imposti dalle etichette a livello di sacco.

3. Implementazione e Valutazione

Per testare empiricamente la semantica proposta, gli autori utilizzano una pipeline differenziabile ispirata al sistema $\alpha$-ILP.

• Architettura: Una Rete Neurale Convoluzionale (CNN) istanzia il CP. Il TP è tratto da un insieme discreto di operatori simbolici ($\Sigma = \{+, \times, \oplus, C\}$).
• Addestramento: Il sistema impiega una funzione di perdita a quattro termini:
  1. $L_{bag}$: Cross-entropia a livello di sacco rispetto alle etichette deboli osservate.
  2. $L_{con}$: Perdita di vincolo che assicura la coerenza del TP.
  3. $L_{cp}$: Confidenza del classificatore.
  4. $L_{ctp}$: Perdita di coerenza tra le distribuzioni del sacco derivate da CP e derivate da TP.
• Dataset: Gli esperimenti utilizzano sacchi di cifre MNIST con etichette di istanza nascoste e etichette deboli a livello di sacco generate tramite addizione ($+$), moltiplicazione ($\times$) o XOR ($\oplus$).

Risultati Chiave

1. Necessità del Accoppiamento Semantico

Gli studi di ablazione (Tabella 1) dimostrano che la rimozione dei componenti semantici porta al fallimento:

• Senza CP: Il modello apprende una "scorciatoia OP $\leftrightarrow$ TP", ottenendo un'accuratezza moderata sul sacco ma fallendo nel recuperare la semantica dell'istanza (l'accuratezza dell'istanza scende al livello del caso casuale, ~0.10).
• Senza TP / Solo OP: Senza il vincolo strutturale del predicato di transizione, il modello collassa alle prestazioni di base, incapace di utilizzare efficacemente la supervisione debole.
• Modello Completo: Ottiene un'elevata accuratezza del sacco (~0.96) e la soddisfazione dei vincoli in tutti gli operatori, con il divario Sacco–Vincolo (Bag–Constraint gap) vicino allo zero, indicando che il successo è supportato strutturalmente piuttosto che essere spurio.

2. Modalità di Fallimento Dipendenti dall'Operatore

Il framework rivela modalità di fallimento invisibili alla sola accuratezza del livello di sacco:

• Bimodalità di XOR ($\oplus$): Per l'operatore XOR non M-univoco, l'accuratezza dell'istanza mostra una distribuzione bimodale netta tra i seed casuali. Circa la metà dei seed recupera un'alta accuratezza dell'istanza, mentre l'altra metà collassa vicino allo zero nonostante mantenga un'alta accuratezza del sacco. Ciò si allinea con le modalità di fallimento previste da Wang et al. [5] per gli operatori non M-univoci.
• Sensibilità della Moltiplicazione ($\times$): Sotto un classificatore casuale (non addestrato), l'operatore moltiplicativo fallisce nell'essere identificato a causa di un effetto "attrattore zero", mentre l'addizione e lo XOR mantengono il ranking dell'operatore.

3. Robustezza al Rumore

Il sistema mostra un "plateau" nel rapporto di coerenza seguito da una transizione netta all'aumentare del rumore di OP.

• Addizione e XOR: Mantengono la coerenza fino al 50% di rumore, per poi scendere bruscamente.
• Moltiplicazione: Rimane robusta fino al 70% di rumore. Gli autori attribuiscono ciò alla distribuzione asimmetrica della pre-immagine della moltiplicazione (dove l'etichetta 0 assorbe molte coppie), una proprietà strutturale coerente con l'analisi del rischio specifico per classe di Tsamoura et al. [6].

Significato e Rivendicazioni

Il documento rivendica di fornire una semantica formale per il MI-PLL che colma il divario tra la teoria dell'apprendimento statistico e il ragionamento neuro-simbolico. I suoi principali contributi sono:

1. Caratterizzazione Logica: Definisce uno spazio di ipotesi sulle transizioni di etichetta utilizzando l'ILP, formalizzando la semantica dei classificatori per istanza e fornendo un'impalcatura relazionale per ragionare sulla supervisione debole.
2. Capacità Diagnostica: Il framework consente la diagnosi di modalità di fallimento semantico (ad es., scorciatoie di ragionamento, collasso a livello di istanza) che l'accuratezza a livello di sacco da sola nasconde. Le metriche proposte (Bag–Constraint, Bag–Inst) operazionalizzano questa capacità diagnostica.
3. Allineamento Teorico: I risultati empirici si allineano e operazionalizzano le condizioni teoriche di Wang et al. [5] (condizioni di univocità) e Tsamoura et al. [6] (rischio specifico per classe e asimmetria della pre-immagine). Specificamente, il documento mostra che l'assunzione "r-bounded" richiesta per l'apprendibilità in Wang et al. [5] è soddisfatta praticamente solo quando il classificatore è pre-addestrato (Scenario 2) prima di inferire l'operatore (Scenario 1).

Gli autori rimangono modesti riguardo all'ambito, osservando che l'attuale implementazione si basa su un insieme finito di operatori progettati manualmente e non modifica l'architettura del classificatore sottostante. Il lavoro è presentato come un passo fondamentale verso un trattamento più ampio del MI-PLL basato su ILP, con la necessità di lavori futuri per affrontare la supervisione ritardata, la scoperta di regole flessibili e la robustezza cross-dominio.