Riepilogo Tecnico: Insiemi Conformi Concisi e Logicamente Coerenti per Modelli Neuro-Simbolici Basati su Concetti

Enunciato del Problema

I Modelli Neuro-Simbolici Basati su Concetti (NeSy-CBM) integrano reti neurali per l'estrazione di concetti con il ragionamento simbolico per l'inferenza di compiti, mirando a produrre sistemi di intelligenza artificiale affidabili per applicazioni ad alto rischio. Tuttavia, questi modelli soffrono spesso di eccessiva sicurezza e di scarsa calibrazione, rendendo difficile per gli stakeholder valutare l'affidabilità delle loro previsioni. Inoltre, anche quando l'incertezza è quantificata, le probabilità risultanti possono essere controintuitive per gli utenti finali.

Gli approcci esistenti alla quantificazione dell'incertezza nei NeSy-CBM spesso non soddisfano simultaneamente tre requisiti critici:

1. Coerenza: I concetti e le etichette previsti devono essere logicamente coerenti con la conoscenza a priori specificata dall'utente ($K$).
2. Copertura: Gli insiemi di previsione devono fornire garanzie di copertura marginale, libere dalla distribuzione e su campioni finiti, sia per i concetti che per le etichette.
3. Concisione: Gli insiemi di previsione devono essere il più piccoli possibile per rimanere interpretabili e utilmente operativi.

Le attuali strategie di previsione conforme "monodirezionali" (ad esempio, applicare la previsione conforme solo alle etichette o solo ai concetti) o i metodi di revisione asimmetrici non riescono a soddisfare tutti e tre i criteri, spesso producendo insiemi che sono o incoerenti, privi di garanzie di copertura su un lato, o proibitivamente grandi.

Metodologia: COCOCO

Gli autori introducono COCOCO (COnformalità, COnsistenza, COncisione), un framework post-hoc progettato per trasformare qualsiasi NeSy-CBM addestrato in un predittore conforme che soddisfi tutti e tre i requisiti.

Meccanismo Principale

COCOCO opera in due fasi:

1. Conformalizzazione Congiunta: Costruisce indipendentemente un insieme di previsione conforme per le etichette ($\Upsilon_\alpha(x)$) e un insieme di previsione conforme per i concetti ($\Gamma_\beta(x)$) utilizzando tecniche standard di previsione conforme. Per i concetti, sfrutta l'indipendenza condizionale degli estrattori di concetti per costruire un insieme prodotto, o utilizza valori-e per evitare correzioni di Bonferroni e controllare la dimensione dell'insieme.
2. Revisione Deduzione-Abusione: Il framework applica un singolo passo di revisione congiunta per riconciliare i due insiemi. Questo passo comporta:
   • Deduzione: Filtrare l'insieme delle etichette per mantenere solo le etichette implicite dall'insieme dei concetti ($\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$).
   • Abduzione: Filtrare l'insieme dei concetti per mantenere solo i concetti che implicano almeno un'etichetta nell'insieme delle etichette ($\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$).

Garanzie Teoriche

• Punto Fisso in Un Passo: Gli autori dimostrano che una singola applicazione di questo operatore di revisione congiunta è sufficiente per raggiungere un punto fisso. Iterare il processo è inutile, garantendo efficienza computazionale.
• Ottimalità: La coppia risultante $(\Gamma_{rev}, \Upsilon_{rev})$ è il più grande sottoinsieme possibile degli insiemi originali che mantiene la coerenza logica reciproca.
• Copertura in Caso di Conoscenza Imperfetta: Il framework mantiene garanzie di copertura libere dalla distribuzione. Nei casi in cui il livello di inferenza è imperfetto (ad esempio, a causa di conoscenza incompleta o scorciatoie di ragionamento), il limite inferiore della copertura degrada linearmente in base alla correttezza del livello di inferenza ($\delta_{ab}$ e $\delta_{de}$).
• Budget di Dimensione Specificati dall'Utente: Integrando le previsioni conformi basate su valori-e (utilizzando valori-e invece di quantili), COCOCO permette agli utenti di specificare dimensioni massime degli insiemi (budget) selezionando adattivamente i livelli di mancata copertura ($\tilde{\alpha}, \tilde{\beta}$) per mantenere le garanzie di copertura in aspettativa. Questo approccio evita il degrado delle garanzie all'aumentare del numero di concetti.

Contributi Chiave

1. Formalizzazione dei Requisiti: Il documento definisce e formalizza coerenza, copertura e concisione come condizioni necessarie per i metodi NeSy conformi.
2. Framework COCOCO: Un nuovo framework post-hoc che conformalizza congiuntamente concetti ed etichette e li riconcilia tramite un singolo passo di deduzione-abduzione.
3. Dimostrazioni Teoriche:
   • Dimostrazione che COCOCO soddisfa tutti e tre i requisiti per costruzione.
   • Dimostrazione che il passo di revisione raggiunge un punto fisso in una singola iterazione.
   • Derivazione di limiti di copertura che tengono conto della conoscenza imperfetta e delle probabilità di fallimento congiunto.
4. Controllo della Dimensione: Dimostrazione di come i valori-e permettano budget di dimensione specificati dall'utente senza compromettere le garanzie di copertura.
5. Valutazione Empirica Estensiva: Valutazione su 8 dataset (inclusi imaging medico, testo e classificazione di immagini) utilizzando due architetture NeSy all'avanguardia (DeepProbLog e Logic Tensor Networks).

Risultati Sperimentali

Gli esperimenti su 8 dataset (CHX, CEB, RIV10, varianti MN-Add, CIF10) dimostrano che COCOCO supera le linee di base naturali e il concorrente più forte (RPB):

• Coerenza: COCOCO raggiunge una coerenza di concetti ed etichette pari a 1.00 su tutti i dataset. Al contrario, concorrenti come RPB mostrano spesso un'incoerenza significativa sul lato dei concetti (ad esempio, scendendo a 0.12 sul dataset MN-EO).
• Concisione: COCOCO riduce significativamente le dimensioni degli insiemi di previsione rispetto alle linee di base. Ad esempio, sul dataset CEB, riduce la dimensione dell'insieme dei concetti da 75.06 (RPB) a 53.49, e su MN-EO riduce la dimensione da 100.00 (RPB) a 12.13, mantenendo la piena coerenza.
• Copertura: Mentre COCOCO scambia una piccola quantità di copertura (tipicamente 7–10 punti percentuali in meno rispetto a RPB sul lato dei concetti) per garantire coerenza e concisione, mantiene un'alta copertura delle etichette (spesso $\ge 0.87$) e una copertura dei concetti ($\ge 0.83$) al target nominale di 0.9.
• Robustezza: Il metodo si comporta in modo robusto anche in caso di conoscenza incompleta (RIV10) e scorciatoie di ragionamento (MN-EO), dove i limiti teorici prevedono correttamente il degrado della copertura.
• Tempo di Esecuzione: Il sovraccarico computazionale di COCOCO è modesto (circa 1.2x-1.6x il tempo di esecuzione della linea di base), poiché il passo di revisione richiede solo un singolo passaggio di calcolo abduzione e deduzione delle immagini.

Significato e Affermazioni

Il documento afferma che COCOCO è il primo metodo a sfruttare simultaneamente la conoscenza simbolica per ridurre gli insiemi di previsione conforme e imporre la coerenza tra etichette e concetti, mantenendo al contempo una copertura libera dalla distribuzione.

Gli autori posizionano COCOCO come un passo critico verso la rendita dei NeSy-CBM adatti a sistemi di supporto alle decisioni in domini ad alto rischio (ad esempio, diagnosi medica), dove gli stakeholder richiedono non solo una previsione, ma un insieme di alternative plausibili e logicamente coerenti con rigorose garanzie statistiche. Il framework affronta la natura "scatola nera" dell'incertezza nei modelli NeSy fornendo insiemi interpretabili che rispettano i vincoli di dominio, migliorando così la fiducia e l'affidabilità senza richiedere il riaddestramento del modello neuro-simbolico sottostante.