Technische Samenvatting: Beknopte en Logisch Consistente Conformale Sets voor Neuro-Symbolische Conceptgebaseerde Modellen

Probleemstelling

Neuro-Symbolische Conceptgebaseerde Modellen (NeSy-CBMs) integreren neurale netwerken voor conceptextractie met symbolische redenering voor taakinferentie, met als doel betrouwbare AI-systemen te produceren voor toepassingen met hoge risico's. Deze modellen lijden echter vaak aan oververtrouwen en verkeerde kalibratie, waardoor het voor belanghebbenden moeilijk is om de betrouwbaarheid van hun voorspellingen te beoordelen. Bovendien kunnen de resulterende kansen, zelfs wanneer onzekerheid wordt gekwantificeerd, voor eindgebruikers onintuïtief zijn.

Bestaande benaderingen voor onzekerheidskwantificatie in NeSy-CBMs voldoen vaak niet gelijktijdig aan drie kritieke desiderata:

1. Consistentie: Voorspelde concepten en labels moeten logisch consistent zijn met de door de gebruiker gespecificeerde voorkennis ($K$).
2. Dekking: Voorspellingsets moeten distributie-vrije, eindige-steekproef marginale dekkinggaranties bieden voor zowel concepten als labels.
3. Beknoptheid: Voorspellingsets moeten zo klein mogelijk zijn om interpreteerbaar en operationeel bruikbaar te blijven.

Huidige "eenzijdige" conformale voorspelling (CP)-strategieën (bijvoorbeeld het toepassen van CP alleen op labels of alleen op concepten) of asymmetrische herzieningsmethoden voldoen niet aan al deze drie criteria, wat vaak leidt tot sets die inconsistent zijn, dekkinggaranties missen aan de ene kant, of onaanvaardbaar groot zijn.

Methodologie: COCOCO

De auteurs introduceren COCOCO (COnformality, COnsistency, COnciseness), een post-hoc framework ontworpen om elk getraind NeSy-CBM om te zetten in een conformale voorspeller die voldoet aan alle drie de desiderata.

Kernmechanisme

COCOCO werkt in twee fasen:

1. Gecombineerde Conformalisatie: Het bouwt onafhankelijk een conformale voorspellingset voor labels ($\Upsilon_\alpha(x)$) en een conformale voorspellingset voor concepten ($\Gamma_\beta(x)$) met behulp van standaard CP-technieken. Voor concepten maakt het gebruik van de conditionele onafhankelijkheid van conceptextractoren om een productset te construeren, of gebruikt het e-waarden om Bonferroni-correcties te vermijden en de setgrootte te beheersen.
2. Deductie-Abductie Herziening: Het framework past een enkele, gecombineerde herzieningsstap toe om de twee sets te verzoenen. Deze stap omvat:
   • Deductie: Filteren van de labelset om alleen labels te behouden die worden afgeleid uit de conceptset ($\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$).
   • Abductie: Filteren van de conceptset om alleen concepten te behouden die ten minste één label in de labelset impliceren ($\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$).

Theoretische Garanties

• Een-staps Vast Punt: De auteurs bewijzen dat een enkele toepassing van deze gecombineerde herzieningsoperator voldoende is om een vast punt te bereiken. Het itereren van het proces is onnodig, wat rekenkundige efficiëntie garandeert.
• Optimaliteit: Het resulterende paar $(\Gamma_{rev}, \Upsilon_{rev})$ is de grootste mogelijke deelset van de originele sets die wederzijdse logische consistentie behoudt.
• Dekking bij Imperfecte Kennis: Het framework behoudt distributie-vrije dekkinggaranties. In gevallen waar de inferentielaag imperfect is (bijvoorbeeld door onvolledige kennis of redeneerkortsluitingen), degradeert de ondergrens van de dekking lineair op basis van de soundness van de inferentielaag ($\delta_{ab}$ en $\delta_{de}$).
• Door de Gebruiker Gespecificeerde Groottebudgetten: Door conformale e-voorspellingen te integreren (het gebruik van e-waarden in plaats van kwantielen), stelt COCOCO gebruikers in staat om maximale setgroottes (budgetten) te specificeren terwijl ze adaptief misdekkingniveaus ($\tilde{\alpha}, \tilde{\beta}$) selecteren om dekkinggaranties in verwachting te behouden. Deze aanpak voorkomt de degradatie van garanties naarmate het aantal concepten toeneemt.

Belangrijkste Bijdragen

1. Formalisatie van Desiderata: Het artikel definieert en formaliseert consistentie, dekking en beknoptheid als de noodzakelijke voorwaarden voor conformale NeSy-methoden.
2. COCOCO Framework: Een nieuw post-hoc framework dat concepten en labels gezamenlijk conformaliseert en deze verzoent via een enkele deductie-abductiestap.
3. Theoretische Bewijzen:
   • Bewijs dat COCOCO per constructie voldoet aan alle drie de desiderata.
   • Bewijs dat de herzieningsstap in één iteratie een vast punt bereikt.
   • Afleiding van dekkinggrenzen die rekening houden met imperfecte kennis en gezamenlijke faalkansen.
4. Groottebeheersing: Demonstratie van hoe e-waarden gebruikersgespecificeerde groottebudgetten mogelijk maken zonder dekkinggaranties te compromitteren.
5. Uitgebreide Empirische Evaluatie: Evaluatie op 8 datasets (waaronder medische beeldvorming, tekst en afbeeldingsclassificatie) met twee state-of-the-art NeSy-architecturen (DeepProbLog en Logic Tensor Networks).

Experimentele Resultaten

Experimenten op 8 datasets (CHX, CEB, RIV10, MN-Add-varianten, CIF10) tonen aan dat COCOCO natuurlijke baselines en de sterkste concurrent (RPB) overtreft:

• Consistentie: COCOCO bereikt 1,00 concept- en labelconsistentie over alle datasets heen. In tegenstelling hiermee vertonen concurrenten zoals RPB vaak aanzienlijke inconsistentie aan de conceptkant (bijvoorbeeld dalend tot 0,12 op de MN-EO-dataset).
• Beknoptheid: COCOCO verkleint de voorspellingsetgroottes aanzienlijk in vergelijking met baselines. Op de CEB-dataset bijvoorbeeld, verkleinde het de conceptsetgrootte van 75,06 (RPB) naar 53,49, en op MN-EO verkleinde het de grootte van 100,00 (RPB) naar 12,13, terwijl volledige consistentie werd behouden.
• Dekking: Hoewel COCOCO een klein deel van de dekking opoffert (doorgaans 7–10 procentpunten lager dan RPB aan de conceptkant) om consistentie en beknoptheid te garanderen, behoudt het een hoge labeldekking (vaak $\ge 0,87$) en conceptdekking ($\ge 0,83$) bij de nominale 0,9-doelstelling.
• Robuustheid: De methode presteert robuust, zelfs bij onvolledige kennis (RIV10) en redeneerkortsluitingen (MN-EO), waarbij de theoretische grenzen correct de degradatie in dekking voorspellen.
• Uitvoeringstijd: De rekenkundige overhead van COCOCO is bescheiden (ongeveer 1,2x tot 1,6x de baseline-uitvoeringstijd), aangezien de herzieningsstap slechts één doorgang vereist van abductieve en deductieve beeldberekening.

Betekenis en Claims

Het artikel claimt dat COCOCO de eerste methode is die symbolische kennis gelijktijdig benut om conformale voorspellingsets te verkleinen en label-conceptconsistentie af te dwingen, terwijl distributie-vrije dekking behouden blijft.

De auteurs positioneren COCOCO als een cruciale stap om NeSy-CBMs geschikt te maken voor beslissingssteunsystemen in domeinen met hoge risico's (bijvoorbeeld medische diagnose), waar belanghebbenden niet alleen een voorspelling vereisen, maar een set van plausibele, logisch consistente alternatieven met strikte statistische garanties. Het framework adresseert de "black box"-aard van onzekerheid in NeSy-modellen door interpreteerbare sets te bieden die domeinbeperkingen respecteren, waardoor vertrouwen en betrouwbaarheid worden versterkt zonder dat hertraining van het onderliggende neuro-symbolische model nodig is.