🤖 machine learning

Concise and Logically Consistent Conformal Sets for Neuro-Symbolic Concept-Based Models

Dieser Beitrag stellt COCOCO vor, ein nachgelagertes konformes Vorhersagerahmenwerk, das für neuro-symbolische konzeptbasierte Modelle durch einen einzigen Deduktions-Abduktions-Revisions-Schritt die Versöhnung von Konzept- und Label-Vorhersagen ermöglicht, um prägnante, logisch konsistente und abdeckungsgarantierte Mengen gemeinsam zu erzeugen.

Ursprüngliche Autoren: Samuele Bortolotti, Emanuele Marconato, Andrea Pugnana, Andrea Passerini, Stefano Teso

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Samuele Bortolotti, Emanuele Marconato, Andrea Pugnana, Andrea Passerini, Stefano Teso

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, zweiteiligen Roboter-Assistenten, der darauf ausgelegt ist, komplexe Rätsel zu lösen. Dieser Roboter ist ein Neuro-Symbolisches Konzeptbasiertes Modell (NeSy-CBM).

So funktioniert es:

Das „Auge" (Neuronales Netz): Zuerst betrachtet der Roboter ein unübersichtliches Bild (wie ein Foto einer Straße oder einen medizinischen Scan) und versucht, die hochrangigen Objekte darin zu identifizieren. Er sagt: „Ich sehe ein Auto, einen Hund und einen Baum." Das sind seine Konzepte.
Das „Gehirn" (Symbolische Logik): Dann verwendet der Roboter eine Reihe strenger Regeln (wie „ein Auto hat Räder" oder „wenn man 7 und 6 addiert, erhält man 13"), um die endgültige Antwort zu ermitteln. Er sagt: „Basierend auf dem, was ich sehe, muss die Antwort 13 sein."

Das Problem: Der übermütige Roboter
Das Problem ist, dass dieser Roboter oft übermütig ist. Selbst wenn er falsch liegt, spricht er mit 100-prozentiger Sicherheit.

Beispiel: Stellen Sie sich vor, der Roboter betrachtet ein Bild eines Hundes und eines Pferdes. Aufgrund eines Fehlers in seinem Training entscheidet er selbstbewusst, dass der Hund eigentlich eine „Katze" und das Pferd eine „Kuh" ist. Anschließend nutzt er seine Logikregeln, um zu dem Schluss zu kommen, die Antwort sei „Nutztier". Er erhält die endgültige Antwort zufällig richtig, aber seine Schlussfolgerung ist völlig gebrochen.
In risikoreichen Situationen (wie medizinische Diagnosen oder autonome Fahrzeuge) müssen wir wissen, wann der Roboter unsicher ist, damit wir seine Arbeit überprüfen können. Doch aktuell weiß der Roboter nicht, dass er ratet; er hält sich einfach für richtig.

Die Lösung: COCOCO
Die Autoren stellen eine neue Methode vor, die COCOCO heißt (was für Conformality, Consistency, Conciseness steht). Betrachten Sie COCOCO als ein Sicherheitsnetz und einen Logik-Checker, das Sie über den Kopf des Roboters legen.

Anstatt Ihnen eine einzelne Antwort zu geben, liefert COCOCO eine Liste möglicher Antworten (ein „Vorhersagemenge"). Es verspricht: „Ich garantiere, dass die wahre Antwort mit 90-prozentiger Sicherheit in dieser Liste enthalten ist."

Doch COCOCO tut etwas Besonderes, das andere Sicherheitsnetze nicht tun. Es stellt zwei Dinge sicher:

Konsistenz (Der Logik-Check): Es stellt sicher, dass die Liste der Objekte, die der Roboter „gesehen" hat, mit der Liste der Antworten übereinstimmt, die er gegeben hat.
- Analogie: Wenn die Antwortliste des Roboters „13" enthält, die Liste der Objekte, die er gesehen hat (7 und 5), aber nur „12" ergeben kann, sagt COCOCO: „Warte, das ergibt keinen Sinn!" Es entfernt „13" aus der Liste und korrigiert die Objektliste, damit sie mit der Mathematik übereinstimmt. Es zwingt das „Auge" und das „Gehirn" des Roboters, miteinander übereinzustimmen.
Kompaktheit (Die Größenbegrenzung): Ein Sicherheitsnetz, das sagt „Die Antwort könnte alles von 0 bis 100 sein", ist nutzlos. COCOCO versucht, die Liste so kurz wie möglich zu halten, während sie dennoch sicher bleibt. Es schneidet unmögliche Optionen heraus, damit die Liste kurz genug ist, um von einem Menschen tatsächlich gelesen zu werden.

Wie es funktioniert (Der „Überarbeitungs"-Schritt)
COCOCO verwendet einen cleveren Trick, der Überarbeitungsschritt genannt wird.

Es beginnt mit einer Liste möglicher Antworten aus dem „Gehirn" des Roboters.
Es beginnt mit einer Liste möglicher Objekte aus dem „Auge" des Roboters.
Es fragt: „Welche Objekte können tatsächlich die Antworten in der ersten Liste ergeben?" und „Welche Antworten können tatsächlich durch die Objekte in der zweiten Liste erzeugt werden?"
Es setzt sie miteinander in Beziehung und wirft alles weg, das nicht passt. Dies geschieht nur einmal, und es ist mathematisch bewiesen, dass dies der perfekte, effizienteste Weg ist, um die Listen zu bereinigen.

Warum dies wichtig ist
Die Studie testete dies an 8 verschiedenen Datensätzen (einschließlich medizinischer Röntgenbilder, Restaurantbewertungen und Matheaufgaben mit Ziffern).

Das Ergebnis: COCOCO hielt die Vorhersagen des Roboters erfolgreich ehrlich. Es stellte sicher, dass das „Auge" und das „Gehirn" des Roboters immer übereinstimmten (Konsistenz), hielt die Liste der Möglichkeiten klein genug, um nützlich zu sein (Kompaktheit), und garantierte dennoch, dass die wahre Antwort in der Liste enthalten war (Abdeckung).
Der Vergleich: Andere Methoden versuchten, nur das „Gehirn" oder nur das „Auge" zu reparieren, scheiterten jedoch. Sie lieferten entweder Listen, die zu lang waren, um gelesen zu werden, oder Listen, bei denen die Objekte und Antworten nicht übereinstimmten. COCOCO war das einzige, das beide Probleme gleichzeitig löste.

Zusammengefasst
COCOCO ist ein Werkzeug, das eine intelligente, aber übermütige KI nimmt, sie in ein Sicherheitsnetz hüllt und sie zwingt, ihre eigene Arbeit zu überprüfen. Es stellt sicher, dass, wenn die KI sagt „Die Antwort ist X", sie auch zugibt „Ich habe Y und Z gesehen, die X möglich machen", und es hält die Liste der Möglichkeiten kurz genug, damit ein Mensch ihr vertrauen und sie nutzen kann.

Technische Zusammenfassung: Prägnante und logisch konsistente konforme Mengen für neuro-symbolische konzeptbasierte Modelle

Problemstellung

Neuro-symbolische konzeptbasierte Modelle (NeSy-CBMs) integrieren neuronale Netze zur Konzeptextraktion mit symbolischem Schlussfolgern zur Aufgabeninferenz, um zuverlässige KI-Systeme für hochriskante Anwendungen zu erzeugen. Allerdings leiden diese Modelle häufig unter Überzuversicht und Fehlkalibrierung, was es für Interessengruppen schwierig macht, die Zuverlässigkeit ihrer Vorhersagen zu beurteilen. Darüber hinaus können die resultierenden Wahrscheinlichkeiten, selbst wenn Unsicherheit quantifiziert wird, für Endnutzer unintuitiv sein.

Bestehende Ansätze zur Unsicherheitsquantifizierung in NeSy-CBMs erfüllen oft nicht gleichzeitig drei kritische Anforderungen:

Konsistenz: Vorhergesagte Konzepte und Labels müssen mit dem vom Benutzer spezifizierten Vorwissen ( $K$ ) logisch konsistent sein.
Abdeckung: Vorhersagemengen müssen verteilungsfreie, endliche Stichproben-marginalen Abdeckungsgarantien sowohl für Konzepte als auch für Labels bieten.
Prägnanz: Vorhersagemengen müssen so klein wie möglich sein, um interpretierbar und operationell nützlich zu bleiben.

Aktuelle „einseitige" konforme Vorhersagestrategien (CP) (z. B. Anwendung von CP nur auf Labels oder nur auf Konzepte) oder asymmetrische Revisionsmethoden erfüllen nicht alle drei Kriterien, was häufig zu Mengen führt, die entweder inkonsistent sind, auf einer Seite Abdeckungsgarantien vermissen lassen oder prohibitiv groß sind.

Methodik: COCOCO

Die Autoren stellen COCOCO (COnformality, COnsistency, COnciseness) vor, ein nachgelagertes Framework, das jedes trainierte NeSy-CBM in einen konformen Prädiktor transformiert, der alle drei Anforderungen erfüllt.

Kernmechanismus

COCOCO arbeitet in zwei Stufen:

Gemeinsame Konformalisierung: Es wird unabhängig eine konforme Vorhersagemenge für Labels ( $\Upsilon_\alpha(x)$ ) und eine konforme Vorhersagemenge für Konzepte ( $\Gamma_\beta(x)$ ) unter Verwendung standardmäßiger CP-Techniken konstruiert. Für Konzepte nutzt es die bedingte Unabhängigkeit der Konzeptextraktoren, um eine Produktmenge zu konstruieren, oder verwendet e-Werte, um Bonferroni-Korrekturen zu vermeiden und die Mengengröße zu kontrollieren.
Deduktiv-Abduktive Revision: Das Framework wendet einen einzigen, gemeinsamen Revisionsschritt an, um die beiden Mengen in Einklang zu bringen. Dieser Schritt umfasst:
- Deduktion: Filtern der Labelmenge, um nur Labels zu behalten, die durch die Konzeptmenge impliziert werden ( $\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$ ).
- Abduktion: Filtern der Konzeptmenge, um nur Konzepte zu behalten, die mindestens ein Label in der Labelmenge implizieren ( $\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$ ).

Theoretische Garantien

Ein-Schritt-Fixpunkt: Die Autoren beweisen, dass eine einzige Anwendung dieses gemeinsamen Revisionsoperators ausreicht, um einen Fixpunkt zu erreichen. Eine Iteration des Prozesses ist unnötig, was die Recheneffizienz sicherstellt.
Optimalität: Das resultierende Paar $(\Gamma_{rev}, \Upsilon_{rev})$ ist die größtmögliche Teilmenge der ursprünglichen Mengen, die die gegenseitige logische Konsistenz bewahrt.
Abdeckung bei unvollkommenem Wissen: Das Framework behält verteilungsfreie Abdeckungsgarantien bei. In Fällen, in denen die Inferenzschicht unvollkommen ist (z. B. aufgrund unvollständigen Wissens oder Schlussfolgerungsabkürzungen), verschlechtert sich die untere Abdeckungsgrenze linear basierend auf der Soundness der Inferenzschicht ( $\delta_{ab}$ und $\delta_{de}$ ).
Vom Benutzer spezifizierte Größenbudgets: Durch die Integration von konformen e-Vorhersagen (unter Verwendung von e-Werten anstelle von Quantilen) ermöglicht COCOCO Benutzern die Angabe maximaler Mengengrößen (Budgets), während sie Fehlabdeckungsniveaus ( $\tilde{\alpha}, \tilde{\beta}$ ) adaptiv auswählen, um Abdeckungsgarantien im Erwartungswert zu erhalten. Dieser Ansatz vermeidet die Verschlechterung von Garantien mit zunehmender Anzahl von Konzepten.

Hauptbeiträge

Formalisierung der Anforderungen: Das Papier definiert und formalisiert Konsistenz, Abdeckung und Prägnanz als notwendige Bedingungen für konforme NeSy-Methoden.
COCOCO-Framework: Ein neuartiges nachgelagertes Framework, das Konzepte und Labels gemeinsam konformalisiert und sie über einen einzigen deduktiv-abduktiven Schritt in Einklang bringt.
Theoretische Beweise:
- Beweis, dass COCOCO durch Konstruktion alle drei Anforderungen erfüllt.
- Beweis, dass der Revisionsschritt in einer Iteration einen Fixpunkt erreicht.
- Herleitung von Abdeckungsgrenzen, die unvollkommenes Wissen und gemeinsame Ausfallwahrscheinlichkeiten berücksichtigen.
Größenkontrolle: Demonstration, wie e-Werte benutzerspezifische Größenbudgets ermöglichen, ohne Abdeckungsgarantien zu beeinträchtigen.
Umfassende empirische Evaluation: Evaluation auf 8 Datensätzen (einschließlich medizinischer Bildgebung, Text und Bildklassifizierung) unter Verwendung zweier modernster NeSy-Architekturen (DeepProbLog und Logic Tensor Networks).

Experimentelle Ergebnisse

Experimente auf 8 Datensätzen (CHX, CEB, RIV10, MN-Add-Varianten, CIF10) zeigen, dass COCOCO natürliche Baselines und den stärksten Konkurrenten (RPB) übertrifft:

Konsistenz: COCOCO erreicht 1,00 Konzepte- und Label-Konsistenz über alle Datensätze hinweg. Im Gegensatz dazu weisen Konkurrenten wie RPB häufig erhebliche Inkonsistenzen auf der Konzeptseite auf (z. B. Abfall auf 0,12 auf dem MN-EO-Datensatz).
Prägnanz: COCOCO reduziert die Größe der Vorhersagemengen im Vergleich zu Baselines erheblich. Beispielsweise reduzierte es auf dem CEB-Datensatz die Konzeptmengengröße von 75,06 (RPB) auf 53,49 und auf MN-EO von 100,00 (RPB) auf 12,13, während die volle Konsistenz erhalten blieb.
Abdeckung: Während COCOCO eine kleine Menge an Abdeckung opfert (typischerweise 7–10 Prozentpunkte niedriger als RPB auf der Konzeptseite), um Konsistenz und Prägnanz zu garantieren, behält es eine hohe Label-Abdeckung (oft $\ge 0,87$ ) und Konzept-Abdeckung ( $\ge 0,83$ ) beim nominalen 0,9-Ziel bei.
Robustheit: Die Methode funktioniert auch bei unvollständigem Wissen (RIV10) und Schlussfolgerungsabkürzungen (MN-EO) robust, wobei die theoretischen Grenzen die Verschlechterung der Abdeckung korrekt vorhersagen.
Laufzeit: Der Rechenaufwand von COCOCO ist moderat (ungefähr das 1,2- bis 1,6-fache der Baseline-Laufzeit), da der Revisionsschritt nur einen einzigen Durchlauf abduktiver und deduktiver Bildberechnung erfordert.

Bedeutung und Behauptungen

Das Papier behauptet, dass COCOCO die erste Methode ist, die symbolisches Wissen gleichzeitig nutzt, um konforme Vorhersagemengen zu verkleinern und Label-Konzept-Konsistenz durchzusetzen, während verteilungsfreie Abdeckung erhalten bleibt.

Die Autoren positionieren COCOCO als einen entscheidenden Schritt hin dazu, NeSy-CBMs für Entscheidungsunterstützungssysteme in hochriskanten Domänen (z. B. medizinische Diagnose) geeignet zu machen, in denen Interessengruppen nicht nur eine Vorhersage, sondern eine Reihe plausibler, logisch konsistenter Alternativen mit rigorosen statistischen Garantien benötigen. Das Framework adressiert die „Black-Box"-Natur der Unsicherheit in NeSy-Modellen, indem es interpretierbare Mengen bereitstellt, die Domänenbeschränkungen respektieren, und damit Vertrauen und Zuverlässigkeit erhöht, ohne dass eine Neu-Trainierung des zugrunde liegenden neuro-symbolischen Modells erforderlich ist.