Technische Samenvatting: Neuro-Symbolische Zwakke Supervisie: Theorie en Semantiek

Probleemstelling

Het artikel behandelt de uitdagingen van Zwakke Supervisie (Weak Supervision), specifiek binnen de context van Multi-Instance Partial Label Learning (MI-PLL). In MI-PLL bestaat de trainingsdata uit "bags" van instanties, waarbij elke bag geassocieerd is met een set kandidaat-labels die ten minste één waar label bevat en potentieel fout-positieven. De kernmoeilijkheid ligt in de ambiguïteit van de supervisiesignalen en de onzekerheid van de instantie-naar-label mapping.

Hoewel bestaand theoretisch werk (bijv. Wang et al. [5]; Tsamoura et al. [6]) steekproefcomplexiteitsgrenzen en klasse-specifieke risicoanalyses voor MI-PLL heeft vastgesteld, missen deze kaders vaak een gestructureerd logisch mechanisme om leren te sturen, semantische faalmodi te diagnosticeren of betrouwbaarheid te garanderen in toepassingen met hoge inzet. Het artikel identificeert een kloof in het bieden van een formele semantiek die Inductieve Logica Programmering (ILP) integreert om de relatie tussen ruisige neurale outputs en zwakke bag-level labels te structureren.

Methodologie

1. Semantisch Kader: CP, TP en OP

De auteurs stellen een neuro-symbolisch kader voor dat gebaseerd is op drie hulp-predicaten die de MI-PLL problematiek formaliseren:

• CP (Classifier Predicate): Representeert de per-instantie voorspelling $f(x_i) = y_i$. Het brengt niet-symbolische inputs (bijv. afbeeldingen) in kaart naar latente instantie-labels.
• TP (Transition Predicate): Representeert de aggregatie-operator $\sigma$ die een vector van instantie-labels in kaart brengt naar een bag-level label ($s = \sigma(y_1, \dots, y_M)$). Dit definieert de hypotheseruimte over label-transities.
• OP (Observed Predicate): Registreert de geobserveerde zwakke supervisie, waarbij een bag van instanties $x$ wordt gekoppeld aan het geobserveerde bag-level label $s$.

Het kader behandelt de leeropdracht als het vinden van een hypothese $H = (f, \sigma)$ zodanig dat de CP-voorspellingen, wanneer geaggregeerd via de TP, logisch consistent zijn met de OP-observaties.

2. Inductieve Taken

Het artikel formaliseert twee verschillende inductieve scenario's binnen deze semantische structuur:

• Scenario 1 (Infereren van TP): Gegeven geobserveerde OP en instantie-niveau voorspellingen CP (verondersteld beschikbaar of voorgetraind), is het doel om het transitie-predicaat (de aggregatie-operator $\sigma$) te infereren dat de relatie tussen instantie-labels en bag-labels het best verklaart.
• Scenario 2 (Infereren van CP): Gegeven geobserveerde OP en een vaste transitie-predicaat TP (bekende $\sigma$), is het doel om de classifier $f$ (en dus de CP-toezigningen) te infereren die voldoen aan de logische restricties opgelegd door de bag-level labels.

3. Implementatie en Evaluatie

Om de voorgestelde semantiek empirisch te testen, maken de auteurs gebruik van een differentieerbare pipeline geïnspireerd door het $\alpha$-ILP systeem.

• Architectuur: Een Convolutional Neural Network (CNN) instantiëert de CP. De TP wordt getrokken uit een discrete set symbolische operatoren ($\Sigma = \{+, \times, \oplus, C\}$).
• Training: Het systeem gebruikt een vier-termische loss-functie:
  1. $L_{bag}$: Bag-level cross-entropie tegen geobserveerde zwakke labels.
  2. $L_{con}$: Constraint loss die TP-consistentie waarborgt.
  3. $L_{cp}$: Classifier vertrouwen (confidence).
  4. $L_{ctp}$: Consistentie loss tussen CP-afgeleide en TP-afgeleide bag distributies.
• Datasets: Experimenten gebruiken MNIST cijfer-bags met verborgen instantie-labels en zwakke bag-level labels gegenereerd via optelling ($+$), vermenigvuldiging ($\times$) of XOR ($\oplus$).

Belangrijkste Resultaten

1. Noodzaak van Semantische Koppeling

Ablatie-studies (Tabel 1) tonen aan dat het verwijderen van semantische componenten tot falen leidt:

• Geen CP: Het model leert een "OP $\leftrightarrow$ TP shortcut", wat resulteert in een matige bag-accuratesse maar faalt in het herstellen van instantie-semantiek (InstAcc daalt naar kansniveau, ~0.10).
• Geen TP / Alleen OP: Zonder de structurele restrictie van het transitie-predicaat stort het model in naar baseline prestaties, niet in staat om de zwakke supervisie effectief te benutten.
• Volledig Model: Bereikt een hoge bag-accuratesse (~0.96) en constraint-satisfactie over alle operatoren, waarbij de Bag–Constraint gap nabij nul ligt, wat aangeeft dat succes structureel ondersteund wordt in plaats van spuriaal te zijn.

2. Operator-afhankelijke Faalmodi

Het kader onthult faalmodi die onzichtbaar zijn voor bag-level accuratesse alleen:

• XOR ($\oplus$) Bimodaliteit: Voor de niet-M-unambiguous XOR-operator vertoont de instantie-accuratesse een scherpe bimodale distributie over willekeurige random seeds. Ongeveer de helft van de seeds herstelt een hoge instantie-accuratesse, terwijl de andere helft instort naar bijna nul-accuratesse, ondanks het behouden van een hoge bag-accuratesse. Dit komt overeen met de faalmodi voorspeld door Wang et al. [5] voor niet-M-unambiguous operatoren.
• Vermenigvuldiging ($\times$) Gevoeligheid: Onder een willekeurige CP (ongetrainde classifier) faalt de multiplicatieve operator om geïdentificeerd te worden door een "zero-attractor" effect, terwijl optelling en XOR de operator-ranking behouden.

3. Ruisrobuustheid

Het systeem vertoont een "plateau" in de consistentieratio gevolgd door een scherpe transitie naarmate de OP-ruis toeneemt.

• Optelling en XOR: Behouden consistentie tot 50% ruis, waarna ze scherp dalen.
• Vermenigvuldiging: Blijft robuust tot 70% ruis. De auteurs schrijven dit toe aan de asymmetrische pre-image distributie van vermenigvuldiging (waarbij het label 0 veel paren absorbeert), een structurele eigenschap die consistent is met de klasse-specifieke risicoanalyse van Tsamoura et al. [6].

Betekenis en Claims

Het artikel claimt een formele semantiek te bieden voor MI-PLL die de kloof overbrugt tussen statistische leertheorie en neuro-symbolisch redeneren. De primaire bijdragen zijn:

1. Logische Karakterisering: Het definieert een hypotheseruimte over label-transities met behulp van ILP, formaliseert de semantiek van per-instantie classifiers en biedt een relationeel raamwerk voor het redeneren over zwakke supervisie.
2. Diagnostisch Vermogen: Het framework maakt de diagnose mogelijk van semantische faalmodi (bijv. redeneer-shortcuts, instantie-niveau instorting) die bag-level accuratesse alleen verbergt. De voorgestelde metrieken (Bag–Constraint, Bag–Inst) operationaliseren dit diagnostische vermogen.
3. Theoretische Afstemming: De empirische resultaten stemmen overeen met en operationaliseren de theoretische condities van Wang et al. [5] (unambiguity condities) en Tsamotra et al. [6] (klasse-specifiek risico en pre-image asymmetrie). Specifiek toont het papier aan dat de "r-bounded" assumptie die vereist is voor leerbaarheid in Wang et al. [5], in de praktijk alleen wordt voldaan wanneer de classifier is voorgetraind (Scenario 2) vóór het infereren van de operator (Scenario 1).

De auteurs blijven bescheiden over de reikwijdte en merken op dat de huidige implementatie rust op een eindige set hand-engineered operatoren en de onderliggende classifier-architectuur niet wijzigt. Het werk wordt gepresenteerd als een fundamentele stap naar een bredere ILP-gebaseerde behandeling van MI-PLL, waarbij toekomstig werk nodig is om vertraagde supervisie, flexibele regelontdekking en cross-domein robuustheid aan te pakken.