🤖 machine learning

DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers

Dit artikel stelt DisjunctiveNet voor, een verenigd end-to-end framework dat harde, input-afhankelijke mixed-integer lineaire restricties afdwingt binnen neurale netwerken door regels te representeren als disjunctieve restricties en hiërarchische convexe relaxaties toe te passen om differentieerbare optimalisatielagen te creëren die exacte naleving van regels garanderen.

Oorspronkelijke auteurs: Shraman Pal, Can Li

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shraman Pal, Can Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar roekeloze student (een neuraal netwerk) traint om complexe problemen op te lossen. Deze student is geweldig in het herkennen van patronen in data, maar is vreselijk in het volgen van het regelboek. Soms maakt ze voorspellingen die wiskundig mogelijk zijn, maar fysiek onmogelijk of gevaarlijk — zoals een zelfrijdende auto die besluit door een massieve muur te rijden omdat de data daar "vergelijkbaar" uitzag met een tunnel.

In veel echte scenario's, zoals techniek of biologie, hebben we een strikt "regelboek" dat is afgeleid van natuurkunde, veiligheidsprotocollen of deskundige kennis. Deze regels zien er vaak zo uit: ALS de temperatuur hoog is, DAN moet de ventilator aan staan OF de airconditioning aan staan.

Het probleem is dat standaard AI moeite heeft met deze "Als-Dan" regels, vooral wanneer de regels veranderen op basis van de situatie. Bestaande methoden proberen de student te "sturen" met een boete (zoals een leraar die zegt "doe je best"), maar de student breekt nog steeds af en toe de regels. Andere methoden dwingen de regels af nadat de student al heeft geantwoord, wat is alsoan het corrigeren van het huiswerk nadat het examen al is afgenomen — dat helpt de student niet om op de juiste manier te leren denken.

Maak kennis met DisjunctiveNet.

De auteurs stellen een nieuw framework voor dat fungeert als een slimme, real-time veiligheidsgordel voor het neurale netwerk. Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Disjunctieve" Puzzel

De regels in dit artikel zijn vaak "disjunctief", wat betekent dat ze keuzes bieden.

De Regel: "Als het regent, moet je een regenjas dragen OF een paraplu."
Het Probleem: De AI kan voorspellen "draag een regenjas EN een paraplu" (prima) of "draag beide niet" (slecht). Maar de wiskunde achter "OF" is lastig voor computers omdat het een vorm creëert met gaten erin (niet-convex). Het is alsof je probeert een gladde, ronde bal te tekenen die een groot hap uit heeft gekregen. Standaard wiskundige tools kunnen niet gemakkelijk een bal over die vorm rollen.

2. De "Convex Hull" Truc (De Magische Mal)

Om dit op te lossen, gebruiken de auteurs een wiskundige truc genaamd een convex hull (convexomhulsel).

Stel je voor dat de geldige antwoorden (Regenjas OF Paraplu) twee aparte eilanden zijn in een zee. De AI zweeft momenteel in het midden van de zee (een ongeldig antwoord).
Standaard methoden bouwen misschien gewoon een brug naar het dichtstbijzijnde eiland, maar die is wankel.
DisjunctiveNet bount een perfecte, strakke mal rond alle geldige eilanden. Het creëert een nieuwe, gladde vorm die precies rond de geldige opties wikkelt zonder het "verboden" water in het midden op te nemen.
Cruciaal is dat ze dit doen in een "verhoogde" ruimte (lifted space). Denk hierbij aan het nemen van een 2D-kaart van de eilanden en het projecteren daarvan op een 3D-sculptuur. In dit 3D-perspectief verdwijnen de "gaten" en wordt de vorm een glad, solide blok waar een computer gemakkelijk doorheen kan navigeren.

3. De "Projection Layer" (De Uitsmijter)

Dit is de kerninnovatie. De auteurs voegen een speciale laag toe aan het neurale netwerk die fungeert als een uitsmijter bij een club.

Het neurale netwerk doet zijn beste gok (de "onbeperkte voorspelling").
Deze gok wordt overhandigd aan de Uitsmijter (de optimalisatielaag).
De Uitsmijter controleert de "mal" (de convex hull). Als de gok buiten de geldige regels valt, vindt de Uitsmijter onmiddellijk de dichtstbijzijnde mogelijke geldige plek binnen de regels en klikt de voorspelling daar vast.
De Magie: Dit proces van vastklikken is "differentieerbaar". Dit betekent dat de Uitsmijter niet alleen het antwoord corrigeert; de Uitsmijter vertelt de student precies waar het misging, zodat ze er direct van kunnen leren. De student leert om het "verboden water" in de eerste plaats te vermijden.

4. Omgaan met "Als-Dan" Complexiteit

Het artikel benadrukt dat sommige regels alleen van toepassing zijn in specifieke situaties (Input-Afhankelijk).

Voorbeeld: "Als de ventilator kapot is, DAN gebruik de airconditioning." Als de ventilator niet kapot is, geldt die regel niet.
DisjunctiveNet is slim genoeg om de huidige situatie te controleren, te bepalen welke regels actief zijn, en de "mal" onmiddellijk opnieuw vorm te geven om alleen de actieve regels te passen. Het gebruikt geen eenheidsworst-aanpak; het past de veiligheidsgordel voor elke invoer aan.

De Resultaten: Perfecte Naleving

De auteurs hebben dit getest in twee scenario's:

Koelsystemen: Een gesimuleerde fabriek waar de AI ventilatoren en koelers moest aansturen zonder de veiligheidsregels te breken.
Medische Data (scRNA-seq): Het classificeren van cellen op basis van genmarkers, waarbij biologische regels dicteren dat als bepaalde genen aanwezig zijn, de cel een bepaald type moet zijn.

De bevindingen waren duidelijk:

Regelnaleving: Terwijl andere methoden (zoals strafgebaseerde methoden) regelmatig de regels braken, bereikte DisjunctiveNet een 100% regelnaleving. Het brak de regels nooit.
Prestaties: In situaties met zeer weinig data (waar de AI meestal moeite heeft) was DisjunctiveNet veel slimmer dan de anderen, omdat de regels als een sterke gids fungeerden.
Trade-off: De "perfecte" versie (DNF) is computationeel zwaarder (het kost iets meer tijd om de mal te berekenen) dan de "goed genoeg" versie (CNF), maar het garandeert dat de regels exact worden gevolgd.

Samenvatting

DisjunctiveNet is een manier om AI te leren om respect te tonen voor harde, logische regels zonder te gokken of te hopen. Het transformeert complexe, "gegatete" regelboeken in gladde, navigeerbare vormen waar de AI direct van kan leren. Het zorgt ervoor dat wanneer de AI een beslissing neemt, deze niet alleen statistisch waarschijnlijk is, maar ook fysiek en logisch gegarandeerd veilig en correct is.

Technische Samenvatting: DisjunctiveNet

Probleemstelling

Veel wetenschappelijke en technische leeropdrachten opereren onder regime van schaarse data, waarbij puur datagestuurde deep learning-modellen vaak falen in het generaliseren of de bekende structurele, fysieke of veiligheidsbeperkingen schenden. Hoewel deze domeinen beschikken over rijke voorkennis—uitgedrukt in natuurwetten, operationele vereisten en expertheuristieken—struggelen bestaande neuro-symbolische methoden om deze kennis effectief te integreren. Huidige benaderingen vertrouwen doorgaans op zachte straffen (die geen haalbaarheid garanderen), nemen uitgang-onafhankelijke regels aan, of maken gebruik van niet-differentieerbare nabehandeling tijdens de inferentie. Bovendien is het uitdagend om differentieerbare optimalisatielagen uit te breiden naar logische of mixed-integer regels vanwege de inherente niet-convexiteit en de gedisjoincte aard van dergelge restrictieruimtes.

Methodologie

De auteurs stellen DisjunctiveNet voor, een verenigd end-to-end framework voor het afdwingen van harde, uitgang-afhankelijke mixed-integer lineaire beperkingen binnen neurale netwerken. De kernmethodologie bestaat uit drie sleutelcomponenten:

Disjunctieve Beperkingsrepresentatie:
Domeinkennis wordt gemodelleerd als een collectie uitgang-afhankelijke regels. Elke regel is een implicatie $I[x \in A_r] \Rightarrow I[y \in C_r(x)]$ , waarbij de uitgang-haalbare verzameling $C_r(x)$ wordt gerepresenteerd als een eindige unie van polyhedrale verzamelingen (een disjunctie). De auteurs demonstreren dat deze representatie even expressief is als Mixed-Integer Lineaire Programmering (MILP) beperkingen en Quantifier-Free Linear Real Arithmetic (QF-LRA).
Hiërarchische Convexificatie (CNF vs. DNF):
Om end-to-end differentieerbaarheid mogelijk te maken terwijl exacte restrictie-naleving wordt gegarandeerd, transformeert het framework de niet-convexe haalbare verzameling (een intersectie van unies van polyhedra) naar een convexe relaxatie.
- CNF Relaxatie: Convexifieert elke regel onafhankelijk en intersecteert vervolgens de resulterende convexe verzamelingen. Dit schaalt lineair met het aantal actieve regels, maar biedt een lossere relaxatie.
- DNF Relaxatie: Distribueert intersecties over unies door alle mogelijke intersecties van disjuncten over actieve regels te enumereren. Het convexe omhulsel van deze intersecties wordt berekend. Dit levert het exacte convexe omhulsel op van de oorspronkelijke niet-convexe haalbare verzameling, wat garandeert dat de oplossing de oorspronkelijke logische beperkingen voldoet.
- Sequentiële Convexificatie: Een tussenweg wordt geïntroduceerd waarbij een subset van regels wordt uitgebreid naar DNF-vorm terwijl anderen in CNF blijven, wat een afweging biedt tussen computationele complexiteit en de nauwheid van de relaxatie.
Differentieerbare Optimalisatielaag:
De projectie van een ongeconstraineerde netwerkuitgang $\hat{y}$ op de convexificatie van de haalbare verzameling wordt geformuleerd als een Lineair Programma (LP) met behulp van een $\ell_1$ -norm epigraf-formulering. Door de variabelen te liften naar een hoger-dimensionale ruimte (inclusclusief hulpvariabelen voor de epigraf en convexe combinatiegewichten), wordt het niet-convexe projectieprobleem omgezet in een tractabele LP.
- Exactheid: De auteurs bewijzen dat als de LP-solver een extreem punt-oplossing teruggeeft (bijv. via het simplex-algoritme), de resulterende projectie de oorspronkelijke harde beperkingen exact voldoet.
- Differentieerbaarheid: De laag wordt differentieerbaar gemaakt via impliciete differentiatie van de Karush-Kuhn-Tucker (KKT) condities, waardoor gradiënten terug kunnen stromen naar de parameters van het neurale netwerk tijdens de training.

Belangrijkste Bijdragen

Verenigd Framework: Het paper presenteert de eerste benadering die in staat is tot het exact afdwingen van complexe, uitgang-afhankelijke mixed-integer lineaire beperkingen binnen neurale netwerken tijdens zowel training als inferentie.
Exacte Haalbaarheidsgaranties: In tegen tegenstelling tot eerdere methoden die convexe relaxaties als heuristieken gebruiken, komt de voorgestelde DNF-relaxatie overeen met het strakst mogelijke convexe omhulsel. De auteurs bewijzen formeel dat extreme punt-oplossingen aan de gelifte LP de oorspronkelijke logische beperkingen exact voldoen.
Expressiviteit: Het framework verenigt logische regels (Booleaanse operatoren over lineaire ongelijkheden) en optimalisatie-gebaseerde beperkingen (MILP) onder een enkele disjunctieve programmeringsformulering.
Schaalbaarheidsmechanismen: De introductie van sequentiële convexificatie en de analyse van de afweging tussen CNF (schaalbaar) en DNF (strak) relaxaties bieden praktische instrumenten voor het afhandelen van complexe regelsets.

Experimentele Resultaten

Het framework werd geëvalueerd op twee benchmarks: een synthetische koelingscontrole-taak en een single-cell RNA-sequencing (scRNA-seq) classificatietaak.

Synthetische Koelingscontrole:
- Prestaties: DisjunctiveNet (specifiek de DNF-variant) bereikte perfecte regel-naleving (CSAT = 1.0) over zowel In-Distribution (IID) als Out-of-Distribution (OOD) testsets, waarmee het ongeconstraineerde baselines en methoden met zachte straffen aanzienlijk overtrof.
- Generalisatie: In scenario's met schaarse data en onder OOD-verschuivingen bood de projectielaag een sterke inductieve bias, wat resulteerde in substantieel lagere Mean Squared Error (MSE) vergeleken met baselines.
- Efficiëntie: Hoewel inferentie een LP vereist (wat ongeveer 25-29 ms per sample duurt), werd de computationele overhead als praktisch beschouwd, en de DNF-formulering leed niet aan een worst-case exponentiële explosie in de geteste scenario's door vele infeasibele disjunct-combinaties.
scRNA-seq Classificatie:
- Regel-naleving: DNF-gebaseerde projecties bereikten bijna perfecte regel-naleving (CSAT > 0.9), terwijl penalty-gebaseerde methoden en het basisnetwerk er niet in slaagden om uitgang-afhankelijke marker-gen regels consistent te voldoen.
- Nauwkeurigheid vs. Beperkingen: In scenario's met weinig data verbeterde het afdwingen van regels de macro-F1 scores. Naarmate de hoeveelheid data toenam, verbeterde de nauwkeurigheid van het basismodel, maar behielden projectie-gebaseerde modellen een superieure regel-naleving, wat wijst op een afweging tussen voorspellende nauwkeurigheid en exacte restrictie-naleving in high-data regimes.

Betekenis en Claims

Het paper claimt dat DisjunctiveNet een kritiek gat in neuro-symbolisch leren opvult door het exact afdwingen van complexe, uitgang-afhankelijke logische beperkingen mogelijk te maken zonder te vertrouwen op zachte straffen of post-hoc correcties. De betekenis ligt in het vermogen om domeinkennis direct in het leerproces te integreren, waardoor modellen zich aan fysieke en veiligheidsbeperkingen houden, zelfs wanneer data beperkt zijn of distributieverschuivingen optreden.

De auteurs positioneren hun werk als een stap naar meer betrouwbare AI in wetenschappelijke en technische toepassingen. Zij erkennen beperkingen, primair de computationele kosten van DNF-relaxaties voor een groot aantal actieve regels en de afhankelijkheid van LP-solvers die extreme punten teruggeven voor de exacte garanties. Echter, zij stellen dat voor veel real-world toepassingen met gematigde regelsets, het framework een principiële en effectieve oplossing biedt voor betrouwbare inzet van neurale netwerken.