Machine Learning as Iterated Belief Change a la Darwiche and Pearl

Technische Samenvatting: Machine Learning als Geïtereerde Geloofswijziging à la Darwiche en Pearl

Probleemstelling
Dit artikel adresseert de theoretische kloof tussen machine learning-dynamiek en formele theorie van geloofswijziging. Hoewel het eerdere werk van de auteurs [2] aantoonde dat het trainen van binaire Kunstmatige Neurale Netwerken (ANN's) — feed-forward netwerken met binaire invoer en uitvoer — gemodelleerd kon worden als een reeks overgangen van geloofssets met behulp van het AGM-raamwerk (Alchourrón, Gärdenfors en Makinson), leunde die studie op "full-meet" geloofswijzigingsoperaties. Het huidige werk identificeert kritieke beperkingen in deze aanpak: full-meet revisie is "amnestisch", waarbij alle eerdere geloofswaarden worden verworpen bij conflict, en full-meet contractie verwijdert te veel informatie, wat vaak leidt tot de kleinst mogelijke theorie. Bovendien zijn full-meet operaties incompatibel met de principes van geïtereerde geloofswijziging, specifiek het Darwiche-Pearl (DP) raamwerk, dat regelt hoe geloofstoestanden moeten evolueren over reeksen updates. Het artikel streeft naar verfijning van de modellering van trainingsdynamiek van binaire ANN's door full-meet operaties te vervangen door robuuste, DP-conforme operatoren die beter de geleidelijke, gestructureerde leerprocessen weerspiegelen.

Methodologie
De auteurs hanteren een neuro-symbolische aanpak, waarbij het input-output-gedrag van binaire ANN's wordt gekoppeld aan propositielogica en geloofssets. De methodologie verloopt via de volgende stappen:

1. Formele Voorvereisten: De studie maakt gebruik van een propositietaal $\mathcal{L}$ en modelleert ANN-kennis als geloofssets (theorieën die gesloten zijn onder logische consequentie). Het trainingsproces wordt beschouwd als een traject van geloofssets $K_1, \dots, K_n$, waarbij elke set de Booleaanse functie voorstelt die door het netwerk op een specifiek trainingsstadium is gecodeerd.
2. Afstandsmaten en Geleidelijke Overgangen: Het artikel herneemt afstandsmaten tussen geloofssets (Type-A en Type-B). Het introduceert een nieuwe structurele voorwaarde, (SD), die stelt dat de set van discrepanties (Type-B-afstand) tussen een eerdere geloofsset en het uiteindelijke doel een superset moet zijn van de discrepanties tussen elke tussentijdse geloofsset en het doel. Deze voorwaarde vangt een hiërarchische, inclusie-gebaseerde convergentie naar de uiteindelijke geleerde toestand.
3. Dalal's Methode voor Geleidelijkheid: De auteurs tonen aan dat Dalal's methode voor geloofswijziging, die mogelijke werelden sorteert op basis van Hamming-afstand, op natuurlijke wijze de constructie van geleidelijke, goed geordende reeksen van tussentijdse geloofssets ondersteunt.
4. DP-Conforme Operatoren: De kern van de methodologische verschuiving bestaat uit het vervangen van full-meet operaties door lexicografische revisie en matige contractie. Deze operatoren voldoen aan de Darwiche-Pearl-postulaten (DP1–DP4 voor revisie; DPC1–DPC4 voor contractie), waarbij wordt gewaarborgd dat de ordening van mogelijke werelden zodanig wordt bijgewerkt dat rationaliteit over meerdere iteraties behouden blijft.
5. Theoretische Modellering: De auteurs bewijzen dat, indien het trainingsverloop van een binaire ANN voldoet aan voorwaarde (SD), de overgang van elke geloofsset $K_i$ naar $K_{i+1}$ formeel kan worden weergegeven als een reeks van een lexicografische revisie gevolgd door een matige contractie: $K_{i+1} = (K_i * \phi_1^i) \cdot \phi_2^i$. Hierbij zijn $\phi_1^i$ en $\phi_2^i$ propositiestellingen afgeleid van de trainingsdata die fungeren als epistemische vervangers voor de parameterupdates.

Belangrijkste Bijdragen

• Dalal's Methode als Basis voor Geleidelijkheid: Het artikel stelt vast dat Dalal's op afstand gebaseerde aanpak een natuurlijke fundament biedt voor het construeren van gestructureerde reeksen van tussentijdse geloofstoestanden, en zo een meer cognitief plausibel model van leren biedt dan abrupte toestandsveranderingen.
• Verfijning van Modellering van ANN-dynamiek: De auteurs tonen aan dat de trainingsdynamiek van binaire ANN's effectiever wordt gemodelleerd met behulp van lexicografische revisie en matige contractie dan met full-meet operaties. Dit adresseert het "amnestische" en overmatig destructieve karakter van full-meet verandering.
• Compatibiliteit met Geïtereerde Geloofswijziging: De studie bewijst dat training van binaire ANN's compatibel is met het Darwiche-Pearl-raamwerk. Het toont aan dat, onder de structurele aanname van voorwaarde (SD), het leertraject volledig kan worden vastgelegd door DP-conforme operatoren.
• Symbolische Interpretatie van Trainingsignalen: Het artikel biedt een formeel mechanisme om trainingsupdates te interpreteren als logische operaties. Het construeert specifieke propositiestellingen ($\phi_1, \phi_2$) die corresponderen met de revisie- en contractiestappen die nodig zijn om van de ene netwerktorstand naar de volgende te gaan, en vertaalt zo op gradiënten gebaseerde updates effectief naar symbolische geloofswijzigingen.

Resultaten

• Theoretisch Bewijs (Stelling 25): Het centrale resultaat is een stelling die stelt dat voor elke reeks geloofssets gegenereerd door een trainingsproces van een binaire ANN met één uitvoer die voldoet aan voorwaarde (SD), er een DP-revisiefunctie en een DP-contractiefunctie bestaan, samen met specifieke invoerstellingen, die de reeks geloofsovergangen exact reproduceren.
• Empirische Illustratie: Het artikel biedt twee illustrerende voorbeelden:
  1. Een binaire ANN die de logische operatie "minstens twee" leert op 3 invoeren. Het trainingsverloop toonde een monotoon stijgende nauwkeurigheid en een strikte subset-relatie in de Type-B-afstanden tussen opeenvolgende geloofssets en het uiteindelijke doel, waardoor voorwaarde (SD) werd voldaan.
  2. Een binaire ANN getraind op een subset van het MNIST-dataset (onderscheid tussen cijfers 0 en 1). De experimentele analyse bevestigde dat de geloofssets geassocieerd met opeenvolgende uitvoer evolueerden in overeenstemming met voorwaarde (SD), waarbij discrepanties op een geneste manier afnamen.
• Incompatibiliteit van Full-Meet: Het artikel toont formeel aan (Propositie 17) dat full-meet geloofswijziging de DP-postulaten schendt, specifiek (DP2), wat de noodzaak bevestigt van de voorgestelde verschuiving naar lexicografische en matige operatoren.

Betekenis
Het artikel claimt de theoretische fundamenten van symbolisch redeneren binnen machine learning te versterken. Door over te stappen van full-meet naar DP-conforme operatoren, biedt de studie een robuuster en principieel raamwerk voor het begrijpen van de dynamiek van binaire ANN's. Het suggereert dat de keuze van het beleid voor geloofswijziging niet louter een kwestie is van logische rationaliteit, maar ook van invloed is op de leervaardigheid en convergentie-eigenschappen van het systeem. Het werk overbrugt de kloof tussen neuro-symbolische AI en dynamische epistemische logica, en stelt voor dat het trainen van neurale netwerken strikt kan worden geanalyseerd als een reeks geïtereerde geloofswijzigingen die voldoen aan gevestigde rationaliteitspostulaten. Dit perspectief opent wegen voor fijnmazige symbolische analyse van leerdynamiek, waarbij trainingsdata worden behandeld als logische invoer die specifieke, gestructureerde revisies van de interne kennisstaat van het netwerk aandrijven.