🤖 machine learning

Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction

Dit artikel introduceert een symmetrie-bewust fundamenteel model voor logische regelinductie dat, door exacte equivariantie af te dwingen via een nieuw canoniek exportmechanisme, een model dat is voorgetraind op kleine synthetische data in staat stelt om interpreteerbare en nauwkeurige regels te generaliseren naar aanzienlijk grotere schema's zonder hertraining.

Oorspronkelijke auteurs: Yin Jun Phua

Gepubliceerd 2026-08-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yin Jun Phua

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Dilemma van de Detective: Regels Vinden in een Ruisende Wereld

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken zoek je naar verborgen patronen in een stapel aanwijzingen. In de wereld van de computerwetenschap wordt dit "regelinductie" genoemd. Het doel is om een computer te leren kijken naar een verzameling voorbeelden—zoals een lijst van wie wat heeft gekocht, of hoe een chemische stof reageert—en de eenvoudige "als-dan"-regel te ontdekken die alles verklaart. De crux? De computer moet slim genoeg zijn om de ruis en de specifieke namen van de mensen of dingen te negeren. Als de regel is "Als het regent, wordt het gras nat," dan mag het niet uitmaken of je de regen "water vallend uit de lucht" of "precipitatie" noemt, of dat je de volgorde van de voorbeelden in je notitieblok omgooit.

Lange tijd waren computers hier erg slecht in. Ze zouden de specifieke namen van de aanwijzingen memoriseren (zoals "Jan" of "Atoom 5") in plaats van de werkelijke logica te leren. Als je ze een nieuwe zaak gaf met andere namen, raakten ze in de war. Dit is waar "foundation models" (basismodellen) om de hoek komen kijken. Denk aan deze modellen als superintelligente studenten die duizenden kleine, verzonnen puzzels bestuderen om het concept van logica zelf te leren, in plaats van alleen de antwoorden op specifieke puzzels te memoriseren. De grote vraag die onderzoekers stellen is: Kunnen we een computer bouwen die de vorm van logica zo goed leert dat hij nieuwe, veel grotere puzzels kan oplossen die hij nog nooit eerder heeft gezien, zonder dat hij er opnieuw voor hoeft te studeren?

Het Grote Idee van het Papier: Logica Aanleren om de "Wie" en "Wanneer" te Negeren

Dit papier introduceert een slimme nieuwe manier om een van deze logica-lerende computers te bouwen, genaamd het Symmetry-Aware Foundation Model (Symmetrie-bewust basismodel). De auteur, Yin Jun Phua, realiseerde zich dat de beste manier om een computer te leren generaliseren, het dwingen is om "symmetrieën" te respecteren. In alledaagse taal betekent symmetrie hier dat de computer de wereld eerlijk moet behandelen: het mag er niet toe doen of je de volgorde van de voorbeelden door elkaar husselt, de variabelen anders benoemt, een schakelaar van "aan" naar "uit" zet, of de labels "ja" en "nee" verwisselt.

De onderzoekers begonnen met een bestaand model genaamd de Neural Rule Inducer (NRI). Dit model was al behoorlijk goed; het kon regels leren van kleine, ruisige datasets. Het had echter een gebrek: het vertrouwde op sluiproutes gebaseerd op de volgorde van de gegevens of de specifieke namen van de atomen (de bouwstenen van de logica). Als je het een puzzel gaf met 1.000 atomen in plaats van de 12 waarop het was getraind, zou het falen omdat het vertrouwde op die specifiek namen in plaats van op de onderliggende logica.

Om dit op te lossen, heeft de auteur het model niet vanaf nul opnieuw getraind. In plaats daarvan bouwde hij een "symmetrie-bewuste" wrapper rondom het. Ze voegden een paar architecturale aanpassingen toe en een speciale "export"-stap die fungeert als een vertaler. Zo werkt het in eenvoudige termen:

De Architecturale Aanpassingen: Ze verwijderden de onderdelen van het model die om de volgorde van de gegevens of de specifieke namen van de atomen gaven. Ze maakten het model "blind" voor deze irrelevante details, waardoor het gedwongen werd zich alleen te concentreren op de relaties tussen de aanwijzingen.
De "Canonical Export": Dit is de ster van het papier. Wanneer het model een regel raadt, produceert het een reeks scores. De nieuwe exportmethode neemt deze scores en vertaalt ze naar een definitieve regel op een zeer strikte, gestandaardiseerde manier. Het zorgt ervoor dat als je de namen van de atomen in de input verwisselt, de output-regel de namen op precies dezelfde manier verwisselt. Als je een schakelaar omdraait, draait de regel weer terug. Dit gebeurt zonder dat er iets nieuws geleerd hoeft te worden; het is een wiskundige garantie die in het vertalingsproces zelf is ingebouwd.

Wat Ze Vonden: Opschalen "Voor Niks"

Het team testte hun nieuwe model, dat ze G-NRI noemen, op enkele zeer uitdagende opdrachten.

De "Stress Test": Ze trainden het model op kleine puzzels met slechts 6 tot 12 variabelen (atomen). Daarna bevroren ze het model en vroegen ze het om puzzels op te lossen met tot wel 1.024 variabelen. Dat is 85 keer groter dan waarvoor het getraind was.
Het Resultaat: Het oorspronkelijke model (de baseline) stortte in zodra de puzzels groter werden, waarbij het zakte naar het niveau van willekeurig gokken. Maar het nieuwe G-NRI-model bleef sterk. Het hield de nauwkeurigheid hoog en, het belangrijkste, de regels die het produceerde waren wiskundig consistent. Als je de input door elkaar husselde, werd de output-regel er perfect bij.
Bewijs uit de Praktijk: Ze testten het ook op 19 real-world datasets, zoals medische dossiers en chemische gegevens. Hoewel het niet beter presteerde dan modellen die specifiek voor elk dataset zijn getraind (wat te verwachten is van een "zero-shot" model), presteerde het aanzienlijk beter dan het originele model, vooral op de grotere datasets. Sterker nog, op sommige grote datasets presteerde het zelfs beter dan de "majority class" gok (het simpelweg gokken van het meest voorkomende antwoord).

De Conclusie: Een Wiskundige Garantie, Niet Alleen een Gok

Het meest opwindende deel van dit papier is niet alleen dat het model beter werd; het is waarom het beter werd. De auteur bewees dat hun "canonical export"-methode een wiskundige garantie is. Zolang de interne scores van het model de symmetrieën respecteren, moet de uiteindelijke regel ze ook respecteren. Dit is geen gelukkig toeval; het is een eigenschap van het ontwerp.

Ze ontdekten dat door deze symmetrieën "door constructie" af te dwingen (ze in het systeem in te bouwen in plaats van te hopen dat het model ze leert), ze een model voor kleine datasets transformeerden in een herbruikbare tool die enorme, complexe problemen kan aanpakken. Het model hoefde niet opnieuw getraind te worden voor de grote puzzels; het had alleen de juiste "vertaler" nodig om zijn gedachten te lezen.

Kortom, dit papier laat zien dat als je een computer leert om de irrelevante details (zoals namen en volgorde) te negeren en zich alleen te concentreren op de logische structuur, het kan opschalen om problemen op te lossen die veel groter zijn dan zijn training. Het is alsof je een detective leert om het patroon van een misdaad te herkennen in plaats van de gezichten van de verdachten te memoriseren, waardoor hij zaken kan oplossen in steden die hij nog nooit heeft bezocht. De auteur suggereert dat deze aanpak het model betrouwbaar maakt voor "zero-shot" transfer, wat betekent dat het met een hoge mate van vertrouwen kan overstappen van kleine, synthetische trainingsdata naar grote, real-world toepassingen, terwijl de gegenereerde regels simpel en voor mensen leesbaar blijven.

Technische Samenvatting: Symmetrie-bewust Fundamenteel Model voor Regelinductie

Probleemstelling

Logische regelinductie beoogt interpreteerbare hypothesen te leren (specifiek regels in Disjunctieve Normaalvorm, of DNF), die generaliseren over verschillende propositionele schema's. Bestaande benaderingen, zoals Inductief Logisch Programmeren (ILP) en Learning from Interpretation Transition (LFIT), hebben vaak moeite met ruisachtige, gedeeltelijk geobserveerde of onbekende data. Hoewel neuro-symbolische methoden een tolerantie voor ruis bieden, vereisen ze doorgaans taakspecifieke training, waardoor ze niet kunnen fungeren als echte fundamentele modellen die zero-shot kunnen transfereren naar nieuwe schema's.

Een kritieke barrière voor het schalen van deze modellen is de schending van structurele symmetrieën. Een robuuste regel-induceerder moet vier cruciale symmetrieën respecteren die inherent zijn aan logische problemen:

Voorbeeldenvolgorde ( $S_M$ ): Het permuteren van de volgorde van trainingsvoorbeelden mag de geleerde regel niet veranderen.
Atoomherbenaming ( $S_N$ ): Het herbenoemen van atomen (variabelen) moet resulteren in een dienovereenkomstig herbenoemde regel.
Polariteitsomkering ( $Z_2^N$ ): Het omdraaien van de polariteit van een atoom (bijv. $x_j \to \neg x_j$ ) moet het corresponderende lettertype in de regel omdraaien.
Labelwissel ( $Z_2^y$ ): Het wisselen van de outputlabels (0/1) moet resulteren in het Booleaanse complement van de geleerde regel.

Eerdere fundamentele modellen, zoals de Neural Rule Inducer (NRI), respecteren de volgorde van voorbeelden maar falen in het handhaven van equivariantie onder atoomherbenaming, polariteitsomkering of labelwissels. Als gevolg hiervan degradeert hun prestatie aanzienlijk wanneer ze worden toegepast op schema's die groter zijn dan die tijdens de training zijn gezien, en hun geëxporteerde regels transformeren niet correct onder symmetrie-operaties.

Methodologie

Het artikel stelt G-NRI voor, een symmetrie-herstelde versie van de Neural Rule Inducer. De kernbijdrage is geen nieuw leeralgoritme, maar een canonieke exportmechanisme en specifieke architecturale aanpassingen die exacte equivariantie afdwingen door constructie, zonder dat hertraining of extra leerbare parameters nodig zijn.

1. Definitie van de Symmetriegroep

Het probleem wordt geformuleerd onder de symmetriegroep $G = S_M \times B_N \times Z_2^y$ , waarbij $B_N = S_N \ltimes Z_2^N$ de gesigneerde atoompermutaties vertegenwoordigt. Een afbeelding is $G$ -equivariant als deze commuteert met elke transformatie in $G$ .

2. Architecturale Fixes (Herstel van $B_N$ )

Om te garanderen dat de interne scoregeneratie van de NRI equivariant is onder atoompermutaties en polariteitsomkeringen, worden drie specifieke wijzigingen aangebracht aan de encoder en decoder:

Zero Literal Sign Feature: De constante feature die positieve en negatieve lettertypen onderscheidt, wordt op nul gezet, om te voorkomen dat het model vertrouwt op vaste tekenrepresentaties.
Uitschakelen van Example-Attention Content Keys: Geleerde keys voor voorbeelden worden uitgeschakeld om te voorkomen dat aggregatie afhankelijk is van specifieke atoomvolgordes.
Tie-Complete Selectie: In plaats van een bandbrete tussen lettertypeparen te breken door middel van de atoomindex (wat permutatie-invariantie verbreekt), gebruikt het model een "tie-complete" selectie die alle paren behoudt met scores die gelijk zijn aan de $k$ -de beste.
Polariteit-Gemiddelde Embeddings: Voor $Z_2^N$ equivariantie worden de embeddings van geselecteerde paren gemiddeld over hun polariteitsomkeringen.

3. Canonieke Regel Export (Herstel van $Z_2^y$ en Volledige $G$ )

Het artikel introduceert een canonieke export die discrete regels decodeert uit continue lettertype-scores ( $p^+, p^-$ ) op een manier die wiskundig gegarandeerd equivariant is:

Aanwezigheidsscore ( $s_j$ ): Gedefinieerd als $\max(p^+_j, p^-_j)$ , invariant onder polariteitswissels.
Gesigneerd Contrast ( $d_j$ ): Gedefinieerd als $p^+_j - p^-_j$ , wat van teken wisselt bij een polariteitswissel.
Beslissingslogica: Een atoom wordt opgenomen als $s_j \ge 0.5$ en $d_j \neq 0$ . De polariteit wordt bepaald door het teken van $d_j$ . Als $d_j = 0$ (exacte gelijkheid), wordt het atoom weggelaten (onthouding) in plaats van willekeurig een polariteit toe te kennen.
Dual-Rail Selectie: Om labelwissels af te handelen, middelt het model de voorspellingen van twee "rails" (positieve en negatieve klassen) en selecteert het de uiteindelijke regel of diens De Morgan-complement op basis van een label-wissel-invariante comparator.
Onthouding (Abstention): De export onthoudt zich (geeft een lege regel terug) bij exacte gelijkheid in het selectieproces in plaats van willekeurig een bandbrete te breken.

4. Training en Inferentie

Gesymmetriseerde Training: De verliesfunctie wordt gesymmetrizeerd door voorspellingen te middelen over labelwissels, hoewel het artikel opmerkt dat de variant die alleen tijdens de inferentie wordt toegepast (componenten 1–4) bijna identieke nauwkeurigheid bereikt.
Zero-Shot Schaling: Het model wordt getraind op kleine synthetische schema's ( $N=6$ tot $12$) en geëvalueerd op schema's tot $N=1024$ zonder hertraining.

Belangrijkste Bijdragen

Formalisering van Symmetrie in Regelinductie: Het artikel plaatst binaire regelinductie onder de groep $G = S_M \times B_N \times Z_2^y$ , waarbij equivariantie wordt gedefinieerd als de vereiste dat de geïnduceerde regel exact transformeert zoals de invoerdata transformeert.
Canonieke Export met Exacte Garanties: De centrale bijdrage is een decodeermechanisme dat equivariantie optilt van continue scores naar de discrete geëxporteerde regel: Stelling 2 bewijst dat als de invoerscores $G$ -equivariant zijn, de canonieke export een regel oplevert die exact $G$ -equivariant is (op de clausule van logische equivalentie na) zonder hertraining.
Empirische Validatie van Schaling: De auteur demonstreert dat het afdwingen van deze symmetrieën door constructie een model dat op kleine schema's is getraind, in staat stelt om betrouwbaar te schalen naar veel grotere schema's ( $N=1024$ ), terwijl het baseline-model degradeert naar de prestaties van een willekeurige gok.

Resultaten

De evaluatie maakt gebruik van synthetische stresstests en 19 real-world datasets (inclusen UCI benchmarks, MONK's problemen, MUTAG, en CLEVR-Hans3).

Exacte Equivariantie (RQ1): Op synthetische data bereikt de volledige G-NRI 100% regel-equivalentie over 13 verschillende symmetrie-transformaties. Op echte data behoudt het model exacte equivariantie (1.000) voor 17 van de 19 datasets wanneer het wordt beperkt tot schema-geldige transformaties (waarbij de transformatie de geldigheid van de codering behoudt). Echter, op ruwe transformaties die de geldigheid van de codering verbreken (specifiek op de Mushroom en MUTAG datasets), daalt de regel-equivalentie naar 0.785, wat bevestigt dat de garantie specifief geldt voor codering-behoudende subgroepen.
Schaalbaarheid Betrouwbaarheid (RQ2): Wanneer geëvalueerd op schema's tot $N=1024$ (85 $\times$ de maximale trainingswaarde), behoudt de G-NRI een stabiele support-set nauwkeurigheid en regelgetrouwheid. In tegen tegenstelling hiertoe degradeert de baseline NRI aanzienlijk en nadert deze bij grote $N$ de kans op een willekeurige gok. De architecturale fixes alleen al verklaren het merendeel van deze winst.
Real-World Transfer (RQ3): Op 19 echte datasets verbetert G-NRI de zero-shot nauwkeurigheid ten opzichte van de baseline, waarbij de verbetering groter wordt naarmate de schema-omvang toeneemt (bijv. +5.67 procentpunt op schema's met $N > 100$ ).
Regelkwaliteit: De geëxporteerde regels zijn compact. Gemiddeld induceert G-NRI DNF's met ~2 clausules en ~6 lettertypen, wat aanzienlijk minder spaarzaam is dan Decision Trees of RIPPER baselines, hoewel met een iets lagere nauwkeurigheid dan per-taak getrainde modellen (zoals verwacht bij zero-shot transfer).

Betekenis en Claims

Het artikel beweert dat het afdwingen van symmetrie door constructie een klein getraind fundamenteel model transformeert in een herbruikbaar, interpreteerbaar fundamenteel model dat in staat is om te transfereren naar grotere schema's.

Wiskundige Eigenschap: De auteur benadrukt dat de exacte equivariantie van de geëxporteerde regel een wiskundige eigenschap is van het canonieke exportmechanisme, en niet specifiek voor de NRI-architectuur. Elke inducer die $G$ -equivariantie van lettertype-scores levert, kan deze export gebruiken.
Geen Hertraining Vereist: De methode bereikt deze garanties zonder hertraining of per-dataset fitting, en voegt slechts een kleine constante factor toe aan de inferentietijd (1.2–1.8 $\times$ ).
Bescheiden Omvang: De auteur is bescheiden over de algemene concurrentiekracht van het model; het presteert niet beter dan per-taak getrainde leerders op alle metrieken (bijv. nauwkeurigheid op multi-class problemen zoals "car"). Het slaagt er echter in te demonstreren dat symmetrie-beperkingen essentieel zijn voor de betrouwbaarheid van variabel-schema fundamentele modellen in regelinductie.

Het werk valideert dat het respecteren van domeinsymmetrieën (atoombenaming, polariteit, labelwissel) niet slechts een leerdoel is, maar een structurele noodzaak voor het schalen van logische inductie buiten de trainingsdistributie.