🤖 machine learning

Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction

Dieses Paper führt ein symmetrie-bewusstes Foundation-Modell für die Induktion von Logikregeln ein, das durch die Erzwingung exakter Äquivarianz mittels eines neuartigen kanonischen Exportmechanismus ein Modell ermöglicht, welches auf kleinen synthetischen Daten vortrainiert wurde, um ohne erneutes Training interpretierbare und präzise Regeln auf signifikant größere Schemata zu generalisieren.

Ursprüngliche Autoren: Yin Jun Phua

Veröffentlicht 2026-08-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yin Jun Phua

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Dilemma des Detektivs: Regeln in einer verrauschten Welt finden

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken suchen Sie nach verborgenen Mustern in einem Haufen von Hinweisen. In der Welt der Informatik nennt man das „Regelinduktion“. Das Ziel besteht darin, einem Computer beizubringen, eine Menge von Beispielen zu betrachten – wie etwa eine Liste darüber, wer was gekauft hat oder wie eine Chemikalie reagiert – und die einfache „Wenn-Dann“-Regel zu finden, die alles erklärt. Der Haken dabei? Der Computer muss klug genug sein, das Rauschen und die spezifischen Namen der beteiligten Personen oder Dinge zu ignorieren. Wenn die Regel lautet: „Wenn es regnet, wird das Gras nass“, dann sollte es keine Rolle spielen, ob Sie den Regen als „Wasser, das vom Himmel fällt“ oder als „Niederschlag“ bezeichnen, oder ob Sie die Reihenfolge der Beispiele in Ihrem Notizbuch vertauschen.

Lange Zeit waren Computer schlecht darin. Sie lernten die spezifischen Namen der Hinweise auswendig (wie „John“ oder „Atom 5“), anstatt die tatsächliche Logik zu lernen. Wenn man ihnen einen neuen Fall mit anderen Namen gab, wurden sie verwirrt. Hier kommen „Foundation Models“ ins Spiel. Betrachten Sie diese als superintelligente Studenten, die tausende winziger, künstlicher Rätsel studieren, um das Konzept der Logik selbst zu lernen, anstatt nur die Antworten auf bestimmte Rätsel auswendig zu lernen. Die große Frage, die Forscher stellen, ist: Können wir einen Computer bauen, der die Form der Logik so gut lernt, dass er brandneue, viel größere Rätsel lösen kann, die er noch nie gesehen hat, ohne dafür erneut lernen zu müssen?

Die große Idee des Papers: Logik lehren, das „Wer“ und „Wann“ zu ignorieren

Dieses Paper stellt einen cleveren neuen Weg vor, um einen dieser logik-lernenden Computer namens Symmetry-Aware Foundation Model zu bauen. Der Autor, Yin Jun Phua, erkannte, dass der beste Weg, einen Computer zur Generalisierung zu bringen, darin besteht, ihn dazu zu zwingen, „Symmetrien“ zu respektieren. In der Alltagssprache bedeutet Symmetrie hier, dass der Computer die Welt fair behandeln sollte: Es sollte ihm egal sein, ob Sie die Reihenfolge der Beispiele vertauschen, die Variablen umbenennen, einen Schalter von „An“ auf „Aus“ stellen oder die Bezeichnungen „Ja“ und „Nein“ vertauschen.

Die Forscher begannen mit einem bestehenden Modell namens Neural Rule Inducer (NRI). Dieses Modell war bereits ziemlich gut; es konnte Regeln aus kleinen, verrauschten Datensätzen lernen. Es hatte jedoch einen Fehler: Es verließ sich auf Abkürzungen, die auf der Reihenfolge der Daten oder den spezifischen Namen der Atome (den Bausteinen der Logik) basierten. Wenn man ihm ein Rätsel mit 1.000 Atomen statt der 12 gab, auf denen es trainiert wurde, scheiterte es, weil es sich auf diese spezifischen Namen verließ, anstatt auf die zugrunde liegende Logik.

Um dies zu beheben, hat der Autor das Modell nicht von Grund auf neu trainiert. Stattdessen baute er einen „symmetrie-bewussten“ Wrapper um es herum. Er fügte einige architektonische Anpassungen und einen speziellen „Export“-Schritt hinzu, der wie ein Übersetzer fungiert. So funktioniert es vereinfacht:

Die architektonischen Korrekturen: Sie entfernten die Teile des Modells, denen die Reihenfolge der Daten oder die spezifischen Namen der Atome wichtig waren. Sie machten das Modell „blind“ für diese irrelevanten Details, wodurch es gezwungen wurde, sich nur auf die Beziehungen zwischen den Hinweisen zu konzentrieren.
Der „Kanonische Export“: Dies ist die Sternneuheit des Papers. Wenn das Modell eine Regel vermutet, erzeugt es einen Satz von Scores. Die neue Export-Methode nimmt diese Scores und übersetzt sie in eine endgültige Regel auf eine sehr strikte, standardisierte Weise. Sie stellt sicher, dass, wenn man die Namen der Atome im Input vertauscht, die Ausgaberegel die Namen auf exakt dieselbe Weise vertauscht. Wenn man einen Schalter umlegt, dreht die Regel wieder zurück. Dies geschieht, ohne dass etwas Neues gelernt werden muss; es ist eine mathematische Garantie, die in den Übersetzungsprozess eingebaut ist.

Was sie herausfanden: Skalierung ohne Aufwand

Das Team testete ihr neues Modell, das sie G-NRI nennen, bei einigen sehr schwierigen Herausforderungen.

Der „Stresstest“: Sie trainierten das Modell auf winzigen Rätseln mit nur 6 bis 12 Variablen (Atomen). Dann frierten sie das Modell ein und baten es, Rätsel mit bis zu 1.024 Variablen zu lösen. Das ist 85 Mal größer als das, wofür es trainiert wurde.
Das Ergebnis: Das ursprüngliche Modell (die Baseline) brach zusammen, sobald die Rätsel größer wurden, und fiel auf das Niveau des bloßen Ratens zurück. Aber das neue G-NRI-Modell blieb stark. Es hielt seine Genauigkeit hoch und, was am wichtigsten ist, die von ihm erzeugten Regeln waren mathematisch konsistent. Wenn man den Input vertauschte, vertauschte die Ausgaberegel perfekt mit.
Realwelt-Beweis: Sie testeten es auch auf 19 realen Datensätzen, wie medizinischen Aufzeichnungen und chemischen Daten. Obwohl es nicht die Modelle schlug, die speziell für jeden Datensatz trainiert wurden (was für ein „Zero-Shot“-Modell zu erwarten ist), schnitt es signifikant besser ab als das ursprüngliche Modell, insbesondere bei den größeren Datensätzen. In der Tat war es auf einigen großen Datensätzen sogar besser als die „Mehrheitsklasse“-Vermutung (also das bloße Raten der häufigsten Antwort).

Das Fazit: Eine mathematische Garantie, nicht nur eine Vermutung

Der spannendste Teil dieses Papers ist nicht nur, dass das Modell besser wurde, sondern warum es besser wurde. Der Autor bewies, dass ihre Methode des „kanonischen Exports“ eine mathematische Garantie ist. Solange die internen Scores des Modells die Symmetrien respektieren, muss auch die endgültige Regel diese respektieren. Dies ist kein glücklicher Zufall; es ist eine Eigenschaft des Designs.

Sie fanden heraus, dass, indem sie diese Symmetrien „durch Konstruktion“ erzwingen (sie also in das System einbauen, anstatt darauf zu hoffen, dass das Modell sie lernt), sie ein Modell mit kleinen Datenmengen in ein wiederverwendbares Werkzeug verwandelt haben, das massive, komplexe Probleme bewältigen kann. Das Modell musste nicht für die großen Rätsel neu trainiert werden; es brauchte nur den richtigen „Übersetzer“, um seinen Geist zu lesen.

Kurz gesagt zeigt dieses Paper, dass, wenn man einem Computer beibringt, die irrelevanten Details (wie Namen und Reihenfolge) zu ignorieren und sich stattdin auf die logische Struktur zu konzentrieren, er in der Lage ist, Aufgaben weit über sein Training hinaus zu lösen. Es ist, als würde man einen Detektiv lehren, das Muster eines Verbrechens zu erkennen, anstatt die Gesichter der Verdächtigen auswendig zu lernen, was es ihm ermöglicht, Verbrechen in Städten zu lösen, die er noch nie besucht hat. Der Autor legt nahe, dass dieser Ansatz das Modell zuverlässig für den „Zero-Shot“-Transfer macht, was bedeutet, dass es mit hoher Zuversicht von kleinen, synthetischen Trainingsdaten zu großen, realen Anwendungen springen kann, während es gleichzeitig die Regeln generiert, die für Menschen einfach lesbar bleiben.

Technisches Resümee: Symmetrie-bewusstes Foundation-Modell für die Regelinduktion

Problemstellung

Die logische Regelinduktion zielt darauf ab, interpretierbare Hypothesen (speziell DNF-Regeln – Disjunktive Normalform) zu erlernen, die über verschiedene propositionale Schemata hinweg generalisieren. Bestehende Ansätze, wie etwa die Induktive Logikprogrammierung (ILP) und das Lernen aus Interpretationstransitionen (LFIT), haben oft Schwierigkeiten mit verrauschten, teilweise beobachteten oder ungesehenen Daten. Während neuro-symbolische Methoden eine gewisse Rauschresistenz bieten, erfordern sie typischerweise ein per-Task-Training und versagen daher als echte Foundation-Modelle, die einen Zero-Shot-Transfer auf neue Schemata ermöglichen könnten.

Eine kritische Barriere bei der Skalierung dieser Modelle ist die Verletzung struktureller Symmetrien. Ein robuster Regel-Induzierer sollte vier zentrale Symmetrien respektieren, die in logischen Problemen inhärent sind:

Beispielreihenfolge ( $S_M$ ): Das Permutieren der Reihenfolge der Trainingsbeispiele sollte die gelernte Regel nicht verändern.
Atom-Umbenennung ( $S_N$ ): Das Umbenennen von Atomen (Variablen) sollte zu einer entsprechend umbenannten Regel führen.
Polaritätswechsel ( $Z_2^N$ ): Das Umkehren der Polarität eines Atoms (z. B. $x_j \to \neg x_j$ ) sollte das entsprechende Literal in der Regel umkehren.
Label-Vertauschung ( $Z_2^y$ ): Das Vertauschen der Ausgabelabels (0/1) sollte zum Booleschen Komplement der gelernten Regel führen.

Frühere Foundation-Modelle, wie der Neural Rule Inducer (NRI), respektieren zwar die Beispielreihenfolge, versagen jedoch bei der Einhaltung der Äquivarianz unter Atom-Umbenennung, Polaritätswechsel oder Label-Vertauschung. Infolgedessen sinkt ihre Leistung signifikant, wenn sie auf Schemata angewendet werden, die größer sind als die während des Trainings gesehenen, und ihre exportierten Regeln transformieren sich unter Symmetrieoperationen nicht korrekt.

Methodik

Das Paper schlägt G-NRI vor, eine Symmetrie-restaurierte Version des Neural Rule Inducers. Der Kernbeitrag ist kein neuer Lernalgorithmus, sondern ein kanonischer Exportmechanismus und spezifische architektonische Modifikationen, die eine exakte Äquivarianz durch Konstruktion erzwingen, ohne dass ein erneutes Training oder zusätzliche lernbare Parameter erforderlich sind.

1. Definition der Symmetriegruppe

Das Problem wird unter der Symmetriegruppe $G = S_M \times B_N \times Z_2^y$ formuliert, wobei $B_N = S_N \ltimes Z_2^N$ die signierten Atom-Permutationen darstellt. Eine Abbildung ist $G$ -äquivariant, wenn sie mit jeder Transformation in $G$ kommutiert.

2. Architektonische Korrekturen (Wiederherstellung von $B_N$ )

Um sicherzustellen, dass die interne Score-Generierung des NRI äquivariant unter Atom-Permutationen und Polaritätswechseln ist, werden drei spezifische Modifikationen am Encoder und Decoder vorgenommen:

Zero Literal Sign Feature: Das konstante Merkmal, das positive von negativen Literalen unterscheidet, wird auf Null gesetzt, um zu verhindern, dass das Modell auf feste Signatur-Repräsentationen angewiesen ist.
Deaktivierung von Example-Attention Content Keys: Gelernte Keys für Beispiele werden deaktiviert, um zu verhindern, dass die Aggregation von der spezifischen Atom-Reihenfolge abhängt.
Tie-Complete Selection: Anstatt zwischen Literal-Paaren durch den Atom-Index einen Tie-Breaker zu setzen (was die Permutationsinvarianz bricht), verwendet das Modell eine „tie-complete“ Selektion, die alle Paare mit Scores beibehält, die mit dem $k$ -ten besten Wert gleichauf liegen.
Polaritäts-gemittelte Embeddings: Für die $Z_2^N$ -Äquivarianz werden die Embeddings der selektierten Paare über ihre Polaritätswechsel gemittelt.

3. Kanonischer Regel-Export (Wiederherstellung von $Z_2^y$ und vollem $G$ )

Das Paper führt einen kanonischen Export ein, der diskrete Regeln aus kontinuierlichen Literal-Scores ( $p^+, p^-$ ) auf eine Weise dekodiert, die mathematisch garantiert äquivariant ist:

Präsenz-Score ( $s_j$ ): Definiert als $\max(p^+_j, p^-_j)$ , invariant gegenüber Polaritätswechseln.
Signierter Kontrast ( $d_j$ ): Definiert als $p^+_j - p^-_j$ , welcher das Vorzeichen bei Polaritätswechseln umkehrt.
Entscheidungslogik: Ein Atom wird eingeschlossen, wenn $s_j \ge 0.5$ und $d_j \neq 0$ . Die Polarität wird durch das Vorzeichen von $d_j$ bestimmt. Wenn $d_j = 0$ (exakter Gleichstand), wird das Atom ausgelassen (Abstention), anstatt ihm willkürlich eine Polarität zuzuweisen.
Dual-Rail Selection: Um Label-Vertauschungen zu handhaben, mittelt das Modell die Vorhersagen aus zwei „Rails“ (positive und negative Klassen) und wählt die finale Regel oder deren De-Morgan-Komplement basierend auf einem Label-Vertauschungs-invarianten Komparator.
Abstention: Der Export verzichtet (gibt eine leere Regel zurück) bei exakten Gleichständen im Selektionsprozess, anstatt sie willkürlich aufzubrechen.

4. Training und Inferenz

Symmetrisiertes Training: Die Verlustfunktion wird durch Mittelung der Vorhersagen über Label-Vertauschungen symmetrisiert, obwohl das Paper anmerkt, dass die Inferenz-nur-Variante (Komponenten 1–4) eine nahezu identische Genauigkeit erreicht.
Zero-Shot Skalierung: Das Modell wird auf kleinen synthetischen Schemata ( $N=6$ bis $12$) trainiert und auf Schemata bis zu $N=1024$ evaluiert, ohne ein erneutes Training.

Zentrale Beiträge

Formalisierung der Symmetrie in der Regelinduktion: Das Paper fasst die binäre Regelinduktion unter der Gruppe $G = S_M \times B_N \times Z_2^y$ zusammen und definiert Äquivarianz als die Anforderung, dass die induzierte Regel exakt so transformiert, wie die Eingangsdaten transformiert werden.
Kanonischer Export mit exakten Garantien: Der zentrale Beitrag ist ein Dekodierungsmechanismus, der die Äquivarianz von kontinuierlichen Scores auf die diskrete exportierte Regel hebt. Theorem 2 beweist, dass, wenn die Eingangs-Scores $G$ -äquivariant sind, der kanonische Export eine Regel liefert, die exakt $G$ -äquivariant ist (bis auf logische Äquivalenz), ohne ein erneutes Training zu erfordern.
Empirische Validierung der Skalierbarkeit: Der Autor demonstriert, dass die Durchsetzung dieser Symmetrien durch Konstruktion es einem auf kleinen Schemata trainierten Modell ermöglicht, zuverlässig auf wesentlich größere Schemata ( $N=1024$ ) zu skalieren, während das Baseline-Modell hierbei auf Zufallsniveau abfällt.

Ergebnisse

Die Evaluierung nutzt synthetische Stresstests und 19 reale Datensätze (einschließlich UCI-Benchmarks, MONK's Problems, MUTAG und CLEVR-Hans3).

Exakte Äquivarianz (RQ1): Auf synthetischen Daten erreicht der vollständige G-NRI eine 100%ige Regel-Äquivalenz über 13 verschiedene Symmetrie-Transformationen hinweg. Auf realen Daten hält das Modell eine exakte Äquivarianz (1.000) für 17 der 19 Datensätze ein, sofern die Transformationen schema-konform sind (also die Gültigkeit der Kodierung bewahren). Bei Roh-Transformationen, welche die Kodierung-Gültigkeit brechen (speziell bei Mushroom und MUTAG), sinkt die Regel-Äquivalenz jedoch auf 0.785, was bestätigt, dass die Garantie spezifisch für kodierungserhaltende Untergruppen gilt.
Skalierungszuverlässigkeit (RQ2): Bei der Evaluierung auf Schemata bis zu $N=1024$ (85 $\times$ das maximale Trainings-Schema) behält G-NRI eine stabile Support-Set-Genauigkeit und Regel-Fidelität bei. Im Gegensatz dazu degradiert die Baseline NRI signifikant und nähert sich bei großem $N$ dem Zufallsniveau an. Die architektonischen Korrekturen allein machen den Großteil dieses Gewinns aus.
Real-World Transfer (RQ3): Auf 19 realen Datensätzen verbessert G-NRI die Zero-Shot-Genauigkeit gegenüber der Baseline, wobei die Verbesserung mit der Schema-Größe zunimmt (z. B. +5,67 Prozentpunkte bei Schemata mit $N > 100$ ).
Regelqualität: Die exportierten Regeln sind kompakt. Im Durchschnitt induziert G-NRI DNFs mit ca. 2 Klauseln und ca. 6 Literalen, was deutlich spärlicher ist als Decision Trees oder RIPPER-Baselines, wenngleich die Genauigkeit etwas niedriger ist als bei per-Task trainierten Modellen (wie für Zero-Shot-Transfer zu erwarten).

Bedeutung und Ansprüche

Das Paper behauptet, dass die Durchsetzung von Symmetrie durch Konstruktion ein kleines, vortrainiertes Modell in ein wiederverwendbares, interpretierbares Foundation-Modell verwandelt, das in der Lage ist, auf größere Schemata zu transferieren.

Mathematische Eigenschaft: Der Autor betont, dass die exakte Äquivarianz der exportierten Regel eine mathematische Eigenschaft des kanonischen Exportmechanismus ist und nicht spezifisch für die NRI-Architektur. Jeder Induzierer, der $G$ -äquivariante Literal-Scores liefert, kann diesen Export nutzen.
Kein erneutes Training erforderlich: Die Methode erzielt diese Garantien ohne erneutes Training oder per-Dataset-Fitting und fügt lediglich einen kleinen konstanten Faktor zur Inferenzzeit hinzu (1,2–1,8 $\times$ ).
Moderater Umfang: Der Autor ist bescheiden hinsichtlich der allgemeinen Wettbewerbsfähigkeit des Modells; es übertrifft per-Task trainierte Lerner nicht in allen Metriken (z. B. Genauigkeit bei Multi-Class-Problemen wie „car“). Es demonstriert jedoch erfolgreich, dass Symmetrie-Constraints essenziell für die Zuverlässigkeit von variabel-schematischen Foundation-Modellen in der Regelinduktion sind.

Die Arbeit validiert, dass das Respektieren von Domänen-Symmetrien (Atom-Benennung, Polarität, Label-Vertauschung) nicht bloß ein Lernziel ist, sondern eine strukturelle Notwendigkeit, um die logische Induktion über die Trainingsverteilung hinaus zu skalieren.