🤖 machine learning

Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space

Dieser Artikel zeigt, dass in einem kombinatorischen Spielsetting Gewinnlose-Familien mit Familien kompatibler Feature-Raum-Lokationen korrespondieren, die bei der Initialisierung bereits den finalen Codes nahe sind, was darauf hindeutet, dass das Phänomen der Gewinnlose-Familien von einer versteckten Feature-Raum-Geometrie und nicht von spezifischen Identitäten von Teilnetzwerken im Gewichtsraum bestimmt wird.

Ursprüngliche Autoren: Alon Bebchuk, Nir Shavit

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alon Bebchuk, Nir Shavit

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, überfüllte Bibliothek (ein dichtes neuronales Netz) vor, die mit Millionen von Büchern gefüllt ist. Die „Lottery Ticket Hypothesis" ist die Idee, dass sich in dieser riesigen Bibliothek ein winziger, perfekter Teilbereich von Büchern (ein spärliches Teilnetzwerk) verbirgt, der, wenn Sie ihn herausnehmen, genau so wieder ins Regal stellen, wie er war, als die Bibliothek erstmals geöffnet wurde, und dann nur diese lesen, Ihnen immer noch dieselben Geschichten erzählen könnte wie die gesamte Bibliothek.

Lange Zeit fragten Wissenschaftler: Wie finden wir diesen winzigen Teilbereich? Die meisten versuchten, die Bücher danach zu beurteilen, wie „schwer" oder „wichtig" sie auf dem Regal aussahen (Gewichtsmagnitude).

Diese Arbeit stellt eine andere, mechanischere Frage: Was befindet sich tatsächlich in diesem winzigen Teilbereich, der ihn funktionsfähig macht?

Die Autoren bauten eine „Spielzeugbibliothek" (ein einfaches, mathematisch transparentes Modell), in der sie tatsächlich die „Geschichten" (Merkmale) sehen können, die innerhalb der Maschine geschrieben werden. Hier ist das, was sie fanden, einfach erklärt:

1. Die Bibliothek ist nicht nur Bücher; sie ist eine Karte

Stellen Sie sich das neuronale Netz nicht nur als einen Haufen von Gewichten vor, sondern als eine Stadtkarte.

Das dichte Netz: Eine Stadt, in der jede Straße von Verkehr überfüllt ist.
Das „Los": Eine bestimmte Menge von Straßen, die, wenn Sie den gesamten anderen Verkehr beseitigen würden, es Ihnen immer noch ermöglichen würden, perfekt von Punkt A nach Punkt B zu gelangen.

Die Arbeit argumentiert, dass das „gewinnende Los" nicht nur eine zufällige Sammlung schwerer Bücher oder starker Straßen ist. Stattdessen ist es eine vorhandene Karte, die bereits in der Stadtplanung gezeichnet war, bevor der Verkehr überhaupt in Bewegung kam.

2. Die „Vorläufer"-Viertel

Wenn das Netz mit dem Training beginnt (die Stadt beginnt zu bauen), bewirkt der dichte Verkehr (Standard-Training) zwei Dinge:

Er verstärkt die guten Stellen: Er verwandelt bestimmte leere Grundstücke in perfekte, gut organisierte Viertel (genannt „Codes").
Er lehnt die überfüllten Stellen ab: Wenn zwei Viertel versuchen, auf demselben winzigen Grundstück zu bauen, lehnt das System eines ab, um einen Stau zu vermeiden.

Das „gewinnende Los" ist die Menge an leeren Grundstücken, die bereits von Anfang an nahe daran waren, perfekte Viertel zu werden. Sie mussten nicht von Grund auf neu gebaut werden; sie brauchten nur die richtige Menge an Verkehr, um die Arbeit zu vollenden.

3. Die Magie des „Zurückspulens"

Hier kommt der überraschende Teil. Wenn Sie das „gewinnende Los" (die spärliche Menge an Straßen) nehmen und auf den aller Anfang zurückspulen (bevor es überhaupt Verkehr gab), könnten Sie erwarten, dass es wie eine winzige, kaputte Version der großen Stadt aussieht.

Aber das tut es nicht.

Weil die Straßen auf eine bestimmte Weise verbunden sind, entfernt das Entfernen von 75 % des „Verkehrs" (Gewichte) tatsächlich den Nebel. Plötzlich sehen die verbleibenden Straßen viel organisierter aus und ähneln den finalen perfekten Vierteln mehr als die ursprüngliche chaotische Stadt. Der Akt des Beschneidens (Entfernen von Gewichten) verändert die Karte selbst und enthüllt eine verborgene, saubere Struktur, die darauf wartete, gesehen zu werden.

4. Es geht um die „Familie", nicht um die „Adresse"

Die Arbeit fand heraus, dass das gewinnende Los nicht darauf achtet, genau an welcher Straßenecke ein Viertel liegt.

Alte Sichtweise: „Wir brauchen exakt dieselbe Straßenecke (Zeile), damit es funktioniert."
Neue Sichtweise: „Wir brauchen nur, dass der Typ des Viertels (die Code-Familie) irgendwo existiert."

Wenn das System ein „4-Positiv"-Viertel benötigt, ist es egal, ob es am Ende in der Straße 2 oder Straße 5 landet. Solange die Familie der Viertel vorhanden ist und miteinander kompatibel ist, funktioniert das System. Das Los bewahrt den Bauplan für die Familie, nicht die spezifische Adresse.

5. Bessere Detektoren

Die Autoren versuchten, diese Lose mit zwei verschiedenen Detektoren zu finden:

Der Gewichts-Detektor: Schaut darauf, wie „schwer" oder stark die Verbindungen sind. (Das ist wie ein Buch nach dem Gewicht seines Einbands zu beurteilen).
Der Merkmals-Detektor: Schaut auf die „Entfernung" zum perfekten Viertel auf der Karte. (Das ist wie der Blick auf das tatsächliche Layout der Straßen).

Sie fanden heraus, dass der Merkmals-Detektor viel besser darin war, die gewinnenden Lose frühzeitig zu finden. Er konnte die „nahezu perfekten Viertel" sehen, bevor der schwere Verkehr überhaupt begann. Der Gewichts-Detektor wurde erst später gut, sobald das Training die Stadt so weit organisiert hatte, dass die schweren Bücher wie die richtigen aussahen.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass ein „Lottery Ticket" nicht nur eine glückliche Menge an Zahlen oder eine Maske aus Gewichten ist. Es ist ein verstecktes Gerüst im Merkmalsraum.

Stellen Sie es sich so vor: Wenn Sie ein Haus kaufen, kaufen Sie nicht nur die Ziegelsteine (Gewichte); Sie kaufen das Potenzial des Landes (Merkmalsraum). Das gewinnende Los ist das Land, das bereits wie ein perfektes Hausfundament geformt war, bevor Sie überhaupt mit dem Bau begonnen haben. Der Trainingsprozess beendet nur den Bau.

Wichtiger Hinweis: Die Autoren stellen sehr klar, dass dies an einem „Spielzeug"-Modell getestet wurde (ein kleines, vereinfachtes Computerprogramm, das zum Lösen von Logikrätseln entwickelt wurde). Sie behaupten nicht, dass dies bei riesigen, realen KI-Modellen bereits genau so funktioniert. Sie sagen: „Wenn Sie eine kleine, logische Maschine sind, funktioniert Ihr Los so. Herauszufinden, ob dies auf die großen, komplexen Maschinen zutrifft, ist der nächste Schritt."

Technische Zusammenfassung: Toy-Modelle zur kombinatorischen Interpretierbarkeit enthüllen Lotterie-Tickets im frühen Merkmalsraum

Problemstellung

Die Lotterie-Ticket-Hypothese (LTH) besagt, dass dichte neuronale Netze sparse Subnetzwerke („gewinnende Tickets") enthalten, die, wenn sie auf ihre initialen Gewichte zurückgesetzt und isoliert neu trainiert werden, die Leistung des vollständigen Modells erreichen. Während frühere Arbeiten die Existenz dieser Tickets nachgewiesen und die Bedingungen für ihre Entdeckung verfeinert haben (z. B. Zurücksetzen auf leicht spätere Checkpoints), bleibt eine mechanistische Frage unbeantwortet: Welches interne Objekt bewahrt ein gewinnendes Ticket?

Bestehende Erklärungen deuten darauf hin, dass Tickets eine „glückliche" Menge von Gewichten, eine spezifische Maske oder ein günstiges Optimierungsbecken bewahren. In standardmäßigen tiefen Netzen sind die versteckten Repräsentationen jedoch zu undurchsichtig, um genau zu bestimmen, welchem strukturellen Objekt die Maske entspricht. Dieser Beitrag fragt, ob das Ticket ein spezifisches Gerüst im Merkmalsraum bewahrt, das es dem sparse Training ermöglicht, die notwendige Berechnung wiederherzustellen.

Methodik

Die Autoren untersuchen diese Frage in einem kombinatorischen, klauselstrukturierten Toy-Setting, das auf einem Disjunctive-Normal-Form (DNF)-Detektor basiert. Dieses Setting wird gewählt, weil es eine interpretierbare Repräsentation im Merkmalsraum mit wohldefinierten kombinatorischen Abständen zwischen den Merkmalen zulässt.

Modellarchitektur und Merkmalsraum

Aufbau: Das Modell besteht aus einer lernbaren linearen Projektion $C_0$ , gefolgt von einer versteckten Schicht $W_1$ und einer Ausgabeschicht $W_2$ . Das Netzwerk berechnet $z = W_2 \cdot \text{ReLU}(W_1 C_0 x + b_1) + b_2$ .
Merkmalsraum ( $C_1$ ): Das zentrale Untersuchungsobjekt ist $C_1 = W_1 C_0$ . Diese Matrix repräsentiert die Berechnung des Netzwerks im Merkmalsraum und entkoppelt Merkmale vom Eingabe-Embedding.
Codes: Die Aufgabe besteht darin, positive und negative Evidenz für DNF-Klauseln zu detektieren. Das Modell lernt spezifische lokale Vorzeichenmuster (Codes):
- 4P: $(+1, +1, +1, +1)$ für positive Evidenz.
- 3N1P: Ein positives und drei negative Vorzeichen für negative Evidenz.
Metriken: Die Autoren definieren kombinatorische Abstände ( $d_\tau$ ) und Margins ( $m$ ), um zu messen, wie nah ein lokaler Vektor an diesen kanonischen Code-Familien liegt.

Experimentelles Design

Ticket-Zyklus: Die Autoren simulieren den vollständigen LTH-Zyklus: dichtes Training $\to$ Maskierung (Pruning) $\to$ Zurücksetzen auf die Initialisierung $\to$ sparse Neutraining.
Merkmalsraum vs. Gewichtsraum: Sie analysieren, wie die Anwendung einer Maske auf die initialen Gewichte den initialen Zustand im Merkmalsraum ( $C_1$ ) verändert. Sie zeigen, dass Pruning nicht lediglich eine visuelle Einschränkung der Gewichte ist, sondern die Zeilenmuster im Merkmalsraum fundamental verändert.
Proben: Der Beitrag führt „mechanismusinspirierte" Detektoren ein, die Merkmalsraum-Positionen basierend auf folgenden Kriterien rangieren:
- Statischer Abstand: Nähe zu kanonischen Code-Familien.
- Bewegung: Finite-Differenzen-Bewegung hin zu Codes während des frühen dichten Trainings.
- Kompatibilität: Vermeidung überfüllter Zeilen (Superposition).
Vergleiche: Diese Merkmalsraum-Regeln werden mit standardmäßigen Gewichtsraum-Baselines (SNIP, GraSP, SynFlow, Early-Bird-Magnitude) und zufälligen sparse Erweiterungen verglichen.

Hauptbeiträge

1. Das Ticket ist ein Gerüst im Merkmalsraum, nicht nur eine Maske

Der Beitrag argumentiert, dass ein gewinnendes Ticket keine feste Menge von Gewichten, sondern eine Familie kompatibler Positionen im Merkmalsraum ist.

Wiederherstellung auf Familienebene: Das sparse Neutraining stellt oft die richtige Klausel-/Vorlagenfamilie (z. B. 4P) wieder her, jedoch auf einer anderen Zeile als das dichte Modell. Daher ist das bewahrte Objekt die Code-Familie, nicht die mikroskopische Zeilenidentität.
Vorläufer-Positionen: Gewinnende Tickets entsprechen Vorläufer-Positionen im initialen Merkmalsraum, die bereits (bei der Initialisierung) nahe an den finalen Feature-Kanal-Codes liegen.

2. Mechanismus des dichten SGD und der Superposition

Dichtes SGD wirkt als Selektor im Merkmalsraum:

Verstärkung: Es treibt ausgewählte Vorläufer-Positionen zu exakten kanonischen Codes.
Ablehnung: Es lehnt andere plausible frühe Positionen ab, insbesondere solche auf „überfüllten" Zeilen (Zeilen mit hoher Last).
Wettbewerb: Dies zeigt, dass die Ticketbildung die Auflösung von Wettbewerb unter Superposition beinhaltet, wobei mehrere Merkmale begrenzte Repräsentationsdimensionen teilen. Ein Ticket ist eine Menge von Positionen, die die Nähe zu finalen Codes mit geringer Interferenz zwischen Merkmalen ausbalanciert.

3. Pruning verändert den initialen Merkmalszustand

Die Anwendung einer Maske auf die initialen Gewichte ( $W_1$ ) verändert den gesamten initialen Zustand im Merkmalsraum ( $C_1$ ).

Das Nullsetzen von Koordinaten außerhalb der Maske verändert das gesamte Zeilenmuster in $C_1$ .
Folglich ist die „sparse Initialisierung" ein neuer projizierter Merkmalsraum-Zustand, nicht nur eine Teilmenge des initialen dichten Zustands.
Ein gewinnendes Ticket ist eine Familie von Positionen in diesem neuen Zustand, die genügend Freiheitsgrade für das sparse SGD lässt, um kompatible Codes wiederherzustellen.

4. Diagnostische Proben übertreffen gewichtsbasierte Methoden

Die Autoren schlagen leichte Proben basierend auf Merkmalsraum-Abstand und Bewegung vor.

Ergebnisse: Im Toy-Setting übertreffen diese Merkmalsraum-Proben etablierte gewichtsbasierte Methoden zur Ticket-Entdeckung (wie SNIP oder Magnitude) häufig sowohl in der Genauigkeit als auch in der exakten Code-Wiederherstellung, insbesondere in den frühen Trainingsphasen.
Einschränkung: Obwohl Merkmalsraum-Regeln die korrekten Positionen identifizieren, bleibt ein „Übersetzungsproblem" bestehen, diese Positionen mit einer sparse Menge von Gewichtsraum-Koordinaten zu implementieren.

Ergebnisse

Strukturerhaltung: OBS-Tickets (Optimal Brain Surgeon) bewahren signifikant mehr der Code-Geometrie des dichten Modells (ca. 53–54 % Wiederherstellung am gleichen Ort) im Vergleich zu zufälligen sparse Erweiterungen (ca. 20 %).
Nähe der Vorläufer: Im maskierten initialen Zustand platzieren OBS-Tickets einen viel höheren Anteil der eventualen finalen Code-Stellen bei Abstand 0 oder 1 von ihren Zielvorlagen im Vergleich zu zufälligen Masken. Beispielsweise befanden sich im Rewind-Zustand der Epoche 10 78,9 % der eventualen finalen Code-Stellen innerhalb eines Defekts, verglichen mit 54,6 % für zufällige sparse.
Superpositions-Dynamik: Die Ablehnung von Kandidaten-Codes konzentriert sich auf stark belastete Zeilen, was bestätigt, dass dichtes SGD den Wettbewerb zwischen potenziellen Trägern auflöst.
Leistung der Proben: Merkmalsraum-Diagnostik (statischer Abstand + dynamische Bewegung) führt bei der exakten Code-Wiederherstellung und schneidet in der Genauigkeit im Vergleich zu Gewichtsraum-Baselines konkurrenzfähig ab, was die Hypothese validiert, dass die frühe Ticket-Struktur als Geometrie im Merkmalsraum sichtbar ist und nicht als rohe Gewichts-Salienz.

Bedeutung und Behauptungen

Der Beitrag positioniert sich als Modellorganismus-Studie und nicht als abgeschlossene Theorie für alle neuronalen Netze.

Bescheidener Umfang: Die Autoren stellen explizit fest, dass ihre Erkenntnisse in einem Toy-Setting fundiert sind (kleine Netze, die Boolesche Formeln berechnen). Sie ziehen eine Analogie zur Krebsforschung von Judah Folkman: „Wenn Sie eine Maus sind und Krebs haben, können wir Sie wahrscheinlich heilen." Ebenso: „Wenn Sie ein kleines neuronales Netz sind, das Boolesche Formeln berechnet, dann können wir Ihre Lotterie-Tickets wahrscheinlich verstehen."
Kern-Erkenntnis: Der primäre Beitrag ist eine Perspektivverschiebung: Die Struktur des Lotterie-Tickets wird durch verborgene Geometrie im Merkmalsraum bestimmt und nicht durch die Identität von Subnetzwerken im Gewichtsraum.
Zukünftige Richtungen: Der Beitrag schlägt vor, dass die Erweiterung dieser Ideen auf größere Modelle approximative Feature-Wörterbücher oder zerlegungen im Stil von sparse Autoencodern erfordern könnte. Er hebt ein offenes „Übersetzungsproblem" hervor zwischen der Auswahl von Positionen im Merkmalsraum und deren Implementierung mit sparse Gewichten.
Interpretierbarkeit: Die Arbeit schlägt einen neuen Pfad in der Interpretierbarkeitsforschung vor, in dem Messungen im Merkmalsraum möglich sind, und bewegt sich über die undurchsichtige Gewichtsraum-Analyse hinaus, um das „Gerüst" zu verstehen, das das sparse Training wieder aufbaut.

Zusammenfassend liefert der Beitrag eine mechanistische Erklärung für die Lotterie-Ticket-Hypothese in einem kontrollierten Setting und zeigt, dass gewinnende Tickets ein Gerüst im Merkmalsraum aus Vorläufer-Positionen bewahren, die bereits nahe an der Lösung liegen, und dass dichtes Training dient, dieses Gerüst durch die Auflösung von Superpositions-Wettbewerb auszuwählen und zu verfeinern.