🤖 machine learning

Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions

Dieses Paper erklärt, warum Transformer daran scheitern, sensitive Boolesche Funktionen wie PARITY zu lernen, indem es demonstriert, dass solche Funktionen einen verschwindend kleinen Bereich im Parameterraum einnehmen, da eine zufällige Initialisierung fast sicher zu Modellen führt, die Funktionen berechnen, welche Strings mit geringer Sensitivität enthalten, was sensitive Funktionen von Natur aus nicht besitzen.

Ursprüngliche Autoren: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Transformer (der Typ KI, der hinter vielen modernen Chatbots steckt) wie ein riesiges, komplexes Labyrinth aus verstellbaren Reglern und Knöpfen vor. Dieses Labyrinth ist der „Parameterraum“. Wenn wir einen Transformer trainieren, versuchen wir im Wesentlichen, einen spezifischen Pfad durch dieses Labyrinth zu finden, der ein bestimmtes Rätsel löst, wie zum Beispiel festzustellen, ob eine Folge von 0en und 1en eine gerade oder ungerade Anzahl von 1en hat (eine Aufgabe namens PARITY).

Die Arbeit stellt eine einfache, aber tiefgreifende Frage: Nur weil ein Pfad im Labyrinth existiert, bedeutet das auch, dass wir ihn tatsächlich finden können?

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung alltäglicher Analogien:

1. Das „Nadel im Heuhaufen“-Problem

Die Autoren entdeckten, dass für bestimmte knifflige Rätsel (wie PARITY oder die „FIRST“-Funktion, die sich nur um das allererste Bit kümmert) die korrekten Einstellungen für die Regler des Transformers in einer verschwindend kleinen Region des Labyrinths verborgen sind.

Die Analogie: Stellen Sie sich den Parameterraum als ein riesiges Fußballstadion vor. Die „leichten“ Rätsel (wie das Zählen, ob es mehr 1en als 0en gibt, bekannt als MAJORITY) haben einen Lösungsbereich in der Größe eines ganzen Spielfelds. Aber die „schweren“ Rätsel (wie PARITY) haben einen Lösungsbereich in der Größe eines einzelnen Sandkorns, das in diesem Stadion vergraben ist.
Das Ergebnis: Wenn wir mit dem Training eines Transformers beginnen, wählen wir normalerweise einen zufälligen Punkt im Stadion (zufällige Initialisierung). Die Wahrscheinlichkeit, zufällig auf dieses einzelne Sandkorn zu landen, ist praktisch null. Selbst wenn die Mathematik sagt, dass eine Lösung existiert, wird der Trainingsprozess (der wie ein Wanderer ist, der versucht, bergauf zu gehen) sie fast nie finden, da das Ziel zu klein ist, um getroffen zu werden.

2. Der „Sensitivitäts“-Messwert

Um zu verstehen, warum diese Lösungen so schwer zu finden sind, untersuchten die Autoren etwas, das man Sensitivität nennt. Dies misst, wie sehr sich die Antwort ändert, wenn man nur ein einziges Bit in der Eingabe umkehrt.

Hohe Sensitivität (Die schweren Rätsel): Bei PARITY ändert das Umkehren eines beliebigen einzelnen Bits die Antwort. Es ist wie ein Lichtschalter, bei dem das Berühren jedes beliebigen Drahtes im Raum das Licht an- oder ausschaltet. Die Arbeit bezeichnet diese Funktionen als „sensitiv“.
Niedrige Sensitivität (Die leichten Rätsel): Bei MAJORITY ändert das Umkehren eines Bits normalerweise die Antwort nicht, es sei denn, der Zähler steht perfekt im Gleichstand. Es ist wie ein Wahlsystem, bei dem eine zusätzliche Stimme selten den Gewinner verändert, außer das Rennen ist extrem knapp.

3. Der „Low-Sensitivity Bias“ (Bias zur niedrigen Sensitivität)

Die wichtigste Entdeckung der Arbeit betrifft die Geometrie des Labyrinths. Die Autoren fanden heraus, dass, wenn man einen zufälligen Punkt im Labyrinth wählt (einen zufällig initialisierten Transformer), die Maschine, die er baut, höchstwahrscheinlich eine „Low-Sensitivity Bias“ aufweisen wird.

Die Metapher: Stellen Sie sich vor, das Labyrinth ist so gestaltet, dass die meisten zufälligen Pfade zu einer Maschine führen, die „steif“ oder „träge“ ist. Diese Maschine ignoriert kleine Änderungen in der Eingabe. Sie reagiert nur, wenn sich die Eingabe stark ändert.
Die Konsequenz: Da das Labyrinth so gebaut ist, wird eine zufällig gewählte Maschine fast immer „Safe Zones“ (sichere Zonen) haben (Eingaben, bei denen das Umkehren eines Bits nichts bewirkt).
- MAJORITY hat viele dieser sicheren Zonen (exponentiell viele). So kann die Maschine sie leicht lernen.
- PARITY und FIRST haben null sichere Zonen. Jede einzelne Eingabe ist sensitiv.
- Der Konfl Konflikt: Die Arbeit beweist, dass ein zufällig initialisierter Transformer für lange Eingaben zwingend einige sichere Zonen haben muss. Daher ist es mathematisch unmöglich, dass er PARITY oder FIRST lernt, da diese Funktionen keine sicheren Zonen haben, die sie matchen könnten. Die „Form“ der Maschine passt einfach nicht zum Rätsel.

4. Was passiert nach dem Training?

Man könnte denken: „Aber wenn wir es lange genug trainieren, wird es die Nadel doch finden, oder?“

Die Autoren führten Experimente durch und fanden heraus, dass der „Low-Sensitivity Bias“ oft bestehen bleibt, selbst nach dem Training.

Für MAJORITY: Das Training findet erfolgreich das große Feld der Lösungen. Die Maschine lernt die Aufgabe.
Für PARITY: Das Training versucht, die Maschine in Richtung des winzigen Sandkorns zu drücken, aber da dieses Sandkorn so klein ist (eine Menge mit dem Maß Null), schlägt das Training meistens fehl oder bleibt stecken. Die Maschine lernt die wahre Logik des Rätsels nie ganz.

Zusammenfassung der „Regeln“

Die Arbeit stellt eine klare Regel basierend auf der Länge der Eingabestring ( $N$ ) auf:

Wenn eine Funktion sehr wenige „sichere“ Eingaben hat (wo das Umkehren eines Bits die Antwort nicht ändert), wie PARITY oder FIRST, wird ein Transformer dies beweisbar nicht lernen können, wenn die Eingaben länger werden. Die Lösung ist zu klein, um gefunden zu werden.
Wenn eine Funktion viele „sichere“ Eingaben hat, wie MAJORITY, kann der Transformer sie lernen, da der Lösungsbereich groß genug ist, um durch Zufall gefunden und durch Training verfeinert zu werden.

Kurz gesagt: Die Arbeit erklärt, dass Transformer nicht nur „schlecht“ in bestimmten Aufgaben sind; sie sind strukturell gegen sie voreingenommen. Die Landschaft ihres Lernens ist geformt wie eine Gebirgskette, in der die Gipfel für „sensitive“ Aufgaben so winzig sind, dass sie bei einer Zufallssuche unsichtbar bleiben, während die Gipfel für „robuste“ Aufgaben breit und leicht zu erklimmen sind.

Technische Zusammenfassung: Verständnis der Geometrie des Parameterraums von Transformern zur Kodierung bool nothing Funktionen

Problemstellung
Transformer weisen eine gut dokumentierte Lücke zwischen Expressivität (der Existenz von Parametereinstellungen, die eine Funktion berechnen können) und Lernbarkeit (der Fähigkeit von Optimierungsalgorithmen, diese Einstellungen zu finden) auf. Während theoretische Arbeiten etabliert haben, dass Transformer bestimmte boolesche Funktionen ausdrücken können, zeigt empirische Evidenz, dass sie konsistent daran scheitern, sensitive Funktionen zu lernen – also jene, bei denen das Umkehren eines einzelnen Eingabebits wahrscheinlich den Output verändert. Ein kanonisches Beispiel ist die PARITY-Funktion. Vorherige Arbeiten haben dies auf einen Bias hin zu Funktionen mit niedriger durchschnittlicher Sensitivität zurückgeführt, doch der präzise Mechanismus, der die Sensitivität mit der Geometrie des Parameterraums verknüpft, bleibt unklar. Insbesondere ist unbekannt, ob die Unlernbarkeit sensitiver Funktionen daraus resultiert, dass sie ein verschwindend kleines Volumen im Parameterraum einnehmen, was es unwahrscheinlich macht, dass sie durch zufällige Initialisierung oder gradientenbasierte Optimierung gefunden werden.

Methodik
Die Autoren analysieren die Geometrie des Parameterraums $\Theta$ von Soft-Attention-Transformern, die boolesche Funktionen über einem binären Alphabet kodieren. Die Analyse ist unterteilt in zwei Fälle basierend auf der Stabilisierungskonstante $\epsilon$ des Layer-Norm-Nenners im Nenner des Normalisierungsterms:

Fall $\epsilon > 0$ : Die Autoren stellen zunächst fest, dass der Transformer, wenn $\epsilon$ von Null verschieden ist, uniform Lipschitz-stetig in Bezug auf seine Parameter ist. Diese uniforme Stabilität impliziert, dass der kumulative „Blowup“ (die Verstärkung von Eingabeänderungen) unabhängig von der Eingabelänge $N$ beschränkt ist. Folglich verschwindet der Einfluss des Umkehrens eines einzelnen Bits auf den Output für hinreichend große $N$ ( $O(1/N)$ ). Dies führt zu einem Packing-Argument, das zeigt, dass die Anzahl der erkennbaren booleschen Funktionen durch eine von $N$ unabhängige Konstante beschränkt ist, was nicht-konstante boolesche Funktionen asymptotisch unerkennbar macht.
Fall $\epsilon = 0$ : Dies ist der primäre Fokus der Arbeit. Hier kann der Layer-Norm-Nenner gegen Null gehen, was einen unbeschränkten Blowup verursachen kann. Die Autoren entwickeln einen maßtheoretischen Rahmen, um die Wahrscheinlichkeit zu analysieren, mit der ein zufällig initialisierter Transformer eine Funktion mit spezifischen Sensitivitätseigenschaften berechnet.
- Sensitivitätsprofil: Anstatt sich allein auf die durchschnittliche Sensitivität zu verlassen, führen die Autoren das Sensitivitätsprofil ein, definiert als die Verteilung der Sensitivitätswerte über alle Eingabestrings.
- Blowup-Analyse: Sie beweisen, dass der Blowup für einen festen Eingabestring $x$ mit hoher Wahrscheinlichkeit über eine zufällige Störung der Parameter beschränkt ist, vorausgesetzt, die Varianz der Layer-Norm-Inputs wird nicht zu klein.
- Maßtheoretisches Argument: Durch das Überdecken des Parameterraums mit kleinen Würfeln und die Anwendung probabilistischer Schranken auf den Blowup innerhalb jedes Würfels erweitern sie das Ergebnis auf den gesamten Parameterraum. Sie nutzen das erste Borel-Cantelli-Lemma, um diese Ergebnisse über alle hinweg aggregierbar zu machen, die hinreichend großen Eingabelängen $N$ .

Zentrale Beiträge und Ergebnisse

Maß-Null-Unlernbarkeit: Das zentrale theoretische Resultat (Theorem 4.5) beweist, dass für jede hinreichend große Eingabelänge $N$ ein zufällig initialisierter Transformer fast sicher eine Funktion berechnet, die eine signifikante Anzahl von Strings mit Sensitivität Null besitzt (speziell mindestens $N^{\frac{D-1}{2L} - 5}$ solcher Strings).
Beschränkung des Sensitivitätsprofils: Folglich besetzt jede boolesche Funktion, die keine Sensitivitäts-Null-Strings aufweist (d. h. Funktionen, bei denen jeder Input eine Sensitivität $\ge 1$ hat), eine Teilmenge des Lebesgue-Maßes Null im Parameterraum.
Unlernbarkeit spezifischer Funktionen: Basierend auf obigem beweisen die Autoren, dass Funktionen wie PARITY, m-SPARSE PARITY und DICTATOR-Funktionen (einschließlich FIRST) für große $N$ nachweislich unlernbar für zufällig initialisierte Transformer sind. Diese Funktionen haben eine minimale Sensitivität $\ge 1$ (oder $m$ für Sparse-Varianten), was bedeutet, dass sie keine Sensitivitäts-Null-Strings besitzen.
Abgrenzung zur durchschnittlichen Sensitivität: Die Analyse zeigt, dass die durchschnittliche Sensitivität nicht ausreicht, um die Lernbarkeit vorherzusagen. Beispielsweise hat die FIRST-Funktion eine niedrige durchschnittliche Sensitivität (gleich 1), ist aber für große $N$ unlernbar, weil sie keine Sensitivitäts-Null-Strings besitzt. Im Gegensatz dazu hat MAJORITY eine niedrige durchschnittliche Sensitivität, besitzt aber eine exponentielle Anzahl von Sensitivitäts-Null-Strings, was es ermöglicht, eine Teilmenge mit positivem Maß im Parameterraum einzunehmen.
Konjektur zu MAJORITY: Die Autoren konjekturieren, dass MAJORITY lernbar ist, da die Häufigkeit seiner Sensitivitäts-Null-Strings einer Teilmenge mit positivem Maß im Parameterraum entspricht.
Empirische Validierung: Experimente an zufällig initialisierten und trainierten Transformern bestätigen, dass Sensitivitätsspektren stark in Richtung Null verzerrt sind. Selbst nach dem Training auf Aufgaben wie PARITY scheitern Modelle daran, das korrekte Sensitivitätsprofil zu erreichen, während Modelle, die auf MAJORITY und FIRST (bei moderaten Längen) trainiert wurden, die Aufgaben erfolgreich lernen und die vorhergesagte Sensitivitäts-Clusterung zeigen.

Bedeutung
Die Arbeit liefert eine theoretische Erklärung für den beobachteten induktiven Bias von Transformern hin zu Funktionen mit niedriger Sensitivität. Durch die Verschiebung des Fokus von der durchschnittlichen Sensitivität auf das vollständige Sensitivitätsprofil und die Analyse der maßtheoretischen Eigenschaften des Parameterraums zeigen die Autoren, dass die Unlernbarkeit von Funktionen wie PARITY nicht bloß ein Versagen der Optimierung ist, sondern eine fundamentale geometrische Beschränkung: Die Parametereinstellungen, die erforderlich sind, um solche Funktionen darzustellen, besetzen eine Menge vom Maß Null. Dies impliziert, dass eine zufällige Initialisierung diese Einstellungen fast sicher verfehlt, und dass eine gradientenbasierte Optimierung, die durch den Initialisierungsprior beschränkt ist, unwahrscheinlich diesen Bereich erreichen wird. Die Arbeit klärt die Grenze zwischen Expressivität und Lernbarkeit und zeigt, dass Transformer für hinreichend lange Eingaben fundamental unfähig sind, Sprachen zu erkennen, denen Sensitivitäts-Null-Strings fehlen.