🤖 machine learning

Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions

Dit artikel legt uit waarom transformers er niet in slagen om gevoelige Booleaanse functies zoals PARITY te leren door aan te tonen dat dergelijke functies een verwaarloosbaar klein gebied in de parameterruimte innemen, aangezien willekeurige initialisatie bijna zeker leidt tot modellen die functies berekenen die strings met een lage sensitiviteit bevatten, hetgeen gevoelige functies inherent ontbreken.

Oorspronkelijke auteurs: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Blanka Köver, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Transformer voor (het type AI achter veel moderne chatbots) als een gigantisch, complex doolhof gemaakt van verstelbare draaiknoppen en regelaars. Dit doolhof is de "parameterruimte". Wanneer we een Transformer trainen, proberen we in feite een specifiek pad door dit doolhof te vinden dat een bepaalde puzzel oplost, zoals het bepalen of een reeks 0'en en 1'en een even of oneven aantal 1'en heeft (een taak genaamd PARITY).

De paper stelt een eenvoudige maar diepgaande vraag: Alleen omdat er een pad bestaat in het doolhof, betekent dat dan ook dat we het daadwerkelijk kunnen vinden?

Hier is de uiteenzetting van hun bevindingen met behulp van alledaagse analogieën:

1. Het "Naald in een hooiberg"-probleem

De auteurs ontdekten dat voor bepaalde lastige puzzels (zoals PARITY of de "FIRST"-functie, die alleen om de allereerste bit geeft) de juiste instellingen voor de draaiknoppen van de Transformer verborgen zijn in een verwaarloosbaar klein gebied in het doolhof.

De Analogie: Stel je voor dat de parameterruimte een enorm voetbalstadion is. De "makkelijke" puzzels (zoals tellen of er meer 1'en dan 0'en zijn, bekend als MAJORITY) hebben een oplossingsgebied ter grootte van een heel veld. Maar de "lastige" puzzels (zoals PARITY) hebben een oplossingsgebied ter grootte van een enkel korreltje zand begraven in dat stadion.
Het Resultaat: Wanneer we een Transformer trainen, kiezen we meestal een willekeurige plek in het stadion (willekeurige initialisatie). De kans dat we willekeurig op dat enkele korreltje zand landen is effectief nul. Zelfs als de wiskunde zegt dat de oplossing bestaat, zal het trainingsproces (dat lijkt op een wandelaar die een berg op probeert te lopen) het doel bijna nooit vinden omdat het doel te klein is om te raken.

2. De "Gevoeligheid"-meter

Om te begrijpen waarom deze oplossingen zo moeilijk te vinden zijn, keken de auteurs naar iets dat gevoeligheid wordt genoemd. Dit meet hoeveel het antwoord verandert als je slechts één enkele bit in de input omdraait.

Hoge Gevoeligheid (De Lastige Puzzels): Voor PARITY verandert het omdraaien van elke enkele bit het antwoord. Het is als een lichtschakelaar waarbij het aanraken van elke draad in de kamer de lamp aan of uit zet. De paper noemt dit "gevoelige" functies.
Lage Gevoeligheid (De Makkelijke Puzzels): Voor MAJORITY verandert het omdraaien van één bit meestal het antwoord niet, tenzij de telling precies gelijk is. Het is als een stemmenstelsel waarbij één extra stem zelden de winnaar verandert, tenzij de race nek-aan-nek is.

3. De "Lage-Gevoeligheids-bias"

De grootste ontdekking van de paper gaat over de geometrie van het doolhof. Ze ontdekten dat als je een willekeurige plek in het doolhof kiest (een willekeurig geïnitialiseerde Transformer), de machine die het bouwt bijna zeker een "lage-gevoeligheids-bias" zal hebben.

De Metafoor: Stel je voor dat het doolhof zo is ontworpen dat de meeste willekeurige paden leiden naar een machine die "stijf" of "lui" is. Deze machine negeert kleine veranderingen in de input. Hij reageert pas wanneer de input veel verandert.
Het Gevolg: Omdat het doolhof op deze manier is gebouwd, zal een willekeurig gekozen machine bijna altijd "veilige zones" hebben (inputs waarbij het omdraaien van een bit niets doet).
- MAJORITY heeft talrijke van deze veilige zones (exponentieel veel). Dus kan de machine dit gemakkelijk leren.
- PARITY en FIRST hebben nul veilige zones. Elke input is gevoelig.
- Het Conflict: De paper bewijst dat voor lange inputs een willekeurig geïnitialiseerde Transformer verplicht enkele veilige zones moet hebben. Daarom is het wiskundig onmogelijk voor de Transformer om PARITY of FIRST te leren, omdat die functies geen veilige zones hebben om bij aan te sluiten. De "vorm" van de machine past simpelweg niet bij de puzzel.

4. Wat gebeurt er na de training?

Je zou kunnen denken: "Maar als we het hard genoeg trainen, zullen we de naald dan niet vinden?"

De auteurs voerden experimenten uit en ontdekten dat de "lage-gevoeligheids-bias" vaak blijft bestaan, zelfs na de training.

Voor MAJORITY: De training vindt succesvol het grote veld van oplossingen. De machine leert de taak.
Voor PARITY: De training probeert de machine richting het kleine korreltje zand te duwen, maar omdat dat korreltje zo klein is (een "maat-nul" verzameling), faalt de training meestal of loopt deze vast. De machine leert de ware logica van de puzzel nooit echt.

Samenvatting van de "Regels"

De paper stelt een duidelijke regel vast op basis van de lengte van de inputstring ( $N$ ):

Als een functie zeer weinig "veilige" inputs heeft (waar het omdraaien van een bit het antwoord niet verandert), zoals PARITY of FIRST, zal een Transformer er bewijsbaar niet in slagen dit te leren naarmate de input langer wordt. De oplossing is te klein om te vinden.
Als een functie veel "veilige" inputs heeft, zoals MAJORITY, kan de Transformer dit leren omdat het oplossingsgebied groot genoeg is om door toeval gevonden en door training verfijnd te worden.

Kortom: De paper legt uit dat Transformers niet alleen "slecht" zijn in bepaalde taken; ze zijn structureel tegen hen gebogen. Het landschap van hun leren is gevormd als een bergketen waar de pieken voor "gevoelige" taken zo klein zijn dat ze onzichtbaar zijn voor een willekeurige zoektocht, terwijl de pieken voor "robuuste" taken breed en gemakkelijk te beklimmen zijn.

Technische Samenvatting: Begrip van de Geometrie van de Parameterruimte van Transformers die Booleaanse Functies Encoderen

Probleemstelling
Transformers vertonen een goed gedocumenteerde kloof tussen expressiviteit (het bestaan van parameterinstellingen die een functie kunnen berekenen) en leerbaarheid (het vermogen van optimalisatiealgoritmen om die instellingen te vinden). Hoewel theoretisch werk heeft vastgesteld dat transformers bepaalde Booleaanse functies kunnen uitdrukken, laat empirisch bewijs zien dat ze consequent falen in het leren van gevoelige functies—functies waarbij het omdraaien van een enkele inputbit waarschijnlijk de output verandert. Een canoniek voorbeeld is de PARITY-functie. Eerdere studies hebben dit toegeschreven aan een bias naar functies met een lage gemiddelde sensitiviteit, maar het precieze mechanisme dat de sensitiviteit koppelt aan de geometrie van de parameterruimte blijft onduidelijk. Specifiek is het onbekend of de onleerbaarheid van gevoelige functies voortkomt uit het feit dat zij een verwaarloosbaar klein volume in de parameterruimte innemen, waardoor ze onwaarschijnlijk zijn om gevonden te worden door willekeurige initialisatie of gradiëntgebaseerde optimalisatie.

Methodologie
De auteurs analyseren de geometrie van de parameterruimte $\Theta$ van soft-attention transformers die Booleaanse functies encoderen over een binair alfabet. De analyse is verdeeld in twee gevallen op basis van de stabilisatieconstante $\epsilon$ in de noemer van de normalisatieterm:

Geval $\epsilon > 0$ : De auteurs stellen eerst vast dat wanneer $\epsilon$ niet nul is, de transformer uniform Lipschitz-continu is met betrekking tot zijn parameters. Deze uniforme stabiliteit impliceert dat de cumulatieve "blowup" (versterking van inputwijzigingen) onafhankelijk van de inputlengte $N$ begrensd is. Bijgevolg verdwijnt de invloed van het omdraaien van een enkele bit op de output voor voldoende grote $N$ ( $O(1/N)$ ). Dit leidt tot een pakkingargument dat aantoont dat het aantal herkenbare Booleaanse functies begrensd wordt door een constante die onafhankelijk is van $N$ , waardoor niet-constante Booleaanse functies asymptotisch onherkenbaar worden.
Geval $\epsilon = 0$ : Dit is de primaire focus van het artikel. Hier kan de noemer van de layer-norm de nul naderen, wat potentieel onbegrensde blowup kan veroorzaken. De auteurs ontwikkelen een meetkundig kader om de waarschijnlijkheid te analyseren dat een willekeurig geïnitialiseerde transformer een functie berekent met specifieke sensitiviteitseigenschappen.
- Sensitiviteitsprofiel: In plaats van uitsluitend te vertrouwen op gemiddelde sensitiviteit, introduceren de auteurs het sensitiviteitsprofiel, gedefinieerd als de distributie van sensitiviteitswaarden over alle inputstrings.
- Blowup-analyse: Ze bewijzen dat voor een vaste inputstring $x$ , de blowup met hoge waarschijnlijkheid begrensd is bij een willekeurige perturbatie van parameters, mits de variantie van de layer-norm inputs niet te klein wordt.
- Meetkundig argument: Door de parameterruimte te bedekken met kleine kubussen en probabilistische grenzen toe te passen op de blowup binnen elke kubus, breiden ze het resultaat uit naar de gehele parameterruimte. Ze maken gebruik van de eerste Borel–Cantelli lemma om deze resultaten te aggregeren over alle voldoende grote inputlengtes $N$ .

Belangrijkste Bijdragen en Resultaten

Maat-nul Onleerbaarheid: Het centrale theoretische resultaat (Theorem 4.5) bewijst dat voor elke voldoende grote inputlengte $N$ , een willekeurig geïnitialiseerde transformer bijna zeker een functie berekent die een significant aantal strings met sensitiviteit nul bezit (specifiek, ten minste $N^{\frac{D-1}{2L} - 5}$ dergelijke strings).
Beperking van het Sensitiviteitsprofiel: Bijgevolg bezet elke Booleaanse functie die geen sensitiviteit-nul strings mist (d.w.z. functies waar elke input een niet-nul sensitiviteit heeft) een deelverzameling met Lebesgue-maat nul in de parameterruimte.
Onleerbaarheid van Specifieke Functies: Op basis van het bovenstaande bewijzen de auteurs dat functies zoals PARITY, m-SPARSE PARITY, en DICTATOR functies (inclusief FIRST) aantoonbaar onleerbaar zijn voor grote $N$ door willekeurig geïnitialiseerde transformers. Deze functies hebben een minimale sensitiviteit $\ge 1$ (of $m$ voor sparse varianten), wat betekent dat ze nul strings met sensitiviteit nul bezitten.
Onderscheid van Gemiddelde Sensitiviteit: De analyse laat zien dat gemiddelde sensitiviteit onvoldoende is om leerbaarheid te voorspellen. Bijvoorbeeld, de FIRST functie heeft een lage gemiddelde sensitiviteit (gelijk aan 1), maar is onleerbaar voor grote $N$ omdat deze geen sensitiviteit-nul strings bezit. Daartegenover heeft MAJORITY een lage gemiddelde sensitiviteit maar bezit het een exponentieel aantal sensitiviteit-nul strings, waardoor het een deelverzameling met een positieve maat in de parameterruimte kan innemen.
Conjectuur over MAJORITY: De auteurs vermoeden dat MAJORITY leerbaar is omdat de overvloed aan sensitiviteit-nul strings overeenkomt met een deelverzameling met een positieve maat in de parameterruimte.
Empirische Validatie: Experimenten op willekeurig geïnitialiseerde en getrainde transformers bevestigen dat sensitiviteitsspectra zwaar scheefgetrokken zijn naar nul. Zelfs na training op taken zoals PARITY, slagen modellen er niet in om het juiste sensitiviteitsprofiel te bereiken, terwijl modellen getraind op MAJORITY en FIRST (bij matige lengtes) de taken succesvol leren en de voorspelde clustering van sensitiviteit vertonen.

Betekenis
Dit artikel biedt een theoretische verklaring voor de geobserveerde inductieve bias van transformers naar functies met een lage sensitiviteit. Door de focus te verschuiven van gemiddelde sensitiviteit naar het volledige sensitiviteitsprofiel en de meetkundige eigenschappen van de parameterruimte te analyseren, tonen de auteurs aan dat de onleerbaarheid van functies zoals PARITY niet louter een falen van optimalisatie is, maar een fundamentele geometrische beperking: de parameterinstellingen die vereist zijn om dergelijke functies te representeren, vormen een deelverzameling met maat nul. Dit impliceert dat een willekeurige initialisatie deze instellingen bijna zeker zal missen, en dat gradiëntgebaseerde optimalisatie, beperkt door de initialisatie-prior, onwaarschijnlijk deze zal bereiken. Het werk verheldert de grens tussen expressiviteit en leerbaarheid, door aan te tonen dat transformers voor voldoende lange inputs fundamenteel onbekwaam zijn in het herkennen van talen die geen sensitiviteit-nul strings bezitten.