Technische Samenvatting: Transformers Bewijzen dat ze Ketting van Gedachte Internaliseren

Probleemstelling

Het prompten met een Ketting van Gedachte (CoT) verbetert aanzienlijk de steekproefefficiëntie van transformers voor complexe taken zoals $k$-pariteitsleren, waarbij de complexiteit wordt gereduceerd van exponentieel naar polynoom in de invoerlengte. Echter, expliciete CoT-generatie brengt aanzienlijke inferentielatentie en rekenkundige overhead met zich mee vanwege de sequentiële generatie van tussenliggende redeneertokens. Impliciete Ketting van Gedachte (ICoT) is naar voren gekomen als een empirische oplossing, waarbij modellen worden getraind om redeneerstappen te internaliseren in verborgen toestanden door tussenliggende tokens geleidelijk te verwijderen tijdens fine-tuning. Ondanks empirisch succes blijven de theoretische fundamenten van ICoT onduidelijk: specifiek, of modellen de steekproefefficiëntie van expliciete CoT kunnen bereiken terwijl ze inferentiekosten elimineren, en hoe meerlaagse architecturen deze internalisering faciliteren.

Methodologie

Taakinstelling

De auteurs analyseren het $k$-pariteitsleringsprobleem, een canoniek testplatform voor tussentijdse supervisie. Gegeven een geheim indexset $S \subset [n]$ en invoerbites $b \in \{\pm 1\}^n$, is het doel om de pariteit $y = \prod_{j \in S} b_j$ te voorspellen. Zonder tussentijdse supervisie is deze taak bewijsbaar moeilijk voor methoden op basis van gradiënten met eindige precisie die polynoomsteekproeven gebruiken. De taak wordt ontbonden in een hiërarchische binaire boom van twee-pariteitsberekeningen met diepte $L = \log_2 k$.

Modelarchitectuur

De studie maakt gebruik van een vereenvoudigde $L$-laagse transformer met specifieke ontwerpkeuzes om theoretische hanteerbaarheid te garanderen:

• Aandacht: Enkelfoudige aandacht met een herparametriseerde sleutel-vraagmatrix $W^{KQ}$, waarbij alleen het bovenste $T \times T$-blok trainbaar is.
• Causale Maskering: Een aangepast niveau-beperkt causaal masker zorgt ervoor dat tussenliggende toestanden op niveau $\ell$ alleen afhankelijk zijn van tokens van strikt lagere niveaus van de pariteitsboom.
• Linkfunctie: Een gladde, symmetrische functie $\phi$ (bijv. $-\cos(\pi t)$) die voldoet aan $\phi(0)=-1, \phi(\pm 1)=1$, en afgeleiden die op deze punten verdwijnen, waardoor lokale Taylor-ontwikkelingen mogelijk zijn.
• Gestuurde Verbindingen: In plaats van standaard residu-verbindingen, maakt het model gebruik van gestuurde verbindingen waarbij de poortvectoren $g^{(\ell)}$ worden voorgeschreven door de structuur van de pariteitsboom. Dit isoleert gradiënsignalen naar specifieke boomniveaus en voorkomt representatie-inzakking waarbij invoertoestanden convergeren naar uniforme waarden.
• Kwantisering: Aandachtsgewichten worden na elke gradiëntupdate gekwantiseerd naar het dichtstbijzijnde gehele getal om foutpropagatie te controleren en eerder getrainde lagen te "bevriezen".

Trainingscurriculum: Log-ICoT

Het artikel introduceert Log-ICoT, een curriculum dat tussenliggende CoT-stappen verwijdert in geometrische blokken die zijn afgestemd op de niveaus van de pariteitsboom, in plaats van één token tegelijk (zoals bij standaard ICoT).

• Fase 1: Volledige CoT-supervisie (alle tussenliggende knopen zichtbaar).
• Fase $t$ ($2 \le t \le L$): De eerste $k(1 - 2^{-(t-1)})$ tussenliggende tokens worden vervangen door opvulling (nullen), terwijl hogere niveau-knoopen zichtbaar blijven.
• Fase $L$: Alle tussenliggende tokens zijn opgevuld; het model moet de uiteindelijke output voorspellen met alleen invoerbites en geinternaliseerde verborgen toestanden.
  Dit reduceert het aantal trainingsfasen van lineair in $k$ (standaard ICoT) naar logaritmisch, $L = \log_2 k$.

Belangrijkste Bijdragen

1. Eerste Theoretische Analyse van ICoT: Het artikel biedt het eerste rigoureuze bewijs dat ICoT de steekproefefficiëntie van expliciete CoT behoudt. Het toont aan dat een $L$-laagse transformer, getraind onder het Log-ICoT-curriculum, $k$-pariteit oplost met $\text{poly}(n)$ steekproeven en $\log_2 k$ trainingsfasen.
2. Log-ICoT Curriculum: De auteurs stellen een curriculum voor dat redeneertokens verwijdert in geometrische stappen. Dit sluit aan bij de recursieve structuur van de pariteitsboom, waardoor het aantal trainingsfasen wordt gereduceerd van $O(k)$ naar $O(\log k)$ terwijl inferentie-efficiëntie behouden blijft (één doorloop).
3. Garantie voor Convergentie in Meerlaagse Systemen: Stelling 1 bewijst dat een meerlaagse transformer pariteit efficiënt kan leren, wat eerdere garanties voor één laag uitbreidt. Het bewijs steunt op:
   • Gestuurde Verbindingen: Om representatie-inzakking te voorkomen en gradiënsignalen te isoleren naar specifieke boomniveaus.
   • Gehele Kwantisering: Om gewichten van getrainde lagen te vergrendelen, waardoor fasewijze analyse mogelijk is door eerdere lagen als vast te behandelen.
   • Aangepast Causaal Masker: Om ervoor te zorgen dat gradiënsignalen alleen afhankelijk zijn van de juiste kinderknoopen.
4. Controle van Foutpropagatie: De analyse toont aan dat benaderingsfouten in verborgen toestanden exponentieel afnemen, waardoor de uiteindelijke voorspellingsfout verwaarloosbaar blijft ($\exp(-\Omega(n^{\epsilon/16}))$) ondanks de sequentiële aard van de trainingsfasen.

Resultaten

• Theoretisch: De hoofdstelling stelt dat met een batchgrootte per fase $B = \Omega(n^{2+\epsilon})$, het getrainde model met hoge waarschijnlijkheid bijna perfecte nauwkeurigheid bereikt op de testset. De steekproefcomplexiteit is polynoom in $n$, wat overeenkomt met expliciete CoT, terwijl inferentie slechts één doorloop vereist (tegenover $O(k)$ sequentiële stappen voor autoregressieve CoT).
• Empirisch: Experimenten op een 4-laagse transformer met $n=30$ en $k=16$ ($L=4$) bevestigen de theorie.
  • Validatieverlies: Het verlies daalt snel bij elke fase-overgang, met tijdelijke pieken terwijl het model nieuwe niveaus internaliseert, en bereikt uiteindelijk 100% nauwkeurigheid met alle CoT-tokens opgevuld.
  • Aandachtskaarten: Visualisatie toont aan dat in de laatste fase de aandacht van elke laag scherp concentreert op precies twee sleutelposities (de kinderen van de opgevraagde pariteitsknoop), wat de theoretische voorspelling van softmax-concentratie bevestigt.

Betekenis en Beweringen

Het artikel claimt een rigoureuze theoretische basis te bieden voor Impliciete Ketting van Gedachte, waardoor de kloof wordt overbrugd tussen de expressiviteit van expliciet redeneren en de leerbaarheid van geinternaliseerd redeneren. Door te bewijzen dat meerlaagse transformers complexe redeneerprocessen kunnen internaliseren zonder in te leveren op steekproefefficiëntie, adresseert het werk de hoge inferentiekosten die gepaard gaan met expliciete CoT.

De auteurs benadrukken dat hun analyse rust op specifieke architecturale vereenvoudigingen (voorgeschreven poorten, vaste waardenmatrices, gehele kwantisatie) om de dynamiek van meerlaagse training hanteerbaar te maken. Zij erkennen dat het toepassen van Log-ICoT op praktische Large Language Models (LLM's) zonder de expliciete hiërarchische structuur van pariteitstaken een uitdaging blijft, waarbij heuristieken nodig zijn voor het plotten van curriculumfasen. Het werk positioneert zichzelf als een stap naar het begrijpen van de mechanica van zelfdistillatie en internalisering van redeneren in diepe architecturen.