🤖 machine learning

Transformer Circuits Can Realize Clustering Algorithms

Dit artikel으로 toont aan dat een transformer-architectuur, de $k$ -means transformer genoemd, theoretisch en empirisch het algoritme van Lloyd voor $k$ -means clustering kan implementeren met behulp van standaard circuitmechanismen, terwijl het ook leert om de prestaties van het traditionele algoritme te overtreffen en op natuurlijke wijze generaliseert naar diverse clusteringvarianten door middel van architecturale aanpassingen.

Oorspronkelijke auteurs: Kenneth L. Clarkson, Lior Horesh, Takuya Ito, Charlotte Park, Parikshit Ram

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kenneth L. Clarkson, Lior Horesh, Takuya Ito, Charlotte Park, Parikshit Ram

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen patronen raden, maar ook echt leren om precieze, stapsgewijze instructies te volgen zoals een menselijke wiskundige. Dit is het domein van machine learning, specifiek een tak genaamd "transformers". Je kent transformers misschien als de superintelligente motoren achter chatbots en beeldgeneratoren, maar in de kern zijn het slechts enorme netwerken van wiskunde die naar data kijken en proberen verbindingen te vinden. Meestal leren we deze netwerken om goed te zijn in het raden van het volgende woord in een zin of het identificeren van een kat op een foto. Maar er is een grote vraag waar wetenschappers zich al die tijd over buigen: kunnen deze flexibele, lerende machines daadwerkelijk exacte, rigide wiskundige problemen oplossen, zoals het sorteren van een rommelige stapel objecten in nette groepen? Dit gaat niet alleen over het maken van een betere chatbot; het gaat over het begrijpen of deze digitale breinen echt kunnen "denken" als een computerprogramma of dat ze slechts heel goed zijn in het nabootsen ervan.

Het artikel dat je zojuist hebt verkend, duikt direct in dit mysterie door een klassiek probleem aan te pakken genaamd k-means clustering. Denk aan dit als een spel van het sorteren van knikkers. Stel je voor dat je een enorme zak knikkers hebt van verschillende kleuren en maten, die allemaal door elkaar liggen. Je doel is om de knikkers te sorteren in $k$ groepen (zeg even 5 groepen), zodat knikkers in dezelfde groep zo veel mogelijk op elkaar lijken. Decennia lang is de standaardmethode om dit te doen een algoritme genaamd Lloyd's algoritme. Het is een zeer specifiek, rigide recept: kies 5 willekeurige plekken als "centra", verplaats elke knikker naar het dichtstbijzijnde centrum, verplaats vervolgens de centra naar het gemiddelde punt van hun nieuwe knikkers, en herhaal dit totdat de groepen niet meer veranderen. Het is een perfecte, wiskundige dans, maar het is moeilijk om een lerende machine dit exact te leren omdat de machine meestal de voorkeur geeft aan "raden" boven het volgen van strikte regels.

De onderzoekers in dit artikel, werkend bij IBM Research en MIT, stelden een gedurfde vraag: Kunnen we een transformer bouwen die niet alleen raadt hoe hij knikkers moet sorteren, maar die daadwerkelijk de exacte stappen van Lloyd's algoritme uitvoert? En nog cooler: kunnen we hem leren om het beter te doen dan het oorspronkelijke recept?

Ze bouwden een speciaal soort transformer die ze de "k-means transformer" noemen. In plaats van de machine te laten leren sorteren door middel van vallen en opstaan, ontwierpen ze de interne tandwielen van de machine (de aandachtmechanismen en verbindingen) om fysiek de wiskunde van Lloyd's algoritme na te bootsen. Ze bewezen wiskundig dat als je de gewichten van de machine precies goed instelt, één laag van deze transformer exact één stap van de sorteerdans uitvoert. Als je tien lagen op elkaar stapelt, voert het tien stappen uit, waarbij het klassieke algoritme perfect wordt gereproduceerd. Het is also kind van een robot bouwen die niet alleen leert lopen; je bouwt hem met benen die mechanisch vergrendeld zijn om precies dezelfde pas als een mens te nemen.

Maar het verhaal stopt niet bij het kopiëren van het oude recept. Het team nam deze machine vervolgens en liet het vanaf nul leren door het duizenden verschillende sorteerpuzzels te tonen. Ze ontdekten iets verrassends: de getrainde transformer kopieerde niet alleen Lloyd's algoritme; het leerde een nieuwe, slimmere manier om te sorteren. Wanneer getest op nieuwe, ongeziene stapels data, creëerde deze geleerde machine nauwere, nauwkeurigere groepen dan het klassieke Lloyd's algoritme kon. Het was alsof de robot de danspassen zo goed had geleerd dat hij een betere choreografie had uitgevonden.

De onderzoekers toonden ook aan dat dit "machine-als-algoritme"-idee ongelooflijk flexibel is. Door de interne onderdelen van hun transformer aan te passen — zoals het veranderen van de manier waarop het aandacht besteedt aan de data of hoe het de getallen normaliseert — konden ze hun machine onmiddellijk transformeren in verschillende soorten sorteeralgoritmen. Ze konden het laten omgaan met "zachte" sortering (waarbij een knikker gedeeltelijk bij twee groepen kan horen), "sferische" sortering (voor data die op een bolvorm leeft), of zelfs "getrimde" sortering (die de vreemde, uitschieters negeert die nergens bij passen).

Kortom, dit artikel bewijst dat transformers niet alleen vage gokkers zijn; ze zijn krachtig genoeg om gebouwd te worden als exacte, stapsgewijze rekenmachines voor complexe wiskundige problemen. Belangrijker nog, het laat zien dat wanneer we deze rekenmachines laten leren, ze nieuwe, verbeterde manieren kunnen ontdekken om diezelfde problemen op te lossen, waardoor de kloof tussen rigide computerwetenschap en flexibele kunstmatige intelligentie wordt overbrugd.

Technische Samenvatting: Transformer-circuits kunnen clusteringalgoritmen realiseren

Probleemstelling

Clustering, in het bijzonder $k$ -means clustering, is een fundamenteel combinatorisch optimalisatieprobleem in de informatica, maar staat bekend als NP-hard. Hoewel deep learning-architecturen, specifiek transformers, uitblinken in het leren van hiërarchische kenmerken uit ruwe data, blijft het onduidelijk in welke mate zij exacte, discrete algoritmische berekeningen kunnen implementeren. Dit artikel adresseert de kloof tussen klassieke discrete clusteringalgoritmen en moderne neurale architecturen door te onderzoeken of transformer-circuitmechanismen exact de iteratieve stappen van het Lloyd-algoritme voor $k$ -means clustering kunnen instantiëren.

Methodologie

De $k$ -means Transformer Architectuur

De auteurs stellen een specifieke encoder-decoder transformer architectuur voor die ontworpen is om het Lloyd-algoritme in-context uit te voeren. De architectuur maakt gebruik van standaard transformer-componenten: self-attention, cross-attention, residual connections en feed-forward networks (FFN), maar met specifieke parametrisaties en aandachtsscore-definities.

Input Embeddings:
- Encoder: Verwerkt de verzameling van $n$ datapunten $X \in \mathbb{R}^{d \times n}$ . Elk punt $x_i$ wordt ingebed in een $(d+k)$ -dimensionale vector $[x_i^\top, y_i^\top]^\top$ , waarbij $y_i \in \{0,1\}^k$ de one-hot clustertoewijzing representeert (aanvankelijk nul).
- Decoder: Verwerkt de $k$ clustercentra $C \in \mathbb{R}^{d \times k}$ . Elk centrum $c_j$ wordt ingebed in een $(d+k)$ -dimensionale vector $[c_j^\top, e_j^\top]^\top$ , waarbij $e_j$ de $j$ -de karakteristieke vector is (one-hot index).
Attention Mechanismen:
- Euclidische Attention: Voor de encoder (punttoewijzing) updates, maakt het artikel gebruik van een limiterende versie van soft-max attention gebaseerd op negatieve gekwadrateerde Euclidische afstanden: $A_{ji} = -\|Kz_j - Qx_i\|^2$ . Wanneer de temperatuurparameter $\gamma \to \infty$ gaat, benadert dit een arg-max operatie, waarbij punten aan het dichtstbijzijnde centrum worden toegewezen.
- Dot-Product Attention: Voor de decoder (centrum update) stappen wordt standaard dot-product attention gebruikt om het gemiddelde van toegewezen punten te berekenen.
- Residual Connections: Worden gebruikt om huidige toewijzingen of centra terug te zetten naar nul voordat de cross-attention update plaatsvindt, wat effectief de "toewijzings" en "update" stappen van het Lloyd-algoritme implementeert in een enkele forward pass.
Theoretische Constructie:
- Stelling 2.1: Bewijst dat een $T$ -laag transformer met specifieke vaste gewichten (gedefinieerd in Vergelijking 5) en limiterende soft-max attention ( $\gamma \to \infty$ ) exact $T$ iteraties van het Lloyd-algoritme uitvoert. De modelgrootte is $O(d+k)$ , wat kleiner is dan de inputgrootte $O(d(n+k))$ .
- Stelling 2.2: Demonstreert dat een standaard dot-product attention transformer ook exact het Lloyd-algoritme kan uitvoeren als de token embeddings worden uitgebreid met gekwadrateerde normen en een Feed-Forward Network (FFN) met een gerectificeerde kwadratische activatie wordt gebruikt om de centra te updaten.

Leerexperimenten

De auteurs trainen een single-layer transformer op een distributie van clusteringtaken (samples uit Gaussische mengsels) door een gladgestreken bovengrens van de $k$ -means objectieve functie te minimaliseren. Het trainen gebruikt standaard soft-max ( $\gamma=1$ ) in plaats van het theoretische limiterende geval. Het getrainde model wordt vervolgens geëvalueerd op ongeziene taken, waarbij de steekproefgrootte, dimensionaliteit en initialisatiestrategieën (random vs. $k$ -means++) variëren.

Belangrijkste Bijdragen

Exacte Implementatie van het Lloyd-algoritme: Het artikel biedt een theoretisch bewijs en empirische validatie dat een transformer-architectuur met specifieke parameterkeuzes exact het Lloyd-algoritme implementeert voor $k$ -means clustering. Dit overbrugt de kloof tussen discrete algoritmische stappen en continue neurale circuitmechanismen.
Leerbaar Clusteringalgoritme: Wanneer getraind op een distributie van clusteringtaken, leert de transformer-architectuur een generaliseerbaar clusteringalgoritme dat de standaard Lloyd-algoritme overtreft in termen van clusteringkwaliteit (lagere $k$ -means objectieve), zelfs wanneer gebruik wordt gemaakt van standaard soft-max attention ( $\gamma=1$ ).
Architecturale Varianten voor Diverse Algoritmen: Door specifieke transformer-circuitmechanismen te wijzigen (bijv. aandachtstypes, normalisatie, activatiefuncties), laten de auteurs zien hoe diverse bestaande en nieuwe clusteringalgoritmen kunnen worden geïnstantieerd:
- Soft $k$ -means: Bereikt door het vervangen van limiterende soft-max door standaard soft-max en lineaire attention.
- Spherical $k$ -means: Bereikt door dot-product attention en token-wise normalisatie (bijv. RMSNorm) te gebruiken.
- Trimmed $k$ -means: Bereikt door soft-max te vervangen door norm-max attention (geregulariseerde arg-max).
- Robust $k$ -means: Bereikt door sparse soft-max attention te gebruiken.
- Randomized $k$ -medoids: Bereikt door Gumbel-softmax attention te gebruiken om daadwerkelijke datapunten als centra te selecteren.

Resultaten

Theoretische Equivalentie: Numerieke validatie bevestigt dat met een grote maar eindige temperatuur ( $\gamma = 10^4$ ), het traject van de clustercentra en de uiteindelijke toewijzingen van de transformer exact overeenkomt met het Lloyd-algoritme over 10 iteraties.
Prestatie Superioriteit: In leerexperimenten convergeert de getrainde transformer naar een gemiddelde log- $k$ -means objectieve van $\sim 5.0$ , waarmee de Lloyd-algoritme ( $\sim 5.25$ ) wordt overtroffen op dezelfde taken. Deze verbetering blijft bestaan wanneer de transformer wordt getest op taken met verschillende steekproefgroottes (generalisatie) en verschillende initialisatieschema's (bijv. $k$ -means++), ondanks dat deze alleen op random initialisaties is getraind.
Embedding Dimensionaliteit: Ablatie-studies tonen aan dat de extra $k$ dimensies in de token embeddings (totaal $d+k$ ) cruciaal zijn. Een model met slechts $d$ dimensies faalt om de Lloyd-prestaties te evenaren en convergeert naar een hogere objectieve ( $\sim 5.35$ ).
Gewichtsanalyse: De geleerde gewichten vertonen structurele gelijkenissen met de theoretische constructies (bijv. dominante diagonale vormen in $Q^\top K$ matrices) maar vertonen ook duidelijke verschillen, wat suggereert dat het geleerde algoritme op specifieke manieren afwijkt van de standaard Lloyd-algoritme (bijv. in hoe centra worden bijgewerkt).

Betekenis en Claims

Het artikel claimt dat transformer-circuitmechanismen exacte algoritmische routines voor clustering kunnen instantiëren, wat een "algemene benadering biedt voor het ontwikkelen van alternatieve en nieuwe clusteringalgoritmen door interpreteerbare architecturale modificaties."

Algoritmische Transparantie: Het werk demonstreert dat transformers niet alleen black-box functiebenaderaars zijn, maar ook expliciet kunnen worden ontworpen om discrete, goed gedefinieerde algoritmen zoals Lloyd uit te voeren.
Leerbaarheid: Cruciaal is dat het artikel laat zien dat deze handgespecificeerde architectuur niet alleen theoretisch in staat is, maar ook leerbaar is vanuit data om algoritmen te produceren die de klassieke baseline overtreffen.
Raamwerk voor Innovatie: Door clusteringalgoritmen te beschouwen als een "transformer-skelet", bieden de auteurs een raamwerk waarbij het wijzigen van standaardcomponenten (attention, normalisatie) diverse clusteringvarianten oplevert, inclus inclusief robuuste en gerandomiseerde versies.

De auteurs merken beperkingen op, specifelijk dat hun theoretische resultaten vertrouwen op limiterende soft-max attention die moeilijk te backpropageren is, hoewel ze aantonen dat het model werkt met standaard soft-max. Ze stellen ook dat hoewel het model generaliseert naar grotere $n$ (aantal punten), het momenteel niet ondersteunt te generaliseren naar grotere $k$ (aantal clusters) als het getraind is op een vaste $k$ . Het werk positioneert zichzelf als een fundament voor verdere exploratie van neurale implementaties van klassieke methoden.