Random Quadratic Form on a Sphere: Synchronization by Common Noise
Dit artikel introduceert het Random Quadratic Form-model om aan te tonen dat gemeenschappelijke ruis, zelfs zonder self-attention, leidt tot synchronisatie en clustering van tokens in diepe transformers.