Attention in Krylov Space: Transformer-Based Extrapolation of Lanczos Coefficients

Technische Samenvatting: Aandacht in de Krylov-ruimte

Probleemstelling
De studie van operatorgroei in kwantum- en klassieke veel-deeltjes-systemen rust zwaar op de Lanczos-formalismen, die Heisenberg-tijdsevolutie mappen naar een sprongprobleem op een semi-oneindige Krylov-keten. De dynamica wordt beheerst door Lanczos-coëfficiënten $\{b_n\}$, die fungeren als sprongamplitudes. Hoewel het asymptotische gedrag van deze coëfficiënten (bijv. lineaire groei $b_n \sim \alpha n$ voor chaotische systemen) universele eigenschappen zoals informatie-verstrooiingssnelheden (scrambling rates) codeert, is praktische berekening ernstig beperkt. Exacte Lanczos-iteraties lijden onder numerieke instabiliteit door eindige-precisie rekenkunde en exponentiële geheugenkosten naarmate de systeemgrootte toeneemt. Gevolgelijk berekenen onderzoekers doorgaans slechts een kort prefix van coëfficiënten en extrapoleren zij de rest met behulp van eenvoudige asymptotische fits (bijv. lineaire of lineair-plus-logaritmische vormen). Deze standaard fits falen echter in het vastleggen van systematische, sub-leidende structuren—zoals even-oneven staggers (even-odd staggering) en model-afhankelijke oscillaties—die cruciaal zijn voor het nauwkeurig reconstrueren van fysieke observabelen zoals autocorrelatiefuncties en de Krylov-complexiteit.

Methodologie
De auteurs stellen een datagestuurde aanpak voor die de reeks Lancos-coëfficiënten behandelt als een causale tijdreeks. In plaats van te fitten op een vooraf gedefinieerde asymptotische functie, gebruiken zij een Transformer-architectuur om toekomstige coëfficiënten autoregressief te voorspellen vanuit een korte input-prefix.

• Datarepresentatie: Om de grote dynamische reikwijdte van $b_n$ aan te pakken, voorspelt het model de verschillen tussen naburige coëfficiënten, $\Delta b_n = b_n - b_{n-1}$, in plaats van de coëfficiënten zelf. Dit stabiliseert de trainingsdoelstelling, aangezien $\Delta b_n$ in de asymptotische limiet een constante nadert.
• Architectuur: Het model maakt gebruik van een Decoder-only Transformer. Scalaire inputs ($\Delta b_n$) worden gemapt naar embedding-vectoren en worden uitgebreid met positionele encodings. Het kernmechanisme is een gemaskeerde multi-head self-attention laag, die causaliteit afdwingt (voorspellingen bij stap $n$ hangen alleen af van $n' \leq n$) en het model in staat stelt om de invloed van historische coëfficiënten op toekomstige voorspellingen te wegen.
• Trainingsdoel: Het model wordt getraind om de gemiddelde kwadratische fout (mean squared error) tussen het voorspelde volgende-stap verschil en de grondwaarheid te minimaliseren, gemiddeld over een dataset van Lanczos-sequenties gegenereerd uit diverse Hamiltonian-instanties.
• Baseline Vergelijking: Prestaties worden getoetst aan standaard asymptotische fits (lineair of lineair-plus-logaritmisch met even-oneven staggering termen) afgeleid van de Universal Operator Growth Hypothesis (UOGH).

Belangrijkste Resultaten
De auteurs valideren hun aanpak op drie paradigma-modellen: de klassieke XYZ spin top, het chaotische Transverse-Field Ising Model (TFIM) en het integreerbare Heisenberg XXZ-model.

1. Superieure Extrapolatie-nauwkeurigheid: In zowel klassieke als kwantumchaotische systemen presteert het Transformer-model significant beter dan asymptotische fits. Het bereikt een reductie van een orde van grootte in de Root-Mean-Squared Error (RMSE) bij het extrapoleren van coëfficiënten ver voorbij het inputvenster. Cruciaal is dat het model succesvol niet-lineaire, sub-leidende afwijkingen en even-oneven staggering vastlegt die lineaire fits missen.
2. Reconstructie van Fysieke Observabelen: De verbeterde coëfficiënt-extrapolatie vertaalt zich direct naar fysieke nauwkeurigheid. Bij het reconstrueren van de Krylov-complexiteit $K(t)$ en de autocorrelatiefunctie $C(t)$, levert de Transformer-gebaseerde methode fouten op die orden van grootte kleiner zijn dan de baseline fits bij latere tijden ($tJ \gtrsim 2$).
3. Zero-Shot Transferbaarheid: Een opmerkelijk resultaat is het vermogen van het model om te generaliseren over systeemgroottes. Een model dat uitsluitend getraind is op Lancos-sequenties van een klein systeem ($L=8$), kan de coëfficiënten van een groter systeem ($L=12$) accuraat extrapoleren zonder hertraining. Dit suggereert dat het model universele structurele kenmerken van de coëfficiënt-reeks leert in plaats van specifieke systeemparameters te memoriseren.
4. Integreerbare Regimes: Het model presteert ook goed in integreerbare systemen (XXZ-model), waar geen universele asymptotische vorm bestaat. Het reproduceert accuraat sub-lineaire groei en complexe staggering-patronen zonder dat deze functionele vormen expliciet geprogrammeerd zijn.
5. Analyse van het Attention-mechanisme: Door de geleerde attention-gewichten te analyseren, identificeren de auteurs drie sleutelpatronen:
   • Lokale Context: Sterke aandacht voor de meest recente coëfficiënten.
   • Pariteit-gevoeligheid: Een checkerboard-patroon dat wijst op gevoeligheid voor even-oneven staggering.
   • Globale Verankering: Significante attention-gewichten toegewezen aan de allereerste paar coëfficiënten in de reeks, wat suggereert dat zij dienen als "ankers" voor het afleiden van globale eigenschappen.
     Ablatie-studies bevestigen dat het verwijderen van long-range attention of het maskeren van vroege coëfficiënten de prestaties drastisch verslechtert, wat de noodzaak van het vastleggen van langetermijn, historie-afhankelijke correlaties valideert.

Betekenis en Claims
Het artikel claimt dat moderne sequentiemodellen, specif kindere Transformers, dienen als praktische en superieure surrogaten voor het verkennen van operator-dynamica diep binnen de Krylov-ruimte, waar brute-force Lanczos-iteratie computationeel onhaalbaar is. Het werk demonstreert dat het behandelen van Lancos-coëfficiënten als een gestructureerde causale reeks toelaat om sub-leidende, historie-afhankelijke structuren te extraheren die onzichtbaar zijn voor standaard asymptotische fitting-procedures.

De auteurs benadrukken dat deze aanpak een betrouwbaardere toegang mogelijk maakt tot de lange-termijn operator-dynamica vanuit beperkte inputdata. Bovendien biedt het vermogen om te trainen op computationeel goedkope, kleine-systeem data en het model te transfereren naar grotere systemen een pad naar het bestuderen van grotere kwantum veel-deeltjes-systemen zonder de exponentiële geheugenkosten van directe simulatie te dragen. Het artikel concludeert door te wijzen op beperkingen, specifiek dat de huidige modellen gebonden zijn aan specifieke Hamiltonian-families en initiële operatoren, en suggereert toekomstig werk richting een "foundation model" voor kwantumdynamica geformuleerd in de Krylov-ruimte.