Technische Samenvatting: Echo: Associatief Herinneren zonder KV-Cache met Spectrale Koopman-Operatoren

1. Probleemstelling

Redeneren met lange contexten en het aanroepen van agentische hulpmiddelen genereren sporen die zich uitstrekken over tienduizenden tokens. Hoewel Transformer-architecturen vertrouwen op Key-Value (KV) caches om inhoudsgeadresseerde retrieval te behouden, groeien deze caches lineair met de sequentielengte, wat een geheugenbottleneck creëert op standaardhardware. Daarentegen bieden Ruimtetijdsmodellen (SSM's) zoals Mamba lineaire inferentietijd en constant geheugen per stap door de sequentie te comprimeren tot een recurrente toestand van vaste grootte. Deze compressie is echter verliesrijk: SSM's lijden onder een "geheugenafgrond", waarbij de retrieval-accuraatheid exponentieel instort zodra het gat tussen een opgeslagen feit en de bijbehorende query de effectieve horizon van de recurrente toestand overschrijdt.

Huidige oplossingen omvatten hybride architecturen die SSM-lagen afwisselen met causale attentieblokken. Hoewel dit de retrieval-mogelijkheden herstelt, introduceert dit opnieuw de lineaire geheugengroei van de KV-cache. Het artikel stelt dat inhoudsgeadresseerde retrieval kan worden herschreven als kernel ridge-regressie, waarbij voldoende statistieken worden geaccumuleerd als lopende sommen in vast geheugen, waardoor de KV-cache volledig wordt geëlimineerd zonder afbreuk te doen aan de retrieval-prestaties.

2. Methodologie: Echo en Spectrale Koopman-Attentie (SKA)

De auteurs introduceren Echo, een architectuur zonder KV-cache die is opgebouwd rond Spectrale Koopman-Attentie (SKA), een directe vervanging voor standaardattentielagen. Echo behoudt SSM's (specifiek Mamba-2) voor lokale sequentiële verwerking, maar vervangt globale retrieval-mechanismen door SKA.

2.1 Kernmechanisme: Spectrale Koopman-Attentie

SKA schat een compact lineair dynamisch model af op basis van stromende voldoende statistieken om waarden op query-posities op te halen zonder een $T \times T$ attentiematrix te materialiseren of een KV-cache bij te houden.

• Accumulatie van Voldoende Statistieken: SKA accumuleert drie additieve statistieken in $O(r^2 + rP)$ geheugen (waarbij $r$ een kleine projectierang is en $P$ de kopdimensie):

  1. Een geregulariseerde Gram-matrix $G = \sum \hat{z}_t \hat{z}_t^\top + \epsilon I$.
  2. Een kruis-temporele covariantie $M = \sum \hat{z}_t \hat{z}_{t-1}^\top$.
  3. Een waarde-sleutel-covariantie $C_v = \sum v_t \hat{z}_t^\top$.
     Deze statistieken zijn exacte voldoende statistieken voor de retrieval-berekening, wat betekent dat langere sequenties de conditie van de schattingen verbeteren in plaats van ze te verslechteren.

• Operator-schatting en Retrieval:

  • Het systeem past een geblankeerde Koopman-operator $A_w = L^{-1} M L^{-\top}$ (waarbij $L$ de Cholesky-factor is van de geregulariseerde Gram-matrix) aan via ridge-regressie.
  • De waarde-uitlezing wordt berekend als $B_v = C_v \tilde{G}^{-1}$, wat de unieke minimalizer is van het geregulariseerde least-squares-doel $\min_B \sum \|v_t - B\hat{z}_t\|^2 + \epsilon \|B\|_F^2$.
  • In tegenstelling tot lineaire attentie (wat overeenkomt met één gradiëntstap vanuit nul) of softmax-attentie (die deze oplossing impliciet benadert via niet-convexe optimalisatie), berekent SKA de gesloten-vorm ridge-oplossing direct via Cholesky-factrisatie.

• Spectrale Filtering:

  • De geblankeerde operator $A_w$ wordt spectrale genormaliseerd om de spectrale straal te begrenzen.
  • Een power-iterated filter ($A_w^K$) wordt toegepast op de geblankeerde query. Dit filter versterkt persistente eigenmodes (waarbij $|\lambda| \approx 1$, wat stabiele bindingen vertegenwoordigt) en onderdrukt transienten modes (waarbij $|\lambda| \ll 1$, wat ruis of afleidingen vertegenwoordigt). Deze spectrale selectiviteit is een vermogen dat niet aanwezig is in standaard regressiedoelen alleen.

2.2 Architectuurcomponenten

• SSM-ruggengraat: Het merendeel van de lagen gebruikt Mamba-2 voor lokale verwerking.
• Spectrale Koopman-MLP: De standaard SwiGLU feedforward-lagen worden vervangen door een spectrale MLP die een blok-diagonale rotatie (beperkt tot de eenheidsschijf) toepast op de invoer. Dit ontwerp behoudt de gradiëtrang en vermindert het aantal parameters met een derde ten opzichte van SwiGLU, terwijl het de normbehoud behoudt.
• Inferentie: Echo behoudt $O(1)$ geheugen per laag ongeacht de contextlengte. De toestand bestaat uit de accumulatoren ($G, M, C_v$) en een scalair maximumnorm, wat in totaal ongeveer 77 KB bedraagt voor een model met 50 miljoen parameters.

3. Belangrijkste Bijdragen

1. Eliminatie van de Geheugenafgrond: Het artikel toont aan dat het retrieval-falen van pure SSM's een structureel gevolg is van multiplicatieve recurrentie, en geen capaciteitsbeperking. Echo elimineert deze afgrond door een gesloten-vorm ridge-oplosser te gebruiken over stromende statistieken.
2. KV-Cache-vrij Associatief Herinneren: Echo bereikt perfecte retrieval op benchmarks waar pure SSM's falen en komt overeen met hybride SSM+Attentie-modellen, maar met constant inferentiegeheugen.
3. Theoretische Connectie met Regressie: Het werk formaliseert het verband tussen inhoudsgeadresseerde retrieval en ridge-regressie, en toont aan dat SKA dit optimalisatieprobleem expliciet oplost via Cholesky-factrisatie, waardoor het niet-convexe optimalisatielandschap van attentie wordt omzeild.
4. Behoud van Gradiëntstroom: De auteurs bieden een theoretische analyse die aantoont dat SKA en de Spectrale Koopman-MLP geen extra rangcompressie introduceren in de terugwaartse doorgang (in tegenstelling tot softmax-attentie, die gradiënten comprimeert via de entropie-afhankelijke effectieve rang van de attentiematrix). Dit suggereert een mechanisme voor verbeterde data-efficiëntie.

4. Experimentele Resultaten

De auteurs hebben Echo geëvalueerd in drie regimes: synthetische overdrachttaken, Multi-Query Associatief Herinneren (MQAR) en taalmodelleren.

• Synthetische Overdracht (Sub-Miljoen Schaal): Op vijf vastgehouden retrieval-taken (inclusief systeemprompt-herinnering, hulpmiddelsporen en naald-in-hooiberg) presteerde een Echo-model met 982K parameters (SSM+SKA) beter dan zowel een pure SSM (1,11M parameters) als een SSM+Attentie-hybride (998K parameters). Echo bereikte een gemiddelde nauwkeurigheid van 81,1% vergeleken met 54,4% voor pure SSM en 76,2% voor de hybride. Cruciaal behield Echo een hoge nauwkeurigheid (65% bij 4.096 tokens) op taken voor lengtegeneralisatie waar baselines instortten tot bijna-chanceniveaus.
• MQAR (50M Schaal): Op de MQAR-benchmark met afleidingsgaten tot 4.096 tokens en 32 KV-paren scoorde een pure Mamba-2 ongeveer 3% (kans). Het Echo-model (Mamba-2+SKA) bereikte 100% retrieval-accuraatheid over alle configuraties, wat bevestigt dat de geheugenafgrond structureel is en op deze schaal kan worden geëlimineerd.
• Taalmodelleren (180M Schaal): Een Echo-180M-model getraind op 10 miljard tokens kwam overeen met of overtrof de prestaties van andere modellen met 100M–400M parameters (inclusief GPT-2 345M en Mamba-3-varianten) op vijf van de zes zero-shot benchmarks (HellaSwag, PIQA, ARC, WinoGrande, LAMBADA), ondanks het gebruik van 10x minder trainingstokens dan sommige baselines. Dit suggereert dat de architectuur zowel geheugen- als data-efficiënt is.

5. Betekenis en Claims

Het artikel stelt dat Echo aantoont dat SSM's hun efficiëntievoordelen (lineaire tijd, constant geheugen) niet hoeven op te offeren om de herinneringscapaciteiten van attentie te herstellen. Door retrieval te herschrijven als een spectrale regressieprobleem met gesloten-vorm oplossing, sluit Echo de prestatiegap met op attentie gebaseerde modellen op retrieval-taken, terwijl het een vast geheugenomhulsel behoudt.

De auteurs benadrukken dat de retrieval-winst wordt gedreven door de spectrale operator en de gesloten-vorm oplossing, en niet door prefix-masking-strategieën. Ze betogen dat deze aanwijzingen wijzen naar een nieuwe klasse van architecturen waarbij recurrentie lokale context verwerkt en lichtgewicht operator-modules voor spars, langeafstands-opzoeking zorgen, allemaal binnen een constant geheugenbudget. Het werk suggereert dat de "geheugenafgrond" een oplosbaar structureel probleem is in plaats van een inherente beperking van ruimtetijdsmodellen.