Technische Samenvatting: Hebben Transformers Drie Projecties Nodig?

Probleemstelling

Sinds de introductie van de Transformer-architectuur is het Query, Key en Value (QKV) aandachtmechanisme de standaard geworden voor het aggregeren van informatie over sequenties. De noodzaak om echter drie afzonderlijke, onafhankelijke lineaire projecties voor deze componenten te behouden, blijft een openstaande vraag. Terwijl andere architecturen zoals CNN's en State Space Models (SSM's) vaak meer verenigde interne representaties gebruiken, houden Transformers vast aan een tripartiete structuur. Naarmate de contextvensters groter worden en de vraag naar real-time inferentie toeneemt, richt de onderzoeksgemeenschap zich op architecturale efficiëntie om de kwadratische bottleneck van self-attention te verlichten. Dit artikel onderzoekt of de drie projecties werkelijk noodzakelijk zijn of dat ze een redundantie vertegenwoordigen die kan worden verminderd om het aantal parameters en, belangrijker nog, de inferentie-geheugenoverhead te verlagen zonder significante prestatievermindering.

Methodologie

De auteurs stellen drie "Projectie-Delende" beperkingen voor en evalueren deze systematisch, die progressief het aantal geleerde transformaties in het aandachtmechanisme verminderen:

1. Q=K-V (Verenigde Query-Key): De query- en key-projecties worden verenigd ($Q=K$), terwijl de value-projectie afzonderlijk blijft. Dit resulteert in een symmetrische aandachtmatrix ($KK^T$). Om de beperkingen van symmetrie in sequentiële taken aan te pakken, introduceren de auteurs een variant $(Q=K-V)^+$ die asymmetrie injecteert via 2D positionele encodings.
2. Q-K=V (Verenigde Key-Value): De key- en value-projecties zijn verenigd ($K=V$), terwijl de query afzonderlijk blijft. Dit behoudt asymmetrische aandachtskaarten ($QK^T$) en legt een vorm van weight tying op tussen keys en values.
3. Q=K=V (Enkele Projectie): Alle drie de rollen delen een enkele projectiematrix. Dit combineert de symmetrie van de eerste variant met de representatieve bottleneck van de tweede.

De studie onderzoekt ook de orthogonaliteit van deze projectie-delende strategieën met bestaande "Head-Sharing" technieken zoals Grouped Query Attention (GQA) en Multi-Query Attention (MQA). De auteurs hypothetiseren dat het combineren van projectie-delen (het beperken van $K=V$) met head-delen (het verminderen van het aantal KV-heads) een samengestelde winst kan opleveren in geheugenefficiëntie.

Experimenten werden uitgevoerd over 12 diverse taken:

• Synthetisch Redeneren: Vijf taken betreffende lijstmanipulatie (Reverse, Sort, Sub, Swap, Copy).
• Computer Vision: Beeldclassificatie op MNIST, FashionMNIST, CIFAR-10, CIFAR-100 en TinyImageNet, evenals set anomaliedetectie en semantische segmentatie.
• Taalmodellering: Pre-training van 300M en 1.2B parameter GPT-stijl modellen op 10 miljard tokens van de SlimPajama dataset.

Belangrijkste Resultaten

1. Prestatie vs. Efficiëntie Trade-offs

• Q-K=V (Optimale Balans): Deze variant kwam als duidelijke winnaar uit de bus. In taalmodellering bereikte het een 50% reductie in de KV-cache grootte met slechts een 3,1% degradatie in perplexiteit (voor 300M modellen) en 2,48% (voor 1.2B modellen). Het behield concurrerende prestaties op vision- en synthetische taken.
• Q=K-V (Symmetrie Beperking): Hoewel deze variant een trainingskwaliteit bereikte die vergelijkbaar is met de baseline, bood het nul inferentie-geheugenvoordelen omdat het nog steeds aparte K- en V-tensoren moet cachen. Bovendien beperkten de symmetrische aandachtskaarten de effectiviteit in causale taalmodellering, wat resulteerde in een 4,9% perplexiteitsdegradatie.
• Q=K=V (Over-beperkt): Deze agressieve vereenvoudiging veroorzaakte catastrofaal prestatieverlies (25,4% perplexiteitsdegradatie in taalmodellering), wat aangeeft dat het afdwingen van een enkele projectie voor alle drie de rollen te restrictief is voor complexe taken.

2. Synergie met Head Sharing

De studie toont aan dat projectie-delen en head-delen strikt complementair zijn.

• Het combineren van Q-K=V met GQA-4 (4 groepen) resulteerde in een 87,5% cache-reductie met een 3,9% perplexiteitsdegradatie.
• Het combineren van Q-K=V met MQA (1 groep) bereikte een 96,9% cache-reductie met een 4,8% perplexiteitsdegradatie.
• Bij de 1.2B schaal verminderde de Q-MQA configuratie de KV-cache met 67× (van 5,9 GB naar 88 MB per gebruiker voor 32k context) terwijl het bijna gelijkwaardig bleef aan de baseline in downstream taak nauwkeurigheid.

3. Schalingsgedrag

De relatieve rangorde van de varianten bleef stabiel naarmate de modelgrootte toenam van 300M naar 1.2B parameters. Opvallend genoeg leken grotere modellen iets robuuster tegen projectiebeperkingen, waarbij de perplexiteitsdegradatie voor Q-K=V daalde van 3,1% bij 300M naar 2,48% bij 1.2B.

Betekenis en Claims

Het artikel claimt dat projectie-delen een onderbelicht voorbeeld is van weight tying dat directe, kwantificeerbare voordelen biedt voor het inferentiegeheugen, wat bijzonder waardevol is voor edge-deployment en long-context toepassingen.

• Waarom Q-K=V werkt: De auteurs argumenteren dat keys en values vergelijkbare representatieruimtes kunnen bezetten, en dat aandacht effectief opereert in een low-rank regime waar het onderscheid tussen K en V minder kritiek is dan de asymmetrie tussen Q en de gedeelde K-V representatie. Empirische analyse toonde een hoge cosinus-gelijkenis (0,73) tussen standaard K en V projectiematrices, wat wijst op inherente redundantie.
• Waarom Q=K-V faalt: Het afdwingen van $Q=K$ creëert symmetrische aandachtskaarten, wat de richting die nodig is voor causale afhankelijkheden in taalmodellering doorbreekt.
• Praktische Impact: De primaire bijdrage is niet alleen de reductie van parameters (die bescheiden is, ~7-14% totale modelgrootte reductie) maar de 50% reductie in KV-cache geheugen. Dit maakt het volgende mogelijk:
  • 2× langere contextvensters voor hetzelfde geheugenbudget.
  • 2× hogere throughput (gelijktijdige gebruikers per GPU).
  • Significante kostenreducties (bijv. een geprojecteerde 43% reductie in serveerkosten voor een code-completion model).

De auteurs concluderen dat hoewel geen enkel architectuur type wint over alle domeinen, de Q-K=V configuratie de beste kwaliteit-efficiëntie trade-off biedt voor sequentiële taken, en de combinatie ervan met head-sharing technieken praktische on-device inferentie voor miljarden-parameter modellen mogelijk maakt. De code is publiekelijk beschikbaar om verdere research te faciliteren.