Technische Zusammenfassung: Analytische Ressourcenbereitstellung für getrennte Attention–FFN-LLM-Bedienung unter stochastischen Arbeitslasten

Problemstellung

Die Bedienung von Large Language Models (LLM) steht vor erheblichen Effizienzherausforderungen, da die Modellgrößen skalieren. Während die Trennung von Attention und FFN (AFD) als vielversprechende Architektur hervorgetreten ist, um speichergebundene Attention-Schichten (zustandsbehaftet, von KV-Caches dominiert) von rechengebundenen FFN-Schichten (zustandslos) zu entkoppeln, bleibt die Bestimmung des optimalen Verhältnisses der Ressourcenbereitstellung ein offenes Problem.

In einer AFD-Topologie (bezeichnet als $r$A–1F, wobei $r$ Attention-Instanzen eine FFN-Instanz versorgen) ist die Systemleistung stark empfindlich gegenüber dem Verhältnis $r$.

• Ist $r$ zu klein, verhungert der FFN-Server für Eingaben, was zu Leerlauf der Rechenressourcen führt.
• Ist $r$ zu groß, blockieren Attention-Instanzen im Warten auf den gemeinsamen FFN-Server, was zu Blockierungen auf Schrittniveau und Pipeline-Luftlöchern führt.

Bestehende Systeme bestimmen $r$ typischerweise durch empirische Suche oder naive deterministische Approximationen, die die Stochastizität der Arbeitslast ignorieren. Die Kernschwierigkeit liegt in der dynamischen Natur der Attention-Arbeitslast: Im Gegensatz zur FFN-Berechnung, die nur von der Batch-Größe abhängt, entwickelt sich die Attention-Latenz kontinuierlich weiter, während KV-Caches wachsen und Anfragen mit zufälligen Prompt- und Dekodierlängen aufgefüllt werden. Darüber hinaus führt die synchronisierte Ausführung mehrerer Attention-Worker einen „Straggler"-Effekt ein, der vom langsamsten Worker bestimmt wird und eine Synchronisationsbarriere schafft, die analytisch schwer zu modellieren ist.

Methodik

Die Autoren entwickeln ein rigoroses probabilistisches Framework, um eine geschlossene Formel für die optimale A/F-Ratio ($r^*$) unter stochastischen Arbeitslasten abzuleiten. Die Methodik adressiert zwei primäre Quellen von Zufälligkeit:

1. Entwicklung der Arbeitslast pro Slot: Die Autoren modellieren die Token-Last pro Slot mittels einer diskretzeitlichen Erneuerungs-Belohnungs-Analyse. Sie identifizieren eine einzige Arbeitslast-Statistik, $\theta$ (die erwartete stationäre Token-Last pro Slot), die die Bereitstellung steuert. Diese Statistik berücksichtigt den „Längen-Biasing"-Effekt, bei dem längere Anfragen bei zufälligen Dekodierschritten häufiger gesampelt werden. Entscheidend ist, dass $\theta$ und seine Varianz $\nu^2$ nichtparametrisch aus Anforderungsspuren geschätzt werden können, ohne spezifische Verteilungsfamilien anzunehmen.
2. Synchronisation über Worker hinweg: Um den Barriereneffekt zu adressieren, bei dem das System auf den langsamsten der $r$ Worker wartet, wenden die Autoren eine Gaußsche Ordnungsstatistik-Korrektur an. Sie modellieren die Gesamtlast auf den $r$ Workern als Summe von i.i.d. Zufallsvariablen und approximieren die maximale Last unter Verwendung des Erwartungswerts des Maximums von $r$ standardnormalverteilten Variablen ($\kappa_r$).

Die Analyse liefert zwei Bereitstellungsregeln:

• Mean-Field-Regel ($r^*_{mf}$): Eine geschlossene Lösung, die durch Ignorieren der Synchronisationsbarriere (unter Annahme einer perfekten Lastverteilung) abgeleitet wird. Diese Regel zerfällt in drei Regime: Attention-Bottleneck, Kommunikations-Bottleneck und FFN-Bottleneck.
• Barrierebewusste Verfeinerung ($r^*_G$): Eine verfeinerte Optimierung, die den Synchronisations-Overhead-Term ($\sqrt{B}\nu\kappa_r$) in die Zykluszeit-Approximation einbezieht. Dies wird durch eine eindimensionale analytische Optimierung kombiniert mit einer diskreten Suche gelöst.

Hauptbeiträge

1. Probabilistisches Arbeitslastmodell: Das Papier etabliert ein analytisches Framework, das die stochastischen Dynamiken der AFD-Bedienung mit kontinuierlichem Batching erfasst. Es identifiziert $\theta$ als die steuernde Statistik für die Bereitstellung, gültig unter beliebigen Prompt- und Dekodierlängen-Verteilungen, und liefert einen nichtparametrischen Schätzer für $\theta$ und $\nu^2$ aus Spuren.
2. Geschlossene Formel für die Bereitstellungsregel: Die Autoren leiten ein mean-field-optimalen Verhältnis ab, das Attention-, Kommunikations- und FFN-Bottlenecks explizit ausbalanciert. Sie liefern zudem eine barrierebewusste Verfeinerung, die den durch Straggler-Worker eingeführten Synchronisations-Overhead quantifiziert und zeigt, dass dieser Overhead sub-logarithmisch mit $r$ wächst.
3. Spur-kalibrierte Validierung: Das Team entwickelte einen AFD-Simulator, der mit realen Spuren und Hardware-Parametern (insbesondere Huawei Ascend 910C NPUs) kalibriert wurde. Sie validierten das Framework über diverse Arbeitslasten und Hardware-Konfigurationen hinweg.

Ergebnisse

Die experimentelle Validierung zeigt eine hohe Genauigkeit bei der Vorhersage des Systemverhaltens:

• Genauigkeit des optimalen Verhältnisses: Das vorhergesagte optimale Verhältnis ($r^*_{mf} \approx 9.3$) stimmt eng mit dem simulations-optimalen Verhältnis überein. Die theoretische Durchsatzkurve verfolgt die Simulationsergebnisse über alle getesteten Konfigurationen hinweg gut ($r \in \{1, 2, 4, 8, 16, 24, 32\}$).
• Fehlerspannen: Das vorhergesagte optimale Verhältnis stimmt innerhalb von 10 % mit dem simulations-optimalen Wert überein.
• Auswirkung von Stragglern: Bei großem $r$ wurde eine Restlücke von bis zu ~15 % in der Durchsatzvorhersage zwischen dem Mean-Field-Modell und der Simulation beobachtet. Die barrierebewusste Analyse erklärt diese Diskrepanz und führt sie auf Synchronisations-Overhead zurück, der bei $r=24$ ~11 % erreicht.
• Parameterempfindlichkeit: Ablationsstudien zeigen, dass das optimale $r^*$ mit größeren Microbatch-Größen ($B$) und längeren gesamten Kontextlängen (sowohl Prefill $\mu_P$ als auch Dekodieren $\mu_D$) zunimmt, da diese Faktoren den Rechenbedarf auf der Attention-Seite erhöhen.

Bedeutung und Behauptungen

Das Papier behauptet, die erste prinzipielle analytische Grundlage für die Bereitstellung von AFD-Systemen zu liefern und sich über die empirische Suche hinaus zu bewegen. Indem es eine kompakte, kalibrierbare Darstellung bietet, wie die Struktur stochastischer Arbeitslasten die Bereitstellung bestimmt, ermöglicht das Framework Systemdesignern:

• Das optimale A/F-Verhältnis ohne umfangreichen Systemaufbau oder Trial-and-Error zu bestimmen.
• Die Trade-offs zwischen Speicherskalierung (Attention) und Rechenskalierung (FFN) unter realistischen, stochastischen Arbeitslasten zu verstehen.
• Die Kosten von Synchronisationsbarrieren in getrennten Architekturen zu quantifizieren.

Die Autoren weisen darauf hin, dass die Validierung in realen Systemen als zukünftige Arbeit zurückgestellt wird, während AFD-Implementierungen reifen, die aktuelle simulationsbasierte Validierung (unter Verwendung von Spuren aus produktionsähnlichen Verteilungen) jedoch eine starke empirische Bestätigung der Theorie liefert. Die Arbeit wird als Preprint (arXiv:2601.21351v2) präsentiert, was darauf hindeutet, dass sie einen grundlegenden Beitrag zum aufkommenden Feld der getrennten LLM-Bedienung leistet.