The Missing Memory Hierarchy: Demand Paging for LLM Context Windows
Die Arbeit stellt Pichay vor, ein Demand-Paging-System für LLM-Kontextfenster, das durch transparente Interposition und Auslagerung veralteter Inhalte die Kontextnutzung um bis zu 93 % reduziert und damit etablierte Konzepte der virtuellen Speicherverwaltung auf die Skalierung von Sprachmodellen anwendet.