The Missing Memory Hierarchy: Demand Paging for LLM Context Windows
Dit paper introduceert Pichay, een transparante proxy die demand paging en virtueel geheugenconcepten toepast op LLM-contextvensters om structurele verspilling te elimineren en de contextgebruik met tot 93% te verminderen door verouderde inhoud dynamisch te vervangen en alleen relevante informatie in het dure 'cache'-geheugen te houden.