The Missing Memory Hierarchy: Demand Paging for LLM Context Windows
El artículo presenta Pichay, un sistema de paginación bajo demanda que trata las ventanas de contexto de los LLM como una jerarquía de memoria virtual para eliminar contenido obsoleto y reducir drásticamente el consumo de recursos mediante la detección de fallos de página y la gestión de conjuntos de trabajo.