The Missing Memory Hierarchy: Demand Paging for LLM Context Windows
O artigo apresenta o Pichay, um sistema de paginação sob demanda que trata o contexto de modelos de linguagem como uma hierarquia de memória virtual, reduzindo drasticamente o consumo de recursos ao evitarem conteúdo obsoleto e recuperando-o automaticamente quando necessário, demonstrando que problemas como limites de contexto e degradação de atenção são essencialmente questões de gerenciamento de memória.