The Missing Memory Hierarchy: Demand Paging for LLM Context Windows
Ce papier présente Pichay, un système de pagination à la demande transparent pour les fenêtres de contexte des LLM qui, en appliquant des principes de hiérarchie mémoire virtuel, réduit drastiquement la consommation de contexte en évitant le gaspillage de tokens et en gérant dynamiquement les données obsolètes.