Per-Node Performance and Memory Limits of LLM Inference on CPU-Only Edge Nodes
Este artículo caracteriza el rendimiento y las restricciones de memoria de la inferencia de LLM solo en CPU en nodos periféricos, revelando que el ancho de banda de la memoria —no el cómputo— es el cuello de botella principal y que la cuantización aumenta inesperadamente el uso de memoria en tiempo de ejecución, lo que requiere un nuevo modelo de dimensionamiento para una planificación de despliegue precisa.