Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU
Cette étude empirique démontre que si le passage de l'inférence de LLM locaux du CPU au GPU améliore considérablement l'efficacité énergétique et la vitesse, il introduit un non-déterminisme induit par le matériel qui dégrade la qualité du code dans des scénarios en zero-shot, un défi atténué efficacement par le prompting en three-shot pour assurer une génération de code stable et durable.