Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU
この実証的研究は、ローカルLLMの推論をCPUからGPUへと移行させることはエネルギー効率と速度を劇的に向上させる一方で、ハードウェアに起因する非決定性を導入し、それがゼロショット・シナリオにおけるコード品質を低下させることを示しており、この課題は、安定した持続可能なコード生成を確実にするための3ショット・プロンプティングによって効果的に緩和される。