Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU
Este estudo empírico demonstra que, embora a transição da inferência de LLM local de CPU para GPU melhore drasticamente a eficiência energética e a velocidade, ela introduz um não determinismo induzido pelo hardware que degrada a qualidade do código em cenários de zero-shot, um desafio efetivamente mitigado pelo prompting de três shots para garantir uma geração de código estável e sustentável.