💻 संगणक विज्ञान
Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU
यह अनुभवजन्य अध्ययन प्रदर्शित करता है कि जबकि स्थानीय LLM इन्फरेंस को CPU से GPU पर स्थानांतरित करने से ऊर्जा दक्षता और गति में भारी सुधार होता है, यह हार्डवेयर-प्रेरित अनिश्चितता (nondeterminism) पेश करता है जो 0-शॉट परिदृश्यों में कोड की गुणवत्ता को कम कर देता है, एक ऐसी चुनौती जिसे स्थिर और टिकाऊ कोड जनरेशन सुनिश्चित करने के लिए 3-शॉट प्रॉम्प्टिंग द्वारा प्रभावी ढंग से कम किया जा सकता है।