Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

Immaginate un mondo in cui il software che gestisce le nostre vite moderne non è scritto solo da mani umane, ma da un'intelligenza artificiale. Questi assistenti digitali, noti come modelli linguistici di grandi dimensioni, sono diventati così esperti nella scrittura di codice da far parte ormai del flusso di lavoro quotidiano di milioni di sviluppatori. Possono finire una frase di programmazione, correggere una funzione interrotta o costruire un piccolo programma partendo da una semplice descrizione. Tuttavia, questa comodità comporta un costo nascosto. Ogni volta che questi modelli "pensano", consumano enormi quantità di elettricità, contribuendo a un'impronta di carbonio crescente che minaccia l'ambiente stesso che speriamo di proteggere. Con la crescita della domanda di questi strumenti, gli scienziati si pongono una domanda critica: come possiamo renderli più veloci ed economici senza bruciare il pianeta?

Per rispondere a questo, i ricercatori hanno recentemente deciso di testare come queste menti artificiali si comportano quando vengono spostate da un tipo di hardware informatico a un altro. Per anni, gli sviluppatori hanno saputo che eseguire questi modelli su chip grafici specializzati, originariamente progettati per i videogiochi, è molto più veloce che eseguirli su processori informatici standard. Ma la velocità è solo metà della storia. Il team voleva sapere se questo passaggio a un hardware più veloce portasse anche un risparmio energetico e, cosa più importante, se cambiasse la qualità del codice prodotto dai modelli. Erano anche curiosi riguardo a un sottile trucco utilizzato nel prompting: fornire al modello alcuni esempi del compito prima di chiedergli di lavorare. Mostrare al modello un esempio del lavoro aiuta a risparmiare energia, o rende solo il processo più lungo?

I ricercatori hanno preso cinque diversi modelli di programmazione open-source e li hanno sottoposti a un test rigoroso. Hanno eseguito lo stesso set di sfide di programmazione su due macchine molto diverse: un processore informatico standard e un potente cluster di schede grafiche. Hanno misurato esattamente quanta energia ogni esecuzione consumava, quanto tempo impiegava e se il codice generato funzionasse effettivamente. Hanno anche confrontato due modi di chiedere aiuto ai modelli. Nel primo metodo, hanno dato al modello un compito senza esempi, un approccio "zero-shot". Nel secondo, hanno fornito tre esempi di compiti simili prima, un approccio "three-shot", per guidare il pensiero del modello.

I risultati sono stati sorprendenti e hanno rivelato un chiaro compromesso tra velocità e stabilità. Quando i modelli venivano spostati sull'hardware grafico potente, la differenza di velocità era quasi inimmaginabile. Il tempo necessario per generare il codice è sceso di oltre il 99 percento, trasformando processi che richiedevano secondi in frazioni di secondo. Questo enorme aumento di velocità ha portato anche a un calo significativo nell'uso dell'energia, con alcuni compiti che consumavano quasi il 90 percento di potenza in meno rispetto al processore standard. È stata una chiara vittoria per l'efficienza. Tuttavia, la storia è diventata più complicata quando i ricercatori hanno esaminato la qualità del codice.

Quando ai modelli veniva chiesto di lavorare senza alcun esempio, il passaggio all'hardware più veloce li rendeva imprevedibili. Poiché i chip grafici elaborano le informazioni in modo diverso rispetto ai processori standard, i modelli a volte producevano codice che era strutturalmente diverso o semplicemente non funzionava, anche se le impostazioni erano identiche. Era come se la stessa persona, chiamata a scrivere una storia in due stanze diverse, arrivasse a conclusioni completamente differenti. Questa incoerenza era più grave quando i modelli venivano lasciati a capire le cose da soli.

La soluzione a questa instabilità si è rivelata sorprendentemente semplice. Quando i ricercatori hanno fornito tre esempi prima di chiedere al modello di scrivere il codice, il comportamento è cambiato drasticamente. I modelli sono diventati molto più coerenti, producendo risultati affidabili indipendentemente dal computer su cui stavano girando. Inoltre, questo metodo di mostrare esempi ha anche risparmiato energia. Fornendo al modello un percorso chiaro da seguire, esso ha evitato di generare chiacchiere superflue o lunghe spiegazioni che spesso affollano l'output quando non vengono forniti esempi. Questo approccio "three-shot" ha eliminato il superfluo dal processo, riducendo il consumo di energia di oltre il 60 percento in alcuni test e rendendo la generazione del codice sia più veloce che più accurata.

Lo studio suggerisce infine che non è sufficiente acquistare semplicemente hardware più veloce per risolvere i problemi di energia e qualità nell'intelligenza artificiale. Sebbene il passaggio alle potenti schede grafiche renda il processo incredibilmente efficiente, ciò non garantisce di per sé risultati migliori. Infatti, senza la giusta guida, la velocità può arrivare al costo della affidabilità. La strategia più efficace trovata è stata una combinazione delle due: utilizzare l'hardware potente per la velocità, ma abbinarlo a uno stile di prompting che fornisca al modello alcuni esempi da seguire. Questo approccio non solo ha mantenuto basso l'uso dell'energia, ma ha anche garantito che il codice prodotto fosse stabile e corretto.

In definitiva, la ricerca evidenzia che il futuro dell'intelligenza artificiale ecologica dipende da come poniamo le domande, non solo da quali macchine utilizziamo. Progettando attentamente il modo in cui interagiamo con questi modelli, possiamo sfruttare la loro velocità senza sacrificare la qualità del loro lavoro o la salute del nostro pianeta. La strada da seguire non è solo costruire computer più grandi e veloci, ma trovare il giusto equilibrio tra gli strumenti che usiamo e le istruzioni che diamo loro.