🤖 AI

Towards Understanding, Analyzing, and Optimizing Agentic AI Execution: A CPU-Centric Perspective

Questo articolo analizza le prestazioni del CPU nell'esecuzione di AI agentiche, identificando i colli di bottiglia architetturali e proponendo due strategie di ottimizzazione, COMB e MAS, che migliorano significativamente la latenza e l'utilizzo delle risorse su sistemi CPU-GPU.

Autori originali: Ritik Raj, Souvik Kundu, Ishita Vohra, Hong Wang, Tushar Krishna

Pubblicato 2026-04-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ritik Raj, Souvik Kundu, Ishita Vohra, Hong Wang, Tushar Krishna

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🤖 Il "Cervello" e il "Fatto": La Nuova Sfida dell'Intelligenza Artificiale

Immagina che un'Intelligenza Artificiale (AI) moderna, come quelle che usi per scrivere o chattare, sia come un genio solitario che vive in una biblioteca piena di libri (i dati). Questo genio è velocissimo a leggere e a ragionare (è la parte GPU). Tuttavia, c'è un problema: questo genio non può uscire di casa, non può usare il telefono, non può cercare su Google e non può eseguire codice complesso. È bloccato nella sua stanza.

Per risolvere questo problema, abbiamo creato gli "Agenti AI". Questi sono come il genio che ha assunto un segretario (la parte CPU).

Il Genio (GPU) pensa, scrive e pianifica.
Il Segretario (CPU) esegue i compiti noiosi: cerca informazioni su internet, apre file, calcola con Excel, scrive codice e chiama le persone.

🚧 Il Problema: Il Segretario è in Tardo

Fino a poco tempo fa, tutti pensavano che il collo di bottiglia fosse il genio (la GPU). Pensavano: "Se compriamo un genio più veloce, tutto andrà meglio!".

Ma questo studio ha scoperto una cosa sorprendente: spesso il collo di bottiglia è il segretario!
In molti casi, il genio aspetta solo che il segretario finisca il suo lavoro. Se il segretario è lento o sovraccarico, il genio rimane fermo a guardare il muro, sprecando soldi ed energia. È come avere una Ferrari (la GPU) che aspetta che un trattore (la CPU) finisca di tracciare la strada.

Gli autori hanno analizzato due sistemi diversi (uno con un computer potente e una scheda video potente, l'altro con un computer potente ma una scheda video meno potente) e hanno scoperto che:

Il lavoro del "segretario" (CPU) può occupare fino all'88% del tempo totale.
Se il genio diventa troppo veloce, il segretario diventa ancora più lento rispetto a lui, bloccando tutto.

🛠️ Le Soluzioni: Due Nuovi Metodi di Organizzazione

Per risolvere questo problema, gli autori hanno inventato due strategie intelligenti per gestire il lavoro tra il genio e il segretario.

1. COMB: "Il Metodo dei Piccoli Pacchetti Sovrapposti"

(CPU-Aware Overlapped Micro-Batching)

Immagina di dover consegnare 100 pacchi a 100 clienti diversi.

Il vecchio metodo: Metti tutti e 100 i pacchi sul camion (la CPU) e aspetti che il camion li porti tutti, poi il genio li elabora. Il camion si blocca per troppo tempo e il genio aspetta.
Il metodo COMB: Invece di caricare tutto il camion, ne carichi solo 10. Appena il camion parte con i primi 10, ne carichi subito altri 10.
- Mentre il camion porta i primi 10, il genio inizia a lavorare sui secondi 10.
- È come una catena di montaggio: mentre un operaio sta avvitando una vite, l'altro sta già preparando il pezzo successivo.
- Risultato: Il genio e il segretario lavorano insieme invece di aspettarsi a turno. Questo riduce i tempi di attesa del 50-60%.

2. MAS: "Il Controllore del Traffico Intelligente"

(Mixed Agentic Scheduling)

Immagina un ospedale con due tipi di pazienti:

Pazienti leggeri: Hanno bisogno solo di un controllo veloce (solo il genio, niente segretario).
Pazienti complessi: Hanno bisogno di molti esami e analisi (genio + segretario).

Il vecchio metodo: Metti tutti i pazienti in una sola fila. Se arrivano 100 pazienti complessi, i pazienti leggeri devono aspettare ore, anche se potrebbero essere curati subito.
Il metodo MAS: L'ospedale ha due code separate ma collegate.
- C'è una coda riservata per i pazienti complessi (per non bloccare il segretario).
- C'è una coda per i pazienti leggeri (per non bloccare il genio).
- C'è una "coda di emergenza" condivisa per quando c'è troppo lavoro.
- Risultato: Nessuno viene lasciato indietro. Se arrivano molti pazienti complessi, quelli leggeri vengono comunque curati velocemente, e viceversa. Questo è fondamentale quando il sistema è sotto stress.

💡 Perché è Importante?

Questo studio ci insegna che per rendere l'AI più veloce ed economica, non dobbiamo comprare solo computer più potenti (GPU). Dobbiamo organizzare meglio il lavoro (CPU).

Risparmio: Puoi usare computer meno costosi per il "segretario" e ottenere comunque ottimi risultati se organizzi bene i compiti.
Velocità: Gli utenti finali aspettano meno tempo per le risposte.
Energia: Il sistema spreca meno energia perché nessuno dei due "lavoratori" rimane fermo a guardare il telefono.

In sintesi: Non è solo una questione di forza bruta, ma di come si gestisce la squadra. Se il genio e il segretario lavorano in sincronia, l'AI diventa un super-eroe davvero efficiente.

1. Il Problema: Il Collo di Bottiglia CPU nell'AI Agentic

L'evoluzione dai modelli linguistici (LLM) monolitici ai sistemi AI Agentic ha introdotto nuove sfide architetturali. Mentre i LLM tradizionali vengono eseguiti prevalentemente su GPU, i sistemi agentic richiedono l'interazione con strumenti esterni (tool) per pianificare, ragionare e adattarsi.

Squilibrio di Risorse: La maggior parte dell'esecuzione degli strumenti (esecuzione di codice Bash/Python, ricerca web, estrazione di dati, ricerca di vettori) avviene sulla CPU.
Collo di Bottiglia Inosservato: Le ottimizzazioni precedenti si sono concentrate quasi esclusivamente sui kernel GPU e sulla gestione della cache KV. Tuttavia, nei carichi di lavoro agentic, l'esecuzione degli strumenti sulla CPU può consumare fino all'88% della latenza end-to-end (E2E).
Inefficienza di Parallelizzazione: Le strategie di parallelizzazione CPU (come il multi-threading o multi-processing) sono intrinsecamente meno efficienti di quelle GPU. Questo porta a una saturazione prematura del throughput, lasciando le costose risorse GPU sottoutilizzate mentre la CPU è sovraccarica.

2. Metodologia e Caratterizzazione

Gli autori hanno adottato un approccio sistematico per analizzare e ottimizzare questi carichi di lavoro su sistemi eterogenei CPU-GPU.

A. Caratterizzazione Compile-Time

È stata introdotta una tassonomia per classificare i carichi di lavoro agentic basata su tre dimensioni ortogonali (Figura 1):

Orchestratore: LLM-orchestrato (il modello decide il flusso) vs. Host-orchestrato (codice Python/Host decide il flusso).
Percorso Agentic: Statico (flusso predefinito) vs. Dinamico (flusso adattivo basato sui risultati intermedi).
Ripetizione: Single-step (una chiamata) vs. Multi-step (cicli iterativi).

Sono stati selezionati cinque carichi di lavoro rappresentativi (Toolformer, SWE-Agent, RAG con Haystack, ChemCrow, Web-Augmented Agent) per coprire diverse combinazioni di queste dimensioni.

B. Caratterizzazione Runtime

Gli esperimenti sono stati condotti su due sistemi hardware distinti (Tabella 1):

Sys 1: CPU Intel GNR (High Performance) + GPU Nvidia RTX-Pro 6000 (Low Performance).
Sys 2: CPU Nvidia Grace (High Performance) + GPU Nvidia H200 (High Performance).

Risultati Chiave dell'Analisi:

Nei carichi dominati dagli strumenti (es. RAG, ChemCrow), la CPU assorbe fino all'89% della latenza totale.
Migliorare la GPU (passare da Sys 1 a Sys 2) sposta il collo di bottiglia ancora più verso la CPU, poiché l'inferenza LLM diventa trascurabile rispetto all'esecuzione degli strumenti.
Il parallelismo CPU satura il throughput molto prima di quello GPU, degradando l'utilizzo complessivo del sistema.

3. Contributi Chiave: Ottimizzazioni di Scheduling

Basandosi sulle intuizioni sulla saturazione del throughput, gli autori propongono due tecniche di scheduling:

1. COMB (CPU-Aware Overlapped Micro-Batching)

Obiettivo: Ottimizzare i carichi di lavoro omogenei (tutti gli stessi tipi di richiesta).
Meccanismo:
- Micro-batching Intelligente: Invece di inviare un grande batch che satura la CPU, il batch viene diviso in micro-batch di dimensioni capite ( $B_{cap}$ ), calibrate in base all'efficienza di parallelizzazione della CPU specifica.
- Sovrapposizione (Overlap): Una volta completata la fase CPU di un micro-batch, la fase GPU può iniziare immediatamente, mentre il micro-batch successivo inizia la sua fase CPU. Questo crea un'esecuzione pipeline che massimizza la concordanza CPU-GPU.
Vantaggio: Riduce la contesa sui core CPU e bilancia il carico, evitando che la GPU rimanga inattiva in attesa della CPU.

2. MAS (Mixed Agentic Scheduling)

Obiettivo: Ottimizzare i carichi di lavoro eterogenei (miscela di richieste "CPU-heavy" e "GPU-heavy").
Problema: In sistemi FCFS (First-Come-First-Served), un picco di richieste CPU-heavy può monopolizzare le risorse, bloccando le richieste GPU-heavy e viceversa.
Meccanismo:
- Code Separate: Introduce code di esecuzione separate con limiti di concorrenza specifici ( $E_{cap,CPU}$ e $E_{cap,GPU}$ ) per i diversi tipi di richiesta.
- Coda Riservata: Una coda condivisa elastica gestisce il traffico in eccesso, prevenendo la saturazione di un singolo tipo di risorsa.
- Protezione della Minoranza: Garantisce che il tipo di richiesta minoritario non venga soffocato dal tipo dominante, migliorando l'equità e la latenza complessiva.

4. Risultati Sperimentali

Le valutazioni su entrambi i sistemi hardware hanno dimostrato l'efficacia delle proposte:

Performance di COMB (Carichi Omogenei):
- Riduzione della latenza di servizio (P50) fino a 1.7x in esecuzione standalone.
- Riduzione della latenza di servizio fino a 3.9x e della latenza totale fino a 1.8x sotto carico in anello aperto (open-loop).
- Aumento del throughput fino a 1.7x.
- Miglioramento significativo della latenza di coda (P90) in scenari di sovraccarico.
Performance di MAS (Carichi Eterogenei):
- In scenari di carico misto, MAS protegge le richieste minoritarie riducendo la latenza totale per il tipo di richiesta minoritario fino a 2.37x (P50) e 2.49x (P90).
- Previene la monopolizzazione delle risorse da parte di un singolo tipo di richiesta, mantenendo un utilizzo equilibrato di CPU e GPU.
Analisi Energetica:
- L'analisi del consumo energetico dinamico rivela che per i carichi di lavoro centrati sulla CPU (es. RAG), la CPU contribuisce fino al 61% dell'energia totale del sistema, sottolineando la necessità di ottimizzazioni specifiche per l'efficienza energetica della CPU nei data center AI.

5. Significato e Impatto

Questo lavoro è pionieristico perché:

Sposta il Paradigma: Sposta il focus dell'ottimizzazione dei sistemi AI dall'esclusiva GPU a una prospettiva CPU-centric, riconoscendo che l'esecuzione degli strumenti è il nuovo collo di bottiglia critico.
Design Principale: Stabilisce che l'utilizzo concorrente ottimizzato di CPU e GPU deve essere un principio di progettazione fondamentale per i sistemi di serving AI agentic di prossima generazione.
Soluzioni Pratiche: Fornisce soluzioni di scheduling (COMB e MAS) che sono generalizzabili su diverse architetture hardware e che migliorano sia le prestazioni che l'efficienza energetica, rendendo i sistemi agentic più scalabili ed economici da operare.

In sintesi, il paper dimostra che ignorare il ruolo della CPU nell'AI agentic porta a inefficienze massive, e che l'adozione di strategie di scheduling consapevoli della CPU può trasformare radicalmente le prestazioni e l'affidabilità di questi sistemi.