11 articoli
Il paper introduce Pichay, un sistema di paging su richiesta che tratta la finestra di contesto degli LLM come una gerarchia di memoria virtuale, riducendo drasticamente il consumo di risorse attraverso l'evizione dinamica dei contenuti obsoleti e il ripristino selettivo solo quando necessario.
Il paper presenta FlexServe, un sistema di inferenza per LLM su dispositivi mobili che sfrutta l'isolamento flessibile delle risorse (Flex-Mem e Flex-NPU) all'interno di ARM TrustZone per garantire sicurezza e alte prestazioni, ottenendo significativi miglioramenti nella velocità di generazione rispetto a soluzioni esistenti.
Questo articolo propone un framework di scheduling basato su offset temporali che, decomponendo i grafi di dipendenza dei dati e sincronizzando i produttori attraverso un algoritmo di ricerca del consenso, garantisce la freschezza dei dati nei sistemi autonomi critici eliminando la latenza artificiale del paradigma LET e l'inefficienza del sovracampionamento.
Il paper presenta EROICA, il primo sistema di risoluzione dei problemi di prestazioni online per l'addestramento di modelli su larga scala, che combina profilazione dettagliata e osservabilità differenziale per diagnosticare con successo sia problemi hardware che software su cluster di GPU di produzione.
Questo lavoro dimostra come il monitoraggio di sistema tramite eBPF possa rivelare nuove forme di perdita di informazioni nella crittografia simmetrica ricercabile, consentendo attacchi di abuso più efficaci e sottolineando la necessità di considerare tali vulnerabilità a livello di sistema nella progettazione delle difese.
Questa tesi dimostra che l'adozione di tecniche microarchitettoniche guidate dai dati e dall'apprendimento automatico, che sfruttano le caratteristiche semantiche delle applicazioni e i comportamenti di esecuzione osservati, supera efficacemente i colli di bottiglia della memoria, migliorando significativamente le prestazioni e l'efficienza energetica rispetto alle soluzioni tradizionali.
Il paper presenta il "Structured Gossip DNS", un protocollo di risoluzione dei nomi per reti dinamiche su larga scala che utilizza tabelle a dita DHT e operazioni commutative per garantire la resilienza alle partizioni e la consistenza eventuale senza coordinamento globale, riducendo la complessità dei messaggi da a .
Questo lavoro presenta un'architettura di capacità innovativa e un'implementazione FPGA che, disaggregando il sistema operativo Zephyr in componenti isolati, garantisce la sicurezza dei dispositivi embedded senza richiedere modifiche hardware alle periferiche e rendendo tutti i componenti software a runtime non attendibili.
ThunderAgent è un sistema di inferenza agenziale semplice, veloce e consapevole del programma che, astruendo i flussi di lavoro come "LLM Programs" e gestendo in modo unificato risorse eterogenee come cache KV e strumenti esterni, supera le limitazioni delle architetture attuali ottenendo significativi miglioramenti nel throughput e nel risparmio di memoria.
Questo paper esamina sei paradigmi che influenzano il trasferimento dati, introducendo il modello "Drainage Basin Pattern" per dimostrare come i colli di bottiglia risiedano spesso al di fuori della rete centrale e come un approccio olistico hardware-software sia essenziale per garantire prestazioni prevedibili su larga scala.
Questo documento presenta i risultati empirici di un'implementazione C++ di un substrato di stato semantico deterministico, denominato "Compute ICE-AGE", che dimostra come l'evoluzione locale di un grafo di memoria risulti in una latenza di traversamento e un consumo energetico invarianti rispetto alla scala, superando i limiti computazionali delle architetture di inferenza AI tradizionali.