The Missing Memory Hierarchy: Demand Paging for LLM Context Windows

O artigo apresenta o Pichay, um sistema de paginação sob demanda que trata o contexto de modelos de linguagem como uma hierarquia de memória virtual, reduzindo drasticamente o consumo de recursos ao evitarem conteúdo obsoleto e recuperando-o automaticamente quando necessário, demonstrando que problemas como limites de contexto e degradação de atenção são essencialmente questões de gerenciamento de memória.

Tony MasonWed, 11 Ma🤖 cs.AI

FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation

O artigo apresenta o FlexServe, um sistema de inferência de LLMs para dispositivos móveis que utiliza o TrustZone da ARM com mecanismos de isolamento de recursos flexíveis (Flex-Mem e Flex-NPU) para garantir segurança e desempenho, alcançando acelerações significativas no tempo de resposta em comparação com designs anteriores.

Yinpeng Wu, Yitong Chen, Lixiang Wang, Jinyu Gu, Zhichao Hua, Yubin XiaWed, 11 Ma🤖 cs.LG

EROICA: Online Performance Troubleshooting for Large-scale Model Training

O artigo apresenta o EROICA, o primeiro sistema de diagnóstico online que utiliza perfis de execução e observabilidade diferencial para identificar e resolver problemas de desempenho em clusters de treinamento de grandes modelos com até 100.000 GPUs, alcançando uma taxa de sucesso de 97,5% em ambientes de produção.

Yu Guan, Zhiyu Yin, Haoyu Chen, Sheng Cheng, Chaojie Yang, Kun Qian, Tianyin Xu, Pengcheng Zhang, Yang Zhang, Hanyu Zhao, Yong Li, Wei Lin, Dennis Cai, Ennan ZhaiTue, 10 Ma🤖 cs.LG

Mitigating the Memory Bottleneck with Machine Learning-Driven and Data-Aware Microarchitectural Techniques

Esta dissertação propõe uma mudança no design de microarquitetura de abordagens agnósticas a dados para técnicas orientadas a dados e impulsionadas por aprendizado de máquina, demonstrando em quatro estudos de caso que explorar o comportamento de execução e as características semânticas dos dados melhora significativamente o desempenho e a eficiência energética ao mitigar o gargalo de memória.

Rahul BeraTue, 10 Ma🤖 cs.LG

ThunderAgent: A Simple, Fast and Program-Aware Agentic Inference System

O artigo apresenta o ThunderAgent, um sistema de inferência ágil e consciente de programas que unifica o gerenciamento de recursos heterogêneos (como cache KV e ferramentas externas) para otimizar fluxos de trabalho de agentes LLM, resultando em ganhos significativos de throughput e economia de memória em comparação com sistemas existentes.

Hao Kang, Ziyang Li, Xinyu Yang, Weili Xu, Yinfang Chen, Junxiong Wang, Beidi Chen, Tushar Krishna, Chenfeng Xu, Simran AroraThu, 12 Ma💻 cs

Reexamining Paradigms of End-to-End Data Movement

Este artigo desafia a visão centrada na rede sobre a transferência de dados de alto desempenho, demonstrando através de seis paradigmas e do modelo "Padrão de Bacia de Drenagem" que os principais gargalos residem frequentemente fora do núcleo da rede e que um projeto holístico de hardware e software é essencial para garantir desempenho consistente e previsível em escala.

Chin Fang, Timothy Stitt, Michael J. McManus, Toshio MoriyaMon, 09 Ma💻 cs