PIM-SHERPA: Software Method for On-device LLM Inference by Resolving PIM Memory Attribute and Layout Inconsistencies

本文提出了 PIM-SHERPA,一种纯软件方法,通过解决存内计算(PIM)系统中预填充与解码阶段存在的内存属性不一致及权重布局不一致问题,实现了在 Llama 3.2 模型上以接近理论最大性能运行,同时节省约 47.8% 至 49.7% 的内存容量。

Sunjung Lee, Sanghoon Cha, Hyeonsu Kim, Seungwoo Seo, Yuhwan Ro, Sukhan Lee, Byeongho Kim, Yongjun Park, Kyomin Sohn, Seungwon Lee, Jaehoon YuWed, 11 Ma💻 cs

Flash-KMeans: Fast and Memory-Efficient Exact K-Means

本文提出了 Flash-KMeans,一种专为现代 GPU 设计的 IO 感知且无争用的 K-Means 实现,通过引入 FlashAssign 和 sort-inverse update 等内核级创新,成功将 K-Means 从离线处理转变为高效的在线原语,在 NVIDIA H200 上实现了远超现有库(如 cuML 和 FAISS)的显著加速。

Shuo Yang, Haocheng Xi, Yilong Zhao, Muyang Li, Xiaoze Fan, Jintao Zhang, Han Cai, Yujun Lin, Xiuyu Li, Kurt Keutzer, Song Han, Chenfeng Xu, Ion StoicaWed, 11 Ma💻 cs

The Bureaucracy of Speed: Structural Equivalence Between Memory Consistency Models and Multi-Agent Authorization Revocation

该论文提出了一种名为“能力一致性系统”(CCS)的新框架,通过将内存一致性模型(如 MESI)映射到身份授权场景,证明了基于发布一致性(RCC)的撤销策略在高速代理执行环境中能将未授权操作数量从时间依赖的线性增长降低至与代理速度无关的常数级,从而在根本上解决了传统基于时间窗口的访问控制机制在大规模并发下的安全性失效问题。

Vladyslav ParakhinWed, 11 Ma💻 cs

EROICA: Online Performance Troubleshooting for Large-scale Model Training

本文介绍了 EROICA,这是首个面向大规模模型训练的在线性能故障诊断系统,它通过在线剖析和差异可观测性技术,在几乎不影响生产环境的前提下,实现了对涵盖约 10 万张 GPU 集群中软硬件混合故障的细粒度、全覆盖诊断,并在实际部署中取得了 97.5% 的成功率。

Yu Guan, Zhiyu Yin, Haoyu Chen, Sheng Cheng, Chaojie Yang, Kun Qian, Tianyin Xu, Pengcheng Zhang, Yang Zhang, Hanyu Zhao, Yong Li, Wei Lin, Dennis Cai, Ennan ZhaiTue, 10 Ma🤖 cs.LG

Tiny but Mighty: A Software-Hardware Co-Design Approach for Efficient Multimodal Inference on Battery-Powered Small Devices

本文提出了名为 NANOMIND 的软硬件协同设计框架,通过将大型多模态模型模块化并动态调度至异构加速器,在电池供电的小型设备上实现了无需联网的高效、低功耗本地推理,显著降低了能耗与显存占用。

Yilong Li, Shuai Zhang, Yijing Zeng, Hao Zhang, Xinmiao Xiong, Jingyu Liu, Pan Hu, Suman BanerjeeTue, 10 Ma💬 cs.CL

Uber's Failover Architecture: Reconciling Reliability and Efficiency in Hyperscale Microservice Infrastructure

Uber 提出的故障转移架构(UFA)通过根据业务关键性区分服务并引入非关键服务的抢占机制,将稳态资源配比从 2 倍降至 1.3 倍,在消除超过一百万个 CPU 核心的同时,将利用率提升至约 30% 并维持了 99.97% 的高可用性。

Mayank Bansal, Milind Chabbi, Kenneth Bogh, Srikanth Prodduturi, Kevin Xu, Amit Kumar, David Bell, Ranjib Dey, Yufei Ren, Sachin Sharma, Juan Marcano, Shriniket Kale, Subhav Pradhan, Ivan Beschastnikh, Miguel Covarrubias, Chien-Chih Liao, Sandeep Koushik Sheshadri, Wen Luo, Kai Song, Ashish Samant, Sahil Rihan, Nimish Sheth, Uday Kiran MedisettyTue, 10 Ma💻 cs