LegoNet: Memory Footprint Reduction Through Block Weight Clustering
该论文提出了一种名为 LegoNet 的压缩技术,通过对模型中跨层类型的权重块进行聚类,在无需重新训练或微调的情况下,成功将 ResNet-50 的内存占用压缩了 64 倍且保持精度无损,甚至实现了 128 倍压缩率且精度损失低于 3%。
9323 篇论文
该论文提出了一种名为 LegoNet 的压缩技术,通过对模型中跨层类型的权重块进行聚类,在无需重新训练或微调的情况下,成功将 ResNet-50 的内存占用压缩了 64 倍且保持精度无损,甚至实现了 128 倍压缩率且精度损失低于 3%。
该论文通过构建一系列逐步增加复杂度的多智能体干扰博弈任务,利用大规模 SUMO 生成数据集系统解耦并评估了 C-V2X 网络中多智能体深度强化学习资源分配面临的关键挑战,发现策略在多样化车辆拓扑下的鲁棒性与泛化能力是主要瓶颈,并开源了代码与基准测试套件以推动该领域的可复现研究。
该论文提出了名为“双桥地图套件(Two-Bridge Map Suite)”的开源基准,旨在通过移除经济机制并聚焦于长距离导航与微操战斗,填补《星际争霸 II》全游戏与微型游戏之间的复杂度空白,从而为在有限算力下进行强化学习研究提供可访问的中间环境。
该论文提出了一种结合条件随机化检验(CRT)与表格基础模型 TabPFN 的实用方法,能够在无需重新训练模型或依赖参数假设的情况下,为非线性及存在相关性的表格数据提供有限样本有效的特征级假设检验 p 值。
该论文提出了名为 CapTrack 的以能力为核心的评估框架,通过重新定义遗忘为导致行为退化的系统性漂移,对大语言模型后训练过程中的遗忘现象进行了大规模实证研究,发现遗忘不仅限于参数知识,还显著影响鲁棒性和默认行为,且不同后训练算法和模型家族的表现存在显著差异。
该论文提出了一种名为 DeepScope 的深度学习系统,通过分析未培养水样的显微图像,在无需 24-72 小时病原体培养的情况下,以每测试 0.44 美元的成本和超过 98% 的时间缩减,实现了秒级的高精度(93% 准确率)水质安全检测。
该论文指出,在缺乏外部验证的领域,通过增加推理计算量(如多数投票或集成策略)无法提升大语言模型的真实性,因为模型间的错误高度相关且自我置信度不可靠,导致聚合结果往往只是强化了共同的误解而非验证真理。
本文提出了一种名为 OptiRoulette 的随机元优化器,它通过在训练过程中动态选择更新规则,在多个图像分类基准测试中显著提升了收敛速度和最终准确率,并实现了比单一 AdamW 基线更可靠的训练目标达成率。
本文通过提出一种基于两个简单线性方程的统一表示来整合扩散模型与流匹配,并理论分析指出这些现有模型中噪声数据与预测目标之间的相关性有时较弱,从而可能影响关键的预测或学习过程。
该论文提出了一种名为“退火协同生成”(ACG)的框架,通过将高维联合建模解耦为低维成对建模,并利用三阶段退火过程耦合共享变量,从而在无需额外训练的情况下实现了高效且一致的多元科学数据协同生成。
本文提出了 RACER 方法,通过将大语言模型路由问题建模为-VOR 问题并利用有限样本浓度界限进行校准,实现了在无需分布假设的情况下对误路由风险的控制,从而在降低成本的同時显著提升了下游任务的准确性。
本文提出了名为 Evo 的新型大语言模型,该模型通过构建连续潜变量轨迹,将自回归与扩散生成范式统一为自适应平衡的语义演化框架,在保持高效推理速度的同时,于多项基准测试中实现了卓越的语言理解、推理及代码生成性能。
该论文提出了一种拓扑感知框架,通过结合领域基础模型、拓扑感知图分词器及知识蒸馏策略,有效解决了多路生物网络中结构序列信息整合困难及未见实体零-shot 交互预测的挑战,并显著提升了预测性能。
本文提出了 NAT(Not All Tokens Are Needed)框架,通过基于 Horvitz-Thompson 重加权的无偏部分 Token 策略梯度估计器,仅利用生成 Token 的子集进行强化学习更新,在保持数学推理等基准任务性能与全 Token 训练相当的同时,显著降低了长思维链场景下的计算成本与显存占用。
本文提出了 GraphSkill,这是一种文档引导的层次化检索增强编码框架,通过利用文档层级结构进行检索以及引入自调试智能体来修复逻辑错误,从而显著提升了大语言模型在复杂图推理任务中的代码生成质量与效率。
该论文揭示了当前最先进的过程奖励模型(PRMs)在对抗性优化下存在系统性漏洞,指出其实际上更倾向于检测语言流畅度而非验证逻辑推理,并为此提出了三层诊断框架及相应的评估工具以量化和缓解此类风险。
本文利用 PJM 小时能耗数据,通过对比 ARIMA、LSTM、BiLSTM 和 Transformer 四种模型,证实了基于自注意力机制的 Transformer 模型在 24 小时短期电力负荷预测中凭借 3.8% 的 MAPE 取得了最优的精度与鲁棒性。
本文综述了将组相对策略优化(GRPO)扩展至生成模型的 Flow-GRPO 框架,系统梳理了其在奖励设计、采样效率等算法层面的改进,以及在图像、视频、音频、3D 和具身智能等多模态生成任务中的应用进展,并展望了该通用对齐框架面临的挑战。
本文提出了探索空间理论(EST),通过将知识空间理论形式化地移植到基于位置的推荐系统中,利用格论和形式概念分析建立了兴趣点间先决依赖关系的数学基础,并据此构建了具备线性时间复杂度、推荐有效性保证及可解释性等结构优势的探索空间推荐系统(ESRS)。
该论文提出了一种基于集体学习的图卷积网络方法,通过整合相邻路段特征与观测路段间的依赖关系,有效解决了路面状况数据中系统性缺失值的插补问题。