REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
该论文提出了一种名为 REAP 的基于路由器门控值与专家激活范数的剪枝方法,证明在生成式任务中,相较于专家合并,剪枝策略能避免路由控制丢失带来的不可约误差,从而在大规模稀疏混合专家(SMoE)模型压缩中实现更优甚至无损的性能。
2203 篇论文
该论文提出了一种名为 REAP 的基于路由器门控值与专家激活范数的剪枝方法,证明在生成式任务中,相较于专家合并,剪枝策略能避免路由控制丢失带来的不可约误差,从而在大规模稀疏混合专家(SMoE)模型压缩中实现更优甚至无损的性能。
本文提出了名为 RL-100 的实世界机器人强化学习框架,该框架基于扩散视觉运动策略,通过统一模仿学习与强化学习并结合一致性蒸馏技术,在八个多样化的真实机器人任务中实现了 100% 的成功率,展现出卓越的零样本泛化能力、抗扰动鲁棒性及与人类专家相当甚至更优的操作效率。
本文提出了名为 FALCON 的新范式,通过利用空间基础模型从 RGB 图像中提取丰富的 3D 几何先验并注入动作头,有效弥补了现有视觉 - 语言 - 动作模型在空间推理上的不足,从而在仿真和真实世界任务中实现了超越基线的状态-of-the-art 性能。
本文提出了名为 SynHLMA 的新框架,利用离散的人机交互表示和语言模型,实现了根据自然语言指令生成可变形关节物体的手部操作序列,并在生成、预测及插值任务中展现出优于现有技术的性能,同时支持机器人模仿学习抓取应用。
本文提出了 GraphKeeper,一种通过知识解耦与保留机制解决图领域增量学习中嵌入偏移和决策边界偏差问题的新方法,在实现 negligible 遗忘的同时显著提升了现有图基础模型在多领域场景下的性能。
该论文提出了一种基于结构化正则化、鲁棒预处理和高效优化的多类校准方法,通过扩展逻辑回归参数化重校准函数,有效解决了复杂模型在有限校准数据下的过拟合问题,从而显著提升了校准性能并提供了开源实现。
本文提出了 LTSV 方法,通过结合上下文微调与时间块聚合技术,在时间序列基础模型上实现了兼具高效性、准确性及时间依赖捕捉能力的数据估值。
本文针对医学图像中多轮推理分割的新任务,构建了大规模数据集 MR-MedSeg 并提出了具备纠错机制的 MediRound 模型,有效解决了传统方法无法支持多轮实体级推理的问题。
本文提出了一种基于时间序列基础模型(TSFM)的上下文学习方法,通过无需微调或训练传统分类模型即可利用振动数据中的频域参考信号来评估伺服冲压机轴承的健康状态,从而展示了其在不同工况下的有效性并推动了向模型即服务(MaaS)或软件即服务(SaaS)模式的智能运维系统发展。
该研究提出了一种基于 Google Gemini 2.0 Flash 大语言模型的聊天机器人,通过 Python 自动化协调 Gmsh 和 GetDP 工具,实现了二维涡流电磁仿真模型的自动生成、求解及后处理,从而显著缩短了仿真建模时间。
本文提出了一种名为自适应多样性缓存(ADC)的免训练、即插即用模块,通过构建类别特定缓存并动态分配容量以增强稀有类别特征,有效缓解了基于视觉语言模型的人机交互检测中的长尾偏差问题。
该论文提出了一种名为“周期性异步”的框架,通过将推理与训练解耦为异步流水线并引入统一三模型架构,在保持严格在线策略正确性的同时,显著提升了大语言模型强化学习的端到端训练吞吐量。
该论文针对视觉 - 语言 - 动作(VLA)模型在未知架构和跨模型场景下缺乏通用对抗攻击的问题,提出了名为 UPA-RFAS 的统一框架,通过结合特征空间优化、鲁棒性增强训练及特定于 VLA 的注意力劫持与语义错位损失,成功生成了能够跨模型、跨任务及跨视角物理转移的通用对抗补丁。
该论文提出了一种基于通信约束先验的通用多智能体强化学习框架,通过解耦丢包与无损消息的影响并将其量化至全局奖励,有效解决了复杂动态环境下多智能体协作通信受限的挑战。
该论文提出了一种名为 ELERAG 的检索增强生成架构,通过整合基于 Wikidata 的实体链接和混合重排序策略,显著提升了意大利语教育领域问答系统的事实准确性,并验证了领域自适应策略在解决通用模型与专业领域数据分布不匹配问题上的有效性。
本文提出了 EMFusion,这是一种基于条件扩散框架的频选电磁场概率预测模型,它通过集成多源上下文信息、采用残差 U-Net 与交叉注意力机制以及基于插补的采样策略,实现了对无线网络中多运营商、多频段电磁场水平的精准预测与可信的不确定性量化。
该论文通过仅使用单轮监督微调对 350M 参数的小语言模型进行优化,使其在工具调用任务上的表现(77.55% 通过率)显著超越 ChatGPT-CoT 等大型模型,证明了针对特定任务微调小模型是实现高效、低成本企业级生成式 AI 部署的有效途径。
该论文提出了名为 SAGE 的强化学习框架,通过引入序列展开机制和技能集成奖励,使大语言模型智能体能够利用技能库实现自我进化,在 AppWorld 基准测试中显著提升了任务完成率并降低了交互成本。
本文提出了 MCGI(流形一致性图索引)方法,通过利用局部内在维度(LID)动态调整搜索策略以解决高维空间中欧氏距离与测地线不匹配的问题,在十亿级磁盘驻留向量搜索中显著提升了吞吐量并降低了查询延迟。
该论文提出了 CRANE 框架,通过基于功能必要性的神经元级干预而非激活幅度启发式方法,更精准地识别出多语言大模型中语言特异但非排他的神经元组件。