SpecFuse: Ensembling Large Language Models via Next-Segment Prediction
本文提出了 SpecEM,一种无需训练、即插即用的大语言模型集成框架,它通过受推测解码启发的分段协作机制以及基于在线反馈的乘性权重更新策略,动态调整模型贡献以克服现有集成方法的延迟与权重分配僵化问题,从而在多个基准测试中显著提升了性能。
5016 篇论文
本文提出了 SpecEM,一种无需训练、即插即用的大语言模型集成框架,它通过受推测解码启发的分段协作机制以及基于在线反馈的乘性权重更新策略,动态调整模型贡献以克服现有集成方法的延迟与权重分配僵化问题,从而在多个基准测试中显著提升了性能。
这篇综述系统梳理了大型多模态语言模型在文献检索、研究构思与实验、内容生成、多模态创作及科学评估等五大关键环节中的应用,深入探讨了相关数据集、方法、评估策略、局限性及伦理风险,旨在为“人工智能驱动科学”(AI4Science)领域的新进者提供指南并推动未来系统的整合与发展。
该论文提出了一种通过回译构建平行语料库来微调大语言模型的方法,使其能够生成高质量的英西代码切换文本,并发现基于大模型的评估指标比传统指标更能准确反映人类对生成质量的偏好。
该论文提出了“生成式预测控制”框架,通过利用采样式预测控制与生成建模之间的紧密联系,解决了现有生成式控制策略依赖专家演示且难以应对快速动态任务的局限,实现了基于模拟数据训练、支持高频反馈且具备时间一致性的流匹配策略。
本文提出了 FragFM,一种基于片段级离散流匹配的层次化分子生成框架,通过结合粗粒度到细粒度的自编码器与随机片段包策略,实现了高效、可扩展且具备优异属性控制能力的分子生成,并引入了针对天然产物生成的 NPGen 基准以验证其在药物发现中的优越性能。
该论文针对复合 AI 系统因组件间不可微交互及系统级偏好难以转化为组件级偏好而导致的对齐难题,提出了一种基于有向无环图建模并扩展直接偏好优化(DPO)的系统级对齐框架 SysDPO,有效实现了多组件系统的联合偏好对齐。
本文研究了在 NISQ 时代下,针对电路切割或量子态隐形传态等分布式执行方式的对抗性扰动,揭示了此类扰动与在量子分类器中间层实施对抗门之间的内在联系,并从理论和实验角度分析了分区量子分类器的对抗鲁棒性。
本文综述了从单模态、跨模态到多模态视角的音乐生成研究,系统梳理了模态表示、数据对齐及引导机制,探讨了当前数据集与评估方法,并指出了多模态融合、数据规模及评估体系等挑战与未来发展方向。
本文提出了 FindAnything 框架,通过基于 eSAM 分割的物体级特征聚合,将视觉语言信息高效融入致密体素子地图,从而在显著降低计算与存储开销的同时,实现了适用于大型未知环境及资源受限设备(如微型飞行器)的实时开放词汇与物体中心建图。
该论文通过构建三种具有不同预训练策略的模型进行受控研究,揭示了在时间序列预测中,小数据集上的 Tokenizer 过拟合会掩盖大语言模型(LLM)的真实潜力,而即便采用大规模预训练消除偏差,LLM 骨干网络的性能仍有限,且未能一致超越专为大规模时间序列数据训练的专用模型。
这篇立场论文指出,将大语言模型生成的中间令牌(Intermediate Tokens)拟人化为“推理痕迹”或“思考过程”不仅是一种危险的隐喻,还会误导人们对模型本质的理解、阻碍其有效应用并引发有缺陷的研究,因此呼吁学术界停止这种拟人化表述。
该论文采用以幸存者为中心的视角,揭示了由开源换脸模型和大量“去衣”软件构成的“恶意技术生态系统”如何导致当前基于 NIST 报告等标准的 AI 治理框架在应对成人非自愿深度伪造色情内容时存在严重失效与认知缺陷。
本文综述了联邦学习这一去中心化机器学习范式,系统阐述了其架构、生命周期、应对数据异构与隐私保护等关键挑战的技术方案,并探讨了个性化联邦学习等新兴趋势、实际应用及未来研究方向。
本文提出了 HCT-QA 基准,这是一个包含真实与合成人类中心表格及海量问答对的大规模数据集,旨在解决现有方法难以处理复杂表格布局及缺乏自然语言查询评估标准的问题,并验证了微调模型在该任务上的显著性能提升。
本文提出了一种名为 FourierSpecNet 的混合框架,通过将傅里叶谱方法与深度学习相结合来高效近似玻尔兹曼方程中的碰撞算子,该方法不仅具备分辨率不变性和零样本超分辨率能力,还证明了在离散化细化时收敛于谱解,从而在保持高精度的同时显著降低了弹性与非弹性碰撞场景下的计算成本。
该论文提出了将奖励建模转化为推理任务的新范式,通过引入自生成评分准则的“准则链”机制及两阶段训练流程,构建了性能超越现有大型模型的推理型奖励模型(ReasRM)。
该论文提出了一种分层分析框架,系统回顾了 178 个代码大模型基准测试,揭示了当前评估在软件开发生命周期中严重偏向实现阶段而忽视需求与设计阶段、且缺乏有效防污染策略的现状,并指出了未来的研究方向。
本文提出了名为 EVA 的新型事件异步特征学习框架,该框架借鉴语言建模中的线性注意力与自监督学习技术,在保持事件相机高时效性优势的同时显著提升了特征表达力与泛化能力,并在识别与检测任务中超越了现有异步方法。
该论文提出了一种名为 K-CAST 的细粒度条件激活导向方法,通过动态调节推理过程中的内部激活,有效缓解了大型语言模型在逻辑推理中因内容合理性而产生的偏差,显著提升了模型的逻辑推理准确率。
本文提出了 AdAEM,一种能够自适应扩展的评估算法,通过动态生成具有区分度的测试问题来克服现有方法信息量不足的局限,从而有效揭示大语言模型间深层的价值差异与动态演变。