In-Run Data Shapley for Adam Optimizer
该论文针对现有“运行中”数据 Shapley 方法因依赖 SGD 线性假设而无法适配 Adam 优化器的局限,提出了一种名为"Adam-Aware In-Run Data Shapley"的新方法,通过引入固定状态假设下的效用重定义及线性化幽灵近似技术,在保持接近标准训练吞吐量的同时,实现了对 Adam 优化器下数据贡献的高保真度(相关系数>0.99)且可扩展的精准评估。
6745 篇论文
该论文针对现有“运行中”数据 Shapley 方法因依赖 SGD 线性假设而无法适配 Adam 优化器的局限,提出了一种名为"Adam-Aware In-Run Data Shapley"的新方法,通过引入固定状态假设下的效用重定义及线性化幽灵近似技术,在保持接近标准训练吞吐量的同时,实现了对 Adam 优化器下数据贡献的高保真度(相关系数>0.99)且可扩展的精准评估。
该研究表明,在句子级人类价值观检测任务中,施瓦茨高阶价值观结构更适合作为归纳偏置而非刚性路由规则,且通过阈值调整和集成等校准方法比层级门控或独立使用紧凑大语言模型能带来更显著的性能提升。
本文提出了名为 LatentMem 的可学习多智能体记忆框架,通过引入经验库、记忆合成器及 Latent Memory 策略优化(LMPO)技术,有效解决了现有系统中记忆同质化与信息过载问题,实现了无需修改底层框架即可显著提升多智能体系统性能的定制化记忆机制。
该论文提出了受人类学习过程启发的 T2T(由厚变薄)动态奖励框架,通过在不正确尝试时鼓励“增厚”以扩展搜索空间、在正确后转为“变薄”以抑制冗余,有效解决了强化学习中的熵崩溃与过度冗长问题,显著提升了大语言模型在数学推理任务上的性能。
该论文提出了一种无需修改模型权重或控制训练/部署基础设施的新型推理时后门攻击,通过利用大语言模型中处于用户输入与模型处理之间特权位置的恶意聊天模板,成功在多种模型和推理引擎中实现了隐蔽且高效的攻击。
本文提出了将斜向决策树分裂重构为非线性最小二乘问题的“铰链回归树”(HRT)方法,该方法通过等效于阻尼牛顿法的交替拟合过程实现快速稳定收敛,并证明了其作为通用逼近器的理论性质以及在基准测试中优于传统单树基线的性能。
该论文提出了一种名为径向 Müntz-Szász 网络(RMN)的新型神经网络架构,通过引入可学习的径向幂次基函数和极限稳定的对数原函数,有效解决了现有坐标可分离架构难以建模径向奇异场的问题,并在多项基准测试中以极少的参数量实现了远超传统 MLP 和 SIREN 的精度。
本文提出了 SDFed 框架,通过允许客户端学习可变长度本地提示并引入子空间细化与散度控制策略,有效解决了联邦提示学习中因数据与资源异构导致的本地 - 全局知识冲突问题,从而在隐私敏感的多方场景中实现了更优的模型性能与鲁棒性。
该论文揭示了混合检索增强生成(RAG)系统中向量检索与知识图谱扩展结合所引发的“检索枢轴攻击”新风险,即通过自然共享实体导致跨租户数据泄露,并证明仅在图谱扩展边界实施授权检查即可有效消除泄露且开销极小。
该论文提出了一种统一的扩散引导预训练框架,通过利用扩散模型指导结构感知的掩码与丢弃策略以及拓扑感知的全局重建,有效解决了现有脑图基础模型在预训练中破坏语义连接模式及缺乏全局结构信息的局限,并在大规模神经影像数据上验证了其性能优势。
该研究针对荷兰信息公开文件中页面顺序混乱的问题,通过对比多种排序模型发现,尽管特定方法在短文档上表现优异,但序列到序列模型在长文档上存在严重泛化失效,而通过模型专业化策略可显著提升长文档的排序性能。
该论文提出了一种无需依赖被试作答数据的语义主题建模框架,通过利用项目文本的语义结构自动发现潜在因子并精简量表,在显著缩短量表长度(平均减少 60.5%)的同时有效保持了原有的心理测量学属性。
TrasMuon 通过结合全局均方根校准与基于能量的信任区域截断,在保留 Muon 优化器近等距几何特性的同时有效稳定了更新幅度,从而在无需预热阶段的情况下实现了比基线更快的收敛速度和更强的鲁棒性。
该论文揭示了 LLM 推荐系统中因基准数据泄露导致的评估可靠性危机,指出数据泄露在领域相关时会虚增性能、在领域无关时则降低精度,从而严重误导对模型真实能力的判断。
本文提出了一种名为均值流策略(MVP)的新型生成策略,通过引入瞬时速度约束(IVC)作为关键边界条件,在确保高表达性的同时实现了单步动作生成,并在多个机器人操作任务中取得了优于现有流基策略的采样速度与成功率。
本文提出了 Pawsterior,一种基于变分流匹配的模拟推理框架,通过引入端点诱导的仿射几何约束和变分参数化,有效解决了传统方法在处理有界物理参数及离散 - 连续混合变量等结构化后验分布时的效率与兼容性问题。
该论文提出基于信息结构的五级可学习性层级,通过区分表达性、可计算性与可学习性,论证了代码生成因具备稠密可验证反馈而比强化学习更易扩展,并指出机器学习进展的上限取决于任务本身的可学习性而非单纯依赖模型规模。
本文提出了 LongAudio-RAG 框架,通过将多小时长音频转换为结构化事件记录并利用 SQL 数据库进行检索,使大语言模型能够基于精确的时间定位证据回答自然语言问题,从而在混合边缘 - 云架构下有效解决了长音频问答中的上下文限制与幻觉问题。
本文提出了直接科尔 - 波拉赫预测编码(DKP-PC)算法,通过引入从输出层到所有隐藏层的可学习直接反馈连接,解决了传统预测编码中误差信号传播延迟和指数级衰减的问题,将误差传播的时间复杂度从降低至,同时保持了更新的局部性并提升了性能与效率。
本文针对多源共享表示学习问题,提出通过源筛选策略从看似同质的高质量数据集中识别并仅利用“信息子群体”,从而在丢弃部分数据的情况下仍能实现统计最优的线性子空间估计。