Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
该论文揭示了在深度线性对角网络中,Sharpness-Aware Minimization (SAM) 会因深度增加而产生显著的隐式偏差,特别是-SAM 会表现出“顺序特征放大”现象,即模型在训练初期依赖次要特征并逐渐转向主要特征,从而证明了仅依靠无限时间隐式偏差分析不足以全面理解 SAM 的有限时间动态。
4988 篇论文
该论文揭示了在深度线性对角网络中,Sharpness-Aware Minimization (SAM) 会因深度增加而产生显著的隐式偏差,特别是-SAM 会表现出“顺序特征放大”现象,即模型在训练初期依赖次要特征并逐渐转向主要特征,从而证明了仅依靠无限时间隐式偏差分析不足以全面理解 SAM 的有限时间动态。
该论文针对多模态数学推理中存在的图表误读、符号对齐困难及推理不一致等挑战,通过系统回答“提取什么、如何对齐、怎样推理、如何评估”四个核心问题,提出了感知 - 对齐 - 推理的统一范式,并梳理了该领域的研究现状、开放挑战与未来方向。
该论文提出了一种基于图指令神经网络(GINN)的新方法,旨在克服传统降阶技术在处理具有变化边界条件的参数化偏微分方程时的局限性,从而实现复杂物理现象的高效、实时模拟。
该论文提出了一种检索增强方法,通过利用 3D 视觉 - 语言编码器从放射学报告中检索相关临床案例并提取其解剖结构作为代理,将其注入文本条件的潜在扩散模型中,从而在保持语义灵活性的同时显著提升了文本生成 CT 图像的空间可控性与解剖一致性。
该论文提出了一种概念引导的微调框架,通过利用大语言模型和视觉语言模型自动生成空间定位的概念掩码,引导视觉 Transformer 关注语义特征并抑制虚假背景相关性,从而在无需人工标注的情况下显著提升了模型在分布外场景下的鲁棒性。
本文通过大规模人机对比研究,利用最小可识别裁剪(MIRCs)和 Epic ReduAct 数据集,揭示了人类在 egocentric 动作识别中依赖关键语义线索(如手 - 物交互)且对空间缩减敏感,而 AI 模型则更依赖上下文及中低级特征、对时空扰动表现出不同鲁棒性的根本差异。
本文提出了 CORE-Acu 框架,通过结合结构化思维链、中医知识图谱安全验证机制及术语重加权损失函数,构建了一个兼具可解释推理与零安全违规保障的针灸临床决策支持系统。
该论文通过一项人机协作案例,展示了由大语言模型、符号计算工具与人类策略共同构成的神经符号系统,成功在组合设计理论中发现了拉丁方阵不平衡性的紧下界并经由 Lean 4 形式化验证,证明了此类系统能在纯数学领域产生真正的发现。
本文提出了一种名为 EndoSERV 的新型视觉内窥镜机器人导航系统,该系统通过结合“段对结构”与“实对虚”映射技术,利用离线预训练和在线适应机制,有效解决了在组织变形、伪影及缺乏地标等挑战下内窥镜机器人的长程复杂路径定位难题,且无需真实位姿标签即可实现高精度导航。
本文提出了 SPD-RAG,一种通过为每份文档分配专用代理进行聚焦检索、再由协调器聚合合成答案的分层多智能体框架,在长文档问答任务中显著提升了答案质量并大幅降低了 API 成本。
本文提出了一种名为 DS-DGA-GCN 的新型自适应图学习模型,通过整合网络特征评分系统与动态图注意力机制,有效解决了冷启动场景下复杂网络中虚假评论团伙的检测难题,并在真实数据集上取得了显著优于现有方法的检测精度。
该论文提出了一种结合 Koopman 算子(通过 EDMD 近似)与波变换特征及 Transformer 架构的心电图分类方法,研究发现虽然简单的特征混合未带来提升,但通过优化径向基函数字典构建的 Koopman 特征在四分类任务中表现优于波变换基线及混合系统,有效展示了将动力系统理论融入时间序列分类的潜力。
本文提出了一种针对时间序列分类问题的新型反事实解释生成方法,通过在输入空间进行梯度优化并结合软动态时间规整(soft-DTW)与k近邻约束,有效生成了兼具有效性、稀疏性、邻近性以及符合真实时间分布结构的高可信度反事实样本。
本文综述了利用自监督及视觉 grounded 计算模型研究早期语言习得的最新进展,展示了这些模型如何在缺乏强语言先验的情况下从语音和视听输入中学习,并揭示了其学习原理与多种语言习得理论及人类认知的高度兼容性。
该论文提出了 M³-ACE 框架,通过多智能体上下文工程解耦感知与推理,利用协同观察和轻量级工具修正视觉感知错误,从而在多模态数学推理任务中显著提升了性能并刷新了多项基准测试的纪录。
本文提出了一种名为 HECG 的层级纠错图框架,通过多維可迁移策略(MDTS)、结构化错误矩阵分类(EMC)和因果上下文图检索(CCGR)三大核心创新,实现了大语言模型驱动的智能体在复杂多步任务中更精准的策略选择、更精细的错误归因分析以及更可靠的上下文自适应执行。
该论文揭示了大语言模型具有类似变色龙的内在行为可塑性,并提出了一种名为 Token-Conditioned Reinforcement Learning (ToCoRL) 的框架,通过利用基于 Token 前缀的条件生成与强化学习,将推理时的行为适应转化为稳定的可学习模式,从而在不损害模型能力的情况下实现精确的行为控制(例如让擅长推理的模型也能高效回答事实性问题)。
该论文针对离线多智能体强化学习中非线性价值分解导致的训练不稳定问题,提出了一种保持贝尔曼不动点的尺度不变价值归一化(SVN)方法,并结合对关键组件交互的分析,总结出一套能够充分释放离线多智能体强化学习潜力的实用方案。
该论文通过三项实验揭示了人类和 AI 反馈中普遍存在的“选择盲视”现象,表明 RLHF 所依赖的偏好信号极易受上下文操控且难以被检测,从而导致奖励模型失效及下游策略退化。
本文提出了几何约束异常值合成(GCOS)框架,通过在特征空间中生成符合流形结构的虚拟异常值并结合对比正则化,显著提升了深度神经网络在近分布异常检测任务中的鲁棒性,并支持向具有统计误差保证的共形异常检测扩展。