DualSpec: Accelerating Deep Research Agents via Dual-Process Action Speculation
该论文针对大语言模型深度研究代理推理延迟高的问题,提出了一种基于搜索与访问动作异质性特征的“双过程”推测框架 DualSpec,通过引入轻量级语义验证器实现了高达 3.28 倍的端到端加速,同时保持了与完全推理代理相当的准确率。
10281 篇论文
该论文针对大语言模型深度研究代理推理延迟高的问题,提出了一种基于搜索与访问动作异质性特征的“双过程”推测框架 DualSpec,通过引入轻量级语义验证器实现了高达 3.28 倍的端到端加速,同时保持了与完全推理代理相当的准确率。
本文提出了名为 OrthoFormer 的因果驱动架构,通过将工具变量估计嵌入 Transformer 隐藏状态并利用神经控制函数,有效解决了传统模型因混淆静态背景与动态因果流而导致的分布外泛化失败问题,实现了从相关性学习到因果推断的范式转变。
本文针对移动智能体在线强化学习中的泛化难题,提出了包含三种挑战模式的基准测试"AndroidWorld-Generalization"及一套集成 GRPO 算法的开源训练系统,实验表明该方法虽能显著提升模型在未见任务实例上的零样本泛化能力,但在未见模板和应用上的泛化效果仍有限,并初步验证了测试时少样本适应的潜力。
本文提出了 Data Agent,一种将数据选择建模为训练感知序贯决策问题的端到端动态优化框架,它通过自适应平衡损失难度与置信度不确定性的复合奖励机制,在无需人工设计指标的情况下实现了跨任务、跨架构的训练加速与性能保持。
本文针对部分可观测的高维线性二次高斯控制问题,提出了一种通过预测累积代价来学习潜在状态表示的成本驱动方法,并建立了在无限时域下获得近优表示函数与控制器的有限样本保证,其核心贡献在于证明了由二次回归分析产生的新随机过程的持续激励性。
该论文提出了名为 PACT 的微调框架,通过在微调过程中仅约束与安全相关 token 的置信度以匹配参考模型,从而在避免全局限制导致效用下降的同时,有效防止大语言模型在仅使用良性数据微调时出现的安全对齐漂移。
该论文提出了一种利用离散化词汇和自适应高斯平滑的 Tokenizer 方法,成功使 Transformer 在表格数据预测任务中不仅超越了调优后的 XGBoost,还实现了概率分布的校准。
本文提出了 Dial,一种基于知识的地域特定 NL2SQL 系统,通过引入方言感知逻辑查询规划、分层意图知识基以及执行驱动的调试验证循环,有效解决了现有方法在处理异构数据库方言时语义正确性与可执行性不足的问题,并在新构建的 DS-NL2SQL 基准测试中显著提升了翻译准确率与方言特性覆盖率。
本文提出了 SLNet,一种基于非参数自适应点嵌入(NAPE)和几何调制单元(GMU)的超轻量级 3D 点云识别网络,在显著降低参数量和计算成本的同时,在 ModelNet40、ScanObjectNN 及 S3DIS 等多个基准测试中实现了与现有主流模型相媲美甚至更优的性能。
本文提出了双流 Transformer 架构,通过将残差流解耦为分别由注意力机制和前馈网络更新的双流结构,并引入可调节的混合策略,在仅造成极小性能损失(推荐策略为 2.5%)的同时显著提升了语言模型的内部可解释性。
本文提出了 AFTUNE 框架,通过轻量级记录与抽查机制生成可验证的执行轨迹,从而在不过度增加计算开销的前提下,解决了云环境中大模型微调与推理过程因规模过大而难以审计的信任缺失问题。
这篇专著全面概述了基于Stein方法的概率推断与学习的理论与方法,详细阐述了Stein算子与Stein集的构建、Stein差异的性质及其与Stein变分梯度下降的联系,并提供了严谨的定义、结果及证明参考。
该论文提出了一种通过自监督训练更新低秩适配器来微调冻结骨干网络的轻量级框架,仅需更新不到 1% 的参数即可在动态声学场景中实现高效的语音增强模型自适应,显著提升了模型在复杂噪声环境下的鲁棒性与感知质量。
该研究提出了一种基于条件扩散变换器的框架,利用 Hi-C 接触图谱引导生成具有高度构象多样性的*大肠杆菌*三维基因组结构集合,从而解决了传统方法仅能产生单一确定性结构的局限性。
该论文提出了通过架构流独立性(即保持符号结构与上下文语义在独立流中处理直至输出融合)来“按设计实现可解释性”的新范式,并通过晚融合架构(LFA)验证了该方法能有效防止信息过早纠缠、提升模型稳定性,从而将可解释性确立为一种可通过结构约束强制实现的架构设计准则。
本文针对双基无线传感中时钟异步导致的相位偏移问题,提出了一种利用信道响应幅度从失真的跨天线信道比率中恢复理想信道特征的鲁棒框架,从而在 Wi-Fi 和 LoRa 实验中实现了亚波长级的高精度位移感知。
本文提出了一种增强的随机子空间局部投影(RSLP)框架,通过引入加权子空间聚合、类别感知采样、自适应子空间尺寸选择及针对依赖数据的自助法推断程序,有效解决了高维时间序列中预测变量多于观测值导致的过拟合与估计不稳定问题,显著提升了长预测 horizon 下的估计精度与推断可靠性。
本文提出了首个尺寸无关的 BoT 框架,通过将模型权重视为连续信号并利用离散小波变换(DWT)将双向模型缩放统一为信号处理中的上采样与下采样操作,从而在显著降低预训练计算成本的同时实现了 DeiT、BERT 和 GPT 等模型在 GLUE 和 SQuAD 等基准测试上的最先进性能。
本文提出了名为 OCLADS 的新型通信框架,通过结合设备端智能样本选择与边缘端分布偏移检测机制,实现了在数据分布动态变化的物联网环境中高效且低更新频率的在线持续异常检测。
本文通过利用 Tweedie 公式,精确揭示了漂移模型(Drifting)与基于分数的扩散模型之间的内在联系,证明了高斯核漂移等价于在平滑分布上进行分数匹配,并进一步推导了通用径向核的分解形式及拉普拉斯核在低温和高维情形下的误差界,从而为理解漂移模型与分布匹配蒸馏(DMD)提供了统一的理论视角。