How to make the most of your masked language model for protein engineering
该论文提出了一种利用随机束搜索对蛋白质掩码语言模型进行高效采样的灵活方法,并通过体外抗体工程实验证明,采样策略的选择对优化结果的影响至少与模型本身相当。
4541 篇论文
该论文提出了一种利用随机束搜索对蛋白质掩码语言模型进行高效采样的灵活方法,并通过体外抗体工程实验证明,采样策略的选择对优化结果的影响至少与模型本身相当。
该论文提出了一种数据驱动的积分核框架,通过将非局部信息聚合与局部非线性预测解耦,在显著减少参数量的同时实现了可解释的非局部算子学习,并在南亚季风降水预测中验证了其有效性。
NasoVoce 是一种安装在眼镜鼻托处的新型语音交互界面,它通过融合麦克风与振动传感器的互补信号,在嘈杂环境中实现了对低音量及耳语的高鲁棒性、隐蔽且持续的语音识别。
本文针对联邦主动学习在极端非独立同分布和全局类别不平衡场景下的性能退化问题,提出了一种名为 FairFAL 的自适应框架,通过轻量级预测差异自适应选择查询模型、利用全局特征进行原型引导的伪标签生成以及两阶段不确定性 - 多样性平衡采样策略,显著提升了长尾和非独立同分布设置下的最终性能。
本文针对非平稳线性 Bandit 中的固定预算最佳臂识别问题,通过建立适用于任意臂集的依赖臂集复杂度的下界,并提出了匹配该下界的 Adjacent-BAI 算法,从而揭示了该设定下比传统 G-最优设计更精细的复杂度特征。
本文提出了名为 HEAL 的无强化学习框架,通过结合引导熵辅助修复、困惑度 - 不确定性比率估计及渐进式答案引导课程演化三大核心模块,有效突破了传统知识蒸馏中教师模型能力上限的制约,显著提升了小型模型从大型推理模型中学习复杂推理能力的水准。
该论文提出了因果概念图(CCG)框架,通过结合任务条件稀疏自编码器与可微结构学习,在语言模型潜在空间中构建概念间的因果依赖关系,从而显著提升了多步推理任务中干预操作的有效性与可解释性。
该论文通过实验发现混合专家(MoE)模型中专家层与注意力层的计算分配比例遵循幂律关系,并据此提出了扩展的 Chinchilla 缩放定律,为在固定计算预算下优化 MoE 模型设计提供了明确的理论公式与实践指南。
该论文提出了一种基于损失方差感知的自适应加权策略,通过动态调整不同噪声水平下的训练权重,有效解决了扩散模型训练中的不平衡问题,从而在 CIFAR 数据集上实现了更优的生成性能与更稳定的训练过程。
本文提出了 Graph-GRPO,一种针对图流模型(GFM)的在线强化学习框架,其通过推导转移概率的解析表达式以支持完全可微的 RL 训练,并引入局部扰动重生成策略以实现自我改进,从而在分子优化等任务中显著提升了生成质量并取得了最先进性能。
该论文通过理论分析与实验验证,揭示了标签噪声 SGD 在两层过参数化线性网络中通过驱动模型从“懒惰”区域向“丰富”区域转变并增强权重与真实插值器的对齐,从而解释了其提升泛化能力的内在机制,并将该发现推广至锐度感知最小化(SAM)等更广泛的优化算法。
该论文针对服务系统配置优化中 LLM 自动评分存在偏差而人工审核成本高昂的问题,提出了一种名为 PP-LUCB 的序贯决策算法,通过结合代理分数与逆倾向加权残差估计,在显著降低人工审计成本的同时,以高置信度准确识别出最优服务配置。
本文提出了首个专门针对时空时间序列预测的数据集蒸馏方法 STemDist,通过平衡压缩时空维度并结合粗粒度聚类与细粒度子集蒸馏技术,在显著降低训练时间和内存消耗的同时,实现了比现有方法更低的预测误差。
该论文提出了一种结合退化阶段同步采样(DSSBS)与跨域对齐融合大自编码器(CAFLAE)的领域自适应框架,通过解决退化阶段失配和长程时序依赖捕捉难题,显著提升了变工况下健康指标的学习性能。
本文提出了一种名为加权改进贪婪采样(WiGS)的新方法,通过强化学习动态调整探索与利用的平衡,从而在回归主动学习中克服了传统静态乘积规则的局限性,显著提升了在数据分布不规则场景下的采样效率与预测精度。
本文提出了一种名为广义高斯混合过程(GGMP)的新方法,通过结合局部高斯混合拟合、跨输入分量对齐及分量异方差高斯过程训练,在保持计算可行性的同时实现了针对多模态、异方差及强非高斯数据的条件密度估计。
该论文指出大语言模型低比特训练中的数值不稳定性主要由秩一均值偏差驱动,并提出通过简单的均值减法消除该偏差,从而在无需复杂 SVD 分解的情况下显著提升了 FP4 量化训练的稳定性与性能。
该论文提出了一种基于代理的无提示实例遗忘方法,利用图像编辑、时间步感知加权和梯度手术技术,使扩散模型能够精准遗忘无法通过文本提示指定的特定实例(如人脸或文化误读),同时保持模型其余功能的完整性。
该论文提出了一种名为“布伦尼尔等距回归”的新型多输出回归方法,它利用最优传输理论将循环单调性约束转化为凸势函数优化问题,从而在概率校准等任务中展现出优于现有基线的性能。
该研究提出了一种多分辨率 ConvLSTM 集成框架,通过融合不同时间尺度的输入数据,有效缓解了误差累积问题,显著提升了基坑开挖过程中挡土墙变形的长时序预测精度与稳定性。