Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
本文提出了分层嵌入融合(HEF)方法,通过离线构建可复用的分层向量缓存和在线将检索向量映射为固定数量的伪令牌,在保持仓库级代码生成精度的同时,显著降低了检索增强代码生成的推理延迟。
11016 篇论文
本文提出了分层嵌入融合(HEF)方法,通过离线构建可复用的分层向量缓存和在线将检索向量映射为固定数量的伪令牌,在保持仓库级代码生成精度的同时,显著降低了检索增强代码生成的推理延迟。
本文提出了一种名为 FuzzingRL 的强化模糊测试方法,通过结合视觉与语言模糊变换及对抗性强化微调,自动生成旨在诱导视觉语言模型(VLM)产生错误回答的多样化问题,从而有效揭示并降低目标模型的性能。
SWAN(可切换激活网络)通过为每个神经单元引入一种确定性且依赖输入的二值门控机制,使网络能够自适应地学习激活模式,从而在保持精度的同时显著降低计算成本,并统一了稀疏性、剪枝与自适应推理的优势。
该论文提出了基于 Khatri-Rao 积的聚类新范式,通过假设质心由多个简洁的“原型质心”交互生成,分别构建了 Khatri-Rao k-Means 算法与深度聚类框架,从而在保持数据摘要准确性的同时显著提升了其简洁性。
该论文揭示了数据重复性具有尺度依赖性,即随着模型能力提升,语义重复文档的梯度对齐度增加且语义碰撞加剧,导致大模型在有限独特语料上训练时出现性能退化并偏离预期扩展规律,进而提出了相应的扩展定律以修正预测。
该论文提出了一种基于输出锚点概率的归一化置信度评分框架,用于在无需外部验证的情况下检测大语言模型的错误与幻觉,并通过理论分析与实验证实了监督微调能提升置信度校准性而强化学习易导致过度自信,进而提出后强化学习微调方案以恢复模型可靠性,最终实现了在自适应检索增强生成中仅用 58% 的检索操作即可恢复 95% 最大精度增益的高效应用。
本文提出了结构感知集合变换器(STAR-Set),通过引入可学习的软注意力偏置(时间局部性惩罚和变量类型亲和力)来恢复电子健康记录中异步多变量时间序列的轨迹与上下文结构,从而在 ICU 预测任务中显著优于现有的网格化及集合基线模型。
该论文提出了一种名为 LegoNet 的压缩技术,通过对模型中跨层类型的权重块进行聚类,在无需重新训练或微调的情况下,成功将 ResNet-50 的内存占用压缩了 64 倍且保持精度无损,甚至实现了 128 倍压缩率且精度损失低于 3%。
该论文通过构建一系列逐步增加复杂度的多智能体干扰博弈任务,利用大规模 SUMO 生成数据集系统解耦并评估了 C-V2X 网络中多智能体深度强化学习资源分配面临的关键挑战,发现策略在多样化车辆拓扑下的鲁棒性与泛化能力是主要瓶颈,并开源了代码与基准测试套件以推动该领域的可复现研究。
该论文提出了名为“双桥地图套件(Two-Bridge Map Suite)”的开源基准,旨在通过移除经济机制并聚焦于长距离导航与微操战斗,填补《星际争霸 II》全游戏与微型游戏之间的复杂度空白,从而为在有限算力下进行强化学习研究提供可访问的中间环境。
该论文提出了一种结合条件随机化检验(CRT)与表格基础模型 TabPFN 的实用方法,能够在无需重新训练模型或依赖参数假设的情况下,为非线性及存在相关性的表格数据提供有限样本有效的特征级假设检验 p 值。
该论文提出了名为 CapTrack 的以能力为核心的评估框架,通过重新定义遗忘为导致行为退化的系统性漂移,对大语言模型后训练过程中的遗忘现象进行了大规模实证研究,发现遗忘不仅限于参数知识,还显著影响鲁棒性和默认行为,且不同后训练算法和模型家族的表现存在显著差异。
该论文提出了一种名为 DeepScope 的深度学习系统,通过分析未培养水样的显微图像,在无需 24-72 小时病原体培养的情况下,以每测试 0.44 美元的成本和超过 98% 的时间缩减,实现了秒级的高精度(93% 准确率)水质安全检测。
该论文指出,在缺乏外部验证的领域,通过增加推理计算量(如多数投票或集成策略)无法提升大语言模型的真实性,因为模型间的错误高度相关且自我置信度不可靠,导致聚合结果往往只是强化了共同的误解而非验证真理。
本文提出了一种名为 OptiRoulette 的随机元优化器,它通过在训练过程中动态选择更新规则,在多个图像分类基准测试中显著提升了收敛速度和最终准确率,并实现了比单一 AdamW 基线更可靠的训练目标达成率。
本文通过提出一种基于两个简单线性方程的统一表示来整合扩散模型与流匹配,并理论分析指出这些现有模型中噪声数据与预测目标之间的相关性有时较弱,从而可能影响关键的预测或学习过程。
该论文提出了一种名为“退火协同生成”(ACG)的框架,通过将高维联合建模解耦为低维成对建模,并利用三阶段退火过程耦合共享变量,从而在无需额外训练的情况下实现了高效且一致的多元科学数据协同生成。
本文提出了 RACER 方法,通过将大语言模型路由问题建模为-VOR 问题并利用有限样本浓度界限进行校准,实现了在无需分布假设的情况下对误路由风险的控制,从而在降低成本的同時显著提升了下游任务的准确性。
本文提出了名为 Evo 的新型大语言模型,该模型通过构建连续潜变量轨迹,将自回归与扩散生成范式统一为自适应平衡的语义演化框架,在保持高效推理速度的同时,于多项基准测试中实现了卓越的语言理解、推理及代码生成性能。
该论文提出了一种拓扑感知框架,通过结合领域基础模型、拓扑感知图分词器及知识蒸馏策略,有效解决了多路生物网络中结构序列信息整合困难及未见实体零-shot 交互预测的挑战,并显著提升了预测性能。