Dissecting Chronos: Sparse Autoencoders Reveal Causal Feature Hierarchies in Time Series Foundation Models
该研究首次将稀疏自编码器应用于时间序列基础模型 Chronos-T5,通过因果特征消融实验揭示了其内部存在从低频特征到关键突变检测的层级结构,并发现模型预测性能的核心驱动力并非最终层的语义丰富表征,而是中间层中负责检测突变动态的因果特征。
1071 篇论文
该研究首次将稀疏自编码器应用于时间序列基础模型 Chronos-T5,通过因果特征消融实验揭示了其内部存在从低频特征到关键突变检测的层级结构,并发现模型预测性能的核心驱动力并非最终层的语义丰富表征,而是中间层中负责检测突变动态的因果特征。
CLIPO 通过将对比学习机制引入策略优化,解决了传统 RLVR 仅依赖最终答案而忽视中间步骤正确性所导致的幻觉与泛化问题,从而显著提升了大语言模型在推理任务中的鲁棒性与泛化能力。
该论文提出“中间迷失”现象是因果解码器在初始化阶段即存在的固有几何属性,源于残差连接与因果掩码共同作用导致的梯度影响分布,表现为首尾信息优势与中间区域的结构化训练敌对,且这一偏差在未经训练的模型中已显现并随标准预训练持续存在。
该论文指出当前文本嵌入存在“预测 - 测量”鸿沟,主张基于科学可用性目标(如几何可解释性与抗干扰性)重新设计语义表示,并提出了以几何优先设计、可逆变换及测量导向评估为核心的研究议程,以弥合预测性能与科学测量需求之间的差距。
本文首次将形式语言理论中生成与识别的不对称性统一为一个包含计算复杂度、歧义性、方向性、信息可用性、语法推断和时间性六个维度的多维现象,并指出这种不对称性源于识别始终受限于给定输入而生成未必受限,进而探讨了其在自然语言处理及大语言模型中的意义。
该论文提出了一种融合显式推理与忠实性验证的领域特定检索增强生成(RAG)框架,通过引入神经查询重写、基于 BGE 的交叉编码器重排序及八类验证分类法,在生物医学问答任务中显著提升了事实准确性、可解释性及对检索错误的诊断能力。
该论文指出语言模型输出层因维度不匹配导致的“softmax 瓶颈”不仅是表达能力的限制,更是一个严重的优化瓶颈,其会抑制 95-99% 的梯度范数并扭曲训练反馈,从而阻碍模型学习简单模式并降低大规模训练效率,因此亟需设计新的语言模型头部结构。
该论文针对现有混合 LoRA 模型中路由权重严重失衡导致有效 LoRA 数量受限的问题,提出了一种名为 ReMix 的新方法,通过引入不可学习的路由权重确保各 LoRA 平等激活,并利用基于 RLOO 技术的强化学习策略进行无偏梯度估计,从而在参数量相当的情况下显著提升了微调性能。
OpenClaw-RL 是一个创新的强化学习框架,它利用用户回复、工具输出等通用的“下一状态”信号,通过 PRM 评估和基于后见之明的在线蒸馏(OPD)技术,将对话、终端、GUI 及工具调用等多样化交互统一转化为在线训练数据,使智能体能够在异步运行中仅凭实际使用即可持续自我进化。
该论文提出了一种校准 - 推理框架,通过校准阶段对齐感知维度并结合基于组相对策略优化(GRPO)的强化学习阶段,显著提升了音频大语言模型在多维语音质量描述、缺陷定位及平均意见分(MOS)预测方面的性能,在 QualiSpeech 基准上取得了最先进的成果。
该论文提出了基于执行视频的任务奖励建模方法,通过构建 ExeVR-53k 数据集、引入对抗指令翻译生成负样本以及设计时空 Token 剪枝机制,训练出 ExeVRM 模型,使其能够仅凭用户指令和执行视频序列准确评估计算机使用代理的任务完成情况,并在多项指标上超越了 GPT-5.2 和 Gemini-3 Pro 等强基线模型。
该论文提出了一种名为自适应激活消除(AAC)的推理时框架,通过借鉴自适应噪声消除技术识别并抑制大语言模型中的幻觉神经激活,在无需微调或外部知识的情况下,于所有测试模型规模上显著提升了事实准确性,同时实现了零能力退化。
本文介绍了首个涵盖越南全国 63 个省份、由母语者人工标注的方言到标准语平行语料库 ViDia2Std,并通过实验验证了该资源在提升越南语 NLP 系统方言处理能力方面的有效性。
该报告介绍了专注于巴西葡萄牙语的新一代模型 Sabi'a-4 和 Sabiazinho-4,它们通过包含法律语料持续预训练、128K 长上下文扩展及多任务微调的四阶段训练流程,在法律文档撰写、多轮对话及智能体任务等方面展现出优异表现,并实现了成本与性能的最佳平衡。
本文提出了 S-GRADES 基准,这是一个整合了 14 个多样化评分数据集的开源 Web 平台,旨在通过统一接口和标准化评估协议弥合自动作文评分与自动简答题评分之间的隔阂,并揭示了当前大语言模型在跨任务泛化与可靠性方面的差距。
该论文提出了名为 GR-SAP 的统一框架,通过利用大语言模型合成特定领域的对齐数据并在下游微调中将其融入,从而在无需访问原始对齐数据的情况下有效防止安全对齐的退化,同时保持下游任务性能。
该论文针对现有研究想法新颖性评估缺乏标准化基准的问题,提出了首个大规模综合基准 RINoBench,并通过该基准评估发现,尽管大语言模型生成的推理过程与人类高度一致,但其新颖性判断结果仍与人类金标准存在显著偏差。
该研究表明,大型语言模型(LLM)在利用社交媒体文本监测阿片类药物危机时,能够有效消除俚语歧义,其识别相关内容的性能显著优于传统的基于词典的方法。
本文提出了名为 DIBJudge 的鲁棒微调框架,通过变分信息压缩和交叉协方差惩罚将判断关键表示与翻译偏差因素解耦,从而有效缓解多语言大模型评估中存在的系统性“翻译腔”偏差。
该论文提出了一种动态知识融合框架,通过对比学习编码对话历史与候选槽位,并利用结构化槽位信息作为上下文提示,有效解决了多领域对话状态追踪中历史建模困难和标注数据稀缺的问题,显著提升了追踪准确率与泛化能力。