Distilling Formal Logic into Neural Spaces: A Kernel Alignment Approach for Signal Temporal Logic
本文提出了一种基于核对齐的蒸馏框架,通过教师 - 学生架构将信号时序逻辑(STL)的符号鲁棒性核几何结构压缩至 Transformer 编码器中,从而在大幅降低计算成本的同时,实现了兼具语义保真度、鲁棒性预测能力及内在可逆性的连续神经表示。
1200 篇论文
本文提出了一种基于核对齐的蒸馏框架,通过教师 - 学生架构将信号时序逻辑(STL)的符号鲁棒性核几何结构压缩至 Transformer 编码器中,从而在大幅降低计算成本的同时,实现了兼具语义保真度、鲁棒性预测能力及内在可逆性的连续神经表示。
该论文针对现有基于 Leiden 聚类的 GraphRAG 在稀疏知识图上社区划分不可复现的问题,提出了一种利用确定性 k-core 分解构建分层社区、结合轻量级启发式策略与 Token 预算感知采样的高效 GraphRAG 框架,在提升全局理解任务答案全面性与多样性的同时显著降低了计算成本。
该论文提出了一种针对推测解码中草稿模型的字表剪枝方法,通过将字表选择建模为在最小覆盖率约束下平衡覆盖率与架构感知延迟的约束优化问题,利用树状贝叶斯优化高效探索帕累托前沿,从而在显著减小字表规模(最高达 97%)的同时提升了特定领域及通用任务的推理吞吐量并降低了延迟。
本文介绍了 VietJobs,这是首个包含 48,092 条覆盖越南全境的大规模公开越南语招聘广告数据集,旨在推动自然语言处理与劳动力市场分析研究,并通过基准测试评估了生成式大语言模型在职位分类和薪资预测任务中的表现。
本文介绍了孟加拉国首个国家级多模态平行语料库“多语言云语料库”,该语料库通过系统性田野调查收集了 42 种少数民族语言(含 14 种濒危语言)的文本、IPA 转写及音频数据,旨在填补这些“零资源”语言的数字空白并推动其数字化保护与低资源自然语言处理研究。
本文提出了 SarcasmMiner,一种基于强化学习的后训练框架,通过双轨蒸馏策略和分组相对策略优化(GRPO)解决多模态讽刺检测中的幻觉问题,在 MUStARD++ 数据集上将 F1 分数从 68.23% 提升至 70.22%。
该论文通过引入表征子空间主角的几何框架,形式化地建立了辩论与基于 AI 反馈的强化学习(RLAIF)之间的联系,并证明了辩论的价值取决于模型间知识分歧的几何结构,揭示了从共享知识到互补知识不同情境下辩论优势从可忽略到关键的相变规律。
本文提出了 WavSLM,一种通过量化和蒸馏自监督 WavLM 表征至单一码本并优化自回归预测目标,从而在无文本监督下实现语义与声学信息统一建模的流式语音语言模型。
本文提出了名为 Med-V1 的三参数十亿小语言模型家族,该模型通过高质量合成数据训练,在零样本生物医学证据归因任务中不仅大幅超越基线模型且性能媲美前沿大模型,同时具备高效、可解释及可扩展的优势,能够有效检测幻觉并识别临床指南中的证据误用。
本文提出了名为 PersianPunc 的大规模波斯语标点恢复数据集,并基于 ParsBERT 模型构建了高效且精准的标点恢复方法,有效克服了大型语言模型在该任务中过度修正和计算成本高的问题。
该论文介绍了为支持民主参与而构建的多语种(西班牙语、加泰罗尼亚语和意大利语)人类标注语料库,其中包含由专家将原始文本改写为易读(E2R)格式的高质量数据,旨在填补自动文本简化领域特别是低资源语言中高质量训练与评估资源的空白。
本文研究了模型融合技术在多领域自动语音识别(ASR)中的应用潜力与局限,通过评估 11 种融合算法并提出了基于奇异值提升的 BoostedTSV-M 新算法,成功在单一模型中实现了优于全量微调的欧洲葡萄牙语领域性能,同时保持了良好的分布外泛化能力。
本文提出了 DiSCTT 框架,通过基于推理轨迹共识的实例级不确定性估计,动态为高共识样本分配监督微调策略、为低共识样本分配一致性正则化的强化学习策略,从而在数学和通用推理任务中实现了比现有基线更高效、稳定且准确的测试时适应。
该论文提出了一种名为 Progressive Residual Warmup (ProRes) 的新方法,通过让深层网络等待浅层网络稳定后再逐步激活其残差连接,从而显著提升了语言模型预训练的稳定性、收敛速度及下游任务性能。
该研究提出了一种结合思维链推理与邻词分析的探索 - 分析 - 消歧框架,证明通过精心设计的推理导向微调,参数量低于 40 亿的低参数大语言模型在词义消歧任务中不仅能超越中等参数基线及 GPT-4-Turbo 等高性能模型,还能在显著降低计算与能耗成本的同时实现卓越的跨域泛化能力。
该论文通过复现思想注入检测范式,揭示大语言模型的自我反思机制由基于提示异常的概率推断和无法识别具体语义内容的直接内部状态访问两种可分离机制组成,这一发现与哲学及心理学中的主流理论相一致。
该论文提出了一种统一的框架,通过引入基于共享字符空间的字节级序贯蒙特卡洛算法,解决了多语言模型集成中因词汇表不匹配和局部归一化导致的采样偏差问题,从而实现了从多种聚合函数定义的 -集成分布中进行一致且高效的采样,并在结构化文本生成任务中显著提升了性能。
本文提出了分布式部分信息谜题(DPIP)及其多模态数据集,旨在研究多主体协作中的共同构建问题,并通过对比大语言模型与基于动态认知逻辑的公理管道,揭示了当前大模型在追踪任务进展和信念状态方面仍面临显著挑战。
本文针对 Blackwell 架构(如 B200)中张量核心与其他功能单元性能扩展不对称的挑战,通过算法与内核流水线协同设计提出了 FlashAttention-4,利用全异步 MMA 操作、软件模拟指数函数及新型内存访问策略,在显著提升推理效率的同时,采用 CuTe-DSL 实现了编译速度与表达能力的双重突破。
该论文提出了 DEBISS 语料库,这是一个包含口语化、个人化及半结构化辩论数据的集合,并提供了语音转写、说话人分离、论点挖掘及辩论者质量评估等丰富的自然语言处理任务标注,以解决现有辩论语料稀缺且难以涵盖多样辩论形式的问题。