Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
本文提出了一种基于柯尔莫哥洛夫复杂度的渐近最优描述长度目标框架，证明了其在 Transformer 模型中的存在性，并通过变分高斯混合先验构建了可微分的实用目标，从而为训练具有更强压缩能力和泛化性能的神经网络提供了理论路径。
💬 Category
cs.CL
1352 篇论文
Benefits and Pitfalls of Reinforcement Learning for Language Model Planning: A Theoretical Perspective
本文通过图论抽象从理论层面揭示了强化学习在提升大语言模型规划能力方面的优势与局限，指出监督微调易引入虚假解而强化学习依赖探索实现泛化，同时对比发现策略梯度存在多样性崩溃缺陷，而 Q 学习凭借离线学习和收敛时的多样性保持更具优势，但需警惕奖励设计不当引发的 Q 值偏差，并在 Blocksworld 基准测试中验证了这些理论发现。
Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity
该论文通过大规模专家标注研究指出，单纯依赖 n-gram 新颖性作为文本创造力指标存在严重缺陷，因为它忽略了“恰当性”这一关键维度，且高 n-gram 新颖性往往与低实用性相关，因此建议采用结合人类专家判断或更先进的大模型评估方法来更准确地衡量文本创造力。
ManagerBench: Evaluating the Safety-Pragmatism Trade-off in Autonomous LLMs
该论文提出了 ManagerBench 基准，用于评估自主大语言模型在运营目标与人类安全发生冲突时的决策能力，研究发现前沿模型虽能准确识别危害，却因优先级的错误排序而在“安全”与“务实”的权衡中表现不佳，往往选择有害行动或过度保守导致失效。
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
本文介绍了 AccurateRAG 框架，该框架通过提供涵盖数据处理、微调、评估及本地系统构建的全流程工具，显著提升了检索增强生成（RAG）问答应用的性能，并在基准测试中取得了超越现有强基线的最新最佳结果。
Cache-to-Cache: Direct Semantic Communication Between Large Language Models
本文提出了 Cache-to-Cache (C2C) 新范式，通过直接投影和融合大语言模型的 KV-Cache 实现模型间深层语义通信，从而在避免文本生成延迟的同时，显著提升了多模型系统的准确率与推理速度。
LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
本文提出了 LaDiR 框架，通过结合变分自编码器构建结构化潜在推理空间与潜在扩散模型实现块级双向注意力的迭代优化，从而克服了传统自回归解码的局限，显著提升了大语言模型在数学推理与规划任务中的准确性、多样性及可解释性。
Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy
本文提出了一种名为能量景观引导（ELS）的无需微调的推理时干预框架，通过训练轻量级能量模型动态引导大语言模型的隐藏状态，在保持安全性的同时显著降低了过度拒绝率。
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
该论文通过评估 10 种语言下的多种预训练模型，发现尽管有明确指令和上下文信息，语言模型仍难以区分借词与原生词汇，且表现出对借词的偏见，这一发现对开发少数语言 NLP 工具及支持语言保护具有重要意义。
STARS: Synchronous Token Alignment for Robust Supervision in Large Language Models
该论文提出了 STARS 算法，通过引入基于固定时间间隔的同步验证机制，克服了现有推理时对齐方法依赖模型不确定性所带来的幻觉风险与硬件利用率低下问题，在显著提升大语言模型对齐可靠性与系统吞吐量的同时，实现了更具可扩展性的安全部署。
Are We Asking the Right Questions? On Ambiguity in Natural Language Queries for Tabular Data Analysis
该论文提出将自然语言查询中的歧义重构为用户与系统共同承担责任的协作特征，通过建立区分可协作解析与不可解析查询的框架，揭示了现有评估中查询类型混杂的问题，并为表数据分析自然语言接口的设计与评估指明了未来方向。
TransactionGPT
本文介绍了 TransactionGPT，这是一种基于十亿级真实交易数据训练、采用专为捕捉支付动态而设计的 3D-Transformer 架构的消费交易基础模型，其在异常检测、交易生成及效率方面均显著优于现有基线模型和微调大语言模型。
From Passive to Persuasive: Steering Emotional Nuance in Human-AI Negotiation
本文提出了一种基于激活工程的精确可解释框架，通过利用归因修补技术定位关键干预点并构建情感表达向量，成功引导 LLaMA 3.1-8B 模型在谈判对话中展现出更丰富的人类情感细微差别和更强的个人参与感。
Automated Data Enrichment using Confidence-Aware Fine-Grained Debate among Open-Source LLMs for Mental Health and Online Safety
本文提出了一种基于开源大语言模型的“置信度感知细粒度辩论”（CFD）框架，通过模拟协作标注机制有效解决了心理健康与在线安全领域多标签数据标注困难的问题，并在引入新构建的专家标注数据集后，验证了该框架在提升下游任务性能方面的显著优势。
GUMBridge: a Corpus for Varieties of Bridging Anaphora
本文介绍了 GUMBridge，这是一个涵盖 16 种英语体裁、提供细粒度子类别标注的新语料库，旨在解决现有桥接指代资源覆盖不足的问题，并评估了当前大语言模型在桥接解析和子类别分类任务上的表现。
Activation Steering for Masked Diffusion Language Models
该论文提出了一种针对掩码扩散语言模型（MDLMs）的激活导向机制，通过提取单一低维方向并在去噪过程中施加全局干预，实现了无需优化即可高效、系统地控制模型行为（如安全拒绝），并揭示了该机制在扩散模型中特有的可访问性及跨语言迁移能力，同时指出其难以直接迁移至自回归架构。
Entropy Sentinel: Continuous LLM Accuracy Monitoring from Decoding Entropy Traces in STEM
该论文提出并验证了一种基于推理时解码熵迹的轻量级方法，能够利用输出熵分布有效预测大语言模型在 STEM 领域不同子集上的准确率，从而为模型性能监控和针对性数据获取提供了可扩展的解决方案。
Contextual Drag: How Errors in the Context Affect LLM Reasoning
该论文揭示了“上下文拖曳”现象，即大语言模型在推理过程中因上下文包含失败尝试而倾向于重复类似的结构化错误，导致性能显著下降且难以通过常规反馈或验证机制消除。
Can LLMs Discern the Traits Influencing Your Preferences? Evaluating Personality-Driven Preference Alignment in LLMs
该论文提出利用大五人格特质作为潜在信号来指导偏好选择，构建了包含 1200 条标注数据的 PACIFIC 数据集及相应框架，显著提升了大语言模型在个性化问答中的答案选择准确率。
Steer2Edit: From Activation Steering to Component-Level Editing
Steer2Edit 提出了一种无需训练的框架，将推理时的激活导向向量转化为诊断信号，通过选择性地对注意力头和 MLP 神经元进行秩 1 权重编辑，在保持推理效率的同时显著改善了大语言模型在安全性、真实性和推理效率方面的属性 - 效用权衡。