Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
该论文提出用固定的参数化沃尔什 - 阿达玛变换替代多头注意力中的密集输出投影，在消除约 25% 注意力参数并显著降低内存与推理成本的同时，保持了模型在标准基准测试上的性能甚至略有提升。
💬 Category
cs.CL
1072 篇论文
Do Language Models Know Theo Has a Wife? Investigating the Proviso Problem
该论文通过将语言学中的“限定条件问题”重构为自然语言推理任务并构建诊断数据集，评估了多种语言模型在条件句预设投射上的表现，发现尽管模型与人类判断大体一致，但其主要依赖浅层模式匹配而非深层语义或语用推理。
Computational modeling of early language learning from acoustic speech and audiovisual input without linguistic priors
本文综述了利用自监督及视觉 grounded 计算模型研究早期语言习得的最新进展，展示了这些模型如何在缺乏强语言先验的情况下从语音和视听输入中学习，并揭示了其学习原理与多种语言习得理论及人类认知的高度兼容性。
Adaptive Loops and Memory in Transformers: Think Harder or Know More?
本文提出了一种结合自适应层内循环与门控记忆库的 Transformer 架构，发现循环机制主要提升数学推理能力，而记忆库有助于恢复常识任务性能，两者结合使模型在数学基准测试中超越了层数多三倍的等计算量基线模型。
COACH meets QUORUM: A Framework and Pipeline for Aligning User, Expert and Developer Perspectives in LLM-generated Health Counselling
本文提出了名为 QUORUM 的统一评估框架和名为 COACH 的生成式管道，通过整合用户、医学专家及开发者视角，验证了其在癌症患者健康咨询场景中生成高质量、个性化且可靠建议的有效性，同时揭示了不同利益相关者在语气、错误敏感度及幻觉问题上的认知差异。
Revealing Behavioral Plasticity in Large Language Models: A Token-Conditional Perspective
该论文揭示了大语言模型具有类似变色龙的内在行为可塑性，并提出了一种名为 Token-Conditioned Reinforcement Learning (ToCoRL) 的框架，通过利用基于 Token 前缀的条件生成与强化学习，将推理时的行为适应转化为稳定的可学习模式，从而在不损害模型能力的情况下实现精确的行为控制（例如让擅长推理的模型也能高效回答事实性问题）。
Sandpiper: Orchestrated AI-Annotation for Educational Discourse at Scale
本文介绍了 Sandpiper，这是一个将交互式研究人员仪表板与代理式大语言模型引擎紧密结合的混合倡议系统，旨在通过自动化脱敏、防幻觉机制及持续评估引擎，在确保数据隐私和方法论严谨性的前提下，解决教育领域大规模对话数据定性分析中人力瓶颈的问题。
Aligning to Illusions: Choice Blindness in Human and AI Feedback
该论文通过三项实验揭示了人类和 AI 反馈中普遍存在的“选择盲视”现象，表明 RLHF 所依赖的偏好信号极易受上下文操控且难以被检测，从而导致奖励模型失效及下游策略退化。
One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States
该论文提出了一种通过轻量级投影头将 LLM 代理隐藏状态直接映射为检索嵌入的方法，从而消除了对独立嵌入模型的依赖，在保持 97% 基线检索质量的同时降低了系统复杂度和延迟。
Can Vision-Language Models Solve the Shell Game?
该论文针对现有视觉语言模型在视频实体追踪任务中的瓶颈，提出了包含理论分析与新基准 VET-Bench 的解决方案，并设计了时空 grounded 思维链（SGCoT）微调方法，使模型在无需外部工具的情况下于该基准测试中实现了超过 90% 的准确率。
A prospective clinical feasibility study of a conversational diagnostic AI in an ambulatory primary care clinic
这项前瞻性临床可行性研究表明，在真实世界的初级保健环境中，由人工实时监督的 AMIE 对话式 AI 在安全性、患者满意度及诊断准确性方面表现良好，且其诊断与管理计划质量与初级保健医生相当，但在治疗方案的实用性和成本效益方面仍略逊一筹。
A Dataset for Probing Translationese Preferences in English-to-Swedish Translation
该论文发布了首个英语到瑞典语的“翻译腔”偏好数据集，通过对比翻译腔句子与地道表达，揭示了语言模型倾向于保留源语言痕迹的偏好，并为提升非英语输出的自然度提供了基准资源。
LycheeCluster: Efficient Long-Context Inference with Structure-Aware Chunking and Hierarchical KV Indexing
LycheeCluster 提出了一种结合边界感知分块与基于三角不等式的递归分层索引的新型 KV 缓存管理方法，通过将检索过程从线性扫描优化为对数级剪枝，在几乎不损失模型性能的前提下实现了高达 3.6 倍的端到端推理加速。
Fanar-Sadiq: A Multi-Agent Architecture for Grounded Islamic QA
本文介绍了 Fanar-Sadiq，一种面向伊斯兰知识问答的双语多智能体架构，它通过意图路由将查询分发至专用模块，以提供基于经训引用的法理学解答、精确经文检索以及符合不同教法学派的法定计算（如天课和遗产），从而有效解决大语言模型在宗教领域常见的幻觉与溯源问题。
Drift-to-Action Controllers: Budgeted Interventions with Online Risk Certificates
本文提出了 Drift2Act 控制器，通过结合漂移感知与在线风险证书，在标签延迟和计算预算约束下将模型监控转化为受安全约束的决策过程，从而在确保极低安全风险的同时实现高效、低成本的自动恢复。
OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
本文介绍了 OfficeQA Pro，这是一个基于近百年美国财政部公报（含 89,000 页文档和 2600 万个数值）构建的企业级基准，旨在评估 AI 代理在跨多文档、混合非结构化文本与表格数据的接地推理能力，结果显示当前前沿大模型在此类任务上表现不佳，而采用结构化文档表示可显著提升性能，但距离企业级可靠应用仍有较大差距。
CODA: Difficulty-Aware Compute Allocation for Adaptive Reasoning
本文提出了 CODA 方法，通过利用模型内部信号动态感知任务难度并据此分配计算资源，在保持准确性的同时显著降低了简单任务的推理成本并增强了复杂任务的推理深度，从而实现了无需外部标注的自适应推理。
How Far Can Unsupervised RLVR Scale LLM Training?
该论文通过理论分析与实验证实，无监督强化学习中的内在奖励方法虽能短期提升模型，但受限于初始分布的“置信度 - 正确性”对齐问题而必然导致性能先升后降的崩溃，而基于计算不对称性的外部奖励方法则有望突破这一瓶颈。
Agentic Critical Training
该论文提出了“代理批判训练”（ACT）这一强化学习范式，通过奖励模型对行动优劣的正确判断，使其能够自主发展出真正的自我反思推理能力，从而在多个代理基准测试中显著超越了传统的模仿学习和现有强化学习方法。
Analyzing the Performance of ChatGPT in Cardiology and Vascular Pathologies
该研究通过对比分析发现，ChatGPT 在心血管病理领域的 190 道多项选择题测试中得分（92.10%）优于两名医学生，展现了其在医学教育中的巨大潜力。