BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?
本文提出了名为 BeyondSWE 的综合基准测试,揭示了当前代码代理在跨仓库推理、领域问题解决等真实场景中存在显著的能力短板,并进一步通过 SearchSWE 框架验证了单纯引入搜索增强并不能稳定提升代理性能,从而强调了开发类人“搜索 - 推理”工作流的挑战性。
1714 篇论文
本文提出了名为 BeyondSWE 的综合基准测试,揭示了当前代码代理在跨仓库推理、领域问题解决等真实场景中存在显著的能力短板,并进一步通过 SearchSWE 框架验证了单纯引入搜索增强并不能稳定提升代理性能,从而强调了开发类人“搜索 - 推理”工作流的挑战性。
本文提出了 ACE-Brain-0,一种以空间智能为通用支架、采用“构建 - 专精 - 融合”(SSR)范式统一多模态大语言模型的多领域具身通用大脑,在 24 项基准测试中实现了跨异构载体的卓越泛化与领域专长平衡。
本文提出了名为 MOSAIC 的后训练框架,通过引入显式的安全推理与拒绝机制,并利用基于偏好的强化学习进行优化,有效解决了代理语言模型在多步工具使用场景下的安全风险,在显著降低有害行为、提升对注入攻击的拒绝率及防止隐私泄露的同时,保持了良性任务的性能。
本文研究了大语言模型对比引导技术对训练数据污染的鲁棒性,发现虽然该方法对中等程度的噪声具有抵抗力,但恶意篡改会引发显著副作用,而通过引入鲁棒均值估计器替代传统的高维均值计算,可有效缓解此类恶意攻击带来的负面影响。
该论文提出了一种名为密度引导响应优化(DGRO)的方法,通过利用社区中内容被接受和互动的隐式行为所形成的表示空间几何结构(即高密度区域),在无需显式偏好标注的情况下,使语言模型能够适应不同在线社区的特定规范。
本研究证实,基于学习进展自动生成的评分标准所驱动的 AI 反馈,在清晰度、相关性、参与度及反思性等关键质量维度上,与专家人工设计的评分标准所生成的反馈效果相当,为科学学习中的规模化形成性反馈提供了可扩展的替代方案。
本文探讨了大型语言模型在生成虚假内容(即“幻觉”)及被恶意利用方面的风险,并提出了针对事实核查者、新闻机构及政策社区在技术创新、监管改革和 AI 素养提升等方面的应对策略,以应对生成式 AI 时代的信息真实性挑战。
本文评估了 ChatGPT(特别是其数据分析插件)作为数据科学工作流中的量化副驾驶在数据探索、可视化及监督与无监督建模任务中的潜力与局限性,并指出其自动化前景。
本文综述了将大语言模型(LLM)作为智能体应用于金融交易的研究现状,系统总结了其常见架构、数据输入、回测表现及面临的挑战,并展望了该领域的未来发展方向。
本文提出了 SynthKG 合成数据管道与 Distill-SynthKG 蒸馏框架,通过利用大语言模型生成高质量文档 - 知识图谱对来微调小模型,从而以低成本实现了超越更大基线模型的知识图谱构建质量,并显著提升了检索增强生成(RAG)任务中的检索与问答性能。
本文提出了一种基于正交基(包括埃尔米特多项式、傅里叶三角函数及热带化多项式)的激活函数族,通过简单的方差保持初始化成功解决了深度模型中的激活与梯度爆炸/消失问题,实现了在 GPT-2 和 ConvNeXt 等大规模任务上的有效训练,并揭示了多项式激活网络的代数结构及其在微调任务中通过埃尔米特插值逼近经典激活函数的潜力。
该论文提出了 AStar,一种无需训练的多模odal 推理框架,它通过自适应检索并融合轻量级的“思维卡片”来引导模型进行结构化思考,从而在不依赖昂贵搜索或复杂后训练的情况下,显著提升了多模态大模型在复杂视觉推理任务中的性能。
该论文提出了一种无需训练的推理时幻觉检测方法,通过向模型参数或隐藏层激活注入噪声来更准确地量化贝叶斯不确定性,从而显著提升了大语言模型幻觉检测的效果。
本文提出了名为 LLM-ProS 的新型评估方法,利用 2011 至 2024 年国际大学生程序设计竞赛(ICPC)世界总决赛的 166 道题目,对 GPT-4o、Mistral Large、Llama-3.1-405B 及 o1 系列等先进大语言模型在算法解题中的推理能力、准确性及效率进行了全面基准测试,并深入分析了训练方法、数据污染和思维链等因素对模型性能的影响。
该论文提出了一种针对仇恨模因检测的鲁棒大模型自适应框架,通过增强领域内准确性与跨领域泛化能力,在六个数据集上实现了超越现有代理系统的性能,同时提升了模型的抗攻击能力与可解释性。
该论文提出了名为 MemeIntel 的框架,通过构建首个大规模双语解释性数据集 MemeXplain 并采用多阶段优化策略训练视觉语言模型,显著提升了阿拉伯语宣传类及英语仇恨类模因的检测准确率与解释生成质量。
该论文提出了一种基于对数评分规则奖励的强化学习方法,通过直接微调大语言模型,使其在生成答案的同时输出经过校准的置信度估计,从而有效解决过度自信与自信不足问题,并实现了在未见任务上的泛化能力。
该论文通过对 92 个开源预训练模型的元分析,揭示了除模型规模和训练数据量之外,数据构成(如代码占比)和架构选择(如旋转位置编码)等设计决策对下游性能有显著影响,从而构建了一个能更准确预测模型能力的框架。
本文综述了大语言模型在基因组序列建模、RNA 结构预测、蛋白质功能推断及单细胞转录组分析等生物信息学领域的最新进展,深入探讨了数据稀缺、计算复杂度等挑战,并展望了多模态学习、混合 AI 模型及临床应用等未来方向,强调了其在推动精准医学创新中的变革潜力。
本文提出了名为 LLaVE 的大语言与视觉嵌入模型框架,通过引入基于难度的加权对比学习有效解决了正负样本相似度分布重叠问题,在 MMEB 基准测试中实现了超越更大规模模型的最先进性能,并展现出优异的零样本泛化能力。