Agents Can Build Benchmarks. Approvals Missed What Probing Found: 22 Cases
本文报告称,尽管通过率极高且测试失败率为零,但对 22 个 AI 生成智能体基准测试进行的系统性重新审查显示,其中存在普遍缺陷——包括忽略任务、分数记忆和发布泄露——而这些缺陷均未被自动化测试和人工审查所发现,凸显了当前智能体基准测试与评估协议中的关键缺陷。
3854 篇论文
本文报告称,尽管通过率极高且测试失败率为零,但对 22 个 AI 生成智能体基准测试进行的系统性重新审查显示,其中存在普遍缺陷——包括忽略任务、分数记忆和发布泄露——而这些缺陷均未被自动化测试和人工审查所发现,凸显了当前智能体基准测试与评估协议中的关键缺陷。
本文介绍了 CLEANSE*,这是一种风险校准的多视图检测器,它通过融合语义、结构、跨语言和文体特征信号,有效地识别提示词清洗(prompt laundering)攻击,在多种基准测试和压力测试中,实现了在降低风险和攻击成功率的同时保持低延迟的卓越性能。
本文提出了一种用于银行业安全大语言模型(LLM)智能体的形式化架构,该架构通过衰减能力令牌(attenuated capability tokens)和确定性策略引擎将授权与模型解耦,从而针对对抗性参与者提供权威限制、有限金融损失和审计完整性的可证明保证。
本文通过使用保持前景同伦性的 SAFE 门控单体素翻转,对 3D 二值掩码中关键块的有界修复可达性进行了建模与评估,并通过在 BraTS 2021 数据集上的实验证明,端点和路径保真度约束在指定的搜索范围内会产生不同的修复结果和拓扑有效性。
本文提出并评估了一种用于基于摄像头的驾驶员监测原型框架,该框架结合了针对每位驾驶员的校准、时间指标以及基于持久性的逻辑,与固定阈值或单帧方法相比,显著降低了误报率,同时为未来在真实数据集上的验证建立了一套与受试者无关的评估协议。
本文介绍了 CoCoNet,这是一个通过输入凸神经网络或基于样条的方法来学习凸一致性得分的框架,旨在为多元回归生成高效且数据自适应的预测区域,同时保持无分布假设的覆盖保证。
本文通过整合来自排行榜、人类偏好面板和价格目录的关联公开数据来刻画大语言模型生态系统,揭示了性能随参数量和时间而增长,偏好评分在模型内部表现出快速更迭与稳定性,且尽管供应商之间的价格存在显著差异,但定价主要受能力评分和开源状态驱动。
本研究表明,用于加密流量分类的机器学习模型虽然可以实现极高的内部准确率,但在应用于不同数据集时会产生显著的误报,这揭示了仅凭特征重要性不足以进行取证解释,且此类警报应被视为调查线索而非确定性证据。
本文证明,在间接提示注入攻击下,针对使用工具的 LLM 智能体,生成后的输出脱敏技术不足以作为防止隐私泄露的主要防御手段,因为即使在执行了精确数值和连续跨度移除后,残余披露仍经常通过语义重构而持续存在。
本文提出将贝尔不等式审计(特别是 CHSH 博弈)作为一种无模型工具,用于检测表面上孤立的 AI 智能体之间是否存在隐蔽协调,通过区分真实的通信与单纯的统计相关性来实现,同时强调该方法的有效性关键取决于审计器设置的不可预测性,以避免误报。