Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores
该论文介绍了“benchgap”,这是一个通过在能力组内利用单调曲线拟合和多元映射来显式校准基准测试,从而估算缺失的大语言模型评估分数的流水线,其实现的误差率显著低于矩阵补全基准方法,同时量化了被称为“评测框架税”(harness tax)的评估设置差异。
3753 篇论文
该论文介绍了“benchgap”,这是一个通过在能力组内利用单调曲线拟合和多元映射来显式校准基准测试,从而估算缺失的大语言模型评估分数的流水线,其实现的误差率显著低于矩阵补全基准方法,同时量化了被称为“评测框架税”(harness tax)的评估设置差异。
本文介绍了针对 Gmail 和 Slack 设计、实现并初步评估的一种智能消息路由系统,该系统利用通过 Groq 调用 LLaMA 3.1 模型来进行语义意图分类,使用户能够以纯英文定义路由规则,并在一项可行性研究中显著优于传统的基于关键词的过滤器。
本文提出了压力引导的分层卸载(PGHO)算法,这是一种用于无人机辅助车载边缘计算的两层决策框架,该框架通过将未来任务压力预测与当前资源状况相结合,与现有的多智能体强化学习基准相比,显著降低了平均延迟并提高了任务成功率。
本研究采用对虚拟现实(VR)专业人士访谈的反思性主题分析法,旨在揭示设计师在处理虚拟空间与物理空间冲突时所采用的多维策略、权衡取舍及基本原理,并最终提出一个概念分类法,以指导未来的工具开发与设计实践。
本文提出了一种用于显著性目标检测的自适应边界定位特征融合框架,该框架将任务分解为定位和精细化两个分支,并采用自适应特征增强和动态交叉注意力模块来增强鲁棒性并达到最先进的性能。
该论文提出了 SAF-RTDETR,一种用于无人机图像的选择性高分辨率特征融合框架,与基准 RT-DETR 相比,它显著提高了小目标检测的准确性和对损坏的鲁棒性,尽管这以增加计算复杂度为代价。
本文介绍了 X-FCA,这是一个揭示了金融语言模型中“解释性脱节”现象的诊断框架,证明了尽管对抗性干预可以提高鲁棒性和不确定性校准,但它们无法纠正由分词器对表情符号等视觉线索的盲目性所导致的底层语义误导。
本文提出了PAFC-Net,一种具有语义共识的渐进式注意力融合网络,该网络利用模态特定非对称编码器和三阶段渐进式协调机制,有效解决了高光谱图像(HSI)与激光雷达(LiDAR)或合成孔径雷达(SAR)数据之间的结构差异,并在四个多模态遥感数据集上实现了最先进的分类精度。
本文提出了 GLA-YOLO,这是一种基于 YOLO11 的轻量化网络,通过结合轻量化融合卷积和动态局部注意力融合模块,旨在资源受限的边缘设备上实现具有高精度和高效率的最先进实时工业表面缺陷检测。
GlioMIL 是一个用于胶质瘤放射基因组学的冻结骨干多实例学习框架,尽管该框架具有标签高效性和良好的校准性,但它最终表明,在预测 IDH 突变和肿瘤等级方面,仅靠结构化临床和影像组学特征的表现就足以超越或匹配图像融合模型,而注意力机制无法提供可靠的空间解释,且在 MGMT 和 1p/19q 上的表现仍接近随机水平。