Grokking the Discrete Logarithm: Scaling Across Model Capacity and Mechanistic Analysis
本文首次系统地展示了 Transformer 模型可以在全变量基离散对数问题上表现出“顿悟”(grokking)现象——即从记忆向算法泛化过渡的延迟过程——并揭示了这一现象随模型容量呈非单调缩放,且是由乘法特征与傅里叶对齐表示的出现所驱动的。
3886 篇论文
本文首次系统地展示了 Transformer 模型可以在全变量基离散对数问题上表现出“顿悟”(grokking)现象——即从记忆向算法泛化过渡的延迟过程——并揭示了这一现象随模型容量呈非单调缩放,且是由乘法特征与傅里叶对齐表示的出现所驱动的。
本文表明,通过采用预处理、预训练和自适应资源分配等面向高性能计算(HPC)优先的策略,量子近似优化算法(QAOA)可以在减少 510 倍至 2070 倍量子处理器(QPU)使用量的情况下实现近乎完美的优化质量,从而证明 QPU 预算需求是问题实例和工作流策略的可预测函数,而非固定常数。
本文通过分析60项研究,识别了现有量子工作流系统中存在的关键缺陷,即无法自动判定是否必须执行QPU任务,并据此提出了一个用于“语义化QPU最小化”的规范化分类法和多目标优化框架,以解决任务调度与量子硬件本质需求之间的脱节问题。
本研究评估了在 UCI 心脏病数据集上针对联邦 top-k 解释聚合任务,一种感知截断的 Plackett–Luce 方法相对于加权 Borda 基准方法的表现,结果发现该方法在 Kendall 一致性方面没有显著提升,且观察到在多个种子块中 Borda 始终获得更高的 NDCG@10 分数。
本文对 MS COCO 2017 数据集上的 Transformer 图像描述模型进行了系统的工程研究,证明了将部分 CNN 骨干网络微调与长度归一化束搜索解码相结合,与冻结基准模型相比,能显著提升标准评估指标和词汇多样性。
本文提出了 MQM-Fin,一种风险加权的混合质量保证框架,该框架通过引入金融特定风险乘数和专门的失效模式分类法,增强了多维质量指标(MQM)模型,旨在解决现有 QA 模型(如 LISA 和 SAE J2450)在金融软件定位方面的局限性。
本文提出了一种基于卷积神经网络的道路标志识别系统,该系统通过采用数据增强和丢弃(dropout)等技术来处理尺度、光照和旋转的变化,从而在43个类别中实现了96.8%的准确率,进而提升了道路安全性。
本文提出了一种将监督对比学习与 ResNet-50 相结合的深度学习框架,旨在显著提高组织病理学图像中宫颈癌检测的准确性与鲁棒性,并在 CAISHI 数据集上实现了 96.90% 的平衡准确率。
本文提出了 MODEMS,一个用于校园内电动拼车服务的基于仿真的框架,该框架将路径规划挑战构建为一个异构电动自动预约需求问题,并采用混合整数线性规划模型与自适应大邻域搜索算法相结合的方法,在动态滚动时界框架下进行求解。
本文介绍了 MSX-FTID,这是一个新型多光谱动态人脸热成像数据库,并通过深度学习方法验证了其在六种基本情绪中进行准确情绪识别的有效性,为情感计算和医疗保健领域的应用提供了一种优于传统可见光方法的稳健替代方案。