The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool
通过在固定的 2400 万 token 池上进行的实证实验,本文表明,在固定计算预算下,激进的质量过滤往往会因迫使过度的数据重复而损害模型性能,而保留低质量数据并对高质量子集进行过采样,则能在各种目标任务中产生更优或同等的实验结果。
917 篇论文
通过在固定的 2400 万 token 池上进行的实证实验,本文表明,在固定计算预算下,激进的质量过滤往往会因迫使过度的数据重复而损害模型性能,而保留低质量数据并对高质量子集进行过采样,则能在各种目标任务中产生更优或同等的实验结果。
本文表明,尽管计算参数与计算量统计口径的变化会显著改变拟合出的计算最优训练前沿的指数,但由于损失函数的平坦性,这种变化对训练效率的实际影响是微小的,且具体的统计选择可以从简单的架构比例中进行预测。
本文评估了在多核 CPU 上对 24 层字节级 Transformer 进行的有界时限局部训练,发现虽然所提出的读出梯度共识方法相比全局反向传播实现了 38% 的吞吐量提升,但未能满足在所有测试数据集上达到 1% 非劣性标准的模型质量要求。
这一结构化批判性回顾表明,尽管计算系统在预测和模拟等孤立能力方面取得了进展,但目前尚无文献记载的系统能够完成一个经过充分验证的、自适应的治理闭环,从而在战略响应下经验性地证明其实际干预的成功,这凸显了当前的模块化工具与真正的代理式治理之间存在的关键证据差距。
本研究分析了 157 万个 GitHub 仓库,旨在证明挖掘软件仓库(MSR)研究中常见的过滤标准会引入显著的维护、生态系统和关系偏差,从而扭曲项目弃用率及变量间的关系,并倡导转向分层抽样和精细化的噪声检测。
该论文介绍了 PISR,一种无需搜索的基础模型,它利用物理启发、对比对齐的公式-数据流形以及流匹配技术,从数据中快速且准确地恢复可解释的物理定律,在多种科学和现实世界基准测试中,其速度和结构准确性均优于现有方法。
本文提出了人工智能问责基础设施(AAI),这是一个利用哈希链式、数字签名的记录以及阈值密码学构建的密码学框架,旨在为高风险领域的特定人工智能决策溯源提供保护隐私的第三方验证,同时在不报告创新实验结果的情况下,提供了形式化模型、威胁分析及监管对齐。
本文提出了 Eco-ITAD,这是一个利用 Python 和 Flask 实现的实时自动化系统,旨在快速诊断硬件状况并根据英国 DEFRA 指南计算范围 3 碳减排量,从而在无需离线设施或本地数据存储的情况下,实现即时、安全且合规的电子废弃物管理。
本文介绍了“GPT Fusion”,这是一种混合诊断框架,其中 GPT-5.5 作为推理引擎来整合来自专门化 CNN 模型的预测,在黑色素瘤诊断的准确性和可解释性方面显著优于独立的基于图像的 LLM 以及单个 CNN。
本文介绍了一种轻量级、对顺序敏感的海森堡提升(Heisenberg-lift)描述符,该描述符具有终端符号面积和十五维扩展,通过捕捉传统欧几里得描述符所缺失的笔画遍历方向信息,显著提高了在线手写识别的准确率。