Phantom transitions in language model fine-tuning
本文揭示了在近义词任务上进行语言模型微调时出现的表观相变是由于 softmax 读取过程中的不连续性而非嵌入空间中真实的几何变化所导致的“幻象”人工制品,这一现象通过一个能够成功预测不同架构下临界学习率的统一序参数来表征。
9790 篇论文
量子物理探索着物质与能量在微观尺度上最奇妙的行为,从神秘的叠加态到跨越空间的纠缠现象,这一领域正不断重塑我们对现实世界的理解。Gist.Science 致力于让深奥的 arXiv 预印本变得触手可及,我们追踪该分类下发布的每一份最新预印本,并为其提供两种解读视角:既包含通俗易懂的科普解读,也涵盖保留核心细节的技术摘要。
无论您是希望快速掌握前沿动态的科研工作者,还是对宇宙奥秘充满好奇的普通读者,这里都能为您提供清晰的研究概览。我们梳理了 arXiv 上量子物理板块的最新成果,确保您能第一时间读懂科学界的最新突破。下方列出了该领域刚刚发布的最新论文及其摘要。
本文揭示了在近义词任务上进行语言模型微调时出现的表观相变是由于 softmax 读取过程中的不连续性而非嵌入空间中真实的几何变化所导致的“幻象”人工制品,这一现象通过一个能够成功预测不同架构下临界学习率的统一序参数来表征。
本文通过利用双曲几何严格计算自然搜索梯度,并论证广义库拉莫托振子系综可以实现这些算法,同时还强调了贝格曼球中自然梯度策略与量子决策之间的联系,从而为球面上的黑箱问题提出了两种信息几何优化流。
这项研究利用通过置信传播优化的无限张量网络态,揭示了红宝石晶格上的受挫自旋-1/2海森堡反铁磁体形成了稳定的磁平台,该平台承载着一种在低温下具有剩余熵的新型“单纯形液体态”,且这一过程在系统冷却过程中是连续发生且不经过相变的。
本文提出了一种硬件感知、数据驱动的框架,该框架通过联合优化量子编译与轻量级错误检测,在延迟约束下显著提高了早期容错系统的算法成功率。
本文提出,对于具有隐藏时间反演对称性的驱动-耗散量子多体系统,在耗散一阶相变附近的指数级长寿命亚稳态时间尺度可以通过非平衡稳态的一种特殊纯化进行解析预测,这一猜想已通过对传统半经典方法失效的特定自旋与腔模型进行的详细研究得到了验证。
本文提出通过在掺杂过渡金属二硫属化物异质结构中进行电荷传输测量,通过识别诸如由于散射受抑导致的电阻率降低,以及由近固态费施巴赫共振(Feshbach resonance)附近凝聚体诱导的杂化引起的霍尔电阻率符号反转等独特特征,来探测激子凝聚。
本文研究了参数驱动耦合超导量子比特中纠缠的动力学生成,揭示了一种由多光子共振和弗洛凯态杂化驱动的非平凡机制,该机制能够实现对纠缠的高效控制,包括通过相干破坏实现其完全抑制。
本文引入了哈密顿量引导的杠杆嵌入(Hamiltonian-Guided Leverage Embedding, HGLE),这是一种混合算法,它利用 QAOA 测量样本的低秩结构,通过杠杆得分采样来压缩特征矩阵,从而实现具有几何保持和误差界限正式保证的鲁棒且高效的经典参数估计。
本文介绍了一种智能体引导的多保真度学习框架,该框架利用结构智能体来诊断 GW-Bethe-Salpeter 计算中的数值不稳定性,并应用机器学习修正来准确预测应变 MoS2-WS2 双层材料中的准粒子和激子特性,从而证明了显式检测数值脆弱性对于可靠地对激发态材料进行代理建模至关重要。
本文引入了仿射滤波测量作为在纯态信道上解码经典线性码的一种结构化无歧义状态判别变体,并通过仿真证明了这种具备码率感知能力的量子解码框架在独立同分布纯态信道上优于现有的逐符号方法。