Distinct mechanisms underlying in-context learning in transformers
该论文通过对在离散马尔可夫链上训练的 Transformer 进行机制性分析,揭示了其通过四种算法相和两种截然不同的子电路机制来实现上下文学习,并阐明了数据多样性如何决定记忆与泛化之间的相变及统计阶数的跃迁。
2407 篇论文
统计力学是连接微观粒子运动与宏观物质性质的桥梁,它帮助我们理解为何冰会融化、为何磁铁能吸起回形针。在凝聚态物理领域,这一理论框架至关重要,它揭示了从超导材料到复杂流体等日常现象背后的深层规律。
Gist.Science 持续追踪来自 arXiv 的最新预印本,确保您能第一时间接触到这些前沿研究。我们对每一篇新发表的论文进行深度处理,不仅提供详尽的技术解析,更用通俗易懂的语言提炼核心发现,让复杂的物理概念变得触手可及。
以下是本领域最新收录的论文列表,邀请您一同探索物质世界的奇妙规律。
该论文通过对在离散马尔可夫链上训练的 Transformer 进行机制性分析,揭示了其通过四种算法相和两种截然不同的子电路机制来实现上下文学习,并阐明了数据多样性如何决定记忆与泛化之间的相变及统计阶数的跃迁。
该论文从线性化噪声网络动力学的视角,系统研究了稳态平衡与非平衡噪声网络动力学,推导了非平衡稳态的等效条件与广义涨落耗散关系,并证明了物理过阻尼布朗运动是定向网络非平衡稳态的特例。
该论文利用信息几何中的广义勾股定理和对偶混合方差恒等式,将无监督学习的 KL 泛化误差精确分解为模型误差、数据偏差和方差三个非负分量,并通过对正则化主成分分析(-PCA)的解析推导,揭示了最优秩截断策略及基于 Marchenko-Pastur 边缘的三阶段相变图景。
该论文通过引入群体相互作用,将 Biswas-Chatterjee-Sen 模型推广至广义情形,发现虽然临界噪声阈值随群体规模增大而单调增加,但系统的临界行为始终保持不变,属于平均场伊辛普适类。
该论文证明广义对称性(如高阶形式、子系统及非可逆对称性)可导致希尔伯特空间呈指数级碎片化,从而表明 Krylov 子空间的指数增长本身并不等同于遍历性破缺,并揭示了无需无序或规范对称性即可自然产生无 disorder 局域化的机制。
该论文通过扰动约化技术,证明了由正权重对称相互作用项生成的 2-局域哈密顿量问题存在三种计算复杂度相(QMA 完全、StoqMA 完全及可归约至新定义的 EPR*问题),并指出 EPR*问题对应于易解与难解局域哈密顿量之间的复杂度相变点。
本文通过复分析中的辐角原理和数值模拟,研究了相对论性大质量粒子在弛豫时间近似下的线性化玻尔兹曼方程,揭示了质量导致的声模与热模耦合、临界波数的非单调依赖关系,以及与大质量情形下无限分支点结构相关的朗道阻尼机制。
本文提出了一种基于洛wner 方程编码特性的生物启发式时间序列学习算法,通过高斯过程回归与涨落耗散关系两种方法,在神经元动力学数据上验证了其有效性,并从自组织系统理论角度探讨了其与生物信息处理机制的相似性。
该论文通过解析与数值方法证明,在具有分形特性的系统中,当序参量的第阶多极矩守恒时,畴生长动力学遵循的标度律,从而揭示了一类由多极矩守恒阶数决定的非平衡普适类。
该研究通过多粒子碰撞动力学模拟发现,重力不仅能显著降低流体中负微分热阻效应所需的温差,还能使原本仅适用于弱相互作用系统的机制在强相互作用及混合流体中依然有效,从而为设计重力辅助的流体热器件奠定了理论基础。