Reject, Resample, Repeat: Understanding Parallel Reasoning in Language Model Inference

本文通过粒子滤波(如序贯蒙特卡洛)的视角,为语言模型推理中的并行采样方法建立了理论框架,揭示了采样误差与奖励评估次数之间的非渐近关系,并指出了该方法在理论保证与最终准确率之间的根本局限。

Noah Golowich, Fan Chen, Dhruv Rohatgi, Raghav Singhal, Carles Domingo-Enrich, Dylan J. Foster, Akshay KrishnamurthyTue, 10 Ma🤖 cs.LG

Size-Location Correlation for Set-Valued Processes: Theory, Estimation, and Laws of Large Numbers under ρ\rho-Mixing

该论文提出了一种基于支撑函数偶奇分解的变分框架,用于分析凸紧随机集的大小与位置相关性,定义了具有几何解释性的协方差与相关指标及ρ\rho-混合系数,并在弱平稳性条件下建立了大数定律,从而有效解决了传统方法在处理中心对称集时的退化问题并实现了方向性依赖与尺寸效应的解耦。

Tuyen Luc TriTue, 10 Ma🔢 math

Bayesian inference of planted matchings: Local posterior approximation and infinite-volume limit

本文研究了在一维空间下两个相关随机点集之间隐藏匹配的贝叶斯推断问题,证明了在部分匹配模型中后验分布可由局部算法近似且边际统计量存在热力学极限,而在精确匹配模型中则需先进行全局排序并引入“流”的概念来定义极限,同时指出将结果推广至高维仍是未解难题。

Zhou Fan, Timothy L. H. Wee, Kaylee Y. YangTue, 10 Ma🔢 math

The Inverse Problem for Single Trajectories of Rough Differential Equations

本文旨在为离散观测的随机粗糙微分方程建立统计推断框架,通过定义连续逆问题并构建基于离散逆问题序列收敛的几何pp-粗糙路径解,提出了一种利用路径签名表示的迭代数值算法,证明了该算法在pp-变差拓扑下对局部梯度的同步更新具有关于观测步长的一致收敛性。

Thomas Morrish, Theodore Papamarkou, Anastasia Papavasiliou, Yang ZhaoThu, 12 Ma📊 stat