WaterSIC: information-theoretically (near) optimal linear layer quantization
本文提出了信息论近优的线性层量化算法 WaterSIC,该算法通过模仿“注水”策略为权重矩阵的不同列分配差异化量化速率,在任意输入协方差下将量化速率与理论极限的差距控制在 0.255 比特以内,并在 Llama 和 Qwen 等主流大模型上实现了 1 至 4 比特量化范围内的最新性能。
172 篇论文
本文提出了信息论近优的线性层量化算法 WaterSIC,该算法通过模仿“注水”策略为权重矩阵的不同列分配差异化量化速率,在任意输入协方差下将量化速率与理论极限的差距控制在 0.255 比特以内,并在 Llama 和 Qwen 等主流大模型上实现了 1 至 4 比特量化范围内的最新性能。
本文研究了在利用过完备稳定子表示进行量子低密度奇偶校验码的置信传播解码时,初始对数似然比失配对帧错误率的影响,发现其在低噪声区影响显著,但最优性能并非局限于精确匹配点,而是对一定范围内的失配不敏感,从而建议将失配视为一种正则化控制参数。
该论文提出了一种针对连续状态随机系统的形式化熵正则化控制方法,通过建立系统离散化熵的界限及其与连续分布熵的误差界,实现了在保留形式化保证的前提下,最小化轨迹分布与均匀分布的 KL 散度(即系统熵)与累积成本之和的控制器综合。
本文通过对多任务学习在错误指定感知机模型下的精确渐近分析,揭示了组合多个相关任务在渐近上等价于引入额外正则化项从而提升泛化性能,并实证表明这种组合能推迟甚至缓解双下降现象。
该论文提出了一种基于 Nanopore 测序仪自适应采样技术的 DNA 图像存储方案,利用 JPEG2000 的渐进式解码功能,通过按需选择并测序特定寡核苷酸池来实现无需 PCR 的随机访问,从而显著降低检索低分辨率图像的成本。
该论文证明动态权重自动做市商(TFMM)中的最优再平衡路径对应于权重单纯形上由 Fisher-Rao 度量定义的测地线,即 Hellinger 坐标下的球面线性插值(SLERP),并指出先前的 (AM+GM)/归一化启发式方法恰好位于该测地线上,从而可通过递归二分法实现无三角函数的最优插值。
本文提出了一种利用毫米波高方向性和遮挡特性的空间感知次级许可共享方案,并通过随机几何分析框架量化了该方案在提升次级用户传输机会的同时保障主用户覆盖性能的有效性。
本文提出了一种利用广义校验节点和最大后验概率(MAP)解码器来增强量子 Tanner 码迭代置信传播解码的新方法,该方法在有限长度下显著优于现有解码方案,并通过对不同 qLDPC 码类的分析与理论验证,揭示了该方法在特定码型上的性能优势及局限性。
本文提出了一种结合 SCMA 与 BIA 优势的新型多址接入方案 SBMA,通过设计低复杂度两阶段解码器与基于虚拟因子图的联合 MPA 解码器,在降低复杂度与解码延迟的同时,实现了分集增益、复用增益、隐私保护及信道适应性的综合提升,适用于下一代无线通信系统。
本文提出了一种仅需 轮交互的 -局部差分隐私算法,将 个分布假设选择问题的样本复杂度从非交互情形下的 优化至最优的 ,从而证明了交互性在该场景下的显著优势。
本文从信息论角度研究了量子态与信道排除任务,提出了基于重心 Chernoff 散度的单字母上界,不仅改进了量子态排除误差指数的现有上界,还给出了适用于自适应策略的量子信道排除高效可计算上界,并解决了经典信道排除及对称二元信道判别等特例的精确误差指数问题。
本文针对已知最优臂数量的多最优臂随机多臂老虎机问题,推导了更紧的信息论下界,并提出了一种改进的 Track-and-Stop 算法,证明了其在渐近意义下达到了样本复杂度最优。
本文探讨了 6G 中 7-24 GHz 频段(FR3)在通感一体化(ISAC)中的潜力与挑战,指出其独特的传播特性与超大规模 MIMO 技术相结合,能够支持高分辨率感知与高速通信,但也提出了统一近远场信道模型等关键研究方向。
本文针对具有记忆的双站集成感知与通信中继信道,通过推导容量 - 失真函数的上界并提出混合部分解码压缩转发编码方案以获得下界,刻画了通信与感知性能之间的基本权衡关系,并证明了该方案在特定信道类下的最优性。
该论文基于熵和对称不确定性为分类随机变量定义了一个度量,并证明了由此诱导的商空间不仅具有与该度量拓扑相容的连续交换幺半群结构。
本文通过联合首次击中时间 - 位置统计量并结合基于 Girsanov 定理的测度变换,推导出了任意方向均匀漂移下完全吸收球形接收器的精确三维信道冲激响应解析解,填补了该领域因对称性破缺而长期存在的理论空白。
本文提出了名为 PANDAExpress 的新算法,通过引入基于数据偏斜统计的动态超平面划分方案及新的概率不等式,成功消除了原 PANDA 算法中导致其实用性受限的多项式对数因子,从而在保持通用性的同时实现了与专用算法相匹敌的最优运行时间。
本文完善了勒·卡姆(Le Cam)关于假设检验可行性的研究,证明了在无需支配测度假设的一般情形下,存在非平凡检验的充要条件是概率测度集 和 的凸包在有界可加测度空间中的闭包在总变差距离下可分离。
本文提出了一种信息论框架,通过推导并最大化“信息差距”来优化实验刺激分布,从而有效区分早期感觉神经种群是编码似然函数还是后验分布这两种竞争性的概率神经编码假说。
本文提出了一种基于大语言模型的新型信道状态信息反馈框架,通过将压缩任务重构为掩码令牌预测问题,并设计基于自信息的信息论掩码选择策略,优先反馈高信息量元素以最大化预测精度,从而有效解决 FDD 大规模 MIMO 系统中的 CSI 反馈难题。