Federated Active Learning Under Extreme Non-IID and Global Class Imbalance

本文针对联邦主动学习在极端非独立同分布和全局类别不平衡场景下的性能退化问题,提出了一种名为 FairFAL 的自适应框架,通过轻量级预测差异自适应选择查询模型、利用全局特征进行原型引导的伪标签生成以及两阶段不确定性 - 多样性平衡采样策略,显著提升了长尾和非独立同分布设置下的最终性能。

Chen-Chen Zong, Sheng-Jun Huang2026-03-12🤖 cs.LG

HEAL: Hindsight Entropy-Assisted Learning for Reasoning Distillation

本文提出了名为 HEAL 的无强化学习框架,通过结合引导熵辅助修复、困惑度 - 不确定性比率估计及渐进式答案引导课程演化三大核心模块,有效突破了传统知识蒸馏中教师模型能力上限的制约,显著提升了小型模型从大型推理模型中学习复杂推理能力的水准。

Wenjing Zhang, Jiangze Yan, Jieyun Huang, Yi Shen, Shuming Shi, Ping Chen, Ning Wang, Zhaoxiang Liu, Kai Wang, Shiguo Lian2026-03-12🤖 cs.AI

On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD

该论文通过理论分析与实验验证,揭示了标签噪声 SGD 在两层过参数化线性网络中通过驱动模型从“懒惰”区域向“丰富”区域转变并增强权重与真实插值器的对齐,从而解释了其提升泛化能力的内在机制,并将该发现推广至锐度感知最小化(SAM)等更广泛的优化算法。

Tongcheng Zhang, Zhanpeng Zhou, Mingze Wang, Andi Han, Wei Huang, Taiji Suzuki, Junchi Yan2026-03-12🤖 cs.LG

The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training

该论文指出大语言模型低比特训练中的数值不稳定性主要由秩一均值偏差驱动,并提出通过简单的均值减法消除该偏差,从而在无需复杂 SVD 分解的情况下显著提升了 FP4 量化训练的稳定性与性能。

Hengjie Cao, Zhendong Huang, Mengyi Chen, Yifeng Yang, Fanqi Yu, Ruijun Huang, Fang Dong, Xin Zhang, Jixian Zhou, Anrui Chen, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Yuan Cheng, Tun Lu, Fan Yang, Li Shang2026-03-12🤖 cs.LG

Spatio-Temporal Forecasting of Retaining Wall Deformation: Mitigating Error Accumulation via Multi-Resolution ConvLSTM Stacking Ensemble

该研究提出了一种多分辨率 ConvLSTM 集成框架,通过融合不同时间尺度的输入数据,有效缓解了误差累积问题,显著提升了基坑开挖过程中挡土墙变形的长时序预测精度与稳定性。

Jihoon Kim (Department of Civil,Environmental Engineering, Hongik University, Seoul, Republic of Korea), Heejung Youn (Department of Civil,Environmental Engineering, Hongik University, Seoul, Republic of Korea)2026-03-12🤖 cs.LG