Federated Active Learning Under Extreme Non-IID and Global Class Imbalance

本文针对联邦主动学习在极端非独立同分布和全局类别不平衡场景下的性能退化问题,提出了一种名为 FairFAL 的自适应框架,通过轻量级预测差异自适应选择查询模型、利用全局特征进行原型引导的伪标签生成以及两阶段不确定性 - 多样性平衡采样策略,显著提升了长尾和非独立同分布设置下的最终性能。

Chen-Chen Zong, Sheng-Jun Huang2026-03-12🤖 cs.LG

HEAL: Hindsight Entropy-Assisted Learning for Reasoning Distillation

本文提出了名为 HEAL 的无强化学习框架,通过结合引导熵辅助修复、困惑度 - 不确定性比率估计及渐进式答案引导课程演化三大核心模块,有效突破了传统知识蒸馏中教师模型能力上限的制约,显著提升了小型模型从大型推理模型中学习复杂推理能力的水准。

Wenjing Zhang, Jiangze Yan, Jieyun Huang, Yi Shen, Shuming Shi, Ping Chen, Ning Wang, Zhaoxiang Liu, Kai Wang, Shiguo Lian2026-03-12🤖 cs.AI

On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD

该论文通过理论分析与实验验证,揭示了标签噪声 SGD 在两层过参数化线性网络中通过驱动模型从“懒惰”区域向“丰富”区域转变并增强权重与真实插值器的对齐,从而解释了其提升泛化能力的内在机制,并将该发现推广至锐度感知最小化(SAM)等更广泛的优化算法。

Tongcheng Zhang, Zhanpeng Zhou, Mingze Wang, Andi Han, Wei Huang, Taiji Suzuki, Junchi Yan2026-03-12🤖 cs.LG