📊 statistics

Large Language Models for Imbalanced Classification: Diversity makes the difference

本文提出了一种基于大语言模型的新型过采样方法，该方法通过条件生成策略、一种新的基于排列的微调方法以及插值技术，增强了合成少数类样本的多样性与真实性，从而在不平衡分类任务中显著优于现有的最先进技术。

原作者： Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于论文《大语言模型用于不平衡分类：多样性成就差异》（Large Language Models for Imbalanced Classification: Diversity makes the difference）的解释，采用了通俗易懂的语言和富有创意的类比。

问题所在：“罕见病例”教室

想象一位老师正在试图教一个班级的学生区分两种类型：“普通学生”（占班级的 90%）和“罕见学生”（仅占 10%）。

如果老师只关注这 90% 的多数群体，他们会了解关于“普通学生”的一切，但对“罕见学生”几乎一无所知。当考试来临时，老师很可能会猜所有人都是“普通学生”，因为这是他们见得最多的。他们无法识别少数群体的独特特征。

在数据科学中，这被称为不平衡分类（Imbalanced Classification）。目标是教会计算机像识别普通群体一样好地识别稀有群体。

旧的解决方案：“复制粘贴”错误

为了解决这个问题，数据科学家通常尝试创造更多“罕见学生”的例子，使班级达到平衡。

旧方法 (SMOTE)： 想象一下，取出两个真实的“罕见学生”，测量他们的特征，然后在他们中间画出一个新的学生。这就像是在复印件的基础上再进行复印。
问题所在： 如果数据包含类别信息（如“职位名称”或“受教育程度”），你不能直接在“医生”和“教师”之间画一条线来产生一个新的职业。你必须先将这些词语转化为数字，但这往往会丢失重要的细节。这就像是试图用一张电子表格来描述一幅画作。

新的想法：“AI 讲故事的人”

最近，科学家开始使用大语言模型 (LLMs)——也就是那些能写文章或与你聊天的 AI——来生成这些缺失的“罕见学生”。与其将词语转化为数字，AI 会将数据读作一个故事（例如，“约翰是一名医生，工作 40 小时，年薪 20 万美元”）。

然而，这篇论文发现人们使用这些“AI 讲故事的人”时存在一个重大缺陷：
它们太重复了。如果你问 AI，“请讲一个关于罕见学生的故事”，而它给出了 1,000 个完全相同的故事，那么它对老师的学习过程没有任何帮助。AI 只是在重复同样的几种模式，创造了一个“镜像迷宫”，而不是一个多样化的教室。

解决方案：ImbLLM（“多样化的讲故事的人”）

作者提出了一种名为 ImbLLM 的新方法。他们通过三个聪明的技巧修复了 AI 的讲故事习惯，以确保生成的新“学生”既多样化又真实。

1. “特定提示词”技巧 (采样/Sampling)

旧方法： AI 被要求“讲一个关于罕见学生的故事”。它会选择最可能的词汇，并一遍又一遍地重复同一个故事。
ImbLLM 方法： 作者告诉 AI，“讲一个关于罕见学生的故事，并且他还要具备某个特定的特征，比如特定的职业或收入。”
类比： 与其要求厨师“做一份甜点”，然后每次都得到同样的巧克力蛋糕，不如说“做一份甜点，但这次必须带有草莓”；下次再说“做一份甜点，但这次必须带有柠檬”。这迫使 AI 去探索不同的风味（特征），而不是固守一种安全的食谱。

2. “前排座位”技巧 (排列/Permutation)

旧方法： 在训练 AI 时，研究人员会打乱故事的顺序。有时“罕见学生”的标签位于句子的末尾。由于这些 AI 模型的工作原理（从左向右阅读），当读到句子末尾时，AI 会忘记“罕见”这个标签，从而丢失了标签与特征之间的联系。
ImbLLM 方法： 他们将“罕见学生”标签放在句子的最开头，就像一个标题一样，然后只对其余的细节进行打乱。
类比： 想象一名侦探正在试图破案。如果线索“嫌疑人是一名医生”被埋在长篇报告的底部，侦探可能会错过它。ImbLLM 把线索用大号粗体字放在页面的顶部，这样 AI 就永远不会忘记它应该描述谁。

3. “演习”技巧 (微调与插值/Fine-Tuning & Interpolation)

旧方法： AI 同时在“普通学生”和“罕见学生”的数据上进行训练。这会让 AI 感到困惑；它会不断尝试让“罕见学生”看起来像“普通学生”。此外，有些方法尝试使用较弱的测试来检查这些新故事是否“真实”，但这往往会失败。
ImbLLM 方法： 他们仅在“罕见学生”（以及一些数学混合后的版本）上训练 AI。
类比： 与其通过展示 NBA 球星和幼儿来训练一名篮球运动员，不如只向他们展示 NBA 球星。你希望他们学习职业选手的特定动作。
“插值”加成： 由于可以学习的“罕见学生”非常少，AI 可能不知道所有可能的变体。作者通过提取两个真实的罕见学生，并对他们的连续性特征（如年龄或薪水）进行数学混合，创造出了新的、略有不同的学生。这填补了空白，确保 AI 学习到完整的可能性范围，而不仅仅是它在训练数据中看到的那些。

结果：更好的教室

作者在 10 个真实的现实世界数据集（如医疗记录或信用卡数据）上测试了这种新方法。

表现： ImbLLM 击败了其他 8 种顶尖方法。它在 5 个案例中表现最佳，在 3 个案例中排名第二。
质量： ImbLLM 创建的虚假“罕见学生”不仅非常真实（看起来像真实数据），而且具有多样性（涵盖了许多不同类型的罕见场景）。
为什么这很重要： 因为 AI 从一组多样化的例子中学习，最终的分类器（即“老师”）变得能够更好地识别出它之前忽略的罕见情况。

总结

这篇论文认为，仅仅使用 AI 来生成数据是不够的；你必须教会 AI 如何变得具有创造力且专注。通过强制 AI 观察特定特征、保持核心目标清晰可见，并仅针对罕见样本进行训练，他们创造出了一种比以往尝试能更好地解决“不平衡数据”问题的方法。

技术摘要：用于不平衡分类的大语言模型：多样性成就差异

问题陈述

不平衡分类仍然是机器学习中的一个关键挑战，特别是在处理具有显著少数类（例如罕见疾病）与多数类样本量差异巨大的表格数据时。传统的过采样方法（如 SMOTE）通过生成合成少数类样本来解决这一问题。然而，这些方法通常需要将类别变量转换为数值向量（通过序数编码或独热编码），这会导致信息丢失并引入人工痕迹。

虽然最近出现了基于大语言模型（LLM）的方法，通过将表格数据处理为文本来保留变量上下文并避免数值转换，但它们面临着一个不同的局限性：多样性有限。现有的基于 LLM 的方法生成的合成少数类样本通常彼此过于相似。这种多样性的缺失降低了下游分类器的鲁棒性和泛化能力。此外，当前的方法通常依赖于不可靠的验证步骤（使用外部分类器或在不平衡数据上训练的 LLM 本身）来过滤合成样本，这可能导致有效数据的误剔除。

方法论：ImbLLM

作者提出了 ImbLLM，一种新型的基于 LLM 的过采样框架，旨在增强合成少数类样本的多样性和质量。该方法相比现有基准引入了三个具体的的技术改进：

1. 多样性调节采样 (`condition_yx`)

现有方法仅根据少数类标签（例如“收入 ≥20 {k}”）构建提示词来查询 LLM。由于用于预测 Token 的 Softmax 函数的作用，相同的提示词往往会产生高度相似的输出。

创新点： ImbLLM 构建的提示词同时以少数类标签和随机采样的特征为条件。
机制： 对于每次生成，系统会从少数类分布中采样一个特征 $X_i$ 及其值 $v_i$ ，形成类似“收入 ≥200K，教育程度为本科”的提示词。这种对条件输入的变动迫使 LLM 探索不同的特征空间区域，从而生成更多样化的合成样本。

2. 固定标签的特征排列 (`fix_y`)

标准的基于 LLM 的方法在微调期间会对特征 ( $X$ ) 和目标变量 ( $Y$ ) 进行排列，以防止位置偏差。然而，在仅解码器（decoder-only）架构的 LLM 中，注意力机制是被掩盖的，使得一个 Token 只能关注其之前的 Token。

问题： 如果将少数类标签 $Y$ 置于序列的中间或末尾，它无法关注到其之前的特征，从而限制了模型根据该标签生成多样化特征的能力。
创新点： ImbLLM 将少数类标签 ( $Y$ ) 固定在句子的开头，并且仅对特征 ( $X$ ) 进行排列。
机制： 通过将 $Y$ 放在首位（例如，“收入 ≥200K，教育程度为本科……”），标签可以通过注意力机制关注到后续所有的特征，确保生成的特征完全受目标类别的约束。

3. 基于插值的微调 (`minor+interpolate`)

现有方法在包含多数类和少数类的数据上对 LLM 进行微调，然后尝试验证合成样本以确保它们属于少数类。这种验证通常是不可靠的，因为验证器本身是在不平衡数据上训练的。

创新点： ImbLLM 仅在少数类样本和插值样本上对 LLM 进行微调，在微调阶段完全排除了多数类。
机制： 为了解决少数类数据稀缺（可能缺乏对连续变量领域的充分覆盖）的问题，作者引入了插值步骤。他们通过在现有的少数类样本之间进行插值来生成合成的连续值（ $x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$ ）。随后，LLM 在原始少数类样本和这些插值样本的并集上进行微调。这消除了对后验生成验证步骤的需求，并防止模型向多数类产生偏差。

核心贡献

ImbLLM 框架： 一种整合了三种关键改进（采样、排列和微调）的新型过采样方法，用于生成多样且稳健的少数类样本。
理论分析： 通过基于熵的分析，证明了所提出的生成过程在数学上鼓励了输出的多样性。
全面评估： 在 10 个真实世界的表格数据集上进行了广泛实验，将 ImbLLM 与八种最先进的基准方法（包括 SMOTE、CTGAN 以及其他基于 LLM 的方法如 Great、TapTap 和 Pred-LLM）进行了对比。
质量与多样性指标： 证明了生成的样本不仅在分类任务中更有效，而且在“接近概率”（与真实数据的相似度）和“覆盖度”（生成流形的多样性）方面也表现优异。

实验结果

作者在 10 个数据集（如 Adult、German、Credit Card）上评估了 ImbLLM，并使用 F1 分数和 AUC 作为下游分类性能的主要指标。

分类性能： ImbLLM 在 10 个数据集中的 5 个上取得了最佳 F1 分数，并在另外 3 个数据集上取得了第二佳成绩。平均而言，它比排名第二的对手（CTGAN）高出约 3%，比标准不平衡分类器（未进行过采样）高出约 8%。值得注意的是，尽管仅使用了 20% 的原始少数类样本进行训练，ImbLLM 的性能已接近于在原始平衡数据集上训练的分类器。
多样性与质量：
- 接近概率 (Close Probability)： ImbLLM 得分为 0.8011，而 CTGAN 为 0.7761，表明合成样本更接近真实的少数类样本。
- 覆盖度 (Coverage)： ImbLLM 得分为 0.8933，而 CTGAN 为 0.8482，表明其对真实数据流形的覆盖更好。
消融实验： 研究证实了每个组件（多样化采样、固定标签排列和插值）都对性能有显著贡献。移除插值步骤会导致性能下降，尽管仍优于基准方法。
鲁棒性： 与依赖验证步骤的 TapTap 和 Pred-LLM 不同（当不平衡数据集过于倾斜导致无法训练可靠的验证器时，这些方法会失效），ImbLLM 通过在微调阶段排除多数类的方法，在不同的不平衡比例下表现出更强的鲁棒性。

意义与主张

本文声称，多样性是区分成功的基于 LLM 的过采样与失败的关键因素。以往的 LLM 方法侧重于生成或验证的机制，而 ImbLLM 则证明了通过特定的提示工程、注意力感知排列和基于插值的微调来优化生成过程的多样性，可以直接转化为卓越的下游分类性能。

作者断言，由于其能够生成高质量的少数类数据，而无需使用可能存在偏差的分类器来过滤“坏”样本，因此该方法为依赖验证的方法提供了一个更可靠的替代方案。结果表明，ImbLLM 可以有效地缩小严重不平衡数据集与其平衡对应物之间的性能差距，使其成为处理表格数据中罕见事件的现实应用中的可行解决方案。