📊 statistics

Large Language Models for Imbalanced Classification: Diversity makes the difference

本論文は、条件付き生成戦略、新たな置換ベースのファインチューニング手法、および補間を用いることで、合成された少数派サンプルの多様性とリアリズムを向上させる、大規模言語モデルに基づいた新しいオーバーサンプリング手法を提案しており、それによって不均衡分類タスクにおける既存の最先端技術を大幅に上回る性能を実現している。

原著者： Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「希少疾患」の教室

想像してみてください。ある教師が、クラスの生徒を2つのタイプについて教えようとしています。「普通の生徒」（クラスの90%）と「希少な生徒」（わずか10%）です。

もし教師が90%の多数派のことばかりを見ていたら、教師は「普通の生徒」についてはすべてを学びますが、「希少な生徒」についてはほとんど何も知らないままになってしまいます。テストの際、教師は見たことが最も多いパターンに従って、「全員が『普通の生徒』である」と予測してしまうでしょう。これでは、少数派グループのユニークな特徴を見逃してしまいます。

データサイエンスにおいて、これは**不均衡分類（Imbalanced Classification）**と呼ばれます。目標は、コンピュータに、共通のグループと同じくらい上手く、希少なグループを認識できるように教えることです。

旧来の解決策：「コピー＆ペースト」の過ち

これを修正するために、データサイエンティストは通常、クラスのバランスを取るために「希少な生徒」の例を増やそうとします。

旧来の方法（SMOTE）： 2人の実在する「希少な生徒」を取り出し、その特徴を測定し、そのちょうど真ん中に新しい生徒を描き出すようなものです。それは、コピーのコピーをフォトコピーするようなものです。
問題点： データにカテゴリ（「職種」や「教育レベル」など）が含まれている場合、「医師」と「教師」の間に線を引いて新しい職業を作り出すことはできません。言葉を数値に変換しなければなりませんが、これを行うと重要な詳細が失われることがよくあります。それは、絵画をスプレッドシートだけで説明しようとするようなものです。

新しいアイデア：「AIストーリーテラー」

最近、科学者たちは、エッセイを書いたりチャットをしたりできる**大規模言語モデル（LLM）**を使用して、これらの足りない「希少な生徒」を生成し始めました。言葉を数値に変換する代わりに、AIはデータを一つの物語として読み取ります（例：「ジョンは医師で、週40時間働き、年収は20万ドルである」）。

しかし、この論文は、これらのAIストーリーテラーがどのように使われているかについて、重大な欠陥があることを発見しました：
彼らはあまりにも「反復的」すぎたのです。もしあなたがAIに「希少な生徒についての物語を教えて」と頼み、AIが全く同じ物語を1,000回繰り返したとしたら、それは教師の新しい学習には役立ちません。AIは単に同じいくつかのパターンを繰り返しており、多様な教室を作る代わりに、「鏡の回廊」を作り出していたのです。

解決策：ImbLLM（「多様なストーリーテラー」）

著者らは、新しい「生徒」が多様で現実的であることを保証するために、3つの巧妙なトリックを用いてAIの物語作成の癖を修正した、ImbLLMと呼ばれる新しい手法を提案しています。

1. 「具体的なプロンプト」のトリック（サンプリング）

旧来の方法： AIには「希少な生徒についての物語を教えて」と頼まれていました。すると、AIは最も可能性の高い言葉を選び、同じ物語を何度も繰り返していました。
ImbLLMの方法： 著者らはAIに対し、「特定の職種や収入など、特定の属性を持つ希少な生徒についての物語を教えて」と指示します。
比喩： シェフに「デザートを作って」と頼んで、毎回同じチョコレートケーキが出てくる代わりに、「デザートを作って。ただし、今度はイチゴを入れて」と言います。次に「デザートを作って。ただし、今度はレモンを入れて」と言います。これにより、AIは安全なレシピに固執するのではなく、異なるフレーバー（特徴）を探索することを強制されます。

2. 「最前列の席」のトリック（置換/パーミュテーション）

旧来の方法： AIのトレーニング中、研究者は物語の順序をシャッフルしていました。時には「希少な生徒」というラベルが文章の最後に置かれていました。AIの仕組み（左から右へ読む）の性質上、最後まで到達する頃にはAIは「希少」というラベルを忘れてしまい、ラベルと特徴の間のつながりを失っていました。
ImbLLMの方法： 彼らは「希少な生徒」というラベルを、タイトルのように文章の一番最初に保持し、それ以外の詳細のみをシャッフルします。
比喩： 探偵が事件を解決しようとしている場面を想像してください。もし「容疑者は医師である」という手がかりが長い報告書の最後に埋もれていたら、探偵は見逃してしまうかもしれません。ImbLLMは、AIが自分が誰を描写すべきかを決して忘れないよう、その手がかりをページのトップに大きく太い文字で配置します。

3. 「練習走行」のトリック（ファインチューニングと補間）

旧来の方法： AIは「共通の生徒」と「希少な生徒」の両方で訓練されていました。これはAIを混乱させました。AIは「希少な生徒」を「共通の生徒」に似せようとし続けてしまったのです。また、生成された物語が「本物」かどうかを弱いテストで確認しようとする手法もありましたが、多くの場合失敗しました。
ImbLLMの方法： 彼らは、AIを**「希少な生徒」のみ**（およびそれらの数学的に混合されたバージョン）に対して訓練しました。
比喩： バスケットボール選手に教える際、NBAのスターと幼児の両方を見せるのではなく、NBAのスターだけを見せるようなものです。プロの独特な動きを学んでほしいからです。
「補間（インターポレーション）」のボーナス： 学ぶための「希少な生徒」が非常に少ないため、AIはあらゆる可能性を知らない可能性があります。そこで著者らは、2人の実在する希少な生徒を取り、彼らの連続的な特性（年齢や給与など）を数学的にブレンドして、少しずつ異なる新しい生徒を作り出すことで、「練習用の生徒」を作成しました。これにより、データの隙間を埋め、AIが目にしたデータだけでなく、あらゆる可能性の範囲を学習できるようにしました。

結果：より優れた教室

著者らは、この新しい手法を10個の実世界のデータセット（医療記録やクレジットカードデータなど）でテストしました。

パフォーマンス： ImbLLMは他の8つのトップレベルの手法を打ち破りました。5つのケースで最高の結果を出し、3つのケースで2番目に優れた結果を出しました。
品質： ImbLLMによって生成された偽の「希少な生徒」は、現実的（実データのように見える）であるだけでなく、多様（多くの異なる種類の希少なシナリオをカバーしている）でもありました。
なぜ重要なのか： AIが多様な例から学習したため、最終的な分類器（「教師」）は、以前は無視していた希少なケースを特定することがはるかに上手くなりました。

まとめ

この論文は、単にAIを使ってデータを生成するだけでは不十分であり、AIがいかに創造的で集中できるかを教えなければならないと主張しています。AIに特定の属性を見せるよう強制し、主要な目的を明確な視界に保ち、希少な例のみに特化して訓練することで、彼らは「不均衡データ」の問題を従来の手法よりもはるかに良く解決する手法を作り上げました。

テクニカルサマリー：不均衡分類のための大規模言語モデル：多様性が違いを生む

問題提起

不均衡分類は、機械学習における極めて重要な課題であり、特に希少疾患のように少数派クラス（マイノリティクラス）のサンプル数が多数派クラス（マジョリティクラス）よりも大幅に少ない表形式データにおいて顕著です。SMOTEのような従来のオーバーサンプリング手法は、合成的な少数派サンプルを生成することでこれに対処します。しかし、これらのアプローチは多くの場合、カテゴリ変数を数値ベクトル（順序エンコーディングやワンホットエンコーディング経由）に変換する必要があり、情報の損失やアーティファクトの導入を招きます。

近年、表形式データをテキストとして扱うことで、変数のコンテキストを保持し、数値変換を回避する大規模言語モデル（LLM）ベースの手法が登場していますが、これらは別の制限に直面しています。それは限定的な多様性です。既存のLLMベースのアプローチは、通常、互いに酷似した合成少数派サンプルを生成してしまいます。この多様性の欠如は、ダウンストリームの分類器の堅牢性と汎化性能を低下させます。さらに、現在の手法は、合成サンプルをフィルタリングするために、外部の分類器や（不均衡データで訓練された）LLM自身を用いた信頼性の低い検証ステップに依存していることが多く、有効なデータが拒絶される可能性があります。

手法：ImbLLM

著者らは、少数派サンプルの多様性と品質を高めるために設計された、新しいLLMベースのオーバーサンプリング・フレームワークであるImbLLMを提案します。この手法は、既存のベースラインに対して3つの具体的な技術的改善を導入しています。

1. 多様性を条件付けたサンプリング (`condition_yx`)

既存の手法は、LLMにクエリを投げる際、少数派ラベル（例：「所得は20万ドル以上」）のみに基づいてプロンプトを構築します。トークン予測に使用されるソフトマックス関数により、同一のプロンプトはしばしば非常に類似した出力を生成します。

革新性: ImbLLMは、少数派ラベルとランダムにサンプリングされた特徴量の両方を条件としてプロンプトを構築します。
メカニズム: 各生成において、システムは少数派分布から特徴量 $X_i$ とその値 $v_i$ をサンプリングし、「所得は20万ドル以上、学歴は学士」といったプロンプトを形成します。この条件付け入力のバリエーションにより、LLMは特徴空間の異なる領域を探索することを強制され、より多様な合成サンプルを生成します。

2. 固定ラベルによる特徴量の置換 (`fix_y`)

標準的なLLMベースの手法は、位置バイアスを防ぐために、ファインチューニング中に特徴量（ $X$ ）とターゲット変数（ $Y$ ）の両方を置換（シャッフル）します。しかし、デコーダーのみのLLMでは、アテンション機構によって、あるトークンは先行するトークンにしか注意を向けることができないようマスクされています。

問題点: もし少数派ラベル $Y$ がシーケンスの中間や最後にシャッフルされた場合、 $Y$ は先行する特徴量に注意を向けることができず、そのラベルに基づいた多様な特徴量を生成する能力が制限されます。
革新性: ImbLLMは、少数派ラベル（ $Y$ ）を文の冒頭に固定し、特徴量（ $X$ ）のみを置換します。
メカニズム: $Y$ を最初（例：「所得は20万ドル以上、学歴は学士...」）に配置することで、ラベルはアテンション機構を介して後続のすべての特徴量に注意を向けることができ、生成される特徴量がターゲットクラスに完全に条件付けされることを保証します。

3. 補間を用いたファインチューニング (`minor+interpolate`)

既存の手法は、多数派と少数派の両方のデータを用いてLLMをファインチューニングし、その後、合成サンプルが少数派クラスに属することを確認するために検証を行います。しかし、この検証は、検証器自体が不均衡データで訓練されているため、信頼性が低いことがよくあります。

革新性: ImbLLMは、少数派サンプルと補間サンプルのみを用いてLLMをファインチューニングし、ファインチューニング段階から多数派クラスを完全に排除します。
メカニズム: 少数派データの不足（連続変数のドメインを十分にカバーしていない可能性がある）に対処するため、著者らは補間ステップを導入しています。彼らは、既存の少数派サンプル間を補間することで、合成連続値を生成します（ $x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$ ）。その後、LLMは元の少数派サンプルとこれらの補間サンプルの結合体に対してファインチューニングされます。これにより、事後的な生成検証ステップが不要になり、モデルが多数派クラスに偏ることも防ぎます。

主な貢献

ImbLLMフレームワーク: サンプリング、置換、およびファインチューニングの3つの主要な改善を統合し、多様で堅牢な少数派サンプルを生成する新しいオーバーサンプリング手法。
理論的分析: 提案された生成プロセスが数学的に出力の多様性を促進することを証明する、エントロピーに基づく分析。
包括的な評価: 10個の実世界の表形式データセットを用い、SMOTE、CTGAN、および他のLLMベースの手法（Great、TapTap、Pred-LLMなど）を含む8つの最先端のベースラインと比較する広範な実験。
品質と多様性の指標: 生成されたサンプルが分類において効果的であるだけでなく、「Close Probability」（実データへの類似性）および「Coverage」（生成された多様体の被覆範囲）においても優れていることを実証。

実験結果

著者らは、F1スコアとAUCを主要な指標として、10個のデータセット（Adult、German、Credit Cardなど）でImbLLMを評価しました。

分類性能: ImbLLMは、10個中5個のデータセットで最高のF1スコアを達成し、他の3個では2番目に優れた結果を出しました。平均して、ImbLLMはランナーアップであるCTGANを約**3%上回り、標準的な不均衡分類器（オーバーサンプリングなし）を約8%**上回りました。特筆すべきは、元の少数派サンプルのわずか20%のみを使用して訓練したにもかかわらず、ImbLLMの性能が元のバランスの取れたデータセットで訓練された分類器の性能に迫ったことです。
多様性と品質:
- Close Probability: ImbLLMは0.8011を記録し、CTGANの0.7761と比較して、合成サンプルが実際の少数派サンプルに近いことを示しました。
- Coverage: ImbLLMは0.8933を記録し、CTGANの0.8482と比較して、実データの多様体（マニフォールド）をより良くカバーしていることを示しました。
アブレーション研究: 各コンポーネント（多様なサンプリング、固定ラベルによる置換、および補間）が性能に大きく寄与していることが確認されました。補間ステップを除去すると性能は低下しましたが、それでもベースラインよりは優れた結果を示しました。
堅牢性: 検証ステップに依存しており、不均衡データが極端に偏っている場合に信頼できる検証器を訓練できないTapTapやPred-LLMとは異なり、多数派データをファインチューニングから除外するというImbLLMのアプローチは、様々な不均衡比において高い堅牢性を示しました。

意義と主張

本論文は、多様性が、成功するLLMベースのオーバーサンプリングと失敗する手法を分ける決定的な要因であると主張しています。従来のLLM手法は生成または検証のメカニズムに焦点を当ててきましたが、ImbLLMは、特定のプロンプトエンジニアリング、アテンションを考慮した置換、および補間ベースのファインチューニングを通じて、生成プロセスの多様性を最適化することが、直接的に優れたダウンストリームの分類性能につながることを示しました。

著者らは、ImbLLMが、バイアスのある分類器を用いて「悪い」サンプルをフィルタリングする必要がなく、高品質な少数派データを本質的に生成できるため、検証重視のアプローチに代わる、より信頼性の高い選択肢を提供すると断言しています。結果は、ImbLLMが、深刻に不均衡なデータセットと、それに対応するバランスの取れたデータセットとの間の性能ギャップを効果的に埋めることができ、表形式データにおける希少な事象を扱う実世界のアプリケーションにおいて実行可能なソリューションであることを示唆しています。