📊 statistics

Large Language Models for Imbalanced Classification: Diversity makes the difference

Dieses Paper schlägt eine neuartige, auf einem Large Language Model basierende Oversampling-Methode vor, welche die Diversität und Realitätsnähe synthetischer Minderheitsbeispiele durch eine bedingte Generierungsstrategie, einen neuen Permutations-basierten Fine-Tuning-Ansatz sowie Interpolation steigert und dadurch bestehende State-of-the-Art-Techniken bei unbalancierten Klassifikationsaufgaben signifikant übertrifft.

Ursprüngliche Autoren: Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

Veröffentlicht 2026-06-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das Klassenzimmer der „Seltenen Krankheiten“

Stellen Sie sich einen Lehrer vor, der versucht, einer Klasse zwei Arten von Schülern beizubringen: „Reguläre Schüler“ (die 90 % der Klasse ausmachen) und „Seltene Schüler“ (die nur 10 % ausmachen).

Wenn der Lehrer sich nur auf die 90 % der Mehrheit konzentriert, wird er alles über die „Regulären Schüler“ lernen, aber fast nichts über die „Seltenen Schüler“. Wenn eine Prüfung ansteht, wird der Lehrer wahrscheinlich raten, dass alle „Reguläre Schüler“ sind, weil er das am häufigsten gesehen hat. Er versäumt es, die einzigartigen Merkmale der Minderheitengruppe zu erkennen.

In der Datenwissenschaft nennt man das Imbalanced Classification (Ungleichgewicht bei der Klassifizierung). Das Ziel ist es, den Computer zu lehren, die seltene Gruppe genauso gut zu erkennen wie die häufige Gruppe.

Die alte Lösung: Der „Copy-Paste“-Fehler

Um dies zu beheben, versuchen Datenwissenschaftler normalerweise, mehr Beispiele der „Seltenen Schüler“ zu erstellen, damit die Klasse ausgeglichen ist.

Der alte Weg (SMOTE): Stellen Sie sich vor, man nimmt zwei echte „Seltene Schüler“, misst sie und zeichnet einen neuen Schüler genau in der Mitte zwischen ihnen. Es ist wie das Erstellen einer Fotokopie einer Fotokopie.
Das Problem: Wenn die Daten Kategorien enthalten (wie „Berufsbezeichnung“ oder „Bildungsniveau“), kann man nicht einfach eine Linie zwischen „Arzt“ und „Lehrer“ ziehen, um einen neuen Beruf zu erhalten. Man muss diese Wörter zuerst in Zahlen umwandeln, was oft wichtige Details verloren gehen lässt. Es ist, als würde man versuchen, ein Gemälde nur mithilfe einer Tabellenkalkulation zu beschreiben.

Die neue Idee: Der „KI-Geschichtenerzähler“

In jüngster Zeit haben Wissenschaftler begonnen, Large Language Models (LLMs) einzusetzen – dieselbe Art von KI, die Aufsätze schreibt oder mit Ihnen chattet –, um diese fehlenden „Seltenen Schüler“ zu generieren. Anstatt Wörter in Zahlen umzuwandeln, liest die KI die Daten als eine Geschichte (z. B. „John ist ein Arzt, arbeitet 40 Stunden und verdient 200.000 $“).

Die Forscher fanden jedoch einen schwerwiegenden Fehler in der Anwendung dieser KI-Geschichtenerzähler:
Sie waren zu repetitiv. Wenn man die KI fragte: „Erzähl mir eine Geschichte über einen Seltenen Schüler“, und sie gab einem 1.000 Mal exakt dieselbe Geschichte, würde das dem Lehrer nichts Neues beibringen. Die KI wiederholte nur dieselben wenigen Muster und schuf einen „Spiegelkabinett-Effekt“ statt eines vielfältigen Klassenzimmers.

Die Lösung: ImbLLM (Der „Vielfältige Geschichtenerzähler“)

Die Autoren schlagen eine neue Methode namens ImbLLM vor. Sie haben die Erzähngewohnheiten der KI mit drei klugen Tricks korrigiert, um sicherzustellen, dass die neuen „Schüler“ vielfältig und realistisch sind.

1. Der „Spezifischer-Prompt“-Trick (Sampling)

Der alte Weg: Die KI wurde gefragt: „Erzähl mir eine Geschichte über einen Seltenen Schüler.“ Sie wählte die wahrscheinlichsten Wörter aus und wiederholte immer wieder dieselbe Geschichte.
Der ImbLLM-Weg: Die Autoren sagen der KI: „Erzähl mir eine Geschichte über einen Seltenen Schüler, der auch ein spezifisches Merkmal besitzt, wie zum Beispiel einen bestimmten Beruf oder ein bestimmtes Einkommen.“
Die Analogie: Anstatt einen Koch zu fragen: „Mach mir einen Nachtisch“, und jedes Mal denselben Schokoladenkuchen zu bekommen, sagen Sie: „Mach mir einen Nachtisch, aber dieser muss Erdbeeren enthalten.“ Dann sagen Sie beim nächsten Mal: „Mach mir einen Nachtisch, aber dieser muss Zitronen enthalten.“ Dies zwingt die KI, verschiedene Geschmacksrichtungen (Merkmale) zu erkunden, anstatt an einem sicheren Rezept festzuhalten.

2. Der „Erste Reihe“-Trick (Permutation)

Der alte Weg: Beim Training der KI vertauschten die Forscher die Reihenfolge der Geschichte. Manchmal befand sich das Label des „Seltenen Schülers“ am Ende des Satzes. Aufgrund der Funktionsweise dieser KI-Modelle (sie lesen von links nach rechts) vergaß die KI das „Seltene“-Label bis zum Ende des Satzes und verlor so die Verbindung zwischen dem Label und den Merkmalen.
Der ImbLLM-Weg: Sie behalten das Label des „Seltenen Schülers“ ganz am Anfang des Satzes, wie einen Titel, und vertauschen nur den Rest der Details.
Die Analogie: Stellen Sie sich einen Detektiv vor, der versucht, einen Fall zu lösen. Wenn der Hinweis „Der Verdächtige ist ein Arzt“ ganz unten in einem langen Bericht versteckt ist, übersieht der Detektiv ihn vielleicht. ImbLLM setzt den Hinweis in große, fettgedruckte Buchstaben ganz oben auf die Seite, damit die KI nie vergisst, wen sie beschreiben soll.

3. Der „Übungsrunden“-Trick (Fine-Tuning & Interpolation)

Der alte Weg: Die KI wurde sowohl auf die „Gemeinsamen Schüler“ als auch auf die „Seltenen Schüler“ trainiert. Dies verwirrte die KI; sie versuchte ständig, die „Seltenen Schüler“ wie die „Gemeinsamen Schüler“ aussehen zu lassen. Außerdem versuchten einige Methoden, zu prüfen, ob die neuen Geschichten „echt“ waren, indem sie einen schwachen Test verwendeten, der oft fehlschlug.
Der ImbLLM-Weg: Sie trainierten die KI nur auf den „Seltenen Schülern“ (und einigen mathematisch vermischten Versionen von ihnen).
Die Analogie: Anstatt einem Basketballspieler beizubringen, indem man ihm sowohl NBA-Stars als als auch Kleinkinder zeigt, zeigen Sie ihm nur NBA-Stars. Sie wollen, dass er die spezifischen Bewegungen der Profis lernt.
Der „Interpolation“-Bonus: Da es nur sehr wenige „Seltene Schüler“ gibt, von denen die KI lernen kann, kennt die KI möglicherweise nicht alle möglichen Variationen. Die Autoren erstellten „Übungsschüler“, indem sie zwei echte seltene Schüler nahmen und ihre kontinuierlichen Merkmale (wie Alter oder Gehalt) mathematisch vermischten, um einen neuen, leicht anderen Schüler zu erschaffen. Dies füllt die Lücken und stellt sicher, dass die KI das volle Spektrum der Möglichkeiten lernt, nicht nur die, die sie in den Trainingsdaten gesehen hat.

Die Ergebnisse: Ein besseres Klassenzimmer

Die Autoren testeten diese neue Methode an 10 verschiedenen realen Datensätzen (wie medizinischen Unterlagen oder Kreditkartendaten).

Leistung: ImbLLM schlug 8 andere Top-Methoden. Es war in 5 Fällen die beste und in 3 Fällen die zweitbeste Methode.
Qualität: Die von ImbLLM erzeugten künstlichen „Seltenen Schüler“ waren nicht nur realistisch (sie sahen wie echte Daten aus), sondern auch vielfältig (sie deckten viele verschiedene Arten von seltenen Szenarien ab).
Warum es wichtig ist: Weil die KI von einem vielfältigen Satz an Beispielen lernte, wurde der endgültige Klassifizierer (der „Lehrer“) viel besser darin, die seltenen Fälle zu erkennen, die er zuvor ignoriert hatte.

Zusammenfassung

Das Paper argumentiert, dass es nicht ausreicht, einfach nur KI zur Generierung von Daten zu verwenden; man muss der KI beibringen, wie man kreativ und fokussiert ist. Indem man die KI zwingt, auf spezifische Merkmale zu achten, das Hauptziel klar im Blick zu behalten und sie ausschließlich auf die seltenen Beispiele zu trainieren, haben sie eine Methode geschaffen, die das Problem der „Imbalanced Data“ (ungleichgewichtige Daten) viel besser löst als bisherige Versuche.

Technisches Resümee: Large Language Models für imbalancierte Klassifizierung: Diversität macht den Unterschied

Problemstellung

Die imbalancierte Klassifizierung bleibt eine kritische Herausforderung im maschinellen Lernen, insbesondere beim Umgang mit tabellarischen Daten, bei denen Minderheitenklassen (z. B. seltene Krankheiten) signifikant weniger Stichproben aufweisen als Mehrheitsklassen. Traditionelle Oversampling-Methoden wie SMOTE adressieren dies durch das Erzeugen synthetischer Minderheitenstichproben. Diese Ansätze erfordern jedoch häufig die Umwandlung kategorialer Variablen in numerische Vektoren (via ordinaler oder One-Hot-Kodierung), was zu Informationsverlust und der Einführung von Artefakten führt.

Obwohl kürzlich neuartige, auf Large Language Models (LLM) basierende Methoden entstanden sind, um tabellarische Daten als Text zu verarbeiten – wodurch der Kontext von Variablen bewahrt und die numerische Konvertierung vermieden wird –, leiden diese unter einer anderen Einschränkung: begrenzter Diversität. Bestehende LLM-basierte Ansätze generieren typischerweise synthetische Minderheitenstichproben, die einander zu ähnlich sind. Dieser Mangel an Diversität reduziert die Robustheit und Generalisierbarkeit nachgeschalteter Klassifizierer. Darüber hinaus verlassen sich aktuelle Methoden oft auf unzuverlässige Verifizierungsschritte (unter Verwendung externer Klassifizierer oder des auf imbalancierten Daten trainierten LLMs selbst), um synthetische Stichproben zu filtern, was zur Ablehnung valider Daten führen kann.

Methodik: ImbLLM

Die Autoren schlagen ImbLLM vor, ein neuartiges LLM-basiertes Oversampling-Framework, das darauf ausgelegt ist, die Diversität und Qualität synthetischer Minderheitenstichproben zu verbessern. Die Methode führt drei spezifische technische Verbesserungen gegenüber bestehenden Baselines ein:

1. Diversitätsbedingte Stichprobenziehung (`condition_yx`)

Bestehende Methoden konstruieren Prompts ausschließlich auf Basis des Minderheitenlabels (z. B. „Einkommen ist ≥200K“), um das LLM abzufragen. Aufgrund der Softmax-Funktion, die bei der Token-Vorhersage verwendet wird, liefern identische Prompts oft hochgradig ähnliche Ausgaben.

Innovation: ImbLLM konstruiert Prompts, die sowohl auf dem Minderheitenlabel als auch auf einem zufällig ausgewählten Merkmal konditioniert sind.
Mechanismus: Für jede Generierung sampelt das System ein Merkmal $X_i$ und dessen Wert $v_i$ aus der Minderheitenverteilung, wodurch ein Prompt wie „Einkommen ist ≥200K, Bildung ist Bachelor“ entsteht. Diese Variation in den Konditionierungseingaben zwingt das LLM dazu, verschiedene Regionen des Merkmalsraums zu explorieren, was vielfältigere synthetische Stichproben generiert.

2. Merkmalspermutation mit festem Label (`fix_y`)

Standardmäßige LLM-basierte Methoden permutieren sowohl Merkmale ( $X$ ) als auch die Zielvariable ( $Y$ ) während des Fine-Tunings, um einen Positions-Bias zu verhindern. In Decoder-only-LLMs ist der Attention-Mechanismus jedoch maskiert, sodass ein Token nur auf vorangehende Tokens zugreifen kann.

Problem: Wenn das Minderheitenlabel $Y$ in die Mitte oder das Ende einer Sequenz verschoben wird, kann es nicht auf die vorangehenden Merkmale zugreifen, was die Fähigkeit des Modells einschränkt, diverse Merkmale unter der Bedingung dieses Labels zu generieren.
Innovation: ImbLLM fixiert das Minderheitenlabel ( $Y$ ) am Anfang des Satzes und permutiert nur die Merkmale ( $X$ ).
Mechanismus: Durch die Platzierung von $Y$ zuerst (z. B. „Einkommen ist ≥200K, Bildung ist Bachelor...“) kann das Label über den Attention-Mechanismus auf alle nachfolgenden Merkmale zugreifen, was sicherstellt, dass die generierten Merkmale vollständig auf die Zielklasse konditioniert sind.

3. Fine-Tuning mit Interpolation (`minor+interpolate`)

Bestehende Methoden führen das Fine-Tuning des LLMs sowohl auf Mehrheits- als auch auf Minderheitsdaten durch und versuchen dann, synthetische Stichproben zu verifizieren, um sicherzustellen, dass sie zur Minderheitsklasse gehören. Diese Verifizierung ist oft unzuverlässig, da der Verifizierer auf imbalancierten Daten trainiert wurde.

Innovation: ImbLLM führt das Fine-Tuning des LLMs nur auf Minderheitenstichproben und interpolierten Stichproben durch, wodurch die Mehrheitsklasse in der Fine-Tuning-Phase vollständig eliminiert wird.
Mechanismus: Um die Knappheit an Minderheitenstichproben (die möglicherweise keine ausreichende Abdeckung kontinuierlicher Variablenbereiche aufweisen) zu adressieren, führen die Autoren einen Interpolationsschritt ein. Sie generieren synthetische kontinuierliche Werte durch Interpolation zwischen existierenden Minderheitenstichproben ( $x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$ ). Das LLM wird dann auf der Vereinigung der ursprünglichen Minderheitenstichproben und dieser interpolierten Stichproben feinjustiert. Dies eliminiert die Notwendigkeit eines nachgeschalteten Verifizierungsschritts und verhindert, dass das Modell in Richtung der Mehrheitsklasse verzerrt wird.

Zentrale Beiträge

ImbLLM-Framework: Eine neuartige Oversampling-Methode, die drei Schlüsselverbesserungen (Sampling, Permutation und Interpolations-basiertes Fine-Tuning) integriert, um diverse und robuste Minderheitenstichproben zu generieren.
Theoretische Analyse: Eine entropiebasierte Analyse, die beweist, dass der vorgeschlagene Generierungsprozess mathematisch die Diversität der Ausgabe fördert.
Umfassende Evaluierung: Umfangreiche Experimente auf 10 realen tabellarischen Datensätzen, die ImbLLM mit acht State-of-the-Art-Baselines (einschließlich SMOTE, CTGAN und anderen LLM-basierten Methoden wie Great, TapTap und Pred-LLM) vergleichen.
Qualitäts- und Diversitätsmetriken: Demonstration, dass die generierten Stichproben nicht nur effektiver für die Klassifizierung sind, sondern auch bei der „Close Probability“ (Ähnlichkeit zu realen Daten) und der „Coverage“ (Diversität des generierten Manifolds) überlegen sind.

Experimentelle Ergebnisse

Die Autoren evaluierten ImbLLM auf 10 Datensätzen (z. B. Adult, German, Credit Card) unter Verwendung des F1-Scores und der AUC als primäre Metriken für die nachgeschaltete Klassifizierungsleistung.

Klassifizierungsleistung: ImbLLM erreichte den besten F1-Score in 5 von 10 Datensätzen und den zweitbesten in 3 weiteren. Im Durchschnitt übertraf es den zweitplatzierten (CTGAN) um etwa 3 % und den Standard-Imbalanced-Classifier (ohne Oversampling) um 8 %. Bemerkenswert ist, dass die Leistung von ImbLLM der eines auf dem ursprünglichen, balancierten Datensatz trainierten Klassifizierers nahekam, obwohl nur 20 % der ursprünglichen Minderheitenstichproben für das Training verwendet wurden.
Diversität und Qualität:
- Close Probability: ImBLLM erzielte 0,8011 im Vergleich zu 0,7761 bei CTGAN, was darauf hindeutet, dass die synthetischen Stichproben näher an den realen Minderheitenstichproben liegen.
- Coverage: ImBLLM erzielte 0,8933 im Vergleich zu 0,8482 bei CTGAN, was auf eine bessere Abdeckung des realen Daten-Manifolds hindeutet.
Ablationsstudien: Die Studie bestätigte, dass jede Komponente (diverses Sampling, Fixed-Label-Permutation und Interpolation) signifikant zur Leistung beiträgt. Das Entfernen des Interpolationsschritts führte zu einer geringeren Leistung, blieb jedoch dennoch überlegen gegenüber den Baselines.
Robustheit: Im Gegensatz zu TapTap und Pred-LLM, die auf Verifizierungsschritte angewiesen sind, die scheitern, wenn der imbalancierte Datensatz zu stark verzerrt ist, um einen zuverlässigen Verifizierer zu trainieren, erwies sich der Ansatz von ImBLLM, die Mehrheitsdaten während des Fine-Tunings auszuschließen, über verschiedene Imbalanzverhältnisse hinweg als robuster.

Bedeutung und Behauptungen

Das Paper behauptet, dass Diversität der entscheidende Faktor ist, der erfolgreiches LLM-basiertes Oversampling von Misserfolg unterscheidet. Während sich frühere LLM-Methoden auf die Mechanik der Generierung oder Verifizierung konzentrierten, zeigt ImBLLM, dass die Optimierung der Diversität des Generierungsprozesses – durch spezifisches Prompt-Engineering, attention-bewusste Permutation und Interpolations-basiertes Fine-Tuning – direkt zu einer überlegenen nachgeschalteten Klassifizierungsleistung führt.

Die Autoren behaupten, dass ihre Methode eine zuverlässigere Alternative zu verifizierungslastigen Ansätzen bietet, da sie inhärent hochwertige Minderheiten-Daten generiert, ohne dass „schlechte“ Stichproben mittels potenziell verzerrter Klassifizierer herausgefiltert werden müssen. Die Ergebnisse legen nahe, dass ImBLLM die Leistungsdifferenz zwischen stark imbalancierten Datensätzen und deren balancierten Gegenstücken effektiv überbrücken kann, was es zu einer lebensfähigen Lösung für reale Anwendungen mit seltenen Ereignissen in tabellarischen Daten macht.