Technische Samenvatting: Large Language Models voor Imbalanced Classificatie: Diversiteit maakt het verschil

Probleemstelling

Imbalanced classificatie (ongebalanceerde classificatie) blijft een kritieke uitdaging in machine learning, met name bij het werken met tabeldata waarbij minderheidsklassen (bijv. zeldzame ziekten) aanzienlijk minder samples hebben dan meerderheidsklassen. Traditionele oversamplingsmethoden, zoals SMOTE, pakken dit aan door synthetische minderheidssamples te genereren. Deze benaderingen vereisen echter vaak het omzetten van categorische variabelen naar numerieke vectoren (via ordinale of one-hot encoding), wat leidt tot informatieverlies en de introductie van artefacten.

Hoewel recente op Large Language Models (LLM) gebaseerde methoden zijn opgegekomen om tabeldata als tekst te behandelen — waardoor de context van variabelen behouden blijft en numerieke conversie wordt vermeden — lijden zij aan een andere beperking: beperkte diversiteit. Bestaande LLM-gebaseerde benaderingen genereren doorgaans synthetische minderheidssamples die te veel op elkaar lijken. Dit gebrek aan diversiteit vermindert de robuustheid en generaliseerbaarheid van downstream classifiers. Bovendien vertrouwen huidige methoden vaak op onbetrouwbare verificatiestappen (gebruikmakend van externe classifiers of de LLM zelf, getraind op ongebalanceerde data) om synthetische samples te filteren, wat kan leiden tot het afwijzen van geldige data.

Methodologie: ImbLLM

De auteurs stellen ImbLLM voor, een nieuw LLM-gebaseerd oversamplingsframework dat is ontworpen om de diversiteit en kwaliteit van synthetische minderheidssamples te verbeteren. De methode introduceert drie specifieke technische verbeteringen ten opzichte van bestaande baselines:

1. Diversiteit-geconditioneerde Sampling (condition_yx)

Bestaande methoden construeren prompts uitsluitend op basis van het minderheidslabel (bijv. "Inkomen is ≥200K") om de LLM te bevragen. Vanwege de softmax-functie die wordt gebruikt bij tokenvoorspelling, leveren identieke prompts vaak zeer vergelijkbare outputs op.

• Innovatie: ImbLLM construeert prompts geconditioneerd op zowel het minderheidslabel als een willekeurig gesamplede feature.
• Mechanisme: Voor elke generatie samplet het systeem een feature $X_i$ en een waarde $v_i$ uit de minderheidsdistributie, wat resulteert in een prompt zoals "Inkomen is ≥200K, Opleiding is Bachelor." Deze variatie in de conditionering van inputs dwingt de LLM om verschillende regio's in de feature-ruimte te verkennen, wat meer diverse synthetische samples genereert.

2. Feature Permutatie met Vast Label (fix_y)

Standaard LLM-gebaseerde methoden permuteert zowel features ($X$) als de doelvariabele ($Y$) tijdens het fine-tunen om positionele bias te voorkomen. Echter, in decoder-only LLM's is het attention-mechanisme gemaskeerd, zodanig dat een token alleen kan attenderen op voorgaande tokens.

• Probleem: Als het minderheidslabel $Y$ naar het midden of het einde van een sequentie wordt verschoven, kan het niet attenderen op de features die eraan voorafgaan, wat de capaciteit van het model beperkt om diverse features te generen die geconditioneerd zijn op dat label.
• Innovatie: ImbLLM fixeert het minderheidslabel ($Y$) aan het begin van de zin en permuteert alleen de features ($X$).
• Mechanisme: Door $Y$ eerst te plaatsen (bijv. "Inkomen is ≥200K, Opleiding is Bachelor..."), kan het label via het attention-mechanisme op alle daaropvolgende features attenderen, wat ervoor zorgt dat de gegenereerde features volledig geconditioneerd zijn op de doelklasse.

3. Fine-Tuning met Interpolatie (minor+interpolate)

Bestaande methoden fine-tunen LLM's op zowel meerderheids- als minderheidsdata, en proberen vervolgens synthetische samples te verifiëren om te waarborgen dat ze tot de minderheidsklasse behoren. Deze verificatie is vaak onbetrouwbaar omdat de verifieerder getraind is op ongebalanceerde data.

• Innovatie: ImbLLM fine-tunt de LLM alleen op minderheidssamples en geïnterpoleerde samples, waardoor de meerheidsklasse volledig uit de fine-tuning fase wordt verwijderd.
• Mechanisme: Om het tekort aan minderheidsdata aan te pakken (die mogelijk onvoldoende dekking hebben van de domeinen van continue variabelen), introduceren de auteurs een interpolatiestap. Ze genereren synthetische continue waarden door te interpoleren tussen bestaande minderheidssamples ($x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$). De LLM wordt vervolgens getraind op de unie van de originele minderheidssamples en deze geïnterpoleerde samples. Dit elimineert de noodzaak voor een post-generatie verificatiestap en voorkomt dat het model bevooroordeeld raakt richting de meerheidsklasse.

Belangrijkste Bijdragen

1. ImbLLM Framework: Een nieuwe oversamplingsmethode die drie belangrijke verbeteringen integreert (sampling, permutatie en interpolatie-gebaseerde fine-tuning) om diverse en robuuste minderheidssamples te genereren.
2. Theoretische Analyse: Een entropie-gebaseerde analyse die bewijst dat het voorgestelde generatieproces wiskundig gezien diversiteit in de output stimuleert.
3. Uitgebreide Evaluatie: Uitgebreide experimenten op 10 real-world tabeldatasets waarbij ImbLLM wordt vergeleken met acht state-of-the-art baselines (inclusclusief SMOTE, CTGAN, en andere LLM-gebaseerde methoden zoals Great, TapTap en Pred-LLM).
4. Kwaliteits- en Diversiteitsmetrieken: Demonstratie dat gegenereerde samples niet alleen effectiever zijn voor classificatie, maar ook superieur zijn in "Close Probability" (gelijkenis met echte data) en "Coverage" (diversiteit van de gegenereerde manifold).

Experimentele Resultaten

De auteurs evalueerden ImbLLM op 10 datasets (bijv. Adult, German, Credit Card) met behulp van F1-score en AUC als primaire metrieken voor downstream classificatieprestaties.

• Classificatieprestaties: ImbLLM behaalde de beste F1-score op 5 van de 10 datasets en de op één na beste op 3 andere. Gemiddeld presteerde het beter dan de runner-up (CTGAN) met ongeveer 3% en de standaard ongebalanceerde classifier (zonder oversampling) met 8%. Opvallend genoeg benaderde de prestatie van ImbLLM die van een classifier getraind op de originele, gebalanceerde dataset, ondanks het gebruik van slechts 20% van de originele minderheidssamples voor training.
• Diversiteit en Kwaliteit:
  • Close Probability: ImbLLM scoorde 0.8011 vergeleken met 0.7761 van CTGAN, wat aangeeft dat synthetische samples dichter bij de echte minderheidssamples liggen.
  • Coverage: ImbLLM scoorde 0.8933 vergeleken met 0.8482 van CTGAN, wat wijst op een betere dekking van de echte datamanifold.
• Ablatie-studies: De studie bevestigde dat elk onderdeel (diverse sampling, fixed-label permutatie en interpolatie) significant bijdraagt aan de prestaties. Het verwijderen van de interpolatiestap resulteerde in lagere prestaties, hoewel nog steeds superieur aan de baselines.
• Robuustheid: In tegen tegenstelling tot TapTap en Pred-LLM, die vertrouwen op verificatiestappen die falen wanneer de ongebalanceerde dataset te scheef is om een betrouwbare verifieerder te trainen, bleek de aanpak van ImbLLM (het uitsluiten van meerderheidsdata tijdens fine-tuning) robuuster over variërende imbalance-ratio's.

Betekenis en Claims

Het artikel claimt dat diversiteit de cruciale factor is die succesvolle LLM-gebaseerde oversampling onderscheidt van falen. Waar voorheen de focus van LLM-methoden lag op de mechanica van generatie of verificatie, laat ImbLLM zien dat het optimaliseren van de diversiteit van het generatieproces — via specifieke prompt engineering, attention-aware permutatie en interpolatie-gebaseerde fine-tuning — direct vertaalt naar superieure downstream classificatieprestaties.

De auteurs stellen dat hun methode een betrouwbaarder alternatief biedt voor verificatie-zware benaderingen, omdat het inherent hoogwaardige minderheidsdata genereert zonder de noodzaak om "slechte" samples te filteren met potentieel bevooroordeelde classifiers. De resultaten suggereren dat ImbLLM effectief de prestatiekloof tussen ernstig ongebalanceerde datasets en hun gebalanceerde tegenhangers kan overbruggen, waardoor het een levensvatbare oplossing is voor real-world toepassingen waarbij zeldzame gebeurtenissen in tabeldata voorkomen.