Riepilogo Tecnico: Modelli di Linguaggio di Grandi Dimensioni per la Classificazione Sbilanciata: La Diversità fa la Differenza

Definizione del Problema

La classificazione sbilanciata rimane una sfida critica nel machine learning, in particolare quando si trattano dati tabulari in cui le classi minoritarie (ad esempio, malattie rare) hanno significativamente meno campioni rispetto alle classi maggioritarie. I metodi tradizionali di oversampling, come SMOTE, affrontano questo problema generando campioni sintetici della classe minoritaria. Tuttavia, questi approcci richiedono spesso la conversione delle variabili categoriche in vettori numerici (tramite codifica ordinale o one-hot), portando a una perdita di informazioni e all'introduzione di artefatti.

Sebbene siano emersi recenti metodi basati su Large Language Models (LLM) per gestire i dati tabulari come testo — preservando i contesti delle variabili ed evitando la conversione numerica — essi soffrono di un limite diverso: la diversità limitata. Gli approveri approcci basati su LLM attuali generano campioni sintetici della classe minoritaria che sono troppo simili tra loro. Questa mancanza di diversità riduce la robustezza e la capacità di generalizzazione dei classificatori a valle. Inoltre, gli attuali metodi si affidano a passaggi di verifica inaffidabili (utilizzando classificatori esterni o l'LLM stesso addestrato su dati sbilanciati) per filtrare i campioni sintetici, il che può portare al rifiuto di dati validi.

Metodologia: ImbLLM

Gli autori propongono ImbLLM, un nuovo framework di oversampling basato su LLM progettato per migliorare la diversità e la qualità dei campioni sintetici della classe minoritaria. Il metodo introduce tre miglioramenti tecnici specifici rispetto ai baseline esistenti:

1. Campionamento Condizionato alla Diversità (condition_yx)

I metodi esistenti costruiscono i prompt basandosi esclusivamente sull'etichetta minoritaria (ad esempio, "Reddito $\ge$ 200K") per interrogare l'LLM. A causa della funzione softmax utilizzata nella predizione dei token, prompt identici spesso producono output altamente simili.

• Innovazione: ImbLLM costruisce prompt condizionati sia all'etichetta minoritaria che a una caratteristica campionata casualmente.
• Meccanismo: Per ogni generazione, il sistema campiona una caratteristica $X_i$ e il suo valore $v_i$ dalla distribuzione minoritaria, formando un prompt come "Reddito $\ge$ 200K, Istruzione Bachelor". Questa variazione negli input di condizionamento costringe l'LLM a esplorare diverse regioni dello spazio delle caratteristiche, generando campioni sintetici più diversificati.

2. Permutazione delle Caratteristiche con Etichetta Fissa (fix_y)

I metodi standard basati su LLM permutano sia le caratteristiche ($X$) che la variabile target ($Y$) durante il fine-tuning per prevenire il bias posizionale. Tuttavia, nei modelli LLM decoder-only, il meccanismo di attenzione è mascherato in modo che un token possa attendere solo i token precedenti.

• Problema: Se l'etichetta minoritaria $Y$ viene spostata al centro o alla fine di una sequenza, non può attendere le caratteristiche che la precedono, limitando la capacità del modello di generare caratteristiche diverse condizionate da tale etichetta.
• Innovazione: ImbLLM fissa l'etichetta minoritaria ($Y$) all'inizio della frase e permuta solo le caratteristiche ($X$).
• Meccanismo: Posizionando $Y$ per primo (ad esempio, "Reddito $\ge$ 200K, Istruzione Bachelor..."), l'etichetta può attendere tutte le caratteristiche successive tramite il meccanismo di attenzione, garantendo che le caratteristiche generate siano completamente condizionate dalla classe target.

3. Fine-Tuning con Interpolazione (minor+interpolate)

I metodi esistenti effettuano il fine-tuning degli LLM sia sui dati maggioritari che su quelli minoritari, dopodiché tentano di verificare i campioni sintetici per garantire che appartengano alla classe minoritaria. Questa verifica è spesso inaffidabile perché il verificatore è addestrato su dati sbilanciati.

• Innovazione: ImbLLM esegue il fine-tuning dell'LLM solo sui campioni minoritari e sui campioni interpolati, rimuovendo completamente la classe maggioritaria dalla fase di fine-tuning.
• Meccanismo: Per affrontare la scarsità di dati minoritari (che possono mancare di una copertura sufficiente dei domini delle variabili continue), gli autori introducono un passaggio di interpolazione. Generano valori continui sintetici interpolando tra i campioni minoritari esistenti ($x'_i = x^c_i + \epsilon(x^c_j - x^c_i)$). L'LLM viene quindi sottoposto a fine-tuning sull'unione dei campioni minoritari originali e di questi campioni interpolati. Ciò elimina la necessità di un passaggio di verifica post-generazione e impedisce al modello di essere influenzato dal bias della classe maggioritaria.

Contributi Chiave

1. Framework ImbLLM: Un nuovo metodo di oversampling che integra tre miglioramenti chiave (campionamento, permutazione e fine-tuning tramite interpolazione) per generare campioni minoritari diversificati e robusti.
2. Analisi Teorica: Un'analisi basata sull'entropia che dimostra come il processo di generazione proposto incoraggi matematicamente la diversità nell'output.
3. Valutazione Completa: Esperimenti estesi su 10 dataset tabulari reali confrontando ImbLLM con otto baseline allo stato dell'arte (inclusi SMOTE, CTGAN e altri metodi basati su LLM come Great, TapTap e Pred-LLM).
4. Metriche di Qualità e Diversità: Dimostrazione che i campioni generati non sono solo più efficaci per la classificazione, ma sono anche superiori in termini di "Close Probability" (somiglianza con i dati reali) e "Coverage" (diversità del manifold generato).

Risultati Sperimentali

Gli autori hanno valutato ImbLLM su 10 dataset (es. Adult, German, Credit Card) utilizzando F1-score e AUC come metriche primarie per la performance di classificazione a valle.

• Performance di Classificazione: ImbLLM ha ottenuto il miglior F1-score su 5 dataset su 10 e il secondo miglior risultato su altri 3. In media, ha superato il secondo classificato (CTGAN) di circa il 3% e il classificatore sbilanciato standard (senza oversampling) dell'8%. Notevolmente, la performance di ImbLLM si è avvicinata a quella di un classificatore addestrato sul dataset originale bilanciato, nonostante l'uso di solo il 20% dei campioni minoritari originali per l'addestramento.
• Diversità e Qualità:
  • Close Probability: ImbLLM ha ottenuto 0.8011 rispetto allo 0.7761 di CTGAN, indicando che i campioni sintetici sono più vicini ai campioni minoritari reali.
  • Coverage: ImbLLM ha ottenuto 0.8933 rispetto allo 0.8482 di CTGAN, indicando una migliore copertura del manifold dei dati reali.
• Studi di Ablazione: Lo studio ha confermato che ogni componente (campionamento diversificato, permutazione con etichetta fissa e interpolazione) contribuisce significativamente alle prestazioni. Rimuovendo il passaggio di interpolazione, la performance è risultata inferiore, sebbene ancora superiore ai baseline.
• Robustezza: A differenza di TapTap e Pred-LLM, che si affidano a passaggi di verifica che falliscono quando il dataset sbilanciato è troppo estremo per addestrare un verificatore affidabile, l'approccio di ImbLLM di escludere i dati maggioritari durante il fine-tuning si è dimostrato più robusto attraverso diversi rapporti di sbilanciamento.

Significato e Rivendicazioni

L'articolo sostiene che la diversità è il fattore critico che distingue l'oversampling basato su LLM di successo da quello fallimentare. Mentre i precedenti metodi basati su LLM si concentravano sulla meccanica della generazione o della verifica, ImbLLM dimostra che ottimizzare la diversità del processo di generazione — attraverso l'ingegneria dei prompt, la permutazione consapevole dell'attenzione e il fine-tuning basato sull'interpolazione — si traduce direttamente in una superiore performance di classificazione a valle.

Gli autori affermano che il loro metodo fornisce un'alternativa più affidabile agli approcci pesanti sulla verifica, poiché genera intrinsecamente dati minoritari di alta qualità senza dover filtrare i campioni "scarsi" utilizzando classificatori potenzialmente distorti. I risultati suggeriscono che ImbLLM può colmare efficacemente il divario di performance tra dataset fortemente sbilanciati e i loro corrispettivi bilanciati, rendendolo una soluzione valida per applicazioni del mondo reale che coinvolgono eventi rari in dati tabulari.