Topic Modeling with Fine-tuning LLMs and Bag of Sentences

1. Il Problema

Il campo del topic modeling (modellazione degli argomenti) ha subito un'evoluzione significativa con l'avvento dei Large Language Models (LLM), che hanno dimostrato prestazioni superiori rispetto ai modelli classici come LDA (Latent Dirichlet Allocation). Tuttavia, esistono diverse criticità:

• Limiti dei modelli classici: LDA e simili si basano sull'assunzione "Bag of Words" (BOW), che ignora il contesto e la coerenza semantica, portando spesso ad assegnazioni di argomenti frammentate e poco coerenti. Inoltre, l'ottimizzazione basata sulla perplessità non sempre riflette la qualità percepita dall'uomo.
• Sottoutilizzo degli LLM: Sebbene gli encoder pre-addestrati (come BERT) offrano embedding contestuali superiori, la maggior parte degli approcci attuali li utilizza "out-of-the-box" (senza adattamento). È noto che il fine-tuning migliora drasticamente le prestazioni degli LLM, ma la sfida principale risiede nella scarsità e nel costo elevato di dataset etichettati necessari per tale addestramento.
• Granularità inadeguata: I modelli basati su singole parole sono troppo granulari (un argomento può cambiare ogni parola), mentre quelli basati su documenti interi (document clustering) sono troppo grossolani, assumendo che un documento abbia un solo argomento.

2. Metodologia

L'autore propone un approccio innovativo che combina un nuovo modello di unità di analisi con una strategia di addestramento automatico.

A. Unità di Analisi: Bag of Sentences (BoS)

Invece di usare parole singole o documenti interi, il modello utilizza gruppi di sequenze di frasi (es. 3 frasi consecutive) come unità elementare.

• Vantaggio: Un gruppo di frasi contiene informazioni semantiche sufficienti per essere assegnato a uno o pochi argomenti, bilanciando coerenza e granularità.
• Assunzione: Si assume che ogni gruppo di frasi appartenga a un singolo argomento (assegnazione "hard") e che due gruppi siano indipendenti.

B. FT-Topic: Fine-Tuning Non Supervisionato

Per superare la mancanza di dati etichettati, viene introdotto FT-Topic, un metodo per adattare (fine-tune) un encoder LLM in modo non supervisionato.

1. Generazione Dati: Si assume che gruppi di frasi adiacenti nello stesso documento appartengano allo stesso argomento (coppie positive), mentre gruppi da documenti diversi appartengano ad argomenti diversi (coppie negative).
2. Pulizia dei Dati: Poiché l'assunzione di adiacenza non è sempre vera (un documento può contenere più argomenti), viene applicato un filtro di qualità. Utilizzando un modello non fine-tuned, si rimuovono le coppie di addestramento che presentano errori di etichettatura (es. coppie positive con bassa similarità o coppie negative con alta similarità).
3. Addestramento: Il modello LLM viene fine-tuned utilizzando la Triplet Loss, ottimizzando la distanza tra l'ancora (A), il positivo (P) e il negativo (N).

C. Il Modello SenClu e l'Inferenza

Viene proposto SenClu, un nuovo modello di topic modeling che sfrutta gli embedding ottenuti da FT-Topic.

• Meccanismo: È un'estensione del modello ad aspetti (Aspect Model) e del clustering K-Means.
• Inferenza: Utilizza un algoritmo Expectation-Maximization (EM) con assegnazioni "hard" (ogni gruppo di frasi è assegnato a un solo argomento).
• Simulated Annealing: Per evitare minimi locali e gestire l'inizializzazione, il modello introduce un parametro di regolarizzazione $c(\alpha)$ che decade nel tempo, permettendo un'esplorazione iniziale più ampia delle assegnazioni degli argomenti.
• Priori: L'utente può controllare la diversità degli argomenti per documento tramite un parametro $\alpha$, simile alla prior di Dirichlet in LDA.
• Punteggio Parola-Aggiunto: Per estrarre le parole chiave, viene calcolato un punteggio che combina la frequenza della parola nell'argomento e la sua rilevanza relativa rispetto agli altri argomenti, filtrando automaticamente le parole comuni e non discriminative.

3. Contributi Chiave

1. Metodo Automatico di Fine-Tuning: Introduzione di FT-Topic, un metodo per creare dataset di addestramento non supervisionati per LLM basati su frasi, con un passo critico di miglioramento della qualità dei dati tramite rimozione di rumore.
2. Nuovo Modello di Topic Modeling (SenClu): Un modello che integra il concetto di "Bag of Sentences" con embedding pre-addestrati, offrendo un equilibrio tra i modelli basati su parole (BOW) e quelli basati su documenti.
3. Tecnica di Inferenza Innovativa: Un algoritmo EM basato su "annealing" che combina clustering e modello ad aspetti, permettendo assegnazioni multiple per documento con un costo computazionale ridotto.
4. Valutazione Completa: Dimostrazione empirica che l'approccio raggiunge prestazioni all'avanguardia con requisiti computazionali ragionevoli, superando i modelli esistenti in coerenza e copertura degli argomenti.

4. Risultati

Gli esperimenti sono stati condotti su quattro dataset (New York Times, 20 Newsgroups, Gutenberg, Yelp) confrontando SenClu (con e senza FT-Topic) con LDA, BERTopic e TopClus.

• Qualità degli Argomenti (Coerenza): Misurata tramite PMI (Pointwise Mutual Information) normalizzato. SenClu + FT-Topic ha ottenuto i punteggi più alti su tutti i dataset, superando significativamente LDA e BERTopic. Anche senza fine-tuning, SenClu ha mostrato una coerenza superiore.
• Copertura degli Argomenti: Misurata tramite NMI (Normalized Mutual Information) rispetto alle categorie umane. SenClu ha dimostrato una capacità superiore di catturare la struttura tematica dei documenti, superando TopClus (che è ottimizzato per il clustering ma meno flessibile).
• Efficienza Computazionale:
  • SenClu è molto più veloce di TopClus (che richiede ore) e si posiziona tra LDA/BERTopic (minuti) e TopClus.
  • Il processo di fine-tuning (FT-Topic) richiede più tempo (circa 20-47 minuti a seconda del dataset), ma l'inferenza rimane rapida.
  • Il modello è lineare rispetto alla lunghezza dei documenti, rendendolo scalabile.
• Interpretabilità: L'analisi qualitativa mostra che SenClu produce liste di parole più coerenti e semanticamente rilevanti rispetto a TopClus e LDA, che spesso includono parole generiche o non descrittive.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Superamento dei limiti di LDA: Offre un'alternativa moderna che gestisce il contesto semantico e la multi-tematicità dei documenti in modo nativo.
• Accessibilità del Fine-Tuning: Risolve il collo di bottiglia del fine-tuning degli LLM per il topic modeling rendendolo fattibile senza dati etichettati, aprendo la strada a modelli più performanti e specifici per dominio.
• Bilanciamento Prestazioni/Complessità: Propone un modello che non sacrifica la velocità per la qualità, né la qualità per la velocità, fornendo un tool pratico per ricercatori e professionisti.
• Flessibilità: La possibilità per l'utente di controllare la distribuzione degli argomenti per documento (tramite $\alpha$) e l'uso di assegnazioni "hard" semplificano l'interpretazione dei risultati rispetto ai modelli probabilistici "soft" complessi.

In conclusione, il paper dimostra che l'integrazione di un fine-tuning non supervisionato con un approccio basato su "Bag of Sentences" e un'inferenza EM ottimizzata rappresenta uno stato dell'arte promettente per il topic modeling nell'era degli LLM.