Improving Topic Modeling by Distilling Soft Labels from Language Models

Sintesi Tecnica: Miglioramento del Topic Modeling tramite la Distillazione di Soft Label da Modelli di Linguaggio

Definizione del Problema
I modelli di topic tradizionali (NTM) sono tipicamente ottimizzati ricostruendo la rappresentazione Bag-of-Words (BoW) di un documento. Sebbene efficace nel catturare co-occorrenze statistiche di parole, questo approccio trascura la ricca informazione contestuale e fatica significativamente con la scarsità dei dati, particolarmente nei corpora di testi brevi. Al contrario, sebbene i Large Language Models (LLM) possiedano una profonda comprensione semantica, essi affrontano limitazioni nella modellazione di grandi corpora a causa dei vincoli sulla lunghezza del contesto e dei costi computazionali. I tentativi esistenti di sfruttare gli LLM per il topic modeling spesso si affidano a pipeline complesse e costose o alla generazione basata su prompt che non riesce a produrre le distribuzioni di topic probabilistiche richieste per applicazioni downstream come il recupero consapevole dell'incertezza (uncertainty-aware retrieval).

Metodologia: Distilling Soft Labels (DSL)
Gli autori propongono un nuovo framework di addestramento, Distilling Soft Labels (DSL), che colma il divario tra le capacità semantiche dei Small Language Models (SLM) e l'efficienza strutturale dei modelli di topic probabilistici. Il framework opera attraverso tre componenti primarie:

1. Target di Ricostruzione Semantica: Invece di utilizzare target BoW sparsi, DSL costruisce segnali di ricostruzione densi e contestualmente arricchiti. Dato un documento $x$ e un prompt di istruzione tematica $\pi$ (ad esempio, "Genera un'etichetta di una singola parola che catturi il tema del documento"), l'SLM predice la distribuzione del next-token. I logit per il next-token sono proiettati su un vocabolario predefinito $V$ e convertiti in una distribuzione softmax scalata per temperatura, denotata come $y_{DSL}(x, \pi)$. A differenza del BoW, che assegna massa solo alle parole esplicitamente presenti nel documento, $y_{DSL}$ assegna massa di probabilità a parole tematicamente rilevanti anche se non compaiono nel testo.
2. Input Contestualizzati: Il modello di topic utilizza la rappresentazione dello stato nascosto finale dell'SLM (all'ultima posizione dell'input condizionato dal prompt) come embedding del documento. Ciò assicura che l'input sia naturalmente allineato con la distribuzione semantica generata dal modello.
3. Obiettivo di Addestramento: Il modello di topic neurale è addestrato per ricostruire il target denso $y_{DSL}$ piuttosto che il target BoW sparso. La funzione obiettivo minimizza la divergenza di Kullback-Leibler (KL) tra la distribuzione del vocabolario predetta $\hat{y}_\psi(x)$ e il target indotto dall'SLM $y_{DSL}(x, \pi)$, insieme a termini di regolarizzazione specifici del modello (ad esempio, prior variazionali o clustering degli embedding):
   $$L_{DSL}(x) = \lambda D_{KL}(y_{DSL}(x, \pi) \parallel \hat{y}_\psi(x)) + R_M(x; \psi)$$

Interpretazione Bayesiana
Gli autori interpretano DSL attraverso la lente dell'inferenza Bayesiana implicita. Essi postulano che l'SLM agisca come un predittore Bayesiano implicito su concetti latenti. La distribuzione del next-token proiettata $y_{DSL}$ rappresenta una distribuzione predittiva posteriore implicita su un vocabolario tematicamente rilevante. Il framework DSL distilla efficacemente questo segnale implicito e non strutturato in un modello di topic probabilistico esplicito e strutturato, producendo distribuzioni di documento-topic e topic-parola interpretabili.

Contributi Chiave

1. Nuovo Paradigma di Addestramento: L'introduzione di un obiettivo di addestramento che utilizza distribuzioni di soft label semanticamente fondate, derivate da SLM, come target di ricostruzione per i modelli di topic neurali.
2. Miglioramenti delle Prestazioni: Esperimenti estesi dimostrano che DSL ottiene miglioramenti sostanziali rispetto ai baseline esistenti (inclusi LDA, ProdLDA, BERTopic, ECRTM e FASTopic) in termini di coerenza del topic, diversità e accuratezza dell'assegnazione su tre dataset (20NewsGroup, StackOverflow, TweetTopic).
3. Valutazione Basata sul Recupero: Gli autori introducono una metrica basata sul recupero per valutare l'utilità delle distribuzioni di topic nel trovare documenti semanticamente simili. I risultati indicano che DSL supera significativamente i baseline nella precisione del recupero, particolarmente per i dataset di testi brevi dove la scarsità dei dati rappresenta una sfida maggiore.

Risultati Sperimentali

• Qualità del Topic: Attraverso varie architetture di backbone (ProdLDA, ECRTM, FASTopic) e teacher SLM (Llama, Phi, Qwen, ERNIE), DSL supera costantemente i baseline. Ad esempio, sul dataset StackOverflow, il punteggio di Purezza per ProdLDA è migliorato da 0.265 a 0.803 quando potenziato con DSL.
• Robustezza: Il metodo rimane efficace indipendentemente dallo specifico SLM teacher utilizzato, a patto che l'SLM segua bene le istruzioni.
• Prestazioni di Recupero: Nei compiti di recupero, i modelli basati su DSL superano significativamente i baseline. Su StackOverflow, la migliore variante di DSL ha quasi triplicato la precisione al 5 (P@5) del baseline, passando da 0.306 a 0.867.
• Studi di Ablazione: Gli autori confermano che il driver principale delle prestazioni è il target soft semanticamente fondato; sostituire la perdita KL con la NLL standard o tornare ai target BoW risulta in cali significativi delle prestazioni. L'uso degli stati nascosti dell'SLM come input è mostrato essere benefico specificamente per la ricostruzione di target soft, piuttosto che per la standard ricostruzione BoW.

Significatività e Rivendicazioni
Il paper sostiene che DSL offra un paradigma semplice, efficiente ed efficace per migliorare il topic modeling neurale senza l'overhead computazionale di intere pipeline di inferenza LLM o i limiti delle rappresentazioni BoW sparse. Distillando il "segnale predittivo posteriore tematico" di un SLM in un modello di topic probabilistico, l'approccio preserva l'interpretabilità e la consapevolezza dell'incertezza dei modelli di topic tradizionali, migliorando significativamente la loro capacità di catturare le strutture tematiche sottostanti. Gli autori posizionano questo lavoro come un passo verso un migliore sfruttamento degli SLM per applicazioni orientate al recupero, notando che le rappresentazioni di topic a bassa dimensionalità risultanti offrono vantaggi computazionali e di storage rispetto agli embedding densi ad alta dimensionalità.

Gli autori rimangono modesti riguardo alle direzioni future, suggerendo che il lavoro futuro potrebbe esplorare diverse strategie di prompting (ad esempio, few-shot learning, chain-of-thought) e applicazioni multi-modali, ma non rivendicano che il metodo risolva tutte le sfide nel topic modeling o che sia una soluzione definitiva per tutti i task downstream. Essi riconoscono anche potenziali rischi sociali legati all'eredità di bias dai modelli di linguaggio distillati.