Improving Topic Modeling by Distilling Soft Labels from Language Models

Resumo Técnico: Melhorando a Modelagem de Tópicos através da Destilação de Soft Labels de Modelos de Linguagem

Declaração do Problema
Os modelos de tópicos neurais (NTMs) tradicionais são tipicamente otimizados pela reconstrução da representação de Bag-of-Words (BoW) de um documento. Embora eficaz para capturar coocorrências estatísticas de palavras, essa abordagem negligencia informações contextuais ricas e enfrenta dificuldades significativas com a esparsidade de dados, particularmente em corpora de textos curtos. Por outro lado, embora os Grandes Modelos de Linguagem (LLMs) possuam uma profunda compreensão semântica, eles enfrentam limitações na modelagem de grandes corpora devido às restrições de comprimento de contexto e custos computacionais. Tentativas existentes de aproveitar LLMs para modelagem de tópicos frequentemente dependem de pipelines complexos e dispendiosos ou de geração baseada em prompts que falham em produzir as distribuições de tópicos probabilísticas necessárias para aplicações de downstream, como a recuperação com consciência de incerteza.

Metodologia: Destilação de Soft Labels (DSL)
Os autores propõem um novo framework de treinamento, Distilling Soft Labels (DSL), que preenche a lacuna entre as capacidades semânticas dos Pequenos Modelos de Linguagem (SLMs) e a eficiência estrutural dos modelos de tópicos probabilísticos. O framework opera através de três componentes primários:

1. Alvos de Reconstrução Semântica: Em vez de usar alvos BoW esparsos, o DSL constrói sinais de reconstrução densos e contextualmente enriquecidos. Dado um documento de entrada $x$ e um prompt de instrução temática $\pi$ (ex: "Gere um rótulo de palavra única que capture o tema do documento"), o SLM prevê a distribuição do próximo token. Os logits para o próximo token são projetados em um vocabulário predefinido $V$ e convertidos em uma distribuição softmax escalonada por temperatura, denotada como $y_{DSL}(x, \pi)$. Diferente do BoW, que apenas atribui massa às palavras explicitamente presentes no documento, $y_{DSL}$ atribui massa de probabilidade a palavras tematicamente relevantes mesmo que não apareçam no texto.
2. Entradas Contextualizadas: O modelo de tópico utiliza a representação do estado oculto final do SLM (na última posição da entrada condicionada ao prompt) como o embedding do documento. Isso garante que a entrada esteja naturalmente alinhada com a distribuição semântica gerada pelo modelo.
3. Objetivo de Treinamento: O modelo de tópico é treinado para reconstruir o alvo denso $y_{DSL}$ em vez do alvo BoW esparso. A função objetivo minimiza a divergência de Kullback-Leibler (KL) entre a distribuição de vocabulário prevista $\hat{y}_\psi(x)$ e o alvo induzido pelo SLM $y_{DSL}(x, \pi)$, juntamente com termos de regularização específicos do modelo (ex: priors variacionais ou agrupamento de embeddings):
   $$L_{DSL}(x) = \lambda D_{KL}(y_{DSL}(x, \pi) \parallel \hat{y}_\psi(x)) + R_M(x; \psi)$$

Interpretação Bayesiana
Os autores interpretam o DSL através da lente da inferência Bayesiana implícita. Eles postulam que o SLM atua como um preditor Bayesiano implícito sobre conceitos latentes. A distribuição de próximo token projetada $y_{DSL}$ representa uma distribuição preditiva posterior implícita sobre o vocabulário tematicamente relevante. O framework DSL destila efetivamente esse sinal implícito e não estruturado em um modelo de tópico probabilístico explícito e estruturado, resultando em distribuições de tópico-palavra e documento-tópico interpretáveis.

Principais Contribuições

1. Novo Paradigma de Treinamento: A introdução de um objetivo de treinamento que utiliza distribuições de soft labels semanticamente fundamentadas, derivadas de SLMs, como o alvo de reconstrução para modelos de tópicos neurais.
2. Melhorias de Desempenho: Experimentos extensos demonstram que o DSL alcança melhorias substanciais sobre as baselines existentes (incluindo LDA, ProdLDA, BERTopic, ECRTM e FASTopic) em coerência de tópicos, diversidade e precisão de atribuição em três datasets (20NewsGroup, StackOverflow, TweetTopic).
3. Avaliação Baseada em Recuperação: Os autores introduzem uma métrica de recuperação para avaliar a utilidade das distribuições de tópicos para encontrar documentos semanticamente similares. Os resultados indicam que o DSL supera significativamente as baselines em precisão de recuperação, particularmente para datasets de textos curtos, onde a esparsidade de dados é um grande desafio.

Resultos Experimentais

• Qualidade de Tópicos: Através de várias arquiteturas de backbone (ProdLDA, ECRTM, FASTopic) e professores SLM (Llama, Phi, Qwen, ERNIE), o DSL supera consistentemente as baselines. Por exemplo, no dataset StackOverflow, o score de Pureza para o ProdLDA melhorou de 0.265 para 0.803 quando aprimorado com DSL.
• Robustez: O método permanece eficaz independentemente do SLM específico utilizado como professor, desde que o SLM siga bem as instruções.
• Desempenho de Recuperação: Em tarefas de recuperação, os modelos baseados em DSL superam significativamente as baselines. No StackOverflow, a melhor variante de DSL quase triplicou a precisão da baseline em 5 (P@5), subindo de 0.306 para 0.867.
• Estudos de Ablação: Os autores confirmam que o principal motor do desempenho é o soft target semanticamente fundamentado; substituir a perda KL por NLL padrão ou reverter para alvos BoW resulta em quedas significativas de desempenho. O uso de estados ocultos de SLM como entrada mostra-se benéfico especificamente para reconstruir alvos soft, em vez de para a reconstrução BoW padrão.

Significância e Alegações
O artigo afirma que o DSL oferece um paradigma simples, eficiente e eficaz para melhorar a modelagem de tópicos neural sem o overhead computacional de pipelines completos de inferência de LLM ou as limitações das representações esparsas de BoW. Ao destilar o "sinal preditivo posterior temático" de um SLM em um modelo de tópicos probabilístico, a abordagem preserva a interpretabilidade e a consciência de incerteza dos modelos de tópicos tradicionais, enquanto melhora significativamente sua capacidade de capturar estruturas temáticas subjacentes. Os autores posicionam este trabalho como um passo para melhor aproveitar os SLMs para aplicações orientadas à recuperação, observando que as representações de tópicos de baixa dimensão resultantes oferecem vantagens computacionais e de armazenamento sobre embeddings densos de alta dimensão.

Os autores permanecem modestos quanto a direções futuras, sugerindo que trabalhos futuros poderiam explorar diferentes estratégias de prompting (ex: aprendizado de poucos disparos/few-shot, cadeia de pensamento/chain-of-thought) e aplicações multimodais, mas não alegam que o método resolve todos os desafios na modelagem de tópicos ou que seja uma solução definitiva para todas as tarefas de downstream. Eles também reconhecem potenciais riscos sociais relacionados à herança de viés dos modelos de linguagem destilados.