Topic Modeling with Fine-tuning LLMs and Bag of Sentences

Resumo Técnico: Modelagem de Tópicos com Fine-tuning de LLMs e "Bag of Sentences"

1. O Problema

A modelagem de tópicos tradicional, exemplificada por modelos como LDA (Latent Dirichlet Allocation), enfrenta limitações significativas devido à sua suposição de "saco de palavras" (Bag of Words - BoW) e à dependência de frequências de palavras isoladas. Isso frequentemente resulta em atribuições de tópicos fragmentadas e pouco coerentes.

Com o advento dos Grandes Modelos de Linguagem (LLMs) e modelos pré-treinados (como BERT), houve uma melhoria no desempenho, mas a maioria das abordagens atuais utiliza esses modelos "prontos para uso" (out-of-the-box). O artigo identifica duas lacunas principais:

1. Falta de Ajuste Fino (Fine-tuning): Modelos pré-treinados não são otimizados especificamente para a tarefa de modelagem de tópicos (onde a similaridade semântica deve ser definida por tópicos, não apenas por contexto de preenchimento de palavras).
2. Dificuldade de Dados Rotulados: O ajuste fino de LLMs geralmente requer conjuntos de dados rotulados, que são escassos e caros de produzir.
3. Granularidade: Modelos baseados em documentos inteiros ignoram que tópicos podem variar dentro de um mesmo documento, enquanto modelos baseados em palavras isoladas perdem o contexto semântico local.

2. Metodologia

O autor propõe uma abordagem composta por duas partes principais: o método de ajuste fino FT-Topic e o novo modelo de inferência SenClu.

A. FT-Topic: Ajuste Fino Não Supervisionado
O objetivo é otimizar um codificador de LLM (como Sentence-BERT) para a tarefa de modelagem de tópicos sem dados rotulados.

• Unidade de Análise: Em vez de palavras ou documentos inteiros, a unidade básica é um grupo de sentenças (um "saco de sentenças" ou Bag of Sentences - BoS). Assume-se que um pequeno grupo de sentenças adjacentes geralmente pertence a um único tópico.
• Geração de Dados de Treinamento:
  1. Heurística: Pares de grupos de sentenças adjacentes dentro do mesmo documento são assumidos como "positivos" (mesmo tópico), enquanto grupos de documentos diferentes são assumidos como "negativos" (tópicos diferentes).
  2. Limpeza de Dados (Quality Improvement): Como a heurística pode falhar (ex: um documento com muitos tópicos), o método remove pares de treinamento que provavelmente estão mal rotulados. Isso é feito calculando a similaridade usando um modelo não ajustado e removendo:
     • Pares positivos com baixa similaridade (provavelmente tópicos diferentes).
     • Triplos (âncora, positivo, negativo) onde a diferença de similaridade é pequena (indicando que o negativo não é suficientemente diferente).
• Função de Perda: O modelo é ajustado usando a Perda de Tripletos (Triplet Loss), minimizando a distância entre o grupo de sentença e seu positivo, e maximizando a distância para o negativo.

B. SenClu: Modelo de Tópicos e Inferência
O SenClu é um novo modelo de tópicos que utiliza as embeddings ajustadas pelo FT-Topic.

• Fundamento: Baseia-se no Modelo de Aspectos (Aspect Model), mas com atribuições rígidas (hard assignments). Cada grupo de sentenças é atribuído a exatamente um tópico (probabilidade 1 ou 0), ao contrário das distribuições probabilísticas suaves do LDA.
• Inferência (Algoritmo EM): Utiliza um algoritmo de Expectation-Maximization (EM) combinado com conceitos de agrupamento (clustering) tipo K-Means.
  • E-step: Atribui cada grupo de sentenças ao tópico mais provável, considerando a similaridade coseno entre a embedding da sentença e o vetor do tópico, ponderado pela distribuição prévia de tópicos no documento.
  • M-step: Recalcula os vetores dos tópicos como a média das embeddings das sentenças atribuídas a eles.
• Simulated Annealing: Para evitar mínimos locais, o algoritmo introduz uma "temperatura" (parâmetro de suavização $\alpha$) que decai ao longo das épocas, permitindo que as atribuições mudem no início e se estabilizem no final.
• Pontuação Tópico-Palavra: Para gerar as palavras-chave de cada tópico, o método calcula uma pontuação que combina a frequência da palavra no tópico com sua relevância relativa (filtrando palavras comuns e irrelevantes), evitando a necessidade de listas longas de palavras.

3. Principais Contribuições

1. FT-Topic: Um método automático para ajuste fino de codificadores de LLMs para modelagem de tópicos, utilizando construção de dados de treinamento heurística com uma etapa de melhoria de qualidade (remoção de ruído).
2. Modelo SenClu e Bag of Sentences (BoS): Proposição de um novo modelo que utiliza embeddings de sentenças pré-treinadas, equilibrando a granularidade entre modelos baseados em palavras (BoW) e modelos baseados em documentos inteiros.
3. Técnica de Inferência Híbrida: Desenvolvimento de uma técnica de inferência baseada em "annealing" que integra clustering com o modelo de aspectos, permitindo atribuições rígidas e rápidas.
4. Métrica de Pontuação de Palavras: Introdução de uma medida eficaz para ranquear palavras dentro de um tópico, combinando frequência e importância relativa, filtrando automaticamente termos irrelevantes.

4. Resultados e Avaliação

Os experimentos foram realizados em quatro conjuntos de dados (NYT, 20 Newsgroups, Gutenberg, Yelp) comparando o SenClu (com e sem FT-Topic) contra LDA, BERTopic e TopClus.

• Qualidade dos Tópicos (Coerência): O método SenClu + FT-Topic alcançou o melhor desempenho na métrica PMI (Pointwise Mutual Information), indicando tópicos muito mais coerentes e semanticamente relacionados do que os modelos de base (LDA) e outros baseados em LLM (TopClus, BERTopic).
• Cobertura de Tópicos (NMI): O SenClu superou os concorrentes na métrica NMI (Normalized Mutual Information) em tarefas de agrupamento downstream, demonstrando melhor alinhamento com categorias humanas.
• Eficiência Computacional:
  • O SenClu é significativamente mais rápido que o TopClus (que leva horas), completando a inferência em minutos.
  • O FT-Topic adiciona tempo de treinamento (ajuste fino), mas ainda é mais rápido que o TopClus e oferece uma qualidade superior que justifica o custo computacional adicional.
• Interpretabilidade: Os tópicos gerados pelo SenClu são mais fáceis de interpretar, contendo palavras-chave específicas e evitando termos genéricos que frequentemente aparecem em modelos como LDA e TopClus.
• Flexibilidade: O modelo permite ao usuário controlar o número de tópicos por documento através do parâmetro $\alpha$, uma funcionalidade ausente em BERTopic.

5. Significado e Conclusão

O trabalho demonstra que é possível superar as limitações dos modelos clássicos e das abordagens "prontas para uso" de LLMs através de um ajuste fino não supervisionado e de uma mudança na granularidade da análise (de palavras para grupos de sentenças).

A principal inovação reside na capacidade de extrair múltiplos tópicos de um único documento com alta coerência e velocidade, utilizando uma abordagem que é tanto explicável (atribuições rígidas) quanto flexível. O método SenClu estabelece um novo estado da arte (SOTA) em modelagem de tópicos, oferecendo um equilíbrio ideal entre qualidade dos resultados, velocidade de inferência e utilidade prática para o usuário final, sem a necessidade de dados rotulados caros para o ajuste fino.