Topeax -- An Improved Clustering Topic Model with Density Peak Detection and Lexical-Semantic Term Importance

Resumo Técnico de "Topeax: Um Modelo de Tópicos de Agrupamento Melhorado com Detecção de Pico de Densidade e Importância de Termos Léxico-Semânticos"

Declaração do Problema
Embora o agrupamento de textos (clustering) tenha se tornado o paradigma dominante para a modelagem de tópicos tanto na academia quanto na indústria, os modelos de estado da arte existentes, especificamente o Top2Vec e o BERTopic, exibem limitações significativas. O autor identifica dois problemas primários:

1. Descoberta de Agrupamentos Não Confiável: Esses modelos são altamente sensíveis ao tamanho da amostra e aos hiperparâmetros (como a perplexidade). Suas configurações padrão frequentemente resultam em comportamentos subótimos, falhando em descobrir agrupamentos naturais em corpora sem intervenção manual (por exemplo, redução hierárquica para um número de tópicos especificado pelo usuário).
2. Estimativa de Importância de Termos Subótima: Os métodos atuais para gerar palavras-chave de tópicos são falhos. O BERTopic ignora a distância semântica das palavras-chave em relação aos vetores de tópico, enquanto o Top2Vec ignora a contagem de palavras no corpus. Consequentemente, o Top2Vec frequentemente inclui stop words e palavras "lixo", reduzindo a coerência do tópico, enquanto o BERTopic pode carecer de variedade e confiança em sua seleção de palavras-chave.

Metodologia: O Modelo Topeax
O artigo apresenta o Topeax, um novo modelo de agrupamento de tópicos implementado no pacote Python Turftopic. O Topeax aborda os problemas identificados através de um pipeline de três estágios:

1. Redução de Dimensionalidade:
   Ao contrário do Top2Vec e do BERTopic, que utilizam UMAP, o Topeax emprega t-Distributed Stochastic Neighbour Embedding (t-SNE). O modelo utiliza a distância de cosseno como métrica e fixa a dimensionalidade de saída em 2 para facilitar a visualização e a estimativa de densidade.

2. O Algoritmo de Agrupamento Peax:
   O Topeax introduz uma nova técnica de agrupamento chamada Peax, que determina o número de agrupamentos automaticamente com base em picos de densidade, em vez de depender de parâmetros definidos pelo usuário ou fusão hierárquica. O algoritmo procede da seguinte forma:

   • Estimativa de Densidade: Uma Estimativa de Densidade de Núcleo Gaussiano (KDE) é computada sobre os embeddings reduzidos, com a largura de banda determinada pelo método de Scott.
   • Avaliação de Grade: A KDE é avaliada em uma grade de 100x100 que cobre o intervalo de embedding.
   • Detecção de Picos: Os picos de densidade são identificados usando um filtro de máximo local com uma conectividade de vizinhança de 25 (um raio de 5 unidades).
   • Atribuição de Agrupamento: Esses picos servem como centros de agrupamento. Um Modelo de Mistura Gaussiana (GMM) é ajustado com médias fixadas a esses picos. Os documentos são atribuídos ao componente com a maior responsabilidade ($r_{kd}$) usando o algoritmo de Expectativa-Maximização.

3. Estimativa Híbrida de Importância de Termos:
   O Topeax combina índices léxicos e semânticos para gerar palavras-chave de alta qualidade, evitando as armadilhas da proximidade pura de centroide ou da ponderação pura de TF-IDF.

   • Importância Semântica: Os vetores de tópico ($t_k$) são calculados como a média ponderada pela responsabilidade dos embeddings de documentos dentro de um agrupamento. A importância semântica ($s_{kj}$) é a similaridade de cosseno entre o embedding do termo e o vetor do tópico.
   • Importância Léxica: Em vez de c-TF-IDF, o Topeax utiliza a Informação Mútua Pontual Normalizada (NPMI). Isso mede a informação mútua entre a presença de um termo e o rótulo do agrupamento. Para evitar a superestimação de palavras raras, o modelo emprega uma estimativa de média-a-posteriori sob uma priori de Dirichlet simétrica com um parâmetro de suavização ($\alpha=2$).
   • Combinação: A pontuação de importância final ($\beta_{kj}$) é a média geométrica das pontuações léxica (NPMI) e semântica normalizadas por min-máx.

Configuração Experimental
A avaliação utilizou um cenário de "agrupamento livre" (free-clustering), onde os modelos não receberam o número de agrupamentos antecipadamente.

• Datasets: O estudo utilizou datasets com rótulos de ouro do Massive Text Embedding Benchmark (MTEB), um dataset de classificação de tópicos de Twitter anotado e um dataset de notícias da BBC.
• Baselines: O Topeax foi comparado ao Top2Vec e ao BERTopic usando vários codificadores de sentenças (MiniLM, MPNet e EmbeddingGemma).
• Métricas:
  • Recuperação de Agrupamento: Medida via Índice de Fowlkes-Mallows (FMI) para avaliar o alinhamento com os rótulos de ouro.
  • Qualidade do Tópico: Avaliada usando diversidade de tópicos ($d$), coerência de embedding de palavra externa ($C_{ex}$) e coerência interna ($C_{in}$), agregadas em uma pontuação de interpretabilidade ($I$).
  • Testes de Sensibilidade: Os modelos foram testados quanto à sensibilidade a valores de perplexidade e invariância de subamostragem (desempenho em corpora parciais vs. completos).

Resultos
Os resultados experimentais demonstram que o Topeax supera substancialmente o Top2Vec e o BERTopic em duas áreas principais:

1. Recuperação de Agrupamento: O Topeax alcançou um Índice de Fowlkes-Mallows significativamente maior, indicando uma melhor correspondência com os rótulos de ouro. Uma análise de regressão confirmou que o tipo de modelo foi um preditor significativo de desempenho ($p=0.0169$), com tanto o BERTopic quanto o Top2Vec apresentando inclinações significativamente negativas em comparação ao Topeax.
2. Qualidade do Tópico: O Topeax gerou palavras-chave de tópicos de maior qualidade, resultando em melhores pontuações de coerência e interpretabilidade.
3. Estabilidade: Ao contrário dos modelos de base, o Topeax exibiu um comportamento menos errático quando submetido a mudanças no tamanho da amostra (subamostragem) e nos hiperparâmetros (perplexidade).

Significância e Alegações
O artigo afirma que o Topeax oferece uma abordagem mais robusta e confiável para a modelagem de tópicos ao resolver a natureza de "caixa preta" da determinação do número de agrupamentos nos modelos existentes. Ao alavancar a detecção de pico de densidade (Peax) e uma métrica de importância léxico-semântica híbrida, o Topeax reduz a necessidade de ajuste manual de hiperparâmetros e redução hierárquica de tópicos. O autor afirma que esta abordagem produz tópicos mais coerentes e uma recuperação mais precisa de estruturas de dados naturais, tornando-o uma alternativa superior para aplicações tanto acadêmicas quanto industriais onde a descoberta automática de tópicos de alta qualidade é necessária.