Disentangling Similarity and Relatedness in Topic Models

1. O Problema

O avanço dos Grandes Modelos de Linguagem (LLMs) e dos Modelos de Linguagem Pré-treinados (PLMs) levou à integração de seus embeddings em modelos de tópicos (como BERTopic, TNTM), alterando fundamentalmente como as estruturas semânticas são capturadas.

• A Lacuna: Os modelos tradicionais (baseados em estatísticas de co-ocorrência, como LDA) tendem a capturar relacionamentos temáticos (associações contextuais, ex: café–xícara). Já os modelos aumentados por PLM (baseados em proximidade de embedding) tendem a capturar similaridade taxonômica (substituição categorial, ex: café–chá).
• O Desafio: As métricas de avaliação atuais (como coerência, diversidade e medidas baseadas em embeddings) não conseguem distinguir ou quantificar essas duas dimensões semânticas distintas. Isso obscurece a compreensão de como a escolha do modelo impacta o desempenho em tarefas downstream, pois não se sabe se o modelo está capturando a estrutura semântica adequada para a tarefa específica.

2. Metodologia

Os autores propõem uma abordagem em três etapas principais para resolver essa lacuna:

A. Construção de um Benchmark Sintético e Treinamento de um "Scorer"

• Dados: Para superar a escassez de dados anotados manualmente que distinguem as duas dimensões, os autores criaram um conjunto de dados sintético massivo com 51.523 pares de palavras.
• Fonte: Os pares foram amostrados de redes de conhecimento (WordNet, ConceptNet, vizinhos mais próximos em embeddings BERT) e negativos controlados.
• Anotação: Um LLM (DeepSeek-V3) foi utilizado para anotar os pares, fornecendo pontuações separadas para Similaridade (substituição/categoria) e Relacionamentos (associação temática/funcional), seguindo regras estritas de distinção.
• Modelo de Pontuação (Scorer): Foi treinada uma rede neural (MLP) que recebe um par de palavras (usando embeddings GloVe e características derivadas do WordNet) e prevê simultaneamente dois scores: Similaridade e Relacionamentos. O modelo foi regularizado para garantir que as duas dimensões sejam aprendidas de forma separada.

B. Construção do "Atlas de Modelos de Tópicos"

• Escopo: Avaliação abrangente de 13 modelos de tópicos (incluindo LDA, HDP, Neural LDA, BERTopic, BERT-KT, TNTM, etc.) em 6 corpora diversos (Reuters, 20NewsGroups, DBLP, ACL, BBC, M10).
• Métrica Proposta: Para cada tópico gerado, calcula-se a média dos scores de similaridade e relacionamento entre as 5 palavras principais. Define-se um "Gap" (diferença entre relacionamento e similaridade) para posicionar os modelos em um espectro bidimensional.

C. Validação em Tarefas Downstream

• Foram testadas três tarefas para verificar se a posição no espectro similaridade-relacionamento prevê o desempenho:
  1. Monitoramento de Eventos (Reuters): Favorece modelos com alto relacionamento (co-ocorrência).
  2. Recuperação de Categorias (Reuters): Favorece modelos com alto relacionamento.
  3. Consistência de Recuperação de Pares de Sinônimos: Favorece modelos com alta similaridade (capacidade de identificar palavras intercambiáveis).

3. Principais Contribuições

1. Novo Framework de Avaliação Bidimensional: Introduz a primeira métrica explícita que desentrelaça a similaridade taxonômica da relação temática em modelos de tópicos, preenchendo uma lacuna fundamental na avaliação semântica.
2. Benchmark Sintético em Escala: Criação de um dataset de ~51k pares de palavras anotados via LLM, superando a limitação de tamanho e ruído dos benchmarks existentes (como SimLex-999 ou WordSim-353).
3. Scorer Neural Robusto: Desenvolvimento de uma ferramenta capaz de quantificar ambas as dimensões simultaneamente, demonstrando generalização em vocabulário não visto e robustez a diferentes classes gramaticais.
4. Correlação Preditiva: Estabelecimento de que o perfil de similaridade/relacionamento é uma propriedade intrínseca e estável da arquitetura do modelo, e que esse perfil prevê o desempenho em tarefas downstream.

4. Resultados Chave

• Padrão Consistente: Modelos baseados em co-ocorrência (ex: LDA) inclinam-se consistentemente para relacionamentos, enquanto modelos aumentados por PLM (ex: BERT-KT, TNTM) inclinam-se para similaridade.
• Estabilidade Arquitetural: A posição de um modelo no espectro é determinada principalmente pela sua arquitetura e não pelas características do corpus (concordância de Kendall alta entre corpora diferentes).
• Desempenho em Tarefas:
  • Tarefas que exigem reconhecimento de temas contextuais (Monitoramento de Eventos) foram melhor atendidas por modelos com alto score de relacionamento.
  • Tarefas que exigem identificação de substituição semântica (Recuperação de Sinônimos) foram melhor atendidas por modelos com alto score de similaridade.
  • Métricas tradicionais (Coerência e Diversidade) falharam em prever consistentemente o desempenho nessas tarefas específicas.
• Análise de Casos Específicos:
  • BERTopic: Embora use PLM, mantém alto relacionamento e similaridade moderada porque extrai palavras via c-TF-IDF (foco em termos distintos do cluster), evitando a aglomeração excessiva de sinônimos.
  • BERT-KT: Apresentou similaridade artificialmente alta devido a tópicos gerados com palavras genéricas de registro (ex: "disse", "relatado") que são semanticamente próximas no espaço de embedding, mas vazias tematicamente.
  • ECRTM: Mostrou relacionamento extremamente baixo devido à tendência de agrupar tokens raros e isolados (outliers geométricos) para maximizar a dispersão dos tópicos.

5. Significado e Implicações

• Seleção de Modelos Orientada a Tarefas: O estudo fornece um guia prático para engenheiros de ML: se a tarefa requer recuperação de contexto e temas associados, deve-se escolher modelos com viés de relacionamento (LDA/VAE). Se a tarefa requer agrupamento semântico preciso ou substituição de termos, modelos com viés de similaridade (PLM) são superiores.
• Diagnóstico de Corpora: A métrica pode ser usada para analisar a estrutura semântica de um novo corpus (ex: corpora técnicos como ACL tendem a ter alta similaridade devido a vocabulário especializado, enquanto fóruns informais como 20NewsGroups apresentam dinâmicas complexas de similaridade e relacionamento).
• Ajuste de Hiperparâmetros: Permite que desenvolvedores de modelos ajustem o peso dos componentes de embedding para controlar o equilíbrio entre similaridade e relacionamento, otimizando o modelo para o caso de uso desejado.

Em resumo, o paper demonstra que a distinção entre "palavras que pertencem à mesma categoria" e "palavras que aparecem juntas em contextos" é crucial para a avaliação de modelos de tópicos, e que ignorar essa distinção leva a escolhas de modelos subótimas para aplicações específicas.