Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering

Resumo Técnico: Harmonizando a Estrutura Global e a Consistência Local no Transporte Ótimo para Agrupamento de Textos Curtos

Declaração do Problema
O agrupamento de textos curtos é crítico para organizar comunicações digitais massivas, mas os métodos existentes enfrentam desafios significativos na geração de rótulos pseudo (pseudo-labels) confiáveis. As abordagens atuais baseadas em Transporte Ótimo (OT) melhoram as estratégias gananciosas (greedy) ao considerar a estrutura global entre as distribuições de amostras e clusters. No entanto, esses métodos sofrem de uma limitação crítica: eles ignoram a consistência semântica amostra-a-amostra. Consequentemente, amostras semanticamente similares podem receber diferentes rótulos pseudo se seus custos de transporte para clusters candidatos forem ambíguos ou similares. Essa inconsistência introduz rótulos pseudo ruidosos que induzem erroneamente a otimização do modelo, particularmente em espaços de características que carecem de fronteiras de categoria claras, levando a um desempenho de agrupamento subótimo.

Metodologia
O artigo propõe o CAOT (Consistency-Aware Adaptive Optimal Transport), um novo framework projetado para harmonizar a informação estrutural global com a consistência semântica local. O framework opera dentro de um loop iterativo de Expectativa-Maximização (EM) composto por três módulos principais:

1. Módulo de Construção de Similaridade Semântica (SSCM):

   • Este módulo captura relações semânticas ao nível da instância. Ele primeiro emprega aprendizado contrastivo em visões de texto aumentadas para aumentar a discriminabilidade das representações das amostras, garantindo um espaço de características claro.
   • Uma nova rede de atenção ao nível da instância ($G_h$) é então treinada para gerar uma matriz de similaridade de atenção ($S_{att}$). Esta rede é otimizada para atribuir pesos de atenção elevados a amostras pertencentes ao mesmo cluster (identificado via pseudo-rótulos atuais), modelando assim a consistência semântica intrínseca entre as amostras.

2. Módulo de Geração de Pseudo-rótulos (PGM):

   • Esta é a inovação central onde o CAOT é formulado. Diferente do OT padrão, que minimiza o custo de transporte baseado apenas nas distâncias amostra-cluster, o CAOT integra a matriz de similaridade semântica aprendida ($S = S_{cos} + S_{att}$) no objetivo de otimização.
   • O problema de otimização é definido como:
     $$\min_{Q,b} \langle Q, -\log(P^{(0)}) \rangle + \varepsilon_1 H(Q) + \varepsilon_2 \Psi(b)^T \mathbf{1} - \varepsilon_3 \langle S, QQ^T \rangle$$
   • O termo $\langle S, QQ^T \rangle$ atua como um regularizador que incentiva os vetores de transporte de amostras semanticamente similares a se alinharem, garantindo que recebam pseudo-rótulos idênticos.
   • O termo $\Psi(b)$ substitui a restrição de uniformidade rígida do OT padrão por uma penalidade ajustável, permitindo que o modelo se adapte a diferentes graus de desbalanceamento de classes.
   • A solução é obtida via um método iterativo combinando expansão de Taylor e multiplicadores de Lagrange.

3. Módulo de Orientação Supervisionada (SGM):

   • Os pseudo-rótulos confiáveis gerados pelo CAOT servem como sinais de supervisão para atualizar a rede de agrupamento ($G_p$) e o codificador ($\Phi$) no passo M, alinhando as probabilidades preditivas com os rótulos gerados.

Principais Contribuições

• Nova Formulação de OT: O artigo introduz o CAOT, que é o primeiro método de agrupamento de textos curtos baseado em OT que incorpora explicitamente a consistência semântica amostra-a-amostra junto com a estrutura global amostra-cluster.
• Mecanismo de Atenção ao Nível da Instância: Uma rede de atenção dedicada é proposta para capturar e modelar dinamicamente as relações semânticas entre amostras, as quais são então integradas ao processo de transporte.
• Tratamento Adaptativo de Desbalanceamento: A formulação inclui um termo de penalidade flexível para a distribuição alvo, permitindo que o método se adapte a conjuntos de dados com variados graus de desbalanceamento de classe sem restrições rígidas.
• Framework End-to-End: A abordagem otimiza conjuntamente o aprendizado de representação, a modelagem de consistência semântica e as atribuições de agrupamento em um framework EM unificado.

Resultados Experimentais
Os autores conduziram experimentos extensivos em oito conjuntos de dados de referência (incluindo AgNews, StackOverflow, Biomedical, e vários subconjuntos de GoogleNews e Tweet), cobrindo cenários balanceados, desbalanceados e severamente desbalanceados.

• Desempenho: O método proposto superou as linhas de base de última geração (incluindo RSTC, SCPCL, FNSCC e SCCL) na maioria das métricas (Acurácia e NMI). Notavelmente, alcançou um ganho de acurácia de 5,01% no conjunto de dados StackOverflow em comparação com a melhor linha de base.
• Qualidade da Representação: Visualizações e análises quantitativas de compactação intra-cluster e separabilidade inter-cluster demonstraram que o CAOT aprende espaços de características superiores em comparação aos métodos de OT existentes.
• Estudos de Ablação: A remoção do termo de consistência semântica ou do componente de aprendizado contrastivo resultou em uma degradação significativa do desempenho, validando a necessidade tanto da estrutura global quanto da consistência local.
• Eficiência: O método demonstrou vantagens computacionais sobre métodos de OT existentes (como o RSTC) em conjuntos de dados de larga escala ao operar em mini-lotes (mini-batches) em vez do conjunto de dados completo, garantindo escalabilidade.
• Generalização: O framework foi estendido com sucesso para conjuntos de dados de textos longos (ex: 20Newsgroups) e tarefas de agrupamento de imagens (STL-10, CIFAR), demonstrando aplicabilidade cross-domain.

Significância e Alegações
O artigo afirma que a principal significância deste trabalho reside em abordar o "ponto cego" dos métodos de OT existentes em relação à consistência semântica local. Ao corrigir a atribuição errônea de pseudo-rótulos para vizinhos semanticamente similares, o CAOT fornece sinais de supervisão mais confiáveis, levando a um melhoramento significativo na qualidade do agrupamento. Os autores asseguram que o método é robusto a variações de hiperparâmetros e oferece uma solução geral para tarefas de agrupamento além de textos curtos, incluindo documentos longos e imagens, sem exigir ajuste manual de hiperparâmetros para desbalanceamento de classe. O código é disponibilizado para facilitar a reprodutibilidade.