Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering

Sintesi Tecnica: Armonizzare la Struttura Globale e la Consistenza Locale nel Trasporto Ottimo per il Clustering di Testi Brevi

Definizione del Problema
Il clustering di testi brevi è fondamentale per organizzare le massicce comunicazioni digitali, tuttavia i metodi esistenti affrontano sfide significative nella generazione di pseudo-label affidabili. Gli approcci attuali basati sul Trasporto Ottimo (OT) migliorano rispetto alle strategie greedy considerando la struttura globale tra le distribuzioni dei campioni e dei cluster. Tuttavia, questi metodi soffrono di un limite critico: ignorano la consistenza semantica campione-campione. Di conseguenza, campioni semanticamente simili possono ricevere pseudo-label differenti se i loro costi di trasporto verso i cluster candidati sono ambigui o simili. Questa inconsistenza introduce pseudo-label rumorosi che guidano erroneamente l'ottimizzazione del modello, particolarmente in spazi di feature privi di confini categoriali chiari, portando a prestazioni di clustering subottimali.

Metodologia
Il documento propone CAOT (Consistency-Aware Adaptive Optimal Transport), un nuovo framework progettato per armonizzare l'informazione strutturale globale con la consistenza semantica locale. Il framework opera all'interno di un ciclo iterativo di Expectation-Maximization (EM) composto da tre moduli centrali:

1. Modulo di Costruzione della Similarità Semantica (SSCM):

   • Questo modulo cattura le relazioni semantiche a livello di istanza. Utilizza innanzitutto l'apprendimento contrastivo su viste testuali aumentate per migliorare la discriminabilità delle rappresentazioni dei campioni, garantendo uno spazio di feature chiaro.
   • Viene quindi addestrata una nuova rete di attenzione a livello di istanza ($G_h$) per generare una matrice di similarità di attenzione ($S_{att}$). Questa rete è ottimizzata per assegnare pesi di attenzione elevati ai campioni appartenenti allo stesso cluster (identificato tramite gli attuali pseudo-label), modellando così l'intrinseca consistenza semantica tra i campioni.

2. Modulo di Generazione degli Pseudo-label (PGM):

   • Questa è l'innovazione centrale in cui CAOT è formulata. A differenza del tipico OT che minimizza il costo di trasporto basandosi esclusivamente sulle distanze campione-cluster, CAOT integra la matrice di similarità semantica appresa ($S = S_{cos} + S_{att}$) nell'obiettivo di ottimizzazione.
   • Il problema di ottimizzazione è definito come:
     $$\min_{Q,b} \langle Q, -\log(P^{(0)}) \rangle + \varepsilon_1 H(Q) + \varepsilon_2 \Psi(b)^T \mathbf{1} - \varepsilon_3 \langle S, QQ^T \rangle$$
   • Il termine $\langle S, QQ^T \rangle$ agisce come un regolarizzatore che incoraggia i vettori di trasporto di campioni semanticamente simili ad allinearsi, assicurando che ricevano pseudo-label identici.
   • Il termine $\Psi(b)$ sostituisce il vincolo di uniformità rigido dello standard OT con una penalità regolabile, permettendo al modello di adattarsi a diversi gradi di sbilanciamento delle classi.
   • La soluzione è ottenuta tramite un metodo iterativo che combina l'espansione di Taylor e i moltiplicatori di Lagrange.

3. Modulo di Guida Supervisionata (SGM):

   • Gli pseudo-label affidabili generati da CAOT fungono da segnali di supervisione per aggiornare la rete di clustering ($G_p$) e l'encoder ($\Phi$) nel passo M, allineando le probabilità predittive con i label generati.

Contributi Chiave

• Nuova Formulazione OT: Il documento introduce CAOT, che è il primo metodo di clustering di testi brevi basato su OT a incorporare esplicitamente la consistenza semantica campione-campione insieme alla struttura globale campione-cluster.
• Meccanismo di Attenzione a Livello di Istanza: Viene proposta una rete di attenzione dedicata per catturare e modellare dinamicamente le relazioni semantiche tra i campioni, che vengono poi integrate nel processo di trasporto.
• Gestione Adattiva dello Sbilanciamento: La formulazione include un termine di penalità flessibile per la distribuzione target, consentendo al metodo di adattarsi a dataset con diversi gradi di sbilanciamento delle classi senza vincoli rigidi.
• Framework End-to-End: L'approccio ottimizza congiuntamente l'apprendimento della rappresentazione, la modellazione della consistenza semantica e le assegnazioni di clustering in un framework EM unificato.

Risultati Sperimentali
Gli autori hanno condotto esperimenti estesi su otto dataset di riferimento (inclusi AgNews, StackOverflow, Biomedical e vari subset di GoogleNews e Tweet), coprendo scenari bilanciati, sbilanciati e fortemente sbilanciati.

• Performance: Il metodo proposto ha superato i baseline allo stato dell'arte (inclusi RSTC, SCPCL, FNSCC e SCCL) nella maggior parte delle metriche (Accuratezza e NMI). In particolare, ha ottenuto un guadagno di accuratezza del 5,01% sul dataset StackOverflow rispetto al miglior baseline.
• Qualità della Rappresentazione: Le visualizzazioni e l'analisi quantitativa della compattezza intra-cluster e della separabilità inter-cluster hanno dimostrato che CAOT apprende spazi di feature superiori rispetto ai metodi OT esistenti.
• Studi di Ablazione: La rimozione del termine di consistenza semantica o della componente di apprendimento contrastivo ha causato un significativo degrado delle prestazioni, validando la necessità sia della struttura globale che della consistenza locale.
• Efficienza: Il metodo ha dimostrato vantaggi computazionali rispetto ai metodi OT esistenti (come RSTC) su dataset su larga scala operando su mini-batch invece che sull'intero dataset, garantendo la scalabilità.
• Generalizzazione: Il framework è stato esteso con successo a dataset di testi lunghi (es. 20Newsgroups) e compiti di clustering di immagini (STL-10, CIFAR), dimostrando l'applicabilità cross-dominio.

Significatività e Rivendicazioni
Il documento afferma che la principale significatività di questo lavoro risiede nel colmare il "punto cieco" dei metodi OT esistenti riguardo alla consistenza semantica locale. Correggendo l'assegnazione errata degli pseudo-label per i vicini semanticamente simili, CAOT fornisce segnali di supervisione più affidabili, portando a un miglioramento significativo della qualità del clustering. Gli autori asseriscono che il metodo è robusto alle variazioni degli iperparametri e offre una soluzione generale per i compiti di clustering oltre i testi brevi, inclusi documenti lunghi e immagini, senza richiedere la sintonizzazione manuale degli iperparametri per lo sbilanciamento delle classi. Il codice è reso disponibile per facilitare la riproducibilità.