Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering

Resumen Técnico: Armonización de la Estructura Global y la Consistencia Local en el Transporte Óptimo para la Agrupación de Textos Cortos

Planteamiento del Problema
La agrupación de textos cortos es crítica para organizar las comunicaciones digitales masivas; sin embargo, los métodos existentes enfrentan desafíos significativos al generar pseudo-etiquetas fiables. Los enfoques actuales basados en el Transporte Óptimo (OT, por sus siglas en inglés) mejoran sobre las estrategias codiciosas (greedy) al considerar la estructura global entre las distribuciones de muestras y clústeres. No obstante, estos métodos sufren una limitación crítica: ignoran la consistencia semántica de muestra a muestra. En consecuencia, muestras semánticamente similares pueden recibir diferentes pseudo-etiquetas si sus costos de transporte hacia los clústeres candidatos son ambiguos o similares. Esta inconsistencia introduce pseudo-etiquetas ruidosas que guían erróneamente la optimización del modelo, particularmente en espacios de características que carecen de fronteras de categoría claras, lo que conduce a un rendimiento de agrupación subóptimo.

Metodología
El artículo propone CAOT (Transporte Óptimo Adaptativo con Conciencia de Consistencia), un nuevo marco diseñado para armonizar la información estructural global con la consistencia semántica local. El marco opera dentro de un bucle iterativo de Expectativa-Maximización (EM) que consta de tres módulos principales:

1. Módulo de Construcción de Similitud Semántica (SSCM):

   • Este módulo captura las relaciones semánticas a nivel de instancia. Primero emplea aprendizaje contrastivo sobre vistas de texto aumentadas para mejorar la discriminabilidad de las representaciones de las muestras, asegurando un espacio de características claro.
   • Posteriormente, se entrena una novedosa red de atención a nivel de instancia ($G_h$) para generar una matriz de similitud de atención ($S_{att}$). Esta red se optimiza para asignar pesos de atención altos a las muestras que pertenecen al mismo clúster (identificado mediante las pseudo-etiquetas actuales), modelando así la consistencia semántica intrínseca entre muestras.

2. Módulo de Generación de Pseudo-etiquetas (PGM):

   • Esta es la innovación central donde se formula CAOT. A diferencia del OT estándar, que minimiza el costo de transporte basándose únicamente en las distancias de muestra a clúster, CAOT integra la matriz de similitud semántica aprendida ($S = S_{cos} + S_{att}$) en el objetivo de optimización.
   • El problema de optimización se define como:
     $$\min_{Q,b} \langle Q, -\log(P^{(0)}) \rangle + \varepsilon_1 H(Q) + \varepsilon_2 \Psi(b)^T \mathbf{1} - \varepsilon_3 \langle S, QQ^T \rangle$$
   • El término $\langle S, QQ^T \rangle$ actúa como un regularizador que fomenta que los vectores de transporte de muestras semánticamente similares se alineen, asegurando que reciban pseudo-etiquetas idénticas.
   • El término $\Psi(b)$ reemplaza la restricción de uniformidad estricta del OT estándar con una penalización ajustable, permitiendo que el modelo se adapte a diversos grados de desequilibrio de clases.
   • La solución se obtiene mediante un método iterativo que combina la expansión de Taylor y multiplicadores de Lagrange.

3. Módulo de Guía Supervisada (SGM):

   • Las pseudo-etiquetas fiables generadas por CAOT sirven como señales de supervisión para actualizar la red de agrupación ($G_p$) y el codificador ($\Phi$) en el paso M, alineando las probabilidades predictivas con las etiquetas generadas.

Contribuciones Clave

• Nueva Formulación de OT: El artículo introduce CAOT, que es el primer método de agrupación de textos cortos basado en OT que incorpora explícitamente la consistencia semántica de muestra a muestra junto con la estructura global de muestra a clúster.
• Mecanismo de Atención a Nivel de Instancia: Se propone una red de atención dedicada para capturar y modelar dinámicamente las relaciones semánticas entre muestras, las cuales se integran posteriormente en el proceso de transporte.
• Manejo Adaptativo de Desequilibrio: La formulación incluye un término de penalización flexible para la distribución objetivo, permitiendo que el método se adapte a conjuntos de datos con diversos grados de desequilibrio de clases sin restricciones rígidas.
• Marco de Extremo a Extremo (End-to-End): El enfoque optimiza conjuntamente el aprendizaje de representaciones, el modelado de consistencia semántica y las asignaciones de agrupación en un marco EM unificado.

Resultados Experimentales
Los autores realizaron experimentos exhaustivos en ocho conjuntos de datos de referencia (incluyendo AgNews, StackOverflow, Biomedical y varios subconjuntos de GoogleNews y Tweet), cubriendo escenarios equilibrados, desequilibrados y severamente desequilibrados.

• Rendimiento: El método propuesto superó a las líneas base de vanguardia (incluyendo RSTC, SCPCL, FNSCC y SCCL) en la mayoría de las métricas (Exactitud y NMI). Notablemente, logró una ganancia de exactitud del 5.01% en el conjunto de datos StackOverflow en comparación con la mejor línea base.
• Calidad de la Representación: Las visualizaciones y el análisis cuantitativo de la compacidad intra-clúster y la separabilidad inter-clúster demostraron que CAOT aprende espacios de características superiores en comparación con los métodos de OT existentes.
• Estudios de Ablación: Eliminar el término de consistencia semántica o el componente de aprendizaje contrastivo resultó en una degradación significativa del rendimiento, validando la necesidad tanto de la estructura global como de la consistencia local.
• Eficiencia: El método demostró ventajas computacionales sobre los métodos de OT existentes (como RSTC) en conjuntos de datos a gran escala al operar sobre mini-lotes (mini-batches) en lugar del conjunto de datos completo, asegurando la escalabilidad.
• Generalización: El marco se extendió con éxito a conjuntos de datos de textos largos (ej. 20Newsgroups) y tareas de agrupación de imágenes (STL-10, CIFAR), demostrando aplicabilidad transdominio.

Significancia y Reivindicaciones
El artículo afirma que la principal significancia de este trabajo radica en abordar el "punto ciego" de los métodos de OT existentes respecto a la consistencia semántica local. Al corregir la asignación errónea de pseudo-etiquetas para vecinos semánticamente similares, CAOT proporciona señales de supervisión más fiables, lo que conduce a una mejora significativa en la calidad de la agrupación. Los autores aseguran que el método es robusto a las variaciones de hiperparámetros y ofrece una solución general para tareas de agrupación más allá de los textos cortos, incluyendo documentos largos e imágenes, sin requerir el ajuste manual de hiperparámetros para el desequilibrio de clases. El código se pone a disposición para facilitar la reproducibilidad.