Improving Topic Modeling by Distilling Soft Labels from Language Models

Resumen Técnico: Mejora del Modelado de Temas mediante la Destilación de Etiquetas Suaves de Modelos de Lenguaje

Planteamiento del Problema
Los modelos de temas neuronales (NTM) tradicionales suelen optimizarse reconstruyendo la representación de un documento mediante el modelo de Bolsa de Palabras (BoW). Aunque este enfoque es eficaz para capturar coocurrencias estadísticas de palabras, pasa por alto la rica información contextual y presenta dificultades significativas ante la dispersión de datos, particularmente en corpus de textos cortos. Por el contrario, aunque los Modelos de Lenguaje de Gran Escala (LLM) poseen una profunda comprensión semántica, enfrentan limitaciones para modelar grandes corpus debido a las restricciones de longitud de contexto y los costes computacionales. Los intentos existentes de aprovechar los LLM para el modelado de temas suelen depender de procesos complejos y costosos, o de la generación basada en prompts que no logra producir las distribuciones de temas probabilísticas requeridas para aplicaciones posteriores como la recuperación con conciencia de incertidumbre.

Metodología: Destilación de Etiquetas Suaves (DSL)
Los autores proponen un novedoso marco de entrenamiento, la Destilación de Etiquetas Suaves (DSL, por sus siglas en inglés), que cierra la brecha entre las capacidades semánticas de los Modelos de Lenguaje Pequeños (SLM) y la eficiencia estructural de los modelos de temas probabilísticos. El marco opera a través de tres componentes principales:

1. Objetivos de Reconstrucción Semántica: En lugar de utilizar objetivos BoW dispersos, DSL construye señales de reconstrucción densas y contextualmente enriquecidas. Dado un documento de entrada $x$ y un prompt de instrucción temática $\pi$ (por ejemplo, "Generar una etiqueta de una sola palabra que capture el tema del documento"), el SLM predice la distribución del siguiente token. Los logits para el siguiente token se proyectan sobre un vocabulario predefinido $V$ y se convierten en una distribución softmax escalada por temperatura, denotada como $y_{DSL}(x, \pi)$. A diferencia de BoW, que solo asigna masa a las palabras presentes explícitamente en el documento, $y_{DSL}$ asigna masa de probabilidad a palabras temáticamente relevantes incluso si no aparecen en el texto.
2. Entradas Contextualizadas: El modelo de temas utiliza la representación del estado oculto final del SLM (en la última posición de la entrada condicionada por el prompt) como el embedding del documento. Esto asegura que la entrada esté naturalmente alineada con la distribución semántica generada por el modelo.
3. Objetivo de Entrenamiento: El modelo de temas neuronal se entrena para reconstruir el objetivo denso $y_{DSL}$ en lugar del objetivo BoW disperso. La función objetivo minimiza la divergencia de Kullback-Leibler (KL) entre la distribución de vocabulario predicha $\hat{y}_\psi(x)$ y el objetivo inducido por el SLM $y_{DSL}(x, \pi)$, junto con términos de regularización específicos del modelo (por ejemplo, priors variacionales o agrupamiento de embeddings):
   $$L_{DSL}(x) = \lambda D_{KL}(y_{DSL}(x, \pi) \parallel \hat{y}_\psi(x)) + R_M(x; \psi)$$

Interpretación Bayesiana
Los autores interpretan DSL a través de la lente de la inferencia bayesiana implícita. Postulan que el SLM actúa como un predictor bayesiano implícito sobre conceptos latentes. La distribución de siguiente token proyectada $y_{DSL}$ representa una distribución predictiva posterior implícita sobre el vocabulario relevante al tema. El marco DSL destila eficazmente este señal implícita y no estructurada en un modelo de temas probabilístico explícito y estructurado, produciendo distribuciones de tema-palabra y documento-tema interpretables.

Contribuciones Clave

1. Nuevo Paradigma de Entrenamiento: La introducción de un objetivo de entrenamiento que utiliza distribuciones de etiquetas suaves semánticamente fundamentadas derivadas de SLM como el objetivo de reconstrucción para modelos de temas neuronales.
2. Mejoras de Rendimiento: Experimentos extensos demuestran que DSL logra mejoras sustanciales sobre las líneas base existentes (incluyendo LDA, ProdLDA, BERTopic, ECRTM y FASTopic) en coherencia de temas, diversidad y precisión de asignación en tres conjuntos de datos (20NewsGroup, StackOverflow, TweetTopic).
3. Evaluación Basada en Recuperación: Los autores introducen una métrica basada en la recuperación para evaluar la utilidad de las distribuciones de temas para encontrar documentos semánticamente similares. Los resultados indican que DSL supera significativamente a las líneas base en precisión de recuperación, particularmente para conjuntos de datos de textos cortos donde la dispersión de datos es un desafío importante.

Resultados Experimentales

• Calidad de los Temas: A través de varias arquitecturas de base (ProdLDA, ECRTM, FASTopic) y profesores SLM (Llama, Phi, Qwen, ERNIE), DSL supera consistentemente a las líneas base. Por ejemplo, en el conjunto de datos de StackOverflow, la puntuación de Pureza para ProdLDA mejoró de 0.265 a 0.803 cuando fue potenciado con DSL.
• Robustez: El método sigue siendo efectivo independientemente del SLM profesor específico utilizado, siempre que el SLM siga bien las instrucciones.
• Rendimiento de Recuperación: En tareas de recuperación, los modelos basados en DSL superan significativamente a las líneas base. En StackOverflow, la mejor variante de DSL casi triplicó la precisión en 5 (P@5) de la línea base, pasando de 0.306 a 0.867.
• Estudios de Ablación: Los autores confirman que el principal motor del rendimiento es el objetivo suave semánticamente fundamentado; reemplazar la pérdida KL con NLL estándar o revertir a objetivos BoW resulta en caídas significativas de rendimiento. Se muestra que el uso de estados ocultos del SLM como entrada es beneficioso específicamente para reconstruir objetivos suaves, más que para la reconstrucción estándar de BoW.

Significancia y Reivindicaciones
El artículo afirma que DSL ofrece un paradigma simple, eficiente y efectivo para mejorar el modelado de temas neuronal sin la sobrecarga computacional de los procesos completos de inferencia de LLM o las limitaciones de las representaciones BoW dispersas. Al destilar la "señal predictiva posterior temática" de un SLM en un modelo de temas probabilístico, el enfoque preserva la interpretabilidad y la conciencia de la incertidumbre de los modelos de temas tradicionales mientras mejora significativamente su capacidad para capturar estructuras temáticas subyacentes. Los autores posicionan este trabajo como un paso hacia un mejor aprovechamiento de los SLM para aplicaciones orientadas a la recuperación, señalando que las representaciones de temas de baja dimensión resultantes ofrecen ventajas computacionales y de almacenamiento sobre los embeddings densos de alta dimensión.

Los autores mantienen la modestia respecto a direcciones futuras, sugiriendo que el trabajo futuro podría explorar diferentes estrategias de prompting (por ejemplo, aprendizaje de pocos disparos/few-shot learning, cadena de pensamiento/chain-of-thought) y aplicaciones multimodales, pero no afirman que el método resuelva todos los desafíos en el modelado de temas o que sea una solución definitiva para todas las tareas de aplicación. También reconocen posibles riesgos sociales relacionados con la herencia de sesgos de los modelos de lenguaje destilados.