Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

1. Problema: Descubrimiento Generalizado de Categorías (GCD)

El Descubrimiento Generalizado de Categorías (GCD) es una extensión natural del reconocimiento de conjunto abierto. Su objetivo es identificar tanto categorías conocidas (parcialmente etiquetadas) como categorías desconocidas (totalmente no etiquetadas) dentro de un conjunto de datos mixto.

• Desafío Principal: Los enfoques actuales de GCD suelen basarse en el aprendizaje de representaciones multimodales (visual y textual). Sin embargo, la mayoría de estos métodos se centran excesivamente en la alineación inter-modal (alinear imágenes con texto) utilizando pérdidas de contraste tipo CLIP, descuidando la alineación intra-modal (la estructura interna dentro de la modalidad visual o textual).
• Limitación de los Métodos Existentes: La falta de una alineación intra-modal adecuada provoca una compresión desequilibrada de las representaciones. Las categorías conocidas tienden a comprimirse demasiado, mientras que las desconocidas no se estructuran correctamente, lo que degrada el rendimiento de los algoritmos de clustering y dificulta la distinción entre categorías visualmente similares.

2. Metodología Propuesta: SSR2-GCD

Los autores proponen SSR2-GCD, un marco de aprendizaje de representación multimodal que integra el principio de Reducción de Tasa de Codificación Máxima (Maximal Coding Rate Reduction) en un contexto semi-supervisado. El framework consta de tres módulos principales:

A. Agregación de Texto Basada en Recuperación (RTA)

Para mejorar la generación de texto y la transferencia de conocimiento:

• Se construyen léxicos de etiquetas y atributos.
• En lugar de generar prompts simples, el método recupera los $c$ candidatos más similares (etiquetas y atributos) para cada imagen.
• Se utiliza una estrategia de ponderación donde los candidatos más similares tienen mayor peso, agregando información semántica rica para generar representaciones textuales robustas. Esto supera las limitaciones de los codificadores de texto (como CLIP) con prompts largos.

B. Módulo de Reducción de Tasa Semi-Supervisada (SSR2)

Este es el núcleo de la propuesta para el aprendizaje de representaciones. Se introduce una función de pérdida ($\mathcal{L}_{SSR^2}$) diseñada para aprender representaciones estructuradas con una compresión equilibrada:

• Objetivo: Minimizar la tasa de codificación global mientras se maximiza la tasa de codificación condicional para cada categoría (conocida y desconocida).
• Mecanismo:
  • $-R(\mathbf{Z})$: Expande las representaciones globales para evitar el colapso.
  • $R_c^s(\mathbf{Z}, \mathbf{Y}^*)$ y $R_c^u(\mathbf{Z}, \mathbf{Y})$: Fomentan que las representaciones de cada categoría ocupen subespacios de baja dimensión con rangos de matriz equilibrados.
• Ventaja Clave: A diferencia de las pérdidas de contraste tradicionales que pueden desequilibrar la compresión entre clases conocidas y desconocidas, SSR2 asegura que ambos tipos de categorías se compriman de manera equilibrada, preservando la estructura intra-modal.

C. Estrategia de Entrenamiento y Clasificadores

• Clasificadores de Doble Rama: Se utilizan dos clasificadores separados (uno para embeddings de imagen y otro para texto) para capturar las diferencias entre modalidades.
• Fases de Entrenamiento:
  1. Etapa de Calentamiento (Warm-up): Se entrena solo con la parte supervisada de la pérdida SSR2 y la pérdida de clasificación para evitar el ruido de pseudo-etiquetas iniciales.
  2. Etapa de Alineación: Se introduce la parte no supervisada de SSR2 y una pérdida de "co-teaching" (enseñanza mutua) para alinear las predicciones de los dos clasificadores y refinar las pseudo-etiquetas.

3. Contribuciones Clave

1. Marco SSR2-GCD: Propuesta de un nuevo enfoque que incorpora la reducción de tasa de codificación en el aprendizaje multimodal para GCD, logrando representaciones estructuradas con distribuciones deseadas.
2. Estrategia RTA: Desarrollo de una estrategia de agregación de texto basada en recuperación que enriquece las representaciones textuales, mejorando la transferencia de conocimiento.
3. Alineación Intra-Modal: Demostración teórica y empírica de que priorizar la alineación intra-modal (mediante SSR2) es crucial y superior a depender únicamente de la alineación inter-modal, resolviendo el problema de compresión desequilibrada.
4. Rendimiento Superior: Validación exhaustiva en 8 conjuntos de datos de referencia (genéricos y de granularidad fina), superando a los métodos state-of-the-art (SOTA).

4. Resultados Experimentales

Los autores evaluaron SSR2-GCD en conjuntos de datos genéricos (CIFAR-10/100, ImageNet-100/1k) y de granularidad fina (CUB-200, Stanford Cars, Oxford Pets, Flowers102).

• Rendimiento General: SSR2-GCD superó consistentemente a todos los métodos basados en una sola modalidad (como SimGCD, SelEx) y a los métodos multimodales existentes (CLIP-GCD, TextGCD, GET).
  • En Stanford Cars, logró un 89.2% de precisión en todas las categorías (vs. 86.1% del siguiente mejor).
  • En Flowers102, alcanzó un 93.5% (vs. 87.2% de TextGCD), demostrando una gran capacidad de adaptación a dominios fuera de la distribución.
• Análisis de Alineación:
  • Los experimentos mostraron que combinar pérdidas inter-modales (CLIP) con pérdidas intra-modales tradicionales a menudo degrada el rendimiento.
  • SSR2 logra una alineación intra-modal superior, lo que se refleja en una mayor consistencia dentro de las categorías (medida por la matriz de adyacencia $\rho$) y una distribución más uniforme de las similitudes.
• Compresión Equilibrada: A diferencia de las pérdidas de contraste que colapsan las clases conocidas, SSR2 mantiene un rango numérico equilibrado tanto para categorías "Old" (conocidas) como "New" (desconocidas), evitando el colapso de las representaciones.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma en el aprendizaje de representaciones para GCD multimodal:

• Cambio de Enfoque: Pasa de priorizar la alineación estricta entre imagen y texto (inter-modal) a priorizar la consistencia y estructura interna dentro de cada modalidad (intra-modal).
• Solución a un Problema Fundamental: Resuelve el problema de la compresión desequilibrada, que ha sido un obstáculo para el descubrimiento efectivo de categorías desconocidas en entornos multimodales.
• Generalización: La capacidad de SSR2-GCD para manejar tanto datos genéricos como de granularidad fina, y su robustez en dominios no vistos (como Flowers102), lo convierte en una herramienta potente para aplicaciones del mundo real donde los datos son una mezcla de categorías conocidas y desconocidas.

En resumen, SSR2-GCD demuestra que para descubrir nuevas categorías en un entorno multimodal, es esencial aprender representaciones que mantengan una estructura intra-modal sólida y equilibrada, utilizando la reducción de tasa semi-supervisada como mecanismo principal para lograrlo.