Identifying Latent Concepts and Structures for Generalized Category Discovery

Resumen Técnico: Identificación de Conceptos y Estructuras Latentes para el Descubrimiento de Categorías Generalizado

1. Definición del Problema

El artículo aborda el Descubrimiento de Categorías Generalizado (GCD, por sus siglas en inglés), un escenario donde un modelo debe reconocer clases conocidas mientras descubre de forma autónoma clases novedosas y no vistas a partir de datos no etiquetados. Los autores identifican un cuello de botella crítico en los enfoques actuales de GCD: mientras que la investigación se ha centrado intensamente en diseñar mejores objetivos de agrupamiento (clustering) o cabezales de descubrimiento, estos métodos suelen heredar representaciones de tokens de alto rango y entrelazadas de los backbones de visión estándar (particularmente de los Vision Transformers).

En estas representaciones estándar, los tokens de los parches forman una "nube de alta dimensión ruidosa" donde las partes del primer plano, las texturas del fondo y las correlaciones incidentales ocupan direcciones cercanas. Esta geometría es inadecuada para el descubrimiento no supervisado, lo que conduce a errores donde una sola categoría se fragmenta en múltiples grupos o distintas categorías se fusionan debido al contexto compartido. El problema central no es la función de pérdida utilizada después del backbone, sino la geometría no estructurada de las características expuestas a dicha pérdida.

2. Metodología: Campos de Primitivas Composicionales (CPF-GCD)

Los autores proponen los Campos de Primitivas Composicionales (CPF-GCD), un módulo ligero, de tipo plug-and-play, insertado entre el backbone de visión y el cabezal de GCD. La hipótesis central es que todas las categorías (conocidas o novedosas) pueden expresarse como composiciones y arreglos espaciales de un conjunto finito de primitivas visuales aprendibles.

CPF-GCD reconfigura el espacio de características imponiendo una organización composicional de bajo rango a través de tres etapas:

1. Construcción de un Libro de Códigos de Primitivas Condicionado por la Imagen:

   • Se utiliza un libro de códigos base aprendible $P_{base}$ (un conjunto de vectores de primitivas reutilizables) compartido en todo el conjunto de datos.
   • Para manejar variaciones en pose y escala, se calcula un desplazamiento condicionado por la imagen $\Delta P$ a partir de los tokens de entrada y se añade a la base, creando un libro de códigos adaptado $P$.
   • Se calcula una asignación inicial de token a primitiva ($A_{prior}$) mediante la puntuación de la compatibilidad entre los tokens de los parches y las primitivas adaptadas.

2. Refinamiento de la Evidencia de la Primitiva:

   • Agregación de Evidencia de Tokens: La evidencia de los tokens se agrega en estados de primitivas basándose en la asignación inicial.
   • Actualización Condicionada por el Token: Las primitivas consultan nuevamente los tokens originales mediante mecanismos de atención para recuperar la evidencia que pudo haber sido subponderada inicialmente.
   • Consolidación del Estado de la Primitiva: Las primitivas interactúan entre sí (atención de primitiva a primitiva) para eliminar la redundancia y asegurar estados de libro de códigos coherentes. Esto resulta en estados de primitivas refinados $P_2$.

3. Fusión de Asignación y Reescritura de Tokens:

   • Se deriva una segunda matriz de asignación ($A_{data}$) de la dinámica de refinamiento (pesos de interacción), capturando cómo los tokens contribuyen realmente a las primitivas durante el proceso de refinamiento.
   • Fusión Ponderada por Confianza: La asignación inicial ($A_{prior}$) y la asignación basada en datos ($A_{data}$) se fusionan en el espacio de potencial logarítmico utilizando pesos aprendibles para producir una matriz de asignación final $A$.
   • Reescritura de Tokens: Las primitivas refinadas se decodifican de nuevo al espacio de los tokens de parche utilizando la asignación fusionada. El resultado es una actualización residual de los tokens originales: $X_{refined} = X + \text{MLP}(A \cdot P_{refined})$.

El $X_{refined}$ resultante mantiene la dimensionalidad original, lo que permite que sea alimentado sin problemas a cualquier cabezal de GCD existente (basado en prototipos, basado en agrupamiento o contrastivo) sin cambios arquitectónicos.

3. Contribuciones Clave

• Perspectiva del Lado de la Representación: El artículo desplaza el enfoque del diseño de GCD desde el cabezal de salida hacia la interfaz de representación, argumentando que la geometría de los tokens debe estar estructurada (mediante composición de bajo rango) antes de aplicar objetivos de descubrimiento.
• Organizador de Tokens Basado en Primitivas: CPF se introduce como un módulo de inserción directa que reescribe las representaciones de los parches a través de primitivas aprendibles y una fusión de asignación adaptativa, proporcionando un espacio intermedio compacto sin modificar las pérdidas descendentes.
• Validación Multi-Framework: El método se valida en diversos baselines de GCD (incluyendo SimGCD, LegoGCD, CMS y SelEx) y en conjuntos de datos (finamente detallados como CUB-200 y de grano grueso como ImageNet-100), demostrando mejoras consistentes en el rendimiento.

4. Resultados Experimentales

• Ganancias de Rendimiento: CPF-GCD mejora consistentemente el rendimiento del descubrimiento. En benchmarks de grano fino, aumenta la precisión promedio en un 4.75% en Stanford-Cars y alcanza una precisión máxima del 79.8% en CUB-200 con el baseline SelEx. En conjuntos de datos de grano grueso, mejora el descubrimiento de clases novedosas en un promedio de 2.03% en ImageNet-100.
• Estudios de Ablación: Eliminar la asignación basada en datos ($A_{data}$) causa la caída más pronunciada en el rendimiento, lo que resalta la importancia del refinamiento dinámico. El método es robusto al número de primitivas ($M$), mostrando un rendimiento estable en el rango de $M \in [12, 16]$.
• Análisis Geométrico y Semántico:
  • Reducción de Entropía: CPF reduce la entropía de Von Neumann y el rango efectivo, indicando una "purificación espectral" que filtra dimensiones redundantes.
  • Estimación de Cardinalidad: El método mejora significativamente la estimación del número de categorías no vistas, reduciendo los márgenes de error casi a la mitad en CIFAR-100 en comparación con los baselines.
  • Desplazamiento de la Atención: La visualización muestra que CPF desplaza la atención de correlaciones de píxeles difusas hacia interacciones enfocadas en estructuras de nivel de objeto reutilizables (por ejemplo, fuselajes, alas), mejorando la relación señal-ruido.
• Eficiencia: El módulo añade aproximadamente 7.5 millones de parámetros con solo un aumento del 8% en el tiempo de entrenamiento y un aumento del 6% en el tiempo de inferencia, manteniendo un perfil ligero.

5. Significado y Reivindicaciones

El artículo sostiene que identificar y aprovechar la estructura composicional de bajo rango es un sesgo inductivo crucial para el reconocimiento en el mundo abierto. Al modelar explícitamente la distribución espacial de las primitivas, CPF permite que las nuevas categorías emerjan naturalmente como nuevos patrones de activación sobre un vocabulario compartido, en lugar de requerir ejes de características completamente nuevos.

Los autores posicionan a CPF-GCD no como un reemplazo para los cabezales de descubrimiento existentes, sino como una reestructuración fundamental del espacio de características que hace que las características visuales preentrenadas sean más adecuadas para la formación de categorías. El trabajo sugiere que imponer la composición estructural es un "eslabón perdido crítico" en el reconocimiento de mundo abierto, ofreciendo una forma simple y genérica de resolver el cuello de botella de las representaciones de tokens entrelazadas.