Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

1. O Problema: Descoberta Generalizada de Categorias (GCD)

A Descoberta Generalizada de Categorias (GCD) é uma extensão desafiadora do reconhecimento em conjunto aberto. O objetivo é identificar tanto categorias conhecidas (parcialmente rotuladas) quanto categorias desconhecidas (totalmente não rotuladas) em um conjunto de dados.

• Desafio Principal: Os métodos atuais de ponta (SOTA) para GCD baseiam-se frequentemente no aprendizado de representações multimodais (imagem + texto), mas focam excessivamente no alinhamento inter-modais (alinhamento entre imagem e texto), negligenciando o alinhamento intra-modal (consistência dentro da própria modalidade, seja imagem ou texto).
• Limitação Atual: Abordagens existentes, como as baseadas em CLIP, utilizam perdas de contraste inter-modais que podem levar a uma compressão desequilibrada das representações. Isso significa que as categorias conhecidas podem ser comprimidas excessivamente em subespaços de baixa dimensão, enquanto as desconhecidas não, dificultando a identificação precisa de clusters por algoritmos de agrupamento (clustering).

2. Metodologia Proposta: SSR2-GCD

Os autores propõem uma nova abordagem chamada SSR2-GCD (Semi-Supervised Rate Reduction for GCD), que integra três módulos principais para aprender representações cruzadas com estruturas subjacentes desejadas:

A. Agregação de Texto Baseada em Recuperação (RTA)

Para enriquecer as representações textuais e facilitar a transferência de conhecimento:

• Em vez de gerar prompts simples, o método utiliza um modelo de linguagem visual pré-treinado (VLM) para buscar candidatos de tags e atributos similares à imagem de consulta.
• É proposta uma estratégia de agregação onde os embeddings dos top-$c$ candidatos mais similares são combinados ponderadamente. Os candidatos mais similares recebem maior peso, enquanto os demais contribuem para agregar informações semânticas ricas, superando as limitações de comprimento de prompts do CLIP.

B. Módulo de Redução de Taxa Semi-Supervisionada (SSR2)

Este é o núcleo da contribuição metodológica. O objetivo é aprender representações estruturadas que garantam uma compressão equilibrada entre categorias conhecidas e desconhecidas.

• Princípio: Baseia-se no princípio de Redução de Taxa de Codificação Máxima (Maximal Coding Rate Reduction).
• Função de Perda ($\mathcal{L}_{SSR^2}$): A perda combina três termos:
  1. $-R(\mathbf{Z})$: Maximiza a taxa de codificação global, expandindo as representações para cobrir o espaço de características.
  2. $R_c^s(\mathbf{Z}, \mathbf{Y}^*)$: Minimiza a taxa de codificação para dados rotulados (conhecidos), forçando-os a ocupar subespaços de baixa dimensão.
  3. $R_c^u(\mathbf{Z}, \mathbf{Y})$: Minimiza a taxa de codificação para dados não rotulados (desconhecidos) usando pseudo-rótulos.
• Vantagem Crítica: Diferente das perdas de contraste tradicionais, o SSR2 garante que tanto as categorias conhecidas quanto as desconhecidas sejam comprimidas de forma balanceada, evitando o colapso de representações das classes conhecidas e melhorando a separabilidade para o clustering.

C. Estratégias de Treinamento e Classificação

• Classificadores de Dupla Ramificação: O modelo utiliza classificadores separados para embeddings de imagem e texto, treinados concurrentemente.
• Duas Fases de Treinamento:
  1. Fase de Aquecimento (Warm-up): Treina-se apenas com dados supervisionados (sem a perda de dados não rotulados) para evitar guia errôneo por pseudo-rótulos iniciais.
  2. Fase de Alinhamento: Introduz-se a perda semi-supervisionada completa e uma estratégia de co-teaching (ensino mútuo) para alinhar as previsões dos classificadores de imagem e texto, utilizando amostras de alta confiança.

3. Principais Contribuições

1. Framework SSR2-GCD: Proposta de um novo framework de aprendizado de representação multimodal que incorpora a Redução de Taxa Semi-Supervisionada para aprender estruturas de distribuição desejadas.
2. Estratégia RTA: Desenvolvimento de uma estratégia de Agregação de Texto Baseada em Recuperação para gerar representações textuais semanticamente ricas, melhorando a transferência de conhecimento.
3. Validação do Alinhamento Intra-Modal: Demonstração experimental de que priorizar o alinhamento intra-modal (consistência dentro da modalidade) é crucial e frequentemente mais eficaz do que focar apenas no alinhamento inter-modal (imagem-texto) em tarefas de GCD.
4. Solução para Compressão Desequilibrada: O trabalho resolve o problema de compressão desequilibrada em aprendizado de representação baseado em contraste, garantindo que categorias novas e antigas sejam tratadas de forma justa.

4. Resultados Experimentais

Os autores realizaram extensos experimentos em 8 conjuntos de dados de referência (4 genéricos e 4 de granularidade fina), incluindo ImageNet-100, CIFAR-100, CUB-200, Stanford Cars, Oxford Pets e Flowers102.

• Desempenho Superior: O SSR2-GCD superou consistentemente todos os métodos de comparação (unimodais e multimodais), incluindo SOTA como SimGCD, TextGCD, GET e CLIP-GCD.
  • Exemplo: No conjunto Stanford Cars, alcançou 89.2% de precisão (All), superando os baselines em 3.1%.
  • Exemplo: No conjunto Flowers102, alcançou 93.5% de precisão (All), superando os baselines em 6.3%.
• Análise de Alinhamento:
  • Experimentos mostraram que o uso exclusivo de perda inter-modal (como CLIP) pode degradar o alinhamento intra-modal, prejudicando o clustering.
  • A perda SSR2 alinha bem as distribuições de similaridade intra-modal (imagem-imagem e texto-texto) sem comprometer o alinhamento inter-modal.
• Compressão Balanceada: A análise de rank (número de singular values) mostrou que o SSR2 mantém ranks equilibrados entre categorias conhecidas e desconhecidas, enquanto métodos baseados em contraste (como $L_{con}$) comprimem excessivamente as categorias conhecidas.

5. Significado e Impacto

Este trabalho é significativo porque muda o paradigma de como as representações multimodais são aprendidas para descoberta de categorias desconhecidas.

• Mudança de Foco: Demonstra que, em GCD, o alinhamento intra-modal (consistência interna da imagem ou do texto) é tão ou mais importante que o alinhamento inter-modal.
• Robustez: A abordagem é particularmente eficaz em cenários de granularidade fina e domínios fora da distribuição (out-of-domain), onde as categorias desconhecidas são visualmente similares às conhecidas.
• Generalização: Ao garantir uma compressão balanceada das representações, o método permite que algoritmos de clustering identifiquem clusters de novas classes com maior precisão, superando a limitação de métodos anteriores que tendem a "esmagar" as classes conhecidas.

Em resumo, o SSR2-GCD oferece uma solução teórica e prática robusta para o problema de GCD, validando que a estruturação adequada das representações via redução de taxa é fundamental para o sucesso na descoberta de novas categorias em ambientes multimodais.