Resumo Técnico: Representações Ótimas para Aprendizado Contrastivo Generalizado com Conjuntos de Dados Desbalanceados

Declaração do Problema

O Aprendizado Contrastivo (CL) visa aprender mapas de representação que aproximam amostras "similares" (positivas) e afastam amostras "diferentes" (negativas). Embora a geometria das representações ótimas seja bem compreendida para conjuntos de dados balanceados — exibindo Colapso Neural (NC) onde as médias das classes formam uma Moldura Apertada Equiangular (ETF) —, o comportamento do CL sob distribuições de classes desbalanceadas permanece em grande parte não caracterizado. Trabalhos teóricos existentes focaram principalmente em:

1. Versões empíricas da perda InfoNCE com números específicos e quase máximos de amostras negativas ($k \approx$ tamanho do lote).
2. Configurações de classes balanceadas onde todas as classes têm probabilidade igual.
3. Redes classificadoras com perdas explicitamente dependentes de rótulos (por exemplo, MSE, Entropia Cruzada), em vez do risco geral do CL.

Este artigo aborda a lacuna na compreensão da geometria de representação ótima para perdas de CL generalizadas sob desequilíbrios de classes arbitrários, investigando especificamente se a estrutura ETF persiste e identificando novos fenômenos como o Colapso da Minoritária (MC).

Metodologia

Os autores adotam uma estrutura de Modelo de Recursos Desrestritos (UFM), tratando os vetores de recursos da camada final como variáveis de otimização livres em vez de pesos da rede. Isso permite uma análise tratável do ótimo global.

Premissas e Configuração Chave

• Função de Perda Generalizada: O estudo considera uma ampla família de perdas de CL definidas como $\ell_k = \psi(\dots)$, onde $\psi: \mathbb{R}^k \to \mathbb{R}$ é estritamente convexa e estritamente crescente em relação a cada argumento. Isso engloba perdas populares como InfoNCE.
• Distribuições de Amostragem: A análise cobre tanto o CL Não Supervisionado (UCL), onde as negativas são extraídas de todo o conjunto de dados (permitindo "colisões de classe"), quanto o CL Supervisionado (SCL), onde as negativas são extraídas de classes diferentes da âncora.
• Desequilíbrio de Classes: O artigo modela conjuntos de dados onde as probabilidades das classes $\lambda_i$ não são necessariamente iguais, incluindo cenários com desequilíbrio extremo (uma classe majoritária e múltiplas classes minoritárias equiprováveis).
• Estratégia de Otimização:
  1. Construção de Limite Inferior: Um limite inferior rigoroso $G(M)$ para o risco do CL é derivado, expresso exclusivamente em termos dos vetores de médias das classes $M = [\mu_1, \dots, \mu_C]$.
  2. Relaxação Convexa: O problema de minimizar o risco é transformado na minimização de uma função $S(A)$ sobre a matriz de Gram $A = M^\top M$. Os autores provam que $S(A)$ é estritamente convexa sobre o conjunto de matrizes de correlação válidas.
  3. Caracterização Analítica: As propriedades do minimizador único $A^*$ são analisadas para determinar a estrutura geométrica das médias ótimas das classes.

Contribuições Principais

1. Limite Inferior Generalizado e Colapso de Variância

O artigo estabelece um novo limite inferior (Lema 1) para o risco do CL que vale para qualquer função de perda estritamente convexa e crescente em relação a cada argumento e para qualquer número de amostras negativas $k$.

• Colapso de Variância Intraclasse: Os autores provam que, para atingir esse limite inferior, o mapa de representação deve colapsar todas as amostras dentro de uma classe para sua média de classe (ou seja, $f(x) = \mu_{y(x)}$).
• Norma Unitária: As médias ótimas das classes devem ter norma euclidiana unitária.

2. Geometria das Médias Ótimas das Classes

Para dimensões de representação $d \ge C-1$:

• Deficiência de Rango: A matriz de Gram ótima única $A^*$ é provada ser de rango deficiente, com rango no máximo $C-1$, mesmo sem restrições explícitas de rango.
• Cálculo Convexo: As médias ótimas das classes podem ser computadas resolvendo um problema de otimização convexa sobre a matriz de Gram, seguido de decomposição espectral.
• Estrutura de Simetria: Diferentemente do caso balanceado onde as médias formam uma ETF, a geometria ótima para classes desbalanceadas exibe uma estrutura de simetria equiangular determinada pelas proporções relativas das classes. Especificamente, se duas classes têm probabilidade igual, suas médias mantêm produtos internos idênticos com todas as outras médias de classe (Teorema 3).

3. Fenômeno de Colapso da Minoritária (MC)

O artigo fornece uma prova teórica rigorosa do Colapso da Minoritária no CL.

• Definição: Quando o desequilíbrio de classes é extremo (especificamente, quando a probabilidade da classe majoritária $\lambda_1$ excede um limiar não assintótico $\tau$), as representações ótimas de todas as amostras das classes minoritárias colapsam em um único vetor.
• Derivação do Limiar: Uma condição suficiente para MC é derivada em termos do número de classes $C$, do número de negativas $k$ e das propriedades de Lipschitz da função de perda $\psi$.
• Especificidades do InfoNCE: Para a perda InfoNCE, o artigo deriva limiares sem parâmetros:
  • $\tau \approx 0,9292$ para a configuração UCL.
  • $\tau \approx 0,9438$ para a configuração SCL.
    Esses limiares garantem MC independentemente de $C$ ou $k$.

4. Unificação de Configurações

Os resultados são mostrados como válidos para ambas as configurações UCL e SCL, com pequenos ajustes nas distribuições de probabilidade, unificando assim a compreensão teórica do aprendizado contrastivo através de diferentes mecanismos de amostragem.

Resultados e Validação

• Consistência Teórica: Os limites inferiores derivados e as propriedades geométricas são matematicamente provados como necessários e suficientes para a optimalidade sob o UFM.
• Experimentos Numéricos:
  • Colapso Intraclasse: Experimentos em subconjuntos desbalanceados do CIFAR-10 (3 classes) usando ResNet-50 confirmam que redes treinadas colapsam a variância intraclasse para as médias das classes. As matrizes de Gram resultantes correspondem às computadas via otimização convexa (CVX).
  • Colapso da Minoritária: Experimentos com desequilíbrio extremo ($\lambda_1 = 0,9$) demonstram que as médias das classes minoritárias colapsam em um único vetor diametralmente oposto à média da classe majoritária, validando o fenômeno teórico de MC.
  • Geometria: Os experimentos confirmam que classes desbalanceadas não formam um triângulo equilátero (ETF), mas sim um triângulo isósceles, consistente com as propriedades de simetria derivadas.

Significado e Afirmações

O artigo afirma fornecer a primeira caracterização computável de representações ótimas de CL sob desequilíbrio de classes geral. Seu significado reside em:

1. Generalização do Colapso Neural: Estender o fenômeno NC de configurações balanceadas para desbalanceadas, mostrando que, embora o colapso intraclasse persista, a geometria interclasse (ETF) não.
2. Explicação do Colapso da Minoritária: Fornecer uma base teórica para o "colapso da minoritária" observado empiricamente no CL, identificando-o como uma solução ótima (embora potencialmente indesejável) para o problema de minimização de risco sob desequilíbrio extremo.
3. Eficiência Computacional: Demonstrar que as médias ótimas das classes podem ser encontradas via otimização convexa, sugerindo que espaços de representação de alta dimensão podem ser ineficientes para aprender recursos ótimos no CL.
4. Robustez da Teoria: Estabelecer que esses fenômenos são inerentes à geometria da função de perda e da distribuição de amostragem, e não artefatos de arquiteturas de rede específicas ou dinâmicas de treinamento.

Os autores concluem identificando problemas em aberto, incluindo a caracterização da geometria ótima quando $d < C-1$ (relevante para Modelos de Linguagem de Grande Porte) e a análise dos efeitos da amostragem de negativas difíceis.