Resumo Técnico: Amostragem de Hard-Negative para Aprendizado Contrastivo

Declaração do Problema

O Aprendizado Contrastivo (CL) visa aprender representações onde pontos de dados semelhantes estão próximos e pontos dissimilar estão distantes. Embora a amostragem de hard-negative (selecionar amostras negativas que são difíceis de distinguir do âncora) seja empiricamente conhecida por melhorar o desempenho em tarefas de downstream, seu impacto teórico na geometria dos mínimos globais permanece subexplorado. Especificamente, há uma falta de compreensão rigorosa sobre:

1. Se a amostragem de hard-negative altera a geometria da representação ótima em comparação ao CL padrão.
2. As condições sob as quais o Colapso Neural (NC) — uma geometria onde as médias das classes formam um Equiangular Tight Frame (ETF) e a variância intra-classe desaparece — ocorre tanto em configurações Supervisionadas (SCL) quanto Não Supervisionadas (UCL).
3. O fenômeno do Colapso Dimensional (DC), onde as representações colapsam para um subespaço de menor dimensão, e como a amostragem de hard-negative e a normalização de características influenciam esse processo.

Trabalhos teóricos existentes frequentemente dependem de suposições fortes, como a independência condicional de visões positivas aumentadas dado o rótulo, e focam em funções de perda específicas como a InfoNCE.

Metodologia

Os autores propõem um framework teórico unificado para analisar perdas de CL sob um modelo de dados latentes geral.

1. Perda Generalizada e Funções de Endurecimento (Hardening)

O artigo define uma função de perda contrastiva geral $\ell_k$ usando uma função $\psi_k$ convexa e não decrescente por argumento. Isso engloba perdas populares como InfoNCE e Triplet Loss.
Para modelar a amostragem de hard-negative, os autores introduzem uma função de endurecimento $\eta: \mathbb{R}^k \to \mathbb{R}$, que é não-negativa e não decrescente por argumento. Esta função repondera a distribuição de amostragem de amostras negativas, aumentando a probabilidade de selecionar negativos que estão mais alinhados com o âncora no espaço de representação.

2. Framework Teórico

A análise cobre quatro configurações:

• SCL: Aprendizado Contrastivo Supervisionado (rótulos disponíveis).
• HSCL: SCL com hard-negative.
• UCL: Aprendizado Contrastivo Não Supervisionado (rótulos latentes).
• HUCL: UCL com hard-negative.

Os autores derivam limites inferiores para as perdas esperadas nessas configurações. Uma ferramenta teórica fundamental é a desigualdade de comparação de Harris, usada para provar que a perda esperada com amostragem de hard-negative é limitada inferiormente pela perda de CL padrão.

3. Otimização e Geometria

O artigo investiga os mínimos globais dessas perdas. Ele define o Colapso Neural (NC) como o estado onde:

• As médias das classes formam um Equiangular Tight Frame (ETF) normalizado.
• A variância dentro da classe é zero (todas as amostras de uma classe mapeiam para o mesmo ponto).
• A dimensão da representação $d_Z \ge C-1$ (onde $C$ é o número de classes).

Os autores também analisam o Colapso Dimensional (DC), definido como a matriz de covariância empírica das médias das classes tendo valores singulares que são zero ou ordens de magnitude menores que o maior, indicando uma perda de capacidade representacional.

Principais Contribuições

1. Limites Inferiores Teóricos e Dominância (Teorema 1)

Os autores provam que, para qualquer mapeamento de representação $f$, as perdas de Hard-SCL (HSCL) e Hard-UCL (HUCL) são limitadas inferiormente por suas contrapartes padrão (SCL e UCL). Isso é estabelecido usando a desigualdade de Harris, demonstrando que a amostragem de hard-negative efetivamente "inclina" a distribuição de amostragem para minimizar a perda ainda mais, desde que a função de perda seja não decrescente por argumento.

2. Otimalidade do Colapso Neural (Teoremas 2 & 3)

• SCL/HSCL: O artigo prova que os mínimos globais para ambos, SCL e HSCL, correspondem à geometria do Colapso Neural. Crucialmente, este resultado não requer a suposição de que amostras positivas são condicionalmente independentes dado o rótulo, uma restrição comum em literatura prévia. O valor da perda ótima é idêntico para SCL e HSCL quando o NC é alcançado.
• UCL/HUCL: Os autores estabelecem que o NC é a geometria ótima para UCL se a dimensão de embedding for suficientemente grande em relação ao número de classes latentes. Para HUCL, a geometria ótima depende do nível de dureza (hardness) e da possibilidade de "colisão de classes" (amostras negativas compartilhando a classe latente com o âncora).

3. Validação Empírica da Dinâmica de Otimização

O artigo fornece a primeira demonstração empírica de que:

• Otimização Adam com Negativos Difíceis: Usando Adam com inicialização aleatória e níveis de dureza adequados, HSCL e HUCL podem convergir para a geometria NC, desde que a normalização de características (bola unitária ou esfera unitária) seja aplicada.
• Colapso Dimensional: Sem amostragem de hard-negative ou normalização de características, as representações aprendidas via Adam sofrem de Colapso Dimensional (DC), falhando em atingir a geometria NC.
• Normalização: A normalização de características é crítica para mitigar o DC. Sem ela, tanto os métodos aleatórios quanto os de hard-negative falham em alcançar o NC.

Resultados Experimentais

Dados Sintéticos

• SCL/HSCL: Convergiu para NC independentemente do nível de dureza ($\beta$).
• UCL: Convergiu para NC apenas quando os pares positivos foram construídos usando informações de rótulo (satisfazendo suposições teóricas). Ao usar ruído Gaussiano aditivo (violando a independência condicional), o NC não foi observado.
• HUCL: Não convergiu para NC; as médias das classes desviaram-se significativamente da geometria ETF, com o desvio aumentando conforme a dureza aumentava.

Datasets do Mundo Real (CIFAR100, CIFAR10, TinyImageNet)

• Desempenho de Downstream: A amostragem de hard-negative em níveis de dureza moderados ($\beta=5, 10$) melhorou a acurácia de classificação de downstream em mais de 40 pontos percentuais em comparação ao SCL e UCL padrão.
• Métricas de NC: Em configurações supervisionadas, o aumento da dureza levou o modelo para mais perto do NC. Em configurações não supervisionadas, existia um nível de dureza ideal ($\beta=5$); níveis de dureza mais altos levaram a piores métricas de NC e aumento do DC.
• Sensibilidade à Inicialização: Partindo de uma inicialização "próxima ao NC", as configurações supervisionadas (SCL/HSCL) mantiveram as propriedades de NC. Configurações não supervisionadas (HUCL) com alta dureza ($\beta=10, 30$) afastaram-se do NC, exibindo DC significativo.
• Tamanho do Lote (Batch Size): O NC era alcançável em tamanhos de lote de 64 a 512. No entanto, lotes muito pequenos (32) dificultaram o NC em datasets de alta cardinalidade devido à redução da diversidade de pares negativos.

Significância e Alegações

O artigo afirma fornecer uma prova teórica mais simples, compacta e transparente para a otimalidade do Colapso Neural no aprendizado contrastivo, removendo a necessidade da suposição de independência condicional sobre as amostras positivas na configuração supervisionada.

Os autores enfatizam que, embora a amostragem de hard-negative teoricamente diminua o limite da perda, sua utilidade prática é matizada:

1. É essencial para prevenir o Colapso Dimensional na otimização via Adam, um fenômeno do qual o CL padrão frequentemente sofre sem normalização.
2. Melhora significativamente o desempenho de classificação em downstream.
3. No entanto, em configurações não supervisionadas, a dureza excessiva pode ser prejudicial, potencialmente causando colisões de classes que impedem o alcance da geometria ótima de NC.

O trabalho conclui identificando problemas abertos, incluindo a derivação de um limite inferior estrito para HUCL que considere colisões de classes e a compreensão das condições sob as quais o DC pode ser evitado sem necessariamente alcançar o pleno Colapso Neural.