🤖 machine learning

KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale

O artigo introduz o KALE, um controlador de equilíbrio de perda adaptativo que supera a falha do alinhamento de kernel de peso fixo em dados ruidosos de escala web, redimensionando dinamicamente o termo de alinhamento, permitindo assim um treinamento estável de CLIP-DINOv2 que melhora significativamente o desempenho zero-shot ao mesmo tempo em que preserva a compatibilidade do codificador de texto.

Autores originais: Michał Pawłowicz

Publicado 2026-07-22

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Michał Pawłowicz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ver o mundo. Você tem dois professores muito diferentes. O primeiro, vamos chamá-lo de "Chat", é um especialista em linguagem que leu toda a internet. Ele é incrível em entender palavras e conectá-las a imagens, mas se você lhe pedir para detectar a diferença minúscula entre um tipo específico de folha ou uma textura sutil, ele pode falhar porque está focado demais no quadro geral. O segundo professor, "Vision", é um artista silencioso que estudou milhões de imagens sem nunca ter lido uma única palavra. Ele vê cada detalhe minúsculo, cada sombra e cada padrão, mas não consegue falar sobre o que vê.

Por muito tempo, os cientistas tentaram tornar o Chat melhor apenas mostrando-lhe mais imagens. Mas recentemente, eles tentaram um truque diferente: pediram ao Chat para copiar o modo de ver do Vision. Eles queriam fundir a habilidade do Chat de entender a linguagem com a habilidade do Vision de detectar detalhes finos. Isso funcionou muito bem quando usaram uma biblioteca de imagens limpa e organizada (como um catálogo de museu). Mas quando tentaram fazer o mesmo com os dados bagunçados, caóticos e ruidosos da internet real, o truque desmoronou. O robô ficou confuso, o sinal de "cópia" tornou-se tão fraco que desapareceu, e o treinamento parou de funcionar. Este artigo é sobre como os pesquisadores consertaram essa bagunça, permitindo que o robô aprenda com a internet caótica sem perder sua capacidade de falar.

O Problema: O Sussurro em um Furacão

Os pesquisadores começaram com um método chamado KUEA, que era como um professor rigoroso dizendo ao robô: "Copie o estilo do Vision, mas não esqueça sua voz original". Em um conjunto de dados limpo, isso funcionava perfeitamente. Mas quando tentaram aplicá-lo em um conjunto de dados massivo e ruidoso chamado CC12M (que contém 12 milhões de imagens coletadas da web), algo estranho aconteceu.

Imagine que você está tentando ouvir um sussurro (a instrução de "alinhamento" para copiar o Vision) enquanto está parado ao lado de um motor de jato rugindo (a instrução "limpa" para manter a voz original do Chat). No conjunto de dados limpo, o motor de jato estava silencioso, então o sussurro era claro. Mas nos dados ruidosos da web, o motor de jato tornou-se tão alto que o sussurro foi completamente abafado. A matemática mostrou que o "sussurro" estava contribuindo com menos de 0,2% do ruído total. Ele era efetivamente silencioso. Se você tentasse usar as mesmas instruções antigas (um peso fixo) nesses novos dados, o robô simplesmente ignoraria o novo professor e permaneceria exatamente o mesmo, sem aprender nada de novo.

A Solução: O Controlador KALE

Para corrigir isso, os autores introduziram um novo sistema chamado KALE (Kernel Alignment with Loss Equilibration). Pense no KALE como um botão de volume super inteligente que se ajusta automaticamente em tempo real.

Em vez de definir o volume do "sussurro" uma vez e deixá-lo assim, o KALE escuta tanto o sussurro quanto o rugido. Se ele percebe que o sussurro está ficando muito baixo em comparação ao rugido, ele aumenta o volume do sussurro. Se o sussurro ficar alto demais e começar a abafar a voz original, ele o diminui.

Os resultados foram dramáticos. Para acertar o equilíbrio, o sistema teve que girar o botão de volume em um fator de aproximadamente 47.000 vezes em relação à configuração antiga. Um número fixo simplesmente não conseguiria fazer isso; era necessário um controlador dinâmico que pudesse reagir ao caos dos dados da web.

Os Resultados: Um Novo Tipo de Robô

Assim que ligaram o controlador KALE e treinaram o robô nos 3,3 milhões de imagens, os resultados foram impressionantes. O novo robô não apenas aprendeu a ver melhor; ele aprendeu a ver e falar de uma forma melhor do que antes.

Ele manteve sua voz: O robô não perdeu sua capacidade de entender texto ou de combinar imagens com palavras (recuperação de imagem-texto).
Ele ficou mais nítido: Ao ser testado em tarefas de visão padrão, o desempenho "zero-shot" do robô (sua habilidade de adivinhar o que está vendo sem treinamento prévio) melhorou em +2,00% em média em 11 testes diferentes. Isso foi superior ao melhor método anterior, que melhorou apenas +1,29%.
Ele ficou melhor nos detalhes: Em um teste específico chamado SVHN (que envolve ler números em placas de rua), a precisão do robô saltou +5,73%, batendo o recorde anterior.

No entanto, os autores foram muito cuidadosos com o que alegavam. Eles observaram que, embora alguns testes fossem muito sólidos, outros (como contar objetos em cenas complexas) eram um pouco "instáveis", o que significa que os resultados mudavam um pouco cada vez que rodavam o experimento. Por causa disso, eles focaram suas conclusões finais nos testes que eram estáveis e consistentes.

A Letra Miúda: Não é Apenas Sobre o Volume

O artigo também descobriu que aumentar o volume não era suficiente; era preciso dirigir o carro com cuidado. Eles descobriram que o robô precisava de uma "taxa de aprendizado" (a velocidade com que aprende) específica para funcionar. Se eles dirigissem rápido demais (uma taxa de aprendência de 2×10⁻⁴), o robô batia, esquecia tudo e tornava-se inútil. Se dirigissem muito devagar ou mantivessem a velocidade constante, o robô também não aprendia adequadamente. O ponto ideal era um cronograma que começava rápido e desacelerava suavemente, mas nunca parava completamente, mantendo o robô estável.

O Que Isso Significa

A principal lição é que você não pode simplesmente pegar um método que funciona em um conjunto de dados limpo e organizado e aplicá-lo na internet bagunçada e caótica. O ruído muda tudo. Ao inventar um controlador que reequilibra constantemente o processo de aprendizado, os autores tornaram possível ensinar um robô de visão e linguagem usando os dados selvagens e não curados da web. Eles não apenas encontraram uma configuração melhor; eles encontraram uma maneira de tornar o processo de treinamento estável o suficiente para sobreviver ao caos, provando que, com o "botão de volume" certo, até os dados mais ruidosos podem ensinar um robô a ver o mundo em alta definição.

Resumo Técnico: KALE – Alinhamento de Kernel com Equilíbrio de Perda

Declaração do Problema

O alinhamento de kernel da codificação visual do CLIP em direção a um professor centrado na visão como o DINOv2 (conhecido como KUEA) demonstrou sucesso em dados curados de escala ImageNet. Esta abordagem melhora as representações visuais e o desempenho de linear probing enquanto preserva a compatibilidade com o codificador de texto do CLIP. No entanto, os autores investigam se este método é transferível para dados de escala web e ruidosos (especificamente o conjunto de dados CC12M).

Eles descobrem que a estratégia de peso de compensação fixa usada no KUEA falha nesta escala. No CC12M, a perda de alinhamento (o termo que impulsiona o estudante em direção ao professor DINOv2) torna-se ordens de magnitude menor do que a perda "limpa" (o termo que penaliza o desvio das características originais do CLIP). Consequentemente, sob um peso fixo, a contribuição do termo de alinhamento cai para aproximadamente 0,2% da perda total, tornando seu gradiente efetivamente inerte. Reutilizar ingenuamente o peso fixo dos experimentos de ImageNet resulta em treinamento instável ou ineficaz, uma vez que o sinal de alinhamento desaparece.

Metodologia: Controlador KALE

Para abordar o severo desequilíbrio de perda em escala web, os autores introduzem o KALE (Kernel Alignment with Loss Equilibration), um controlador dinâmico que reescala adaptativamente o peso de alinhamento durante o treinamento.

Mecanismo Central

O objetivo de treinamento permanece uma soma ponderada de duas perdas:

Perda de Alinhamento ( $L_{align}$ ): Minimiza a discrepância entre as matrizes de similaridade de kernel das incorporações (embeddings) do estudante (CLIP) e do professor (DINOv2).
Perda Limpa ( $L_{clean}$ ): Penaliza a distância L2 entre as incorporações do estudante e as incorporações originais congeladas do CLIP para preservar a compatibilidade de texto.

Em vez de um escalar fixo $\lambda_a$ , o KALE emprega um controlador que atualiza $\lambda_a$ a cada $\Delta$ passos (por exemplo, a cada 100 passos) com base na razão entre as duas perdas.

Dinâmica do Controlador

O controlador mantém Médias Móveis Exponenciais (EMA) de ambas as perdas para suavizar o ruído do lote (batch). Ele calcula a razão atual $\rho$ da contribuição ponderada de alinhamento para a contribuição limpa:
$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$
O peso é atualizado para conduzir esta razão em direção a um alvo $\tau$ (por exemplo, 0,8):
$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$
O amortecimento pela raiz quadrada evita a correção excessiva, permitindo que o otimizador se adapte antes da próxima atualização. Isso cria um ciclo de retroalimentação onde o controlador aumenta $\lambda_a$ quando o sinal de alinhamento é fraco em relação à perda limpa, e o diminui se o alinhamento começar a dominar, garantindo que ambos os termos permaneçam influentes.

Regime de Otimização

Os autores caracterizam as condições de otimização necessárias para a estabilidade:

Taxa de Aprendizado: Uma alta taxa de aprendizado de pico é necessária para que o controlador rastreie o sinal de alinhamento, mas existe um limite superior agudo; taxas muito altas causam colapso no treinamento (deriva desenfreada e colapso de rank).
Cronograma (Schedule): Um cronograma de decaimento de cosseno com um piso não nulo moderado é essencial. Uma taxa de aprendizado constante permite que a deriva do CLIP cresça sem controle, enquanto um cronograma que decai para zero torna o passo de atualização pequeno demais para o controlador manter o equilíbrio nas fases finais.

Principais Contribuições

Extensão para Escala Web: Os autores estendem com sucesso o alinhamento de kernel CLIP→DINOv2 de ImageNet-1K curado para dados ruidosos de escala web CC12M ao introduzir o controlador KALE, que mantém a perda de alinhamento influente sem a necessidade de ajuste de peso por conjunto de dados.
Análise de Dinâmica de Treinamento: Eles fornecem um estudo detalhado do alinhamento KALE, demonstrando que o alinhamento em escala web requer um envelope de estabilidade específico: uma alta taxa de aprendizado de pico, um cronograma de decaimento com um piso moderado e um controlador que equilibra em vez de divergir.
Novo Ponto de Operação: Eles demonstram que o treinamento no CC12M ruidoso produz um ponto de operação descendente diferente em comparação ao KUEA treinado em ImageNet, alcançando melhor desempenho em zero-shot e linear probing enquanto preserva as capacidades de recuperação (retrieval).

Resultados Experimentais

Os experimentos foram conduzidos em um subconjunto aleatório de 3,3M do CC12M usando um estudante CLIP ViT-L/14 e um professor DINOv2 ViT-L/14 congelado.

Classificação Zero-Shot: O modelo alinhado via KALE melhorou a média padrão de 11 conjuntos de dados em +2,00% sobre o CLIP original, superando a linha de base KUEA treinada em ImageNet (+1,29%).
Linear Probing: O modelo melhorou de forma reproduzível o linear probing de SVHN em +5,73% sobre o CLIP (excedendo os +4,19% do KUEA). No entanto, os resultados em tarefas CLEVR mostraram alta variância entre execuções.
Recuperação (Retrieval): O desempenho de recuperação imagem-texto foi preservado, igualando os ganhos vistos no KUEA (+1,54% vs. +1,63%).
Estabilidade: O controlador equilibrou com sucesso as perdas, exigindo um aumento no peso de alinhamento de aproximadamente quatro ordens de magnitude (de 0,5 para ~10.000–47.000) para restaurar o equilíbrio, um valor que depende da configuração e é impossível de fixar estaticamente.

Significância e Alegações

O artigo afirma que a principal contribuição é tornar o alinhamento de kernel treinável em escala web sem a necessidade de ajuste de peso por conjunto de dados. Os autores enfatizam que a formulação de peso fixo falha em dados ruidosos devido ao desequilíbrio de perda, e o controlador KALE é o mecanismo que restaura o sinal.

Os autores são modestos em suas alegações quanto à amplitude de domínio. Eles declaram explicitamente que o treinamento em escala web no CC12M não produziu melhorias de amplo domínio sobre a linha de base treinada em ImageNet; por exemplo, o desempenho em sensoriamento remoto (EuroSAT) regrediu, e os resultados de CLEVR foram dominados pela variância. A significância reside na viabilidade e estabilidade do processo de alinhamento em dados ruidosos, e não em uma melhoria universal da competência descendente em todos os domínios.

O trabalho conclui que o controlador KALE permite que um objetivo auxiliar de pequena magnitude (alinhamento) permaneça influente contra uma perda dominante (limpa) em um regime de alto ruído, um mecanismo de controle que pode ser aplicável além do alinhamento visão-linguagem.