💻 computer science

Leveraging Dissimilarity Invariance as a Robust Anchor for Learning with Noisy Labels

Este artigo apresenta o NegScale, um novo framework que aproveita o fenômeno estável da Invariância de Dissimilaridade para aprender de forma robusta a partir de rótulos ruidosos, deslocando o foco de similaridades frágeis para dissimilaridades confiáveis por meio de uma Penalidade de Ortogonalidade Negativa Estruturada e um Ajuste de Similaridade Calibrado por Dissimilaridade.

Autores originais: Wenxiao Fan, Kan Li

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenxiao Fan, Kan Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer animais mostrando a ele milhares de fotos. No mundo da ciência da computação, isso é chamado de "reconhecimento visual", e é assim que seu telefone desbloqueia com seu rosto ou como os aplicativos marcam seus amigos em fotos. Mas aqui está o detalhe: e se o professor que está dando os cartões de memória ao robô for um pouco distraído? Às vezes, ele pode acidentalmente colar uma etiqueta dizendo "cachorro" em uma foto de um gato. Isso é chamado de "rótulos ruidosos" (noisy labels). Quando um robô tenta aprender com essas instruções misturadas, ele fica confuso. Ele começa a pensar que gatos e cachorros são, na verdade, a mesma coisa porque o professor continuou dizendo que eles eram. Este artigo aborda exatamente esse problema: como ensinamos um robô a aprender a verdade quando o professor está cometendo erros? A ideia central que o artigo desenvolve é que os robôs aprendem descobrindo quais coisas são semelhantes (como dois cachorros diferentes) e quais são diferentes (como um cachorro e um sapo). Geralmente, quando o professor erra os rótulos, o robô fica muito ruim em distinguir coisas semelhantes.

Mas os autores deste artigo, Wenxiao Fan e Kan Li, notaram algo estranho e maravilhoso acontecendo enquanto observavam o robô aprender. Eles descobriram que, embora o robô ficasse confuso sobre o que as coisas pareciam ser, ele permanecia surpreendentemente bom em saber o que as coisas não pareciam ser. Mesmo quando o professor gritava "Isto é um cachorro!" enquanto apontava para um sapo, o robô ainda sabia, lá no fundo, que um cachorro e um sapo eram totalmente diferentes. A capacidade do robô de identificar as coisas "não semelhantes" não quebrou, mesmo quando as coisas "semelhantes" ficaram todas bagunçadas. Os autores chamam isso de "Invariância de Dissimilaridade". É como ter um superpoder onde você não consegue lembrar quem são seus amigos porque todos têm nomes confusos, mas você ainda consegue identificar instantaneamente que um gato não é uma torradeira.

Usando essa descoberta, a equipe construiu uma nova ferramenta chamada NegScale. Pense no NegScale como um treinador inteligente para o robô. Em vez de tentar consertar os rótulos confusos do professor diretamente, o treinador diz ao robô: "Ei, ignore os rótulos confusos de 'igual' por um segundo. Apenas foque no fato de que um cavalo e um carro definitivamente não são o mesmo". O treinador usa dois truques principais. Primeiro, ele força o robô a manter coisas "não relacionadas" em caixas mentais completamente diferentes (como colocar um sapato e uma banana em quartos separados e distantes). Segundo, ele atua como um teste de realidade: se o robô começar a pensar que duas coisas são muito parecidas devido a um rótulo ruim, o treinador diz: "Espere, essas duas coisas estão longe demais no mundo do 'não semelhante' para serem amigas. Recue!".

O artigo mostra que essa abordagem funciona muito bem. Quando testaram o NegScale em conjuntos de dados de imagens padrão como o CIFAR-10 e o CIFAR-100, onde os rótulos foram propositalmente bagunçados (às vezes até 80% dos rótulos estavam errados!), o robô aprendeu muito melhor do que antes. Na verdade, ele superou quase todos os outros métodos que os cientistas já haviam tentado. Por exemplo, em um conjunto de dados com 80% de ruído, o método deles obteve cerca de 95,6% de precisão, enquanto outros métodos de ponta tiveram dificuldade para passar de 94%. Eles também testaram em dados reais e desorganizados, como fotos da internet onde os rótulos costumam estar errados, e o método continuou sendo o melhor.

Os autores não apenas supuseram que isso funcionaria; eles fizeram a matemática para provar o porquê. Eles mostraram que, quando um robô aprende, a "distância" entre coisas que são verdadeiramente diferentes permanece constante, mesmo quando os rótulos estão errados. Mas a "proximidade" entre coisas que deveriam ser as mesmas torna-se instável e não confiável. Ao ancorar o processo de aprendizagem nas relações estáveis de "não semelhança", o NegScale impede que o robô seja enganado pelos rótulos ruidosos. É um pouco como navegar em um mar tempestuoso: quando o mapa (os rótulos) está rasgado e confuso, você não tenta adivinhar onde as ilhas estão; em vez disso, você apenas garante que fique longe das rochas que sabe que certamente estão lá. Essa simples mudança de foco — de tentar encontrar a correspondência perfeita para evitar os desajustes impossíveis — revela-se uma maneira muito mais forte de aprender quando o mundo é bagunçado.

Resumo Técnico: Aproveitando a Invariância da Dissimilaridade como uma Âncora Robusta para o Aprendizado com Rótulos Ruidosos

Definição do Problema
Modelos de aprendizado profundo alcançam alto desempenho no reconhecimento visual, mas sofrem uma degradação significativa quando os rótulos de treinamento são corrompidos por ruído. As abordagens existentes frequentemente falham porque os rótulos ruidosos distorcem a estrutura semântica dos dados, particularmente as similaridades aprendidas entre as amostras. Os autores observam que a similaridade semântica (pares positivos) é inerentemente frágil sob ruído de rótulo; rótulos incorretos distorcem severamente as similaridades pareadas, levando a um alinhamento de afinidade errôneo e impedindo que o modelo aprenda relacionamentos significativos. Por outro lado, o artigo identifica um fenômeno pouco explorado onde a dissimilaridade semântica entre amostras não relacionadas (pares negativos) permanece notavelmente estável, apesar do aumento nas taxas de ruído.

Metodologia: NegScale
Para abordar a fragilidade da similaridade, os autores propõem o NegScale, um framework plug-and-play que desloca o foco do aprendizado da similaridade frágil para a dissimilaridade robusta. O framework opera aproveitando a "Invariância da Dissimilaridade" como uma âncora robusta. O NegScale consiste em dois módulos primários:

Penalidade de Ortogonalidade Negativa Estruturada (SNOP):
Este módulo impõe ortogonalidade entre pares negativos (amostras semanticamente não relacionadas) dentro de cada minibatch. Ele opera sob o princípio de que amostras dissimilares devem ocupar subespaços distintos. O SNOP compreende dois componentes:
- Perda de Ortogonalidade Global ( $L_{global}$ ): Incentiva o conjunto de vetores de diferença normalizados entre pares negativos a aproximar-se de uma matriz identidade, garantindo repulsão global.
- Perda de Ortogonalidade Local ( $L_{local}$ ): Uma penalidade ponderada por confiança que penaliza diretamente o alinhamento do produto interno entre pares negativos. Esta perda atribui penalidades maiores a pares envolvendo amostras de baixa confiança (potencialmente ruidosas), impondo assim restrições de dissimilaridade mais fortes onde elas são mais necessárias.
Ajuste de Similaridade Calibrado pela Dissimilaridade (DCSA):
Este módulo suprime a similaridade espúria causada por pares positivos rotulados incorretamente. Ele utiliza os padrões estáveis de dissimilaridade como âncoras para impor limites superiores suaves (soft upper bounds) na similaridade dos pares positivos.
- Para cada par positivo, um fator de calibração adaptativo ( $\delta_{ij}$ ) é computado com base na proximidade do par em relação às amostras negativas.
- Se um par positivo estiver emaranhado com amostras não relacionadas (alto $\delta_{ij}$ ), sua similaridade é restringida.
- A função de perda penaliza pares positivos cuja similaridade excede um limite superior suave ( $1 - \delta_{ij}$ ), impedindo que o modelo internalize associações falsas.

A função objetivo total combina a perda original ( $L_{org}$ ) com as perdas SNOP e DCSA, equilibradas pelos coeficientes $\lambda$ e $\mu$ . O método não requer dados externos ou pré-treinamento e pode ser integrado perfeitamente em pipelines existentes.

Principais Contribuições

Invariância da Dissimilaridade: O artigo identifica e analisa formalmente o fenômeno onde a dissimilaridade semântica entre amostras não relacionadas permanece estável sob ruído de rótulo, contrastando com a volatilidade da similaridade semântica.
Framework NegScale: Os autores propõem um novo framework que utiliza essa invariância para modelar a dissimilaridade robusta e suprimir a similaridade espúria.
Análise Teórica: O artigo fornece provas teóricas demonstrando que a variação esperada na similaridade para pares negativos é menor do que para pares positivos sob ruído simétrico. Além disso, estabelece limites mostrando que o NegScale mitiga as perturbações de características e a erosão de margem causadas por rótulos ruidosos.
Validação Empírica: Experimentos extensos mostram que o NegScale supera consistentemente os baselines de estado da arte tanto em benchmarks de ruído sintético (CIFAR-10/100) quanto em conjuntos de dados ruidosos do mundo real (CIFAR-10N, CIFAR-100N, Animal-10N, WebVision).

Resultados Experimentais

Ruído Sintético: No CIFAR-10 e CIFAR-100 com ruído simétrico, de pares e dependente de instância, o NegScale (combinado com o baseline RoLR) atinge novos resultados de estado da arte. Notavelmente, no CIFAR-100 com 80% de ruído, ele melhora a acurácia em 3,6% sobre o RankMatch.
Ruído do Mundo Real: O método demonstra robustez superior em conjuntos de dados ruidosos do mundo real, superando abordagens concorrentes no CIFAR-10N, Animal-10N e WebVision. No mini-WebVision e ILSVRC12, ele supera o método híbrido UNICON em mais de 3% em acurácia top-1.
Capacidade Plug-and-Play: Integrar o NegScale com outros métodos (DivideMix, RankMatch, ANNE) aumenta consistentemente seu desempenho, confirmando sua ampla aplicabilidade.
Estudos de Ablação: Remover o SNOP ou o DCSA leva a quedas significativas de desempenho, particularmente sob altas taxas de ruído, validando a necessidade de ambos os componentes. A análise de sensibilidade confirma que pesos de regularização equilibrados e limiares cuidadosamente calibrados para a seleção de pares negativos são críticos para o desempenho ideal.

Significância
O artigo afirma que, ao deslocar o foco da similaridade frágil para a dissimilaridade robusta, os modelos podem aprender e aproveitar padrões estáveis de forma confiável para melhorar o desempenho sob supervisão ruidosa. A significância reside em fornecer uma base teórica e prática para o uso de relacionamentos "negativos" como uma âncora estável, oferecendo um mecanismo simples e eficaz para corrigir as distorções estruturais causadas pelo ruído de rótulo sem a necessidade de seleção complexa de amostras ou dados externos.

Mais como este