ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels

O artigo propõe o ACD-U, um framework de co-ensino assimétrico que combina um Vision Transformer pré-treinado com CLIP e uma CNN, integrando desaprendizagem de máquina para corrigir ativamente erros de seleção e alcançar desempenho de ponta em cenários com rótulos ruidosos.

O essencial

Imagine que você está tentando ensinar um grupo de crianças a reconhecer animais, mas você, o professor, está um pouco cansado e, às vezes, aponta para um gato e diz "cachorro" ou para um cavalo e diz "zebra". Se você deixar essas crianças estudarem apenas com suas anotações erradas, elas vão acabar memorizando os erros e não saberão identificar os animais corretamente no mundo real.

Esse é o problema que os computadores (redes neurais) enfrentam quando treinados com dados "sujos" ou com rótulos errados. O artigo que você leu apresenta uma solução inteligente chamada ACD-U. Vamos descomplicar como ela funciona usando analogias do dia a dia.

O Problema: O "Efeito Memória" e o Erro Irreversível

Normalmente, quando um computador aprende, ele começa aprendendo o óbvio (dados limpos) e, depois de um tempo, começa a decorar os erros (dados com ruído). O problema é que, uma vez que o computador "decora" um erro, é muito difícil fazê-lo esquecer. É como tentar apagar uma mancha de tinta seca: se você tentar cobrir com outra cor, a mancha antiga ainda fica lá embaixo.

Métodos anteriores tentavam evitar que o computador aprendesse os erros, mas se ele cometesse um erro de classificação no início, não havia como corrigir depois.

A Solução: O Time de Dois Professores (Co-Ensino Assimétrico)

A ideia central do ACD-U é ter dois professores com estilos de ensino muito diferentes trabalhando juntos, em vez de dois iguais.

1. O Professor Experiente (ViT/CLIP): Imagine um professor que já viu milhões de fotos antes de entrar na sala de aula. Ele já sabe o que é um gato e o que é um cachorro. Ele é muito estável e não se confunde facilmente. No ACD-U, esse professor só ensina com os alunos que ele tem certeza absoluta de que estão certos. Ele não arrisca ensinar com dados duvidosos.
2. O Professor em Formação (CNN): Este é um professor que está aprendendo do zero. Ele é flexível e aprende rápido, mas pode se confundir. Ele usa tanto os dados certos quanto os dados duvidosos para praticar (uma técnica chamada "aprendizado semi-supervisionado").

A Mágica da Assimetria: O professor experiente protege o professor em formação. Se o professor experiente diz "Isso aqui é um gato", o professor em formação confia. Se o professor experiente diz "Não tenho certeza", o professor em formação não usa aquele dado para aprender, evitando que o erro se espalhe. Isso impede que eles se influenciem mutuamente de forma errada (o que chamamos de "viés de confirmação").

A Grande Inovação: O "Esquecimento Seletivo" (Machine Unlearning)

Aqui está a parte mais genial do artigo. E se, mesmo com dois professores, o computador ainda decorar um erro?

O ACD-U introduz um mecanismo de "Esquecimento Seletivo". Pense nisso como uma sessão de terapia ou uma limpeza de memória.

• Como funciona: O sistema monitora o que o computador está aprendendo. Se ele nota que o computador está "decorando" uma imagem errada (o erro começa a ficar muito forte e estável), ele aciona um alarme.
• O Verificador Externo (CLIP): Para ter certeza de que é um erro, o sistema consulta um "oráculo" externo (o modelo CLIP, que nunca viu os dados errados do seu treinamento). Se o oráculo diz "Isso é um gato" e o computador está insistindo que é um cachorro, o sistema confirma: "Ok, esse é um erro".
• A Limpeza: Em vez de apenas ignorar o erro, o sistema apaga ativamente a influência daquela imagem específica da memória do computador. É como se o computador dissesse: "Esqueça o que eu acabei de aprender sobre essa imagem, eu estava errado".

Isso transforma o aprendizado de algo passivo (evitar erros) para algo ativo (corrigir erros que já aconteceram).

Resumo da Ópera

O ACD-U é como um time de futebol onde:

1. Você tem um técnico veterano (o modelo pré-treinado) que só joga quando tem certeza da tática, protegendo o time de jogadas arriscadas.
2. Você tem um jogador jovem (o modelo novo) que aprende jogando contra tudo, mas é guiado pelo veterano.
3. E, se o jogador jovem cometer um erro feio e insistir nele, o sistema tem um botão de "Desfazer" (o esquecimento seletivo) que apaga aquele erro da mente do time, permitindo que eles recomecem do zero naquela jogada específica.

Por que isso é importante?

Testes mostraram que, em cenários onde os dados estão muito bagunçados (muitos erros de rótulo), esse método é muito superior aos anteriores. Ele consegue recuperar o desempenho mesmo quando o computador já aprendeu coisas erradas, algo que os métodos antigos não conseguiam fazer.

Em resumo: O ACD-U não apenas evita que o computador aprenda errado, mas tem a capacidade de desaprender o que aprendeu errado, tornando-o muito mais robusto e inteligente em um mundo cheio de informações imprecisas.

Resumo técnico

Título: ACD-U: Ensino Colaborativo Assimétrico com Esquecimento de Máquina para Aprendizado Robusto com Rótulos Ruidosos

1. Problema

As Redes Neurais Profundas (DNNs) possuem alta capacidade representacional, mas são propensas a memorizar rótulos incorretos durante o treinamento, o que degrada severamente sua capacidade de generalização. O campo de aprendizado com rótulos ruidosos (LNL) enfrenta dois desafios principais:

1. Correção de Erros Irreversíveis: Métodos existentes baseados em seleção de amostras (como Co-teaching e DivideMix) identificam amostras "limpas" e "ruidosas" no início do treinamento. No entanto, se uma amostra ruidosa for erroneamente classificada como limpa, o erro se torna permanente, pois esses métodos não possuem mecanismos para corrigir memórias incorretas após a seleção inicial.
2. Subutilização de Modelos Pré-treinados: Abordagens recentes tentam usar modelos pré-treinados (como CLIP) apenas como validadores estáticos ou para inicialização, ignorando as diferenças fundamentais no comportamento de aprendizado entre modelos pré-treinados (que tendem a ser estáveis e precisos no início) e modelos inicializados aleatoriamente (que aprendem gradualmente).

2. Metodologia: O Framework ACD-U

O ACD-U propõe um framework inovador que integra Esquecimento de Máquina (Machine Unlearning) e Ensino Colaborativo Assimétrico (Asymmetric Co-Teaching) com arquiteturas diferentes. O sistema opera em três componentes principais:

A. Seleção de Amostras para Esquecimento (Unlearning Sample Selection)

Para corrigir erros de memorização, o método identifica dinamicamente amostras ruidosas que foram erroneamente aprendidas. A seleção baseia-se em três condições combinadas:

1. Baixo Perda (Low-loss): Amostras com perda de entropia cruzada baixa (indicando que o modelo as "memorizou").
2. Queda de Perda (Loss-drop): Amostras que sofreram uma redução significativa na perda desde a última seleção, sugerindo uma memorização recente e potencialmente incorreta.
3. Consistência com CLIP: Um filtro de segurança que utiliza o modelo pré-treinado CLIP (independente do treinamento com rótulos ruidosos). Amostras onde o rótulo fornecido é consistente com a previsão zero-shot do CLIP são excluídas da lista de esquecimento, protegendo amostras verdadeiramente limpas.

B. Esquecimento Seletivo (Selective Unlearning)

Uma vez identificadas as amostras para esquecimento, o framework aplica uma função de perda baseada na Divergência de Kullback-Leibler (KL).

• O objetivo é maximizar a distância entre a distribuição de probabilidade do modelo atual e a de um modelo de referência (salvo antes do processo de esquecimento) para as amostras alvo.
• Isso força o modelo a "esquecer" ativamente a influência dessas amostras ruidosas, corrigindo o viés de confirmação e os erros de memorização.

C. Ensino Colaborativo Assimétrico (ACD)

O framework utiliza duas redes com arquiteturas distintas para aproveitar comportamentos de aprendizado complementares:

1. Rede V (Vision Transformer - ViT): Um modelo pré-treinado com CLIP. Devido à sua alta precisão inicial, ele é treinado apenas em amostras selecionadas como "limpas" (rótulos confiáveis). Isso evita que o ViT se degrade com rótulos ruidosos.
2. Rede A (CNN): Uma rede convolucional inicializada aleatoriamente. Ela é treinada em um regime de Aprendizado Semi-Supervisionado (SSL), utilizando tanto as amostras limpas quanto as ruidosas (tratadas como não rotuladas com pseudo-rótulos).

• Assimetria: A CNN atua como um "estudante" que aprende de tudo, enquanto o ViT atua como um "professor" estável que só ensina com dados confiáveis. Essa dinâmica mitiga o viés de confirmação, pois o ViT não é corrompido pelos erros iniciais da CNN.

3. Principais Contribuições

1. Primeira Aplicação de Esquecimento de Máquina em LNL: Introduz um mecanismo para correção post-hoc de erros de memorização, permitindo que o modelo "desaprenda" amostras ruidosas que foram erroneamente selecionadas como limpas.
2. Arquitetura Assimétrica (ACD): Propõe um esquema de treinamento que combina um ViT pré-treinado e uma CNN, explorando a estabilidade do primeiro e a adaptabilidade da segunda para melhorar a seleção de amostras e reduzir o viés de confirmação.
3. Integração Dinâmica do CLIP: Utiliza o CLIP não apenas como um classificador estático, mas como um filtro de consistência para proteger amostras limpas durante o processo de esquecimento, garantindo que apenas amostras verdadeiramente ruidosas sejam removidas.
4. Desempenho de Estado da Arte: Demonstra superioridade em diversos benchmarks, especialmente em cenários de alta taxa de ruído e ruído dependente de instância.

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados sintéticos (CIFAR-10/100 com ruído simétrico e assimétrico) e do mundo real (CIFAR-N, WebVision, Clothing1M, Red Mini-ImageNet).

• Alta Performance em Ruído Extremo: No CIFAR-100 com 90% de ruído simétrico, o ACD-U superou o método DivideMix em 35% de melhoria relativa.
• Correção de Erros: Em cenários de alto ruído (80%), o componente de esquecimento foi responsável por uma melhoria de 1,7% na acurácia, demonstrando sua eficácia em corrigir erros de memorização acumulados.
• Seleção Inicial Superior: O uso do ViT pré-treinado reduziu o número de amostras ruidosas erroneamente classificadas como limpas para aproximadamente 1/6 do número observado no DivideMix durante as fases iniciais do treinamento.
• Robustez em Dados Reais:
  • CIFAR-100N: Superou o LSL em 1,5% e o Semi-RML++ em 2,3%.
  • WebVision: Alcançou a maior acurácia Top-5 e superou o Semi-RML++ em 2,3% na avaliação cruzada no ImageNet.
  • Clothing1M: Obteve o melhor desempenho geral, superando o estado da arte em 0,1% (uma margem significativa dada a escala do dataset).
  • Red Mini-ImageNet: Superou todos os métodos concorrentes em todas as taxas de ruído (20% a 80%).

5. Significado e Conclusão

O ACD-U representa uma mudança de paradigma no aprendizado com rótulos ruidosos:

• De Evitação Passiva para Correção Ativa: Ao contrário dos métodos anteriores que tentam apenas evitar a seleção de ruído, o ACD-U reconhece que erros iniciais ocorrerão e implementa um mecanismo ativo para detectá-los e corrigi-los posteriormente.
• Sinergia de Arquiteturas: Demonstra que combinar modelos pré-treinados (estáveis) com modelos treinados do zero (adaptáveis) de forma assimétrica é mais eficaz do que tratá-los de forma simétrica ou estática.
• Viabilidade do Esquecimento: Valida o uso de técnicas de Machine Unlearning (originalmente para privacidade) como uma ferramenta poderosa para melhorar a precisão preditiva em cenários de dados imperfeitos.

O código do projeto está disponível publicamente, facilitando a reprodução e o avanço futuro na área de aprendizado robusto.