🤖 machine learning

Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning

O artigo apresenta o TRACE, um framework que desacopla a avaliação de rótulos observados e pseudo-alvos utilizando métricas de confiabilidade distintas para evitar a armadilha comum no aprendizado com rótulos ruidosos, onde a correção de um sinal não confiável amplifica inadvertidamente outro.

Autores originais: Wenxiao Fan, Kan Li

Publicado 2026-08-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenxiao Fan, Kan Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a reconhecer animais mostrando a ele milhares de fotos. Mas aqui está o detalhe: um gremlin travesso rabiscou os nomes errados em alguns dos rótulos. Uma foto de um gato pode ser rotulada como "cachorro", e um cachorro pode ser rotulado como "gato". Este é o mundo do "aprendizado com rótulos ruidosos" (noisy-label learning), um canto complicado da ciência da computação onde as máquinas tentam aprender a verdade mesmo quando seus professores estão mentindo.

Para corrigir isso, cientistas desenvolveram uma estratégia inteligente chamada "reforma" (refurbishment). Pense nisso como um aluno fazendo uma prova. Se o aluno não tem certeza sobre uma resposta, ele não apenas chuta; ele consulta suas próprias notas (o conhecimento atual do modelo) para ver o que ele acha que a resposta deveria ser. A maneira antiga de fazer isso era usar um único "medidor de confiança" tanto para o rótulo do professor quanto para o palpite do aluno. Se o medidor dissesse: "Não confie no professor", o sistema automaticamente diria: "Ótimo, confie no palpite do aluno em vez disso!". Ele assumia que, se uma fonte era ruim, a outra deveria ser boa. Mas e se as notas do aluno também estiverem erradas? E se o robô aprendeu a resposta errada do professor e agora está repetindo esse mesmo erro com confiança? Esse é o perigo que este artigo explora.

Os pesquisadores por trás deste estudo, Wenxiao Fan e Kan Li, do Instituto de Tecnologia de Pequim, descobriram que essa chave de confiança de "tudo ou nada" é perigosa. Eles chamam o problema de "substituir ruído por ruído". Imagine um detetive que, ao perceber que uma testemunha está mentindo, imediatamente passa a confiar em uma segunda testemunha que estava parada logo ao lado da mentirosa e ouviu as mesmas mentiras. A segunda testemunha não é necessariamente verdadeira; ela pode estar apenas ecoando a primeira.

O artigo mostra que, no aprendizado profundo (deep learning), quando um modelo fica confuso por rótulos ruidosos, suas camadas "mais profundas" (as partes do cérebro que realizam raciocínios complexos) ficam bagunçadas e começam a acreditar em coisas erradas. No entanto, as camadas "mais rasas" (as partes que veem formas básicas e bordas) permanecem relativamente calmas e estáveis. Os métodos antigos confiavam cegamente nas camadas profundas bagunçadas para corrigir os rótulos, o que frequentemente tornava os erros ainda piores.

Para resolver isso, os autores propõem um novo framework chamado TRACE. Em vez de usar um único medidor de confiança para tudo, o TRACE usa duas verificações separadas e independentes.

Verificando o Professor: Ele observa o rótulo original usando três pistas: quão bem o modelo se ajusta aos dados, quão estáveis são as formas básicas (as camadas rasas) e se dois "alunos" diferentes concordam com a resposta.
Verificando o Palpite do Aluno: Ele observa o próprio palpite do modelo usando uma pista completamente diferente: o quão confiante o modelo está naquele palpite específico.

A magia do TRACE é que ele não assume que, se o professor estiver errado, o aluno está certo. Ele pergunta: "O professor está errado?" E "O aluno está realmente certo?". Se o professor estiver errado, mas o aluno também estiver dando palpites desenfreados, o TRACE diz: "Espere, não vamos confiar em nenhum deles agora". Ele só usa o palpite do aluno para corrigir o rótulo se o aluno estiver genuinamente confiante e confiável.

A equipe testou essa ideia em uma variedade de conjuntos de dados bagunçados, incluindo ruído sintético (onde eles bagunçaram propositalmente os rótulos) e dados reais bagunçados, como fotos da internet. Eles descobriram que o TRACE superou consistentemente os métodos anteriores. Por exemplo, em um conjunto de dados chamado CIFAR-100, onde 50% dos rótulos estavam errados, o TRACE melhorou a precisão do melhor método existente em cerca de 1,16 ponto percentual. Mais importante ainda, ele reduziu o número de vezes que o modelo comete "erros de alta confiança" — aqueles momentos em que o robô tem certeza absoluta de que está certo, mas na verdade está errado.

Em resumo, este artigo sugere que, ao aprender com dados bagunçados, não devemos apenas trocar uma fonte não confiável por outra. Precisamos verificar cada fonte de forma independente. Ao separar a confiança que depositamos nos rótulos originais da confiança que depositamos nas próprias correções do modelo, o TRACE ajuda os robôs a aprender a verdade sem serem enganados por seus próprios erros. É um lembrete de que, no mundo da IA, às vezes a melhor maneira de corrigir uma mentira é não assumir que o próximo palpite é automaticamente a verdade.

Resumo Técnico: TRACE – Avaliação de Confiabilidade de Duas Fontes para Correção de Rótulos e Reponderação de Amostras

Definição do Problema

Os atuais métodos de aprendizado com rótulos ruidosos, particularmente aqueles baseados em refinamento de rótulos (ex: DivideMix, SELFIE, RoLR), dependem de um mecanismo de controle "tamanho único". Esses métodos tipicamente interpolam entre um rótulo observado ruidoso e um alvo pseudo gerado pelo modelo usando um único escore de limpeza por amostra. Isso cria um acoplamento oculto: reduzir a confiança no rótulo observado aumenta automaticamente o peso do alvo pseudo.

Os autores argumentam que esse acoplamento cria o risco de "substituir ruído por ruído". Como o alvo pseudo é gerado por um modelo treinado na mesma supervisão corrompida, ele pode herdar os vieses ruidosos do modelo. Consequentemente, quando um rótulo observado é considerado não confiável, o sistema pode confiar cegamente em um alvo pseudo que é igualmente ou mais errôneo. A análise empírica no CIFAR-100N demonstra que, mesmo em bins de "alta limpeza", os alvos pseudo podem seguir o rótulo observado ruidoso em 99,7% das vezes, permanecendo corretos em apenas 74,7% das amostras, frequentemente com alta confiança.

Metodologia: Estrutura TRACE

O artigo propõe o TRACE (Avaliação de Confiabilidade de Duas Fontes), uma estrutura que desacopla a avaliação de confiabilidade das duas fontes de supervisão: o rótulo observado e o alvo pseudo. Em vez de um escalar único controlando ambos os ramos, o TRACE calcula escores independentes ( $s^{obs}_i$ e $s^{pseudo}_i$ ) para determinar os pesos dos ramos.

1. Análise Preliminar e Motivação
Os autores fornecem diagnósticos em nível de representação para justificar a separação das duas fontes:

Viés Dependente de Profundidade: A supervisão ruidosa perturba as camadas mais profundas da rede com mais força do que as camadas rasas. A sensibilidade do gradiente e a inversão de protótipos (onde amostras rotuladas incorretamente se alinham com âncoras de classes incorretas) aumentam significamente nas camadas profundas conforme as taxas de ruído sobem.
Estabilidade Rasa: As relações rasas permanecem comparativamente estáveis sob ruído, fornecendo informações sobre a correção do rótulo observado que métricas baseadas em perda não captam.
Conclusão: Rejeitar um rótulo observado não justifica confiar em um alvo pseudo derivado de representações profundas e corrompidas pelo ruído. Inversamente, a estabilidade estrutural rasa pode refinar a confiabilidade do rótulo observado sem certificar o alvo pseudo.

2. O Algoritmo TRACE
O TRACE modifica o refinamento padrão de perda $y^{rec}_i = \lambda_i \hat{y}_i + (1-\lambda_i)q_i$ introduzindo pesos específicos para cada fonte:
$a_i = s^{obs}_i, \quad b_i = (1 - s^{obs}_i) s^{pseudo}_i$
O alvo corrigido final é $\tilde{y}_i = \frac{a_i \hat{y}_i + b_i q_i}{a_i + b_i + \epsilon}$ .

Confiabilidade do Rótulo Observado ( $s^{obs}_i$ ):
Este escore combina três sinais para avaliar o rótulo observado $\hat{y}_i$ :
- Ajuste de Perda ( $c^{loss}_i$ ): O padrão prior de pequena perda (probabilidade de ser limpo).
- Estabilidade de Relação Rasa ( $c^{str}_i$ ): Mede a estabilidade das relações locais em camadas rasas através da profundidade da rede. Alta estabilidade indica que a representação da amostra se alinha com protótipos limpos, mesmo que a perda seja alta.
- Acordo de Predição ( $g^{agr}_i$ ): Um portão de consistência baseado no acordo entre duas redes.
  Estes são combinados em um escore ponderado que refina a posterior da perda.
Confiabilidade do Alvo Pseudo ( $s^{pseudo}_i$ ):
Este escore avalia o alvo pseudo $q_i$ de forma independente. Ele é derivado exclusivamente da confiança do modelo (probabilidade máxima do alvo pseudo), elevada a uma potência $\rho$ para suprimir predições de baixa confiança. Crucialmente, um baixo escore de rótulo observado ( $s^{obs}_i$ ) cria uma necessidade de correção, mas o ramo pseudo só é ativado se $s^{pseudo}_i$ também for alto.

3. Processo de Treinamento
A estrutura ajusta a força de supervisão $w_i$ para cada amostra com base na soma dos pesos dos ramos ( $a_i + b_i$ ). Amostras onde nenhuma das fontes é confiável recebem pesos menores, enquanto rótulos observados confiáveis permanecem dominantes.

Principais Contribuições

Identificação do Risco de "Substituir Ruído por Ruído": O artigo identifica e demonstra formalmente que usar um único escore de limpeza para controlar tanto o rótulo observado quanto o alvo pseudo leva à propagação de ruído, pois o alvo pseudo não é um oráculo externo, mas um produto do mesmo processo de treinamento corrompido.
Estrutura TRACE: A proposta de um mecanismo de avaliação de confiabilidade de duas fontes plug-in, que desacopla a avaliação de rótulos observados e alvos pseudo. Utiliza a estabilidade estrutural rasa para o primeiro e o portão de confiança independente para o segundo.
Validação Empírica: Experimentos extensos mostrando que o TRACE melhora as bases de refinamento representativas em ruído sintético, ruído anotado por humanos (CIFAR-N) e ruído do mundo real em larga escala (WebVision, Food-101N, Clothing1M).

Resultados Experimentais

Ruído Sintético (CIFAR-10/100): O TRACE melhora o desempenho de múltiplos métodos de estado da arte (DivideMix, RoLR, DISC, ANNE) em configurações de ruído simétrico, de par e dependente de instância. Por exemplo, no CIFAR-100 com ruído de Par de 40%, o ANNE+TRACE atinge 79,3% de acurácia comparado a 78,4% do ANNE sozinho.
Ruído do Mundo Real: No CIFAR-10N e CIFAR-100N, o TRACE consistentemente melhora ou iguala os melhores resultados relatados. No Clothing1M, o DivideMix+TRACE atinge 77,6% de acurácia, superando o baseline DivideMix (74,8%) e outros métodos plug-in.
Qualidade do Alvo Pseudo: A análise revela que o TRACE melhora significativamente a acurácia dos alvos pseudo usados para correção, particularmente em amostras de "baixa limpeza + ruidosas". Ele reduz erros de alta confiança (ex: de 8,93% para 6,16% no CIFAR-100) e diminui o erro de calibração, indicando que os alvos pseudo selecionados não são apenas mais frequentes, mas mais confiáveis.
Estudos de Ablação: Remover o desacoplamento (retornando a um escore único) ou remover o portão de confiança do alvo pseudo ( $s^{pseudo}_i$ ) resulta em quedas mensuráveis de desempenho, confirmando a necessidade da avaliação independente.

Significância e Alegações

O artigo afirma que o TRACE fornece uma interface mais segura para o aprendizado com rótulos ruidosos ao abordar o descompasso fundamental nos métodos de refinamento atuais. Ao separar a evidência usada para avaliar o rótulo observado da evidência usada para avaliar o alvo pseudo, o TRACE evita que o sistema troque cegamente um sinal não confiável por outro. Os autores enfatem que sua abordagem não requer um novo objetivo de aprendizado ou um novo gerador de alvo pseudo; em vez disso, atua como um filtro de confiabilidade modular que aprimora as existentes pipelines de refinamento. Os achados apoiam a visão de que a avaliação de confiabilidade específica da fonte é essencial para um aprendizado robusto na presença de ruído de rótulo.