A Data-Centric Framework for Detecting and Correcting Corrupted Labels

Resumo Técnico: Relabeler – Um Framework Centrado em Dados para Detecção e Correção de Rótulos Corrompidos

Declaração do Problema
O desempenho de modelos de aprendizado de máquina (ML) e aprendizado profundo (DL) é fundamentalmente dependente da qualidade dos dados de treinamento. Na prática, conjuntos de dados de larga escala frequentemente contêm "ruído de rótulo" (label noise) — instâncias atribuídas com rótulos incorretos devido a erros em crowdsourcing ou anotação automatizada. As taxas de ruído relatadas em conjuntos de dados do mundo real variam de 8% a 38,5%. Tal ruído degrada significativamente a precisão e a confiabilidade do modelo. Embora as abordagens existentes geralmente se dividam em duas categorias — centradas no modelo (melhorando a robustez do algoritmo) e centradas nos dados (melhorando a qualidade do conjunto de dados) — a maioria dos métodos centrados em dados trata a detecção e a correção de rótulos como tarefas separadas. Além disso, muitas soluções existentes focam primariamente na identificação de instâncias ruidosas para descartá-las ou reponderá-las, em vez de inferir e reparar explicitamente os rótulos corretos. Essa separação limita a capacidade de explorar plenamente as relações intrínsecas entre características de entrada, rótulos ruidosos e rótulos limpos dentro de um framework unificado.

Metodologia: O Framework Relabeler
Os autores propõem o Relabeler, um framework centrado em dados de ponta a ponta projetado para detectar e corrigir rótulos corrompidos através de duas fases integradas:

1. Detecção de Rótulo Corrompido
Esta fase particiona um conjunto de dados ruidoso $\tilde{D}$ em um subconjunto limpo ($D_{clean}$) e um subconjunto suspeito ($D_{suspicious}$), alavancando tanto as relações locais quanto as globais das instâncias.

• Verificação Local: O framework emprega o algoritmo k-Nearest Neighbors (k-NN) para examinar a consistência do rótulo de uma instância com seus vizinhos imediatos no espaço de características. Instâncias com rótulos consistentes com a maioria de seus vizinhos são classificadas provisoriamente como limpas.
• Verificação Global: Para abordar as limitações da análise local (ex: proximidade de fronteiras de classe), o Relabeler treina iterativamente um modelo de classificação ($M_{clean}$) nas instâncias identificadas como limpas até o momento. Este modelo captura padrões globais mais amplos. As instâncias no conjunto suspeito são reavaliadas; se seus rótulos originais estiverem alinhados com as previsões de $M_{clean}$, elas são movidas para $D_{clean}$. Este processo iterativo continua até que não seja possível identificar mais instâncias limpas.

2. Correção de Rótulo Corrompido
Para as instâncias que permanecem em $D_{suspicious}$, o Relabeler estima o rótulo limpo mais provável ($y^*$) maximizando a probabilidade posterior $P(y | x, \tilde{y})$, onde $x$ é a característica de entrada e $\tilde{y}$ é o rótulo ruidoso observado. Usando inferência Bayesiana, isso é reformulado para combinar dois fatores complementares:

• Predição de Rótulo Limpo ($P(y|x)$): Um modelo $M_{clean}$ treinado em $D_{clean}$ estima a probabilidade de um rótulo com base nas características de entrada.
• Estimativa de Rótulo Ruidoso ($P(\tilde{y}|x, y)$): Um modelo $M_{noisy}$ estima a probabilidade de observar um rótulo ruidoso específico dado o input e um candidato a rótulo limpo.
  • Treinamento de $M_{noisy}$: Como dados de transição de verdade fundamental (ground-truth) não estão disponíveis, o Relabeler treina um "simulador de ruído" ($M_{simulator}$) em $D_{suspicious}$ para aprender os padrões de ruído específicos do conjunto de dados. Este simulador gera rótulos ruidosos sintéticos para instâncias em $D_{clean}$, criando um conjunto de dados de transição usado para treinar $M_{noisy}$.
• Inferência: O rótulo reparado final é determinado pela integração das predições de ambos, $M_{clean}$ e $M_{noisy}$, garantindo que a correção leve em conta tanto o alinhamento semântico de características quanto os padrões estatísticos de corrupção de rótulo.

Principais Contribuições

• Framework Unificado: A introdução do Relabeler, um sistema de ponta a ponta que realiza conjuntamente detecção e correção, abordando a lacuna onde detecção e correção são tipicamente tratadas separadamente.
• Integração Bayesiana: Uma abordagem inovadora para correção de rótulos que modela tanto a distribuição de rótulos limpos quanto a probabilidade de transição de ruído, em vez de depender apenas de predição baseada em características ou votação heurística.
• Refinamento Iterativo: Um mecanismo de detecção que refina iterativamente o conjunto de dados limpos para treinar um modelo de verificação global, melhorando a precisão da identificação de instâncias suspeitas.

Resultados Experimentais
Os autores avaliaram o Relabeler em cinco conjuntos de dados diversos (CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE) cobrindo classificação de imagem, texto e código-fonte. O framework foi comparado com baselines de estado da arte, especificamente o Docta (com variantes de votação e ranking).

• Precisão de Correção de Rótulo: O Releler superou consistentemente os baselines, alcançando até 58% de melhoria na precisão da correção de rótulos em vários conjuntos de dados e taxas de ruído (20% e 40%). Por exemplo, no conjunto de dados Agnews com 40% de ruído, o Relabeler alcançou 89,47% de precisão contra 61,43% do Docta-R.
• Redução da Taxa de Erro: O framework reduziu significativamente a taxa de erro residual nos conjuntos de dados reparados. No CIFAR-10 com 40% de ruído, o Relabeler reduziu a taxa de erro para 7,48%, enquanto os baselines mantiveram taxas acima de 23%.
• Robustez: O Relabeler demonstrou desempenho superior em diferentes tipos de ruído, incluindo ruído simétrico, assimétrico e dependente de instância. Manteve alta precisão e baixas taxas de erro mesmo sob cenários de ruído misto e complexo, onde os baselines enfrentaram dificuldades.
• Utilidade Downstream: O treinamento de modelos downstream (classificadores MLP) em conjuntos de dados reparados pelo Relabeler resultou na maior acurácia e escores F1 ponderados. No conjunto de dados Agnews, o Relabeler melhorou a acurácia downstream para 75,50%, um ganho relativo de ~6% sobre o conjunto de dados ruidoso original, superando tanto o dado original quanto os dados reparados pelo Docta.
• Análise de Componentes: Estudos de ablação confirmaram que a integração do Estimador de Rótulo Ruidoso ($M_{noisy}$) com o Preditor de Rótulo Limpo ($M_{clean}$) é crítica, gerando até 50% de melhoria relativa em precisão comparado ao uso apenas de $M_{clean}$.

Significância e Alegações
O artigo afirma que o Relabeler aborda uma lacuna crítica no aprendizado centrado em dados ao ir além da simples detecção para o reparo explícito e principió-lo de rótulos. Ao formular a correção de rótulos como um problema de inferência Bayesiana que modela tanto as relações característica-rótulo quanto os padrões de transição de ruído, o Relabeler fornece um conjunto de dados reutilizável e de alta qualidade que beneficia qualquer aprendiz downstream. Os autores afirmam que esta abordagem é particularmente prática para aplicações do mundo real onde o descarte de dados não é viável e onde a compreensão da distribuição de ruído específica é essencial para uma correção precisa. Os resultados sugerem que o Relabeler não apenas melhora a qualidade do conjunto de dados, mas também serve como um complemento robusto aos métodos existentes de aprendizado robusto ao ruído centrados no modelo.