Resumo Técnico: CANOLA – Um Framework de Sensibilidade ao Ruído para Correção de Rótulos Corrompidos

1. Definição do Problema

Dados rotulados de alta qualidade são o recurso fundamental para o treinamento de modelos de Aprendizado de Máquina (ML) e Aprendizado Profundo (DL) confiáveis. No entanto, conjuntos de dados do mundo real frequentemente contêm uma proporção significativa de rótulos corrompidos devido a erros manuais ou ferramentas de anotação automatizadas imperfeitas. Essas instâncias mal rotuladas degradam severamente a generalização do modelo, levando a previsões enviesadas ou não confiáveis.

Embora pesquisas anteriores tenham abordado o ruído de rótulos por meio de abordagens centradas no modelo (projetando algoritmos robustos para resistir ao ruído) e abordagens centradas nos dados (detectando instâncias ruidosas), os métodos centrados em dados existentes frequentemente param na detecção. A correção de rótulos automática permanece subexplorada. Os métodos de correção existentes geralmente se dividem em duas categorias:

1. Correção baseada em vizinhança: Baseia-se na consistência de rótulos entre amostras similares (ex: votação por maioria). Estes enfrentam dificuldades próximo às fronteiras de decisão, onde instâncias similares podem pertencer a classes diferentes.
2. Correção baseada em modelo: Utiliza as próprias previsões do modelo para refinar os rótulos, frequentemente dependendo das primeiras iterações de treinamento. Esses métodos sofrem de duas limitações principais: (a) alta sensibilidade a flutuações nas previsões do modelo, e (b) o risco de "viés de confirmação", onde o modelo amplifica seus próprios erros iniciais, particularmente em cenários de alto ruído ou com instâncias "difíceis, mas limpas".

2. Metodologia: O Framework CANOLA

Os autores propõem o CANOLA (Corrupted lAbel cOrrectiON via Noise-Aware Learning and iterative refinement), um novo framework que desacopla o aprendizado de características do refinamento de rótulos. O CANOLA opera através de um pipeline iterativo composto por duas fases distintas:

Fase 1: Construção da Matriz de Transição de Ruído

O objetivo é estimar a distribuição de ruído subjacente do conjunto de dados sem acesso aos rótulos limpos de verdade (ground-truth).

• Co-Treinamento Assimétrico: O CANOLA mantém dois modelos: um modelo confiável ($\mathcal{F}_r$) treinado exclusivamente em um subconjunto crescente de dados provavelmente limpos ($D_c$), e um modelo ruidoso ($\mathcal{F}_n$) treinado em todo o conjunto de dados ruidoso ($\tilde{D}$).
• Identificação do Subconjunto Limpo: O processo envolve três estágios:
  • Warm-up (Aquecimento): Ambos os modelos são treinados no conjunto de dados ruidoso completo para estabelecer padrões básicos.
  • Exploração: No início do treinamento, o $\mathcal{F}_n$ (treinado em todos os dados) é usado para identificar amostras provavelmente limpas (onde a previsão coincide com o rótulo observado) para expandir $D_c$.
  • Explotação: Mais tarde no treinamento, um critério de consenso mais rigoroso é aplicado: amostras são adicionadas a $D_c$ apenas se tanto $\mathcal{F}_r$ quanto $\mathcal{F}_n$ concordarem com o rótulo observado.
• Estimativa da Matriz: Usando o modelo confiável $\mathcal{F}_r$ treinado em $D_c$, o framework estima a Matriz de Transição de Ruído ($T$). Esta matriz modela a probabilidade $P(\tilde{y}=c' | y=c)$ de que um rótulo limpo $c$ seja corrompido em um rótulo ruidoso $c'$.

Fase 2: Correção de Rótulos Corrompidos

Esta fase treina um modelo sensível ao ruído para realizar uma correção de rótulos cautelosa e iterativa.

• Treinamento Sensível ao Ruído: O modelo confiável $\mathcal{F}_r$ é treinado adicionalmente em todo o conjunto de dados ruidoso. Em vez de ajustar-se diretamente aos rótulos ruidosos, o modelo é treinado para prever a distribuição de rótulos limpos. Essas previsões são projetadas através da matriz de transição de ruído estimada $T$ para reconstruir a distribuição ruidosa esperada. A perda é calculada entre esta distribuição reconstruída e os rótulos ruidosos observados usando a Divergência de Kullback-Leibler (KL). Isso força o modelo a considerar explicitamente a estrutura do ruído, diminuindo o peso de sinais de supervisão não confiáveis.
• Gatilho de Estabilização de Perda: O refinamento de rótulos não é realizado imediatamente. Ele é acionado apenas após a perda de treinamento estabilizar, garantindo que o modelo tenha atingido um estado maduro e convergido antes de tentar as correções.
• Relabeling Suave Iterativo: Uma vez acionado, as previsões do modelo são misturadas com os rótulos observados para formar rótulos suaves (distribuições de probabilidade) em vez de vetores one-hot rígidos. Esta estratégia de atualização progressiva e suave controla o coeficiente $\alpha$:
  $$\tilde{p}^{(t)}_i = \alpha \cdot p_i + (1 - \alpha) \cdot \tilde{p}^{(t-1)}_i$$
  Este processo evita o compromisso prematuro com previsões potencialmente incorretas e mitiga a propagação de erros. O processo se repete por $\tau$ iterações ou até a convergência, com os rótulos suaves finais convertidos em rótulos rígidos via estimativa de máxima posteriori.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Construção de Benchmark Realista: Os autores construíram um benchmark de cinco conjuntos de dados (cobrindo imagem e texto) rotulados usando diversas técnicas automatizadas (baseadas em LLM, Supervisionadas, Semisupervisionadas e de Supervisão Fraca) para facilitar a avaliação sob condições de ruído não idealizadas e práticas. Eles também incluíram o conjunto de dados do mundo real Clothing1M.
2. O Framework CANOLA: Um novo framework de correção que desacopla a estimativa de ruído do refinamento de rótulos. Ele combina uma DNN sensível ao ruído (regularizada por uma distribuição de ruído estimada) com um gatilho de estabilização de perda para realizar um refinamento de rótulo suave e cauteloso.
3. Avaliação Abrangente: Experimentos extensivos demonstrando que o CANOLA supera consistentemente os métodos de correção de Estado da Arte (SOTA) e gera ganhos significativos de desempenho downstream, mesmo quando classificadores simples são treinados nos dados corrigidos.

4. Resultados Experimentais

O framework foi avaliado em seis conjuntos de dados (FashionMNIST, OrganAMNIST, RESISC45, AGNews, Yahoo! Answer e Clothing1M) sob vários cenários de ruído.

• Precisão de Correção de Rótulo: O CANOLA alcançou consistentemente as menores taxas de erro em todos os conjuntos de dados e tipos de ruído. Em média, reduziu as taxas de erro originais do conjunto de dados em aproximadamente 25%. Sob condições desafiadoras (ex: rotulagem de Supervisão Fraca), alcançou melhorias relativas de até 31% sobre os dados originais.
• Comparação com SOTA: O CANOLA superou os métodos de correção existentes (DOCTA, SELC, SIDYP) com melhorias relativas na redução de erro variando de 19% a 52%. Ao contrário de alguns baselines (ex: DOCTA ou SIDYP em casos específicos de alto ruído), o CANOLA não degradou a qualidade dos dados em nenhuma configuração de avaliação.
• Utilidade Downstream: Modelos treinados nos dados corrigidos pelo CANOLA mostraram ganhos substanciais de desempenho. Em média, os classificadores downstream alcançaram um aumento de 10% no F1-Macro em comparação com o treinamento nos dados ruidosos originais. Em cenários de ruído severo, os dados corrigidos pelo CANOLA permitiram que classificadores simples superassem abordagens complexas de treinamento robusto ao ruído (ex: DivideMix, Co-Teaching, SIDYP) por margens de 8% a 67%.
• Estudos de Ablação:
  • Design de Duas Fases: Ambas as fases foram consideradas necessárias; a Fase 1 fornece uma base confiável, enquanto a Fase 2 permite a modelagem de ruído robusta e o refinamento estável.
  • Atualizações Suaves vs. Rígidas: O refinamento de rótulo suave superou significativamente as atualizações de rótulo rígido, reduzindo as taxas de erro em cerca de ~16% em média.
  • Função de Perda: A Divergência de KL foi considerada a função de perda mais eficaz para o treinamento do modelo sensível ao ruído.
  • Sensibilidade: O framework é robusto a variações de hiperparâmetros, com desempenho ideal observado em 15–20 épocas de warm-up e aproximadamente 10 iterações de correção.

5. Significância e Alegações

O artigo alega que o CANOLA representa um avanço significativo no aprendizado centrado em dados ao abordar explicitamente a causa raiz da corrupção de rótulos. Os autores enfatizam que:

• A limpeza explícita é superior ao treinamento robusto: Em cenários de alto ruído, limpar os dados via CANOLA gera maiores benefícios downstream do que confiar apenas em algoritmos de treinamento robustos ao ruído.
• Estabilidade é a chave: Ao desacoplar a fase de aprendizado da fase de correção e utilizar um gatilho de estabilização de perda, o CANOLA evita os loops de viés de confirmação que assolam métodos de correção baseados em modelo anteriores.
• Praticidade: O framework é computacionalmente eficiente (processando conjuntos de dados em minutos ou meia hora) e eficaz em diversos domínios (imagem e texto) e fontes de ruído (pipelines automatizados e conjuntos de dados do mundo real).

Os autores concluem que o CANOLA fornece um mecanismo principiado, estável e eficaz para reparar rótulos corrompidos, tornando-se uma ferramenta valiosa para melhorar a confiabilidade de modelos de ML treinados em dados reais imperfeitos.