Resumo Técnico: Benchmarking de Ruído de Rótulo Dependente da Instância com Corrupções Controladas (CILN)

Declaração do Problema

Sistemas modernos de aprendizado de máquina dependem de grandes conjuntos de dados rotulados, mas os rótulos são frequentemente imperfeitos devido a erros de anotação, exemplos ambíguos ou supervisão fraca. Enquanto as pesquisas iniciais focaram em ruído simétrico e condicional à classe (CCN), configurações práticas frequentemente exibem Ruído de Rótulo Dependente da Instância (IDN), onde a probabilidade de um erro de rotulagem depende tanto da classe verdadeira quanto das características específicas da instância de entrada.

Benchmarks de IDN sintéticos existentes geralmente geram ruído através de dois mecanismos:

1. Transformações no espaço de características: Aplicar transformações latentes para aumentar as probabilidades de corrupção para exemplos específicos.
2. Pseudo-rotulagem: Usar classificadores diversos como anotadores sintéticos, onde o desacordo induz incerteza.

A Limitação: Em ambas as abordagens, a fonte de ambiguidade permanece implícita. Nos métodos de espaço de características, as transformações são frequentemente difíceis de interpretar. Na pseudo-rotulagem, o ruído é controlado pela modificação das propriedades do anotador (ex: procedimentos de treinamento), tornando difícil isolar mecanismos de ambiguidade específicos (ex: desfoque, oclusão, dados ausentes) ou rastrear erros de rótulo até mudanças específicas na entrada. Consequentemente, os benchmarks existentes oferecem suporte limitado para o estudo sistemático de como mecanismos específicos de degradação de dados afetam o desacordo de classificadores e o comportamento de aprendizado subsequente.

Metodologia: O Framework CILN

Os autores introduzem o CILN (Corruption-Induced Label Noise), um framework de geração de benchmark que cria IDN através de corrupções controladas de entrada. Diferente dos métodos anteriores que alteram o processo de rotulagem, o CILN altera os próprios dados de entrada enquanto preserva o conteúdo semântico.

Componentes Principais

1. Corrupções Controladas: O framework aplica tipos de corrupção específicos ($c$) em níveis de severidade variados ($\ell$) a instâncias limpas.
   • Dados de Imagem: Utiliza famílias de corrupção do CIFAR-C e MNIST-C, incluindo ruído (Gaussiano, shot, impulso), desfoque (defocus, vidro, movimento), clima (névoa, geada, neve), transformações geométricas e artefatos digitais (brilho, contraste, JPEG).
   • Dados Tabulares: Utiliza operadores de corrupção inspirados no benchmark Jenga, incluindo mecanismos de dados ausentes (MCAR, MAR, MNAR) e corrupções de valor (injeção de ruído, escalonamento).
2. Pool de Votantes: Um pool diversificado de $M$ modelos (ex: ResNets, Vision Transformers, XGBoost) avalia as instâncias corrompidas.
3. Geração de Rótulos:
   • Cada votante produz uma distribuição preditiva $p^{(m)}(y|x)$.
   • O benchmark libera uma distribuição de rótulo agregada $\bar{p}_i$ (média aritmética das predições dos votantes) e distribuições individuais dos votantes.
   • Para experimentos de rótulo rígido (hard-label), um único votante é amostrado uniformemente ao acaso para fornecer um rótulo de treinamento, mimetizando o protocolo PL-IDN.
4. Configuração de Início Limpo (Clean-Start): Um modo opcional filtra o conjunto de dados para reter apenas instâncias classificadas corretamente de forma unânime por todos os votantes antes da corrupção. Isso isola a incerteza induzida pela corrupção da ambiguidade pré-existente nos dados originais.

Construção do Benchmark

O framework foi instanciado em três conjuntos de dados: CIFAR-10, MNIST e Adult.

• CIFAR-10: 45 configurações (15 tipos de corrupção $\times$ 3 níveis de severidade).
• MNIST: 30 configurações liberadas (11 tipos de severidade contínua + 4 tipos estruturais).
• Adult: 15 configurações (5 tipos de corrupção $\times$ 3 níveis de severidade).
• Total: 90 configurações de benchmark abrangendo domínios de imagem e tabular.

Principais Contribuições

1. Geração de IDN com Mecanismo Controlado: O CILN fornece um framework onde a fonte (tipo de corrupção) e a severidade da ambiguidade são explícitas e controláveis, estabelecendo um vínculo direto entre a degradação da entrada e a incerteza do rótulo.
2. Dependência de Instância Genuína: Os autores demonstram que o framework gera um IDN genuíno onde o grau de dependência da instância pode ser sistematicamente ajustado via tipo de corrupção e severidade.
3. Incerteza Semelhante à Humana: Sob configurações apropriadas, as distribuições de rótulos geradas pelo CILN são estatisticamente mais próximas da incerteza de anotação humana (medida contra o CIFAR-10-H) do que os benchmarks de IDN sintéticos existentes (especificamente o PL-IDN).
4. Exposição de Modos de Falha: O benchmark revela que métodos de aprendizado de rótulos ruidosos de última geração (Co-Teaching, DivideMix) exibem modos de falha sob alta severidade de corrupção que não são observados sob taxas de ruído comparáveis geradas por modelos de falibilidade de avaliadores.

Resultados Experimentais

1. Força da Dependência da Instância

Os autores introduzem a Heterogeneidade de Transição de Ruído ($n_{th}$) para medir a dependência da instância.

• Descobertas: Todas as configurações CILN produzem valores positivos de $n_{th}$, confirmando um IDN genuíno.
• Controle: A magnitude de $n_{th}$ varia significamente entre as famílias de corrupção e níveis de severidade. Para muitas famílias, $n_{th}$ aumenta com a severidade, mas eventualmente satura ou diminui em alta severidade conforme os padrões de predição convergem.
• Comparação: Em altas taxas de ruído, configurações representativas do CILN igualam ou excedem a dependência de instância do PL-IDN.

2. Similaridade com a Incerteza de Anotação Humana

Usando a distância de Variação Total (TV) contra o CIFAR-10-H:

• Descobertas: O CILN é consistentemente mais próximo da incerteza humana do que o PL-IDN em todos os níveis de ruído.
• Especificidade da Corrupção: Corrupções leves (particularmente as famílias de Clima e Digitais como névoa, neve, fog, brilho, JPEG) produzem distribuições de rótulos mais similares ao desacordo humano. Corrupções severas tendem a divergir mais dos padrões humanos, mas ainda superam o PL-IDN.
• Análise PCA: As dez configurações CILN mais próximas do CIFAR-10-H no espaço PCA eram todas corrupções de baixa severidade de Clima ou Digitais; nenhuma das liberações do PL-IDN apareceu no top dez.

3. Comportamento de Aprendizado Subsequente

Os autores avaliaram ERM, Co-Teaching e DivideMix no CIFAR-10.

• Ruído Baixo/Médio: CILN e PL-IDN apresentam tendências de desempenho similares.
• Divergência de Ruído Alto: Em altas taxas de ruído, o Co-Teaching e o DivideMix sofrem degradação substancial de desempenho em configurações específicas do CILN (ex: alto contraste, pixelização, desfoque de vidro), enquanto permanecem relativamente robustos no PL-IDH.
• Mecanismo de Falha:
  • Classes Atratoras: Certas corrupções criam "classes atratoras" (ex: sapo, gato, caminhão) onde exemplos mal rotulados de muitas classes verdadeiras são puxados para uma única classe incorreta.
  • Colapso da Distribuição de Perda: Nestas configurações, o rótulo incorreto torna-se consistente com a entrada corrompida. Consequentemente, exemplos ruidosos não necessariamente produzem perdas de treinamento maiores do que exemplos limpos. Isso viola a suposição de pequena perda (de que exemplos limpos têm menor perda do que exemplos ruidosos) na qual o Co-Teaching e o DivideMix se baseiam para seleção de amostras.
  • Validação de Início Limpo: Os modos de falha persistem mesmo na variante Clean-Start (CILN-C, confirmando que a dificuldade surge da própria estrutura da corrupção, não da ambiguidade pré-existente nos dados.

Significância e Alegações

O artigo argumenta que a estrutura do ruído, não apenas a taxa de ruído, é um fator crítico na dificuldade do benchmark e no comportamento do algoritmo.

• Complementaridade: O CILN complementa os benchmarks de falibilidade de avaliadores existentes (como o PL-IDN) ao deslocar o foco de como os rótulos ruidosos são produzidos (qualidade do anotador) para por que eles surgem (degradação dos dados).
• Interpretabilidade: Ao tornar os mecanismos de ambiguidade explícitos, o CILN permite que pesquisadores estudem como tipos específicos de degradação de dados (ex: desfoque vs. dados ausentes) influenciam a dinâmica de aprendizado.
• Realismo: O framework demonstra que corrupções controladas podem produzir distribuições de rótulos que aproximam melhor a incerteza humana do que os métodos sintéticos atuais, particularmente em regimes de baixa a moderada severidade.
• Insight Algorítmico: Os resultados sugerem que os métodos atuais de aprendizado robusto ao ruído podem estar sofrendo overfitting para as estruturas de ruído de benchmarks tradicionais (onde o ruído é amplamente independente da entrada) e podem falhar quando o ruído está estruturalmente acoplado à entrada via corrupção.

Os autores concluem que o CILN fornece um framework prático, interpretável e com controle de mecanismo para avaliar o aprendizado de rótulos ruidosos sob diversas fontes de dificuldade de instância, instando a comunidade a considerar a estrutura do ruído juntamente com a taxa de ruído no design de benchmarks.