An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

Resumo Técnico: Identificação Automatizada de Imagens Médicas Rotuladas Incorretamente via Sequências de Funções de Perda

Definição do Problema
Modelos de aprendizagem profunda para análise de imagens médicas dependem fortemente da qualidade dos conjuntos de dados rotulados manualmente. No entanto, a rotulagem manual por médicos é suscetível a erros devido a fatores como a fadiga do médico, o tamanho reduzido de lesões (ex: microaneurismas), fronteiras ambíguas entre categorias de doenças (ex: alta miopia vs. miopia patológica) e interpretações subjetivas de graduação de imagem. Estima-se que até 10% das imagens médicas rotuladas manualmente possam estar incorretas. Esses erros, se presentes nos conjuntos de treinamento, induzem a otimização do modelo ao erro, enquanto erros em conjuntos de validação ou teste impedem uma avaliação de desempenho autêntica. Soluções tradicionais envolvem a revisão de todos os rótulos iniciais por médicos seniores, um processo que consome tempo e energia.

Metodologia
Os autores propõem um método automatizado para identificar imagens médicas rotuladas incorretamente através da análise das sequências temporais de funções de perda geradas durante o treinamento de redes de aprendizagem profunda. A hipótese central é que, enquanto amostras rotuladas corretamente exibem uma tendência de perda consistente e de diminuição gradual ao longo das épocas de treinamento, amostras rotuladas incorretamente (onde a verdade fundamental está errada) fazem com que o modelo permaneça confuso, resultando em sequências de perda que mantêm níveis elevados ou flutuam significativamente.

O pipeline proposto consiste em três estágios:

1. Treinamento de Modelo Multi-Época: Uma rede de aprendizagem profunda (pré-treinada no ImageNet) é treinada no conjunto de dados rotulado por $N$ épocas ($N > 2$). Para cada amostra, o valor da perda (entropia cruzada) é registrado em cada época, formando uma sequência de comprimento $N$.
2. Extração de Características: Seis características específicas são extraídas da sequência de perda de cada amostra para caracterizar sua tendência:
   • F1: A média de toda a sequência (nível de perda global).
   • F2: A média dos primeiros $P$ termos (perda local no estágio inicial).
   • F3: A posição $Q$ onde ocorre a maior queda na perda entre os termos $Q$ e $(Q+1)$.
   • F4: A média dos primeiros $Q$ termos (perda pré-diminuição significativa).
   • F5: A média dos últimos $N-Q$ termos (perda pós-diminuição significativa).
   • F6: A diferença entre F4 e F5 (extensão da diminuição significativa).
3. Agrupamento (Clustering): Utilizando as seis características extraídas, o algoritmo de agrupamento $k$-means ($k=2$) é aplicado para particionar o conjunto de dados em duas categorias: uma representando amostras rotuladas corretamente e outra representando amostras rotuladas incorretamente.

Validação Experimental e Resultados
O método foi validado utilizando um conjunto de dados de imagens de fundo de olho para triagem de retinopatia diabética (RD) referível, compreendendo 10.788 amostras com rótulos de padrão-ouro (gold-standard).

• Simulação de Conjunto de Dados: Para simular o ruído do mundo real, um conjunto de dados sintético (A') foi criado invertendo intencionalmente os rótulos de 6% (648 amostras) do conjunto de dados padrão-ouro.
• Desempenho de Identificação: No primeiro experimento, o método identificou com sucesso 75,31% (488 de 648) das amostras intencionalmente rotuladas incorretamente. A especificidade foi de 95,15%, o que significa que apenas 4,85% das amostras rotuladas corretamente foram falsamente identificadas como incorretas. Os autores observam que as amostras não identificadas frequentemente possuíam baixa qualidade de imagem ou características ambíguas que as tornavam visualmente semelhantes à classe oposta, mesmo para especialistas humanos.
• Melhoria no Desempenho do Modelo: No segundo experimento, as 980 amostras identificadas como potencialmente incorretas foram revisadas e corrigidas por médicos, criando um conjunto de dados refinado (A'') com apenas 1,5% de erros restantes. Um modelo de aprendizagem profunda retreinado neste conjunto de dados refinado alcançou uma precisão máxima de 96,50% em um conjunto de teste independente. Isso representa uma melhoria em relação ao modelo treinado no conjunto de dados ruidoso (95,93%) e aproxima-se do desempenho ideal de 96,57% alcançado por um modelo treinado no conjunto de dados original, perfeitamente limpo.

Contribuições Principais e Significância
O artigo afirma que esta abordagem automatizada oferece uma solução prática para o problema trabalhoso da limpeza de dados na IA médica. Ao aproveitar o comportamento intrínseco das funções de perda durante o treinamento, o método permite que médicos seniores foquem seus esforços de revisão em um subconjunto pequeno e de alta probabilidade de imagens (aproximadamente 9,1% do conjunto de dados neste estudo) em vez de toda a coleção. Este processo efetivamente melhora a consistência e a confiabilidade dos conjuntos de dados de imagens médicas rotuladas, estabelecendo uma base mais robusta para o treinamento de modelos de aprendizagem profunda e, consequentemente, aumentando seu desempenho diagnóstico. Os autores concluem que, embora o método seja eficaz para tarefas de classificação binária, como a triagem de RD, pesquisas adicionais são necessárias para validar sua utilidade em tarefas de classificação multiclasse e segmentação.