🤖 machine learning

Data filtering methods for training language models

Este artigo apresenta uma análise comparativa entre Confident Learning e Dataset Cartography para a detecção de erros de rótulo em conjuntos de dados de classificação de texto em russo, demonstrando que, embora ambos os métodos superem a remoção aleatória, sua eficácia na melhoria do desempenho do modelo depende fortemente do tamanho do conjunto de dados e dos níveis de ruído, com o Confident Learning produzindo ganhos significativos em conjuntos de dados pequenos e ruidosos.

Autores originais: Egor Shevchenko, Elena Bruches

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Egor Shevchenko, Elena Bruches

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender a linguagem humana. Você lhe entrega um livro didático massivo, repleto de exemplos e respostas. Mas eis o problema: algumas das respostas no livro estão erradas. Talvez uma frase que deveria ser rotulada como "feliz" tenha sido marcada acidentalmente como "brava", ou uma frase gramaticalmente correta tenha sido marcada como "errada".

Se você ensinar o robô usando um livro didático cheio de erros, ele aprenderá esses erros também. Este é o problema do ruído de rótulo.

Este artigo é como uma inspeção de controle de qualidade para três livros didáticos diferentes em língua russa (conjuntos de dados) usados para treinar IA. Os autores, E. Shevchenko e E. Bruches, testaram duas "ferramentas de detetive" diferentes para encontrar e remover os exemplos ruins antes que o robô comece a estudar.

Aqui está uma explicação simples de seu experimento e do que descobriram:

Os Dois Detetives

Os pesquisadores compararam dois métodos automáticos para encontrar erros:

O Detetive da "Segunda Opinião" (Aprendizado Confiante):
- Como funciona: Imagine que você tem um aluno fazendo uma prova. Em seguida, você pega esse mesmo aluno, divide-o em quatro grupos e faz com que cada grupo corrija as respostas dos outros. Se um aluno consistentemente erra uma questão específica de acordo com os outros grupos, mas o gabarito diz que ele está certo, o detetive da "Segunda Opinião" o marca como um provável erro no gabarito.
- A vibe: É minucioso, mas agressivo. Ele confia no consenso das previsões do modelo.
O Detetive dos "Hábitos de Estudo" (Cartografia de Conjuntos de Dados):
- Como funciona: Este detetive observa o aluno estudar ao longo do tempo. Se o aluno continua acertando uma questão específica, depois errando, depois acertando novamente, ou simplesmente parece confuso sobre ela após muitas sessões de estudo, o detetive a marca como "problemática". Ele observa como a confiança do modelo muda ao longo do tempo.
- A vibe: É mais cauteloso. Ele remove apenas exemplos com os quais o modelo consistentemente luta para aprender.

Os Três Livros Didáticos (Conjuntos de Dados)

Eles testaram esses detetives em três conjuntos de dados russos muito diferentes:

O Livro Grande (ru_emotion_e-culture): Uma enorme coleção de 49.000 postagens em fóruns sobre emoções. É grande e geralmente de alta qualidade.
O Livro Médio (RuCoLA): Uma coleção de 8.500 frases para verificar se estão gramaticalmente corretas. É de tamanho médio, mas complicada porque a "correção" pode ser subjetiva.
O Livro Pequeno (TERRa): Uma pequena coleção de 2.300 pares de frases para verificar se uma implica a outra. É pequeno e suspeito de ser bagunçado.

O Que Aconteceu? (Os Resultados)

1. O Livro Grande: "Não Conserte o Que Não Está Quebrado"
No conjunto de dados enorme, os livros didáticos já eram bastante bons.

O Resultado: Quando os detetives removeram os exemplos "ruins" que encontraram, o robô ficou, na verdade, ligeiramente pior na tarefa.
A Lição: Quando você tem uma quantidade massiva de dados, o robô é inteligente o suficiente para ignorar algumas maçãs podres por conta própria. Removê-las apenas tornou o livro menor sem torná-lo melhor.

2. O Livro Médio: "Melhor que o Aleatório, Mas Não Perfeito"
No conjunto de dados médio, ambos os detetives encontraram muitos erros (cerca de 15–18% do livro).

O Resultado: Remover esses erros não tornou o robô perfeito, mas fez com que ele se saísse melhor do que se você tivesse apenas jogado aleatoriamente fora o mesmo número de páginas.
A Lição: Os detetives estavam realmente encontrando erros reais, não apenas chutando. No entanto, o conjunto de dados ainda era muito ruidoso ou a tarefa muito difícil para ver um salto enorme no desempenho apenas limpando-o.

3. O Livro Pequeno: "A Magia da Limpeza"
Este foi o resultado mais dramático. O conjunto de dados pequeno era suspeito de ser muito bagunçado.

O Resultado: O detetive da "Segunda Opinião" descobriu que 35% do livro estava errado! Quando removeram esses exemplos ruins, o desempenho do robô saltou significativamente.
A Comparação: Se tivessem apenas jogado aleatoriamente fora 35% do livro, o robô teria fracassado miseravelmente. Mas, como jogaram fora os exemplos ruins específicos, o robô ficou muito mais inteligente.
A Lição: Para conjuntos de dados pequenos e bagunçados, encontrar e remover os erros é um divisor de águas.

A Grande Conclusão

O artigo conclui que não existe uma solução "tamanho único".

Se você tem um conjunto de dados enorme e limpo, não precisa perder tempo filtrando; a IA consegue lidar com o ruído.
Se você tem um conjunto de dados pequeno e bagunçado, usar uma ferramenta como "Aprendizado Confiante" para limpar os dados é essencial. É como limpar um quarto pequeno e lamacento: se você não remover a lama, não consegue ver o chão.

Os autores também observaram que o detetive dos "Hábitos de Estudo" (Cartografia de Conjuntos de Dados) é mais seguro e menos propenso a jogar acidentalmente fora bons exemplos, enquanto o detetive da "Segunda Opinião" (Aprendizado Confiante) é mais agressivo e melhor em encontrar os piores erros em conjuntos de dados pequenos.

Em resumo: Limpar seus dados é como polir uma lente. Se a lente já está clara e grande, polir um pouco mais não ajuda. Mas se a lente é pequena e coberta de lama, limpá-la é a única maneira de ver claramente.

Resumo Técnico: Métodos de Filtragem de Dados para Treinamento de Modelos de Linguagem

Declaração do Problema

A eficácia dos modelos de aprendizado de máquina supervisionado é fundamentalmente limitada pela qualidade dos dados de treinamento rotulados. Apesar da mudança em direção à "IA centrada em dados", o ruído de rótulo — discrepâncias entre os rótulos atribuídos e as categorias verdadeiras — permanece pervasivo, mesmo em benchmarks amplamente utilizados. Embora pesquisas extensas tenham abordado isso em contextos de língua inglesa, falta uma análise sistemática da qualidade de anotação em corpora de língua russa. As características linguísticas únicas do russo (ordem livre das palavras, morfologia rica, homonímia) podem exacerbar a subjetividade e as taxas de erro na anotação. Este trabalho aborda essa lacuna avaliando métodos automáticos de detecção de erros de rótulo em tarefas de classificação de texto em russo para determinar se a filtragem direcionada de dados melhora a generalização do modelo em comparação com a redução aleatória de dados.

Metodologia

O estudo conduz uma análise comparativa de dois métodos automáticos de detecção de erros de rótulo: Aprendizado Confiável (CL) e Cartografia de Conjuntos de Dados (DM).

Conjuntos de Dados

Os experimentos foram realizados em três corpora russos que variam em tamanho, domínio e distribuição de classes:

ru_emotion_e-culture: 49.123 exemplos, 5 classes (classificação de emoções).
RuCoLA: 8.524 exemplos, 2 classes (aceitabilidade linguística).
TERRa: 2.337 exemplos, 2 classes (reconhecimento de implicação textual).

Modelo Base e Treinamento

Todos os experimentos utilizaram o modelo pré-treinado rubert-base-cased.

Ajuste Fino Padrão: 3 épocas, tamanho de lote 32, taxa de aprendizado $2\times10^{-5}$ .
Métrica de Avaliação: F1-macro (para contabilizar o desequilíbrio de classes), complementada pela acurácia.

Métodos de Detecção

Aprendizado Confiável (CL): Implementado via biblioteca cleanlab. Utiliza validação cruzada em $K$ dobras ( $K=4$ ) para gerar previsões fora da dobra. Uma matriz de "junção confiável" estima a distribuição entre os rótulos observados e os rótulos verdadeiros latentes. Exemplos onde o modelo prevê com confiança uma classe diferente do rótulo atribuído são sinalizados como erros.
Cartografia de Conjuntos de Dados (DM): Implementado via um callback personalizado. Analisa a dinâmica de treinamento intra-amostra ao longo de 10 épocas. Quatro métricas são computadas por exemplo: Confiança, Variabilidade, Corretude e Esquecimento. Os exemplos são categorizados em regiões "fáceis", "ambíguas" e "difíceis de aprender" com base em limiares de confiança e variabilidade. Exemplos "difíceis de aprender" são candidatos para remoção.

Desenho Experimental

Para cada método, os exemplos "ruidosos" identificados foram removidos do conjunto de treinamento, e o modelo foi re-treinado. Crucialmente, experimentos de controle foram conduzidos onde um número equivalente de exemplos foi removido aleatoriamente. Este desenho isola o efeito da filtragem direcionada da mera redução do tamanho do conjunto de treinamento.

Principais Contribuições

Primeira Análise Comparativa: Este trabalho fornece a primeira avaliação comparativa do Aprendizado Confiável e da Cartografia de Conjuntos de Dados especificamente em corpora de classificação de texto em russo.
Dependência das Características do Conjunto de Dados: O estudo demonstra que a eficácia da filtragem não é uniforme, mas depende fortemente do tamanho do corpus e dos níveis de ruído iniciais.
Validação da Significância da Filtragem: Através de experimentos de controle, os autores separam os benefícios da filtragem direcionada da simples redução do tamanho da amostra, provando que ambos os métodos identificam exemplos substancialmente problemáticos.

Resultados

Agressividade da Filtragem

Aprendizado Confiável mostrou comportamento adaptativo, removendo uma pequena fração de dados em corpora grandes (3,75% em ru_emotion_e-culture), mas uma fração massiva em corpora pequenos e ruidosos (35,47% em TERRa).
Cartografia de Conjuntos de Dados foi mais conservadora e estável, removendo entre 9,28% e 14,48% dos dados em todos os corpora.

Resultados de Desempenho (F1-macro)

Corpus Grande e de Alta Qualidade (ru_emotion_e-culture): Nenhum método melhorou o desempenho sobre a linha de base (F1 $\approx$ 0,935). De fato, ambos resultaram em pequenas diminuições, embora o CL tenha performado quase idêntico à remoção aleatória, sugerindo que o modelo era robusto ao ruído esparsa presente.
Corpus Médio (RuCoLA): Ambos os métodos resultaram em pontuações F1 absolutas mais baixas do que a linha de base. No entanto, ambos superaram significativamente a remoção aleatória (CL: +0,0166 sobre aleatório; DM: +0,0141 sobre aleatório), confirmando que os exemplos removidos eram de fato mais problemáticos do que um subconjunto aleatório.
Corpus Pequeno e Ruidoso (TERRa): Isso produziu os resultados mais significativos.
- Aprendizado Confiável alcançou uma melhoria significativa na qualidade absoluta (+0,0134 sobre a linha de base), elevando o F1 de 0,6444 para 0,6578.
- Crucialmente, o CL superou a remoção aleatória por uma grande margem (+0,1348), indicando que os 35% de exemplos removidos continham a maioria do ruído que degradava o modelo.
- Cartografia de Conjuntos de Dados manteve o desempenho da linha de base (F1 $\approx$ 0,6441), mas não o melhorou, superando a remoção aleatória em +0,0590.

Insights Diagnósticos

A Cartografia de Conjuntos de Dados forneceu métricas diagnósticas adicionais. O corpus TERRa exibiu confiança média significativamente menor (0,811) e maior variabilidade (0,184) em comparação com ru_emotion_e-culture (0,979 e 0,033, respectivamente), correlacionando-se com os níveis mais altos de ruído e a dificuldade da tarefa.

Significância e Limitações

O artigo conclui que a filtragem direcionada de dados é uma estratégia significativa, particularmente para corpora russos pequenos com alto ruído de anotação, onde o Aprendizado Confiável pode gerar ganhos substanciais de desempenho. Para conjuntos de dados maiores e mais limpos, o custo da filtragem (redução de dados) pode superar os benefícios da remoção de ruído.

Os autores observam explicitamente as seguintes limitações:

Ausência de Verdade Terrena: Nenhuma verificação manual por especialistas foi conduzida; a "significância" da filtragem é inferida indiretamente através da comparação com a remoção aleatória, em vez de precisão/recall contra um conjunto de erros verificado.
Único Modelo/Semente: Os resultados são baseados em um único modelo base (rubert-base-cased) e uma única semente aleatória, o que significa que as diferenças numéricas relatadas são estimativas pontuais e não resultados estatisticamente médios.
Escopo: A análise é restrita à classificação de texto; a generalização para outras tarefas de PLN (por exemplo, rotulagem de sequências, geração) não é abordada.

O trabalho sugere que, para conjuntos de dados russos pequenos e ruidosos, aplicar o Aprendizado Confiável seguido de verificação e re-treinamento é uma abordagem prática recomendada, enquanto a Cartografia de Conjuntos de Dados serve como uma ferramenta mais segura e computacionalmente eficiente para diagnósticos de qualidade de dados.