🤖 machine learning

Data filtering methods for training language models

Este artículo presenta un análisis comparativo de Confident Learning y Dataset Cartography para detectar errores de etiquetado en conjuntos de datos de clasificación de texto en ruso, demostrando que, aunque ambos métodos superan la eliminación aleatoria, su eficacia para mejorar el rendimiento del modelo depende en gran medida del tamaño del conjunto de datos y de los niveles de ruido, siendo Confident Learning el que obtiene ganancias significativas en conjuntos de datos pequeños y ruidosos.

Autores originales: Egor Shevchenko, Elena Bruches

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Egor Shevchenko, Elena Bruches

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a entender el lenguaje humano. Le das un libro de texto masivo lleno de ejemplos y respuestas. Pero aquí está el problema: algunas de las respuestas en el libro de texto están equivocadas. Quizás una oración que debería etiquetarse como "feliz" fue marcada accidentalmente como "enojada", o una oración gramaticalmente correcta fue marcada como "incorrecta".

Si le enseñas al robot usando un libro de texto lleno de errores, también aprenderá esos errores. Este es el problema del ruido en las etiquetas.

Este artículo es como una inspección de control de calidad para tres libros de texto diferentes en ruso (conjuntos de datos) utilizados para entrenar inteligencia artificial. Los autores, E. Shevchenko y E. Bruches, probaron dos "herramientas de detective" diferentes para encontrar y eliminar los ejemplos defectuosos antes de que el robot comience a estudiar.

Aquí tienes un desglose sencillo de su experimento y lo que descubrieron:

Los Dos Detectives

Los investigadores compararon dos métodos automáticos para encontrar errores:

El Detective de la "Segunda Opinión" (Confident Learning):
- Cómo funciona: Imagina que tienes a un estudiante que realiza un examen. Luego, tomas a ese mismo estudiante, lo divides en cuatro grupos y haces que cada grupo califique las respuestas de los otros. Si un estudiante obtiene consistentemente una pregunta específica incorrecta según los otros grupos, pero la hoja de respuestas dice que están en lo correcto, el detective de la "Segunda Opinión" lo marca como un error probable en la hoja de respuestas.
- El ambiente: Es exhaustivo pero agresivo. Confía en el consenso de las predicciones del modelo.
El Detective de los "Hábitos de Estudio" (Dataset Cartography):
- Cómo funciona: Este detective observa al estudiante estudiar con el tiempo. Si el estudiante sigue obteniendo una pregunta específica correcta, luego incorrecta, luego correcta nuevamente, o simplemente parece confundido al respecto después de muchas sesiones de estudio, el detective lo marca como "problemático". Observa cómo cambia la confianza del modelo con el tiempo.
- El ambiente: Es más cauteloso. Solo elimina ejemplos que el modelo lucha consistentemente por aprender.

Los Tres Libros de Texto (Conjuntos de Datos)

Probaron a estos detectives en tres conjuntos de datos rusos muy diferentes:

El Libro Grande (ru_emotion_e-culture): Una enorme colección de 49,000 publicaciones de foros sobre emociones. Es grande y generalmente de alta calidad.
El Libro Mediano (RuCoLA): Una colección de 8,500 oraciones para verificar si son gramaticalmente correctas. Es de tamaño mediano pero complicada porque la "corrección" puede ser subjetiva.
El Libro Pequeño (TERRa): Una pequeña colección de 2,300 pares de oraciones para verificar si una implica a la otra. Es pequeño y se sospecha que está desordenado.

¿Qué Pasó? (Los Resultados)

1. El Libro Grande: "No arregles lo que no está roto"
En el conjunto de datos enorme, los libros de texto ya eran bastante buenos.

El Resultado: Cuando los detectives eliminaron los ejemplos "malos" que encontraron, el robot en realidad obtuvo un rendimiento ligeramente peor en la tarea.
La Lección: Cuando tienes una cantidad masiva de datos, el robot es lo suficientemente inteligente como para ignorar por sí mismo unas pocas manzanas podridas. Eliminarlas solo hizo el libro más pequeño sin mejorarlo.

2. El Libro Mediano: "Mejor que al azar, pero no perfecto"
En el conjunto de datos mediano, ambos detectives encontraron muchos errores (aproximadamente el 15–18% del libro).

El Resultado: Eliminar estos errores no hizo que el robot fuera perfecto, pero sí hizo que funcionara mejor que si simplemente hubieras tirado al azar el mismo número de páginas.
La Lección: Los detectives realmente estaban encontrando errores reales, no solo adivinando. Sin embargo, el conjunto de datos todavía era demasiado ruidoso o la tarea demasiado difícil para ver un gran salto en el rendimiento solo limpiándolo.

3. El Libro Pequeño: "La magia de la limpieza"
Este fue el resultado más dramático. Se sospechaba que el conjunto de datos pequeño estaba muy desordenado.

El Resultado: El detective de la "Segunda Opinión" encontró que 35% del libro estaba equivocado. Cuando eliminaron esos ejemplos defectuosos, el rendimiento del robot aumentó significativamente.
La Comparación: Si simplemente hubieran tirado al azar el 35% del libro, el robot habría fracasado estrepitosamente. Pero porque eliminaron los ejemplos específicos defectuosos, el robot se volvió mucho más inteligente.
La Lección: Para conjuntos de datos pequeños y desordenados, encontrar y eliminar los errores es un cambio radical.

La Gran Conclusión

El artículo concluye que no existe una solución "talla única".

Si tienes un conjunto de datos enorme y limpio, no necesitas perder tiempo filtrando; la IA puede manejar el ruido.
Si tienes un conjunto de datos pequeño y desordenado, usar una herramienta como "Confident Learning" para limpiar los datos es esencial. Es como limpiar una habitación pequeña y llena de barro: si no quitas el barro, no puedes ver el suelo.

Los autores también notaron que el detective de los "Hábitos de Estudio" (Dataset Cartography) es más seguro y menos propenso a eliminar accidentalmente buenos ejemplos, mientras que el detective de la "Segunda Opinión" (Confident Learning) es más agresivo y mejor para encontrar los peores errores en conjuntos de datos pequeños.

En resumen: Limpiar tus datos es como pulir una lente. Si la lente ya está clara y es enorme, pulirla un poco más no ayuda. Pero si la lente es pequeña y está cubierta de barro, limpiarla es la única manera de ver con claridad.

Resumen Técnico: Métodos de Filtrado de Datos para el Entrenamiento de Modelos de Lenguaje

Declaración del Problema

La eficacia de los modelos de aprendizaje automático supervisado está fundamentalmente limitada por la calidad de los datos de entrenamiento etiquetados. A pesar del cambio hacia la "IA centrada en los datos", el ruido en las etiquetas —discrepancias entre las etiquetas asignadas y las categorías verdaderas— sigue siendo omnipresente, incluso en los conjuntos de referencia más utilizados. Aunque una investigación extensa ha abordado esto en contextos de idioma inglés, falta un análisis sistemático de la calidad de la anotación en los corpus de idioma ruso. Las características lingüísticas únicas del ruso (orden libre de palabras, morfología rica, homonimia) pueden exacerbar la subjetividad de la anotación y las tasas de error. Este trabajo aborda esta brecha evaluando métodos automáticos de detección de errores en las etiquetas en tareas de clasificación de texto en ruso para determinar si el filtrado de datos dirigido mejora la generalización del modelo en comparación con la reducción aleatoria de datos.

Metodología

El estudio realiza un análisis comparativo de dos métodos automáticos de detección de errores en las etiquetas: Aprendizaje Confiable (Confident Learning, CL) y Cartografía de Conjuntos de Datos (Dataset Cartography, DM).

Conjuntos de Datos

Los experimentos se realizaron en tres corpus rusos que varían en tamaño, dominio y distribución de clases:

ru_emotion_e-culture: 49.123 ejemplos, 5 clases (clasificación de emociones).
RuCoLA: 8.524 ejemplos, 2 clases (aceptabilidad lingüística).
TERRa: 2.337 ejemplos, 2 clases (reconocimiento de implicación textual).

Modelo Base y Entrenamiento

Todos los experimentos utilizaron el modelo preentrenado rubert-base-cased.

Ajuste Fino Estándar: 3 épocas, tamaño de lote 32, tasa de aprendizaje $2\times10^{-5}$ .
Métrica de Evaluación: F1-macro (para tener en cuenta el desequilibrio de clases), complementada con la precisión.

Métodos de Detección

Aprendizaje Confiable (CL): Implementado mediante la biblioteca cleanlab. Utiliza validación cruzada de $K$ pliegues ( $K=4$ ) para generar predicciones fuera del pliegue. Una matriz de "unión confiable" estima la distribución entre las etiquetas observadas y las etiquetas verdaderas latentes. Los ejemplos donde el modelo predice con confianza una clase diferente a la etiqueta asignada se marcan como errores.
Cartografía de Conjuntos de Datos (DM): Implementado mediante una función de retorno personalizada. Analiza la dinámica de entrenamiento dentro de la muestra durante 10 épocas. Se calculan cuatro métricas por ejemplo: Confianza, Variabilidad, Corrección y Olvido. Los ejemplos se categorizan en regiones "fáciles", "ambiguas" y "difíciles de aprender" basándose en umbrales de confianza y variabilidad. Los ejemplos "difíciles de aprender" son candidatos para su eliminación.

Diseño Experimental

Para cada método, los ejemplos "ruidosos" identificados se eliminaron del conjunto de entrenamiento y el modelo se reentrenó. Crucialmente, se realizaron experimentos de control donde se eliminó un número equivalente de ejemplos aleatoriamente. Este diseño aísla el efecto del filtrado dirigido de la mera reducción del tamaño del conjunto de entrenamiento.

Contribuciones Clave

Primera Análisis Comparativo: Este trabajo proporciona la primera evaluación comparativa del Aprendizaje Confiable y la Cartografía de Conjuntos de Datos específicamente en corpus de clasificación de texto en ruso.
Dependencia de las Características del Conjunto de Datos: El estudio demuestra que la eficacia del filtrado no es uniforme, sino que depende en gran medida del tamaño del corpus y de los niveles iniciales de ruido.
Validación de la Utilidad del Filtrado: Mediante experimentos de control, los autores separan los beneficios del filtrado dirigido de la simple reducción del tamaño de la muestra, demostrando que ambos métodos identifican ejemplos sustancialmente problemáticos.

Resultados

Agresividad del Filtrado

Aprendizaje Confiable mostró un comportamiento adaptativo, eliminando una pequeña fracción de datos en corpus grandes (3,75 % en ru_emotion_e-culture) pero una fracción masiva en corpus pequeños y ruidosos (35,47 % en TERRa).
Cartografía de Conjuntos de Datos fue más conservadora y estable, eliminando entre el 9,28 % y el 14,48 % de los datos en todos los corpus.

Resultados de Rendimiento (F1-macro)

Corpus Grande y de Alta Calidad (ru_emotion_e-culture): Ningún método mejoró el rendimiento sobre la línea base (F1 $\approx$ 0,935). De hecho, ambos resultaron en ligeras disminuciones, aunque CL funcionó casi idénticamente a la eliminación aleatoria, lo que sugiere que el modelo era robusto ante el ruido escaso presente.
Corpus Mediano (RuCoLA): Ambos métodos resultaron en puntuaciones F1 absolutas más bajas que la línea base. Sin embargo, ambos superaron significativamente a la eliminación aleatoria (CL: +0,0166 sobre aleatorio; DM: +0,0141 sobre aleatorio), confirmando que los ejemplos eliminados eran efectivamente más problemáticos que un subconjunto aleatorio.
Corpus Pequeño y Ruidoso (TERRa): Esto produjo los resultados más significativos.
- Aprendizaje Confiable logró una mejora significativa en la calidad absoluta (+0,0134 sobre la línea base), elevando el F1 de 0,6444 a 0,6578.
- Crucialmente, CL superó a la eliminación aleatoria por un amplio margen (+0,1348), lo que indica que el 35 % de los ejemplos eliminados contenía la mayoría del ruido que degradaba el modelo.
- Cartografía de Conjuntos de Datos mantuvo el rendimiento de la línea base (F1 $\approx$ 0,6441) pero no lo mejoró, superando a la eliminación aleatoria en +0,0590.

Perspectivas Diagnósticas

La Cartografía de Conjuntos de Datos proporcionó métricas diagnósticas adicionales. El corpus TERRa exhibió una confianza promedio significativamente más baja (0,811) y una variabilidad más alta (0,184) en comparación con ru_emotion_e-culture (0,979 y 0,033, respectivamente), lo que se correlaciona con los niveles de ruido más altos y la dificultad de la tarea.

Significancia y Limitaciones

El artículo concluye que el filtrado de datos dirigido es una estrategia significativa, particularmente para corpus pequeños en idioma ruso con alto ruido de anotación, donde el Aprendizaje Confiable puede producir ganancias sustanciales de rendimiento. Para conjuntos de datos más grandes y limpios, el costo del filtrado (reducción de datos) puede superar los beneficios de la eliminación de ruido.

Los autores señalan explícitamente las siguientes limitaciones:

Falta de Verdad Terrenal: No se realizó verificación manual por expertos; la "utilidad" del filtrado se infiere indirectamente mediante la comparación con la eliminación aleatoria en lugar de la precisión/recordatorio frente a un conjunto de errores verificado.
Modelo/Semilla Única: Los resultados se basan en un único modelo base (rubert-base-cased) y una única semilla aleatoria, lo que significa que las diferencias numéricas reportadas son estimaciones puntuales en lugar de resultados promediados estadísticamente.
Alcance: El análisis se restringe a la clasificación de texto; no se aborda la generalización a otras tareas de PLN (por ejemplo, etiquetado de secuencias, generación).

El trabajo sugiere que para conjuntos de datos rusos pequeños y ruidosos, aplicar Aprendizaje Confiable seguido de verificación y reentrenamiento es un enfoque práctico recomendado, mientras que la Cartografía de Conjuntos de Datos sirve como una herramienta más segura y computacionalmente eficiente para el diagnóstico de la calidad de los datos.