Data Selection Through Iterative Self-Filtering for Vision-Language Settings

Resumen Técnico: Selección de Datos mediante Autofiltro Iterativo para Entornos de Visión y Lenguaje

Planteamiento del Problema

El entrenamiento de modelos de visión y lenguaje a gran escala, como CLIP, requiere conjuntos de datos masivos que a menudo son inherentemente ruidosos debido a su origen en extracciones de escala de internet. Aunque la supervisión manual es impracticable a esta escala, los métodos de filtrado de datos existentes dependen en gran medida de heurísticas (por ejemplo, recuento de palabras, resolución), conjuntos de datos de referencia curados o modelos preentrenados (por ejemplo, el CLIP de OpenAI) para seleccionar muestras limpias.

Los autores identifican tres limitaciones críticas en los enfoques actuales:

1. Conocimiento Confundido: El uso de un modelo preentrenado para el filtrado entrelaza los beneficios de la selección de datos con la destilación indirecta del propio conocimiento del filtro, lo que hace que no esté claro si el filtrado en sí mismo mejora la eficiencia de las muestras.
2. Propagación de Sesgos: Los conjuntos de datos seleccionados capturan inevitablemente las limitaciones y sesgos del filtro preentrenado (por ejemplo, el CLIP de OpenAI está sesgado hacia eventos antiguos y tiene dificultades con conceptos recientes).
3. Opacidad Científica: La incapacidad de acceder a los conjuntos de datos de preentrenamiento de los filtros propietarios impide la investigación científica sobre la naturaleza del filtrado de datos.

Además, persiste un desafío fundamental en distinguir entre muestras "difíciles" (que codifican conocimiento útil y no trivial) y muestras "ruidosas" (pares imagen-texto desalineados), ya que ambas suelen incurrir en una pérdida alta durante las etapas iniciales del entrenamiento.

Metodología: Autofiltro (Self-Filtering)

El artículo propone el Autofiltro, un método iterativo de arranque (bootstrapped) que entrena un modelo de visión y lenguaje mientras cura simultáneamente un conjunto de datos en evolución. Este enfoque opera sin modelos preentrenados ni datos adicionales. La filosofía central es que mejores modelos conducen a mejores mezclas de datos, las cuales, a su vez, producen mejores modelos.

El método sigue un ciclo iterativo de cuatro fases (Algoritmo 1):

1. Inicialización: Se inicializa un modelo ($f_\theta$) de forma aleatoria, y la mezcla de datos de entrenamiento ($D_{current}$) se establece como el conjunto de datos completo y sin filtrar.
2. Fase de Entrenamiento: El modelo se entrena durante $T$ pasos utilizando ejemplos muestreados de $D_{current}$.
3. Fase de Selección: El modelo actual actúa como filtro. Para cada par $(x, y)$ en el conjunto de datos, se calcula una puntuación basada en la alineación entre las incrustaciones (embeddings) de imagen y texto (similitud de coseno para CLIP). Se identifican como "probablemente limpios" el $p\%$ de las muestras con mayor puntuación.
4. Fase de Mezcla: Se crea una nueva mezcla de datos mediante el remuestreo de la unión del conjunto de datos completo y el subconjunto de "probablemente limpios". Crucialmente, a las muestras probablemente limpias se les asigna el doble de peso de muestreo. Este paso equilibra la explotación (centrarse en muestras de alta confianza) con la diversidad (mantener el acceso a la distribución completa para evitar el colapso del modelo y asegurar que las muestras difíciles no sean descartadas permanentemente).

Este ciclo se repite durante $R$ rondas. Los autores enfatizan que la fase de mezcla es esencial para evitar la convergencia hacia un conjunto sesgado de muestras fáciles y para permitir que el modelo eventualmente aprenda muestras difíciles que inicialmente fueron clasificadas erróneamente como ruido.

Contribuciones Clave

• Independencia de Modelos Preentrenados: Los autores demuestran que se pueden lograr estrategias de filtrado efectivas sin depender de modelos preentrenados o datos propietarios adicionales.
• Auto-mejora Iterativa: Proponen un método donde el modelo de entrenamiento mejora iterativamente el conjunto de datos sobre el cual entrena, creando un bucle de retroalimentación positiva de calidad de datos y rendimiento del modelo.
• Equilibrio Explotación-Diversidad: Se introduce una estrategia específica para mezclar muestras seleccionadas de alta probabilidad con ejemplos aleatorios de toda la distribución, asegurando que el modelo mantenga el acceso a datos diversos mientras se enfoca en muestras probablemente limpias.
• Correlación de Métricas: El artículo muestra que el rendimiento del filtrado y el rendimiento posterior (downstream) están correlacionados dentro de una misma ejecución de entrenamiento, validando la naturaleza de auto-mejora del enfoque.

Resultados Experimentales

Los experimentos se realizaron en el benchmark Datacomp (subconjunto pequeño: ~11.5M de muestras; subconjunto mediano: ~128M de muestras) utilizando modelos CLIP ViT-B/32.

• Ganancias de Rendimiento: Los modelos de Autofiltro (entrenados en mezclas de 30% o 40% de muestras seleccionadas) superaron consistentemente a los modelos base entrenados en el conjunto de datos completo o en conjuntos de datos filtrados exclusivamente por el CLIP preentrenado de OpenAI.
• Comparación con Filtros Preentrenados: Los modelos entrenados con mezclas de datos generadas por el Autofiltro alcanzaron un rendimiento posterior comparable al de los modelos entrenados con datos filtrados por el mucho más grande OpenAI CLIP ViT-L/14.
• Mejora Iterativa: Los experimentos donde los modelos se entrenaron desde cero en conjuntos de datos filtrados por iteraciones previas mostraron ganancias de rendimiento progresivas (por ejemplo, Ronda 2 > Ronda 1), confirmando que la calidad de los datos mejora con cada iteración.
• Transferibilidad: Un modelo entrenado mediante Autofiltro en el subconjunto pequeño de Datacomp filtró con éxito un subconjunto de tamaño mediano distinto y no visto, logrando resultados superiores al entrenamiento con los datos brutos y comparables al filtrado de OpenAI CLIP.
• Curriculum vs. Calidad de Datos: Los autores descubrieron que las ganancias de rendimiento no se debieron al efecto de aprendizaje por currículo (ordenar los datos de fáciles a difíciles). Los modelos entrenados desde cero en la mezcla de datos final fija superaron a los modelos entrenados iterativamente, lo que sugiere que el beneficio principal es la mayor calidad de los datos en sí, no el orden de presentación.

Significado y Reivindicaciones

El artículo sostiene que el Autofiltro ofrece una vía viable para el entrenamiento de visión y lenguaje de alta calidad sin la dependencia de filtros preentrenados costosos o recursos de datos adicionales. Al tratar la selección de datos y el entrenamiento del modelo como facetas de un mismo problema, el método logra un equilibrio entre explotar el conocimiento aprendido y mantener la diversidad del conjunto de datos.

Los autores señalan modestamente que, si bien su método distingue eficazmente el ruido de las muestras difíciles a lo largo del tiempo, no resuelve perfectamente la distinción en las etapas tempranas del entrenamiento. También reconocen que el costo computacional de puntuar las muestras para la selección no se tuvo en cuenta en su análisis basado en Datacomp, aunque sugieren que esto podría mitigarse mediante la inferencia paralela en hardware antiguo. En última instancia, el trabajo proporciona evidencia de que los modelos de auto-mejora pueden generar conjuntos de datos de calidad comparable a los curados por modelos preentrenados grandes, desafiando la necesidad de filtros externos y estáticos para escalar los modelos de visión y lenguaje.