Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

Resumen Técnico: La frecuencia es lo que necesitas: Consideración de la frecuencia de palabras al aplicar el enmascaramiento de texto para el preentrenamiento de modelos de visión-lenguaje

Planteamiento del Problema
Los Modelos de Visión-Lenguaje (VLMs), como CLIP, requieren típicamente recursos computacionales masivos (miles de días de GPU) para el preentrenamiento en conjuntos de datos de imagen-texto a gran escala. Para acelerar este proceso, trabajos recientes han empleado estrategias de enmascaramiento para tokens de imagen y texto. Mientras que el enmascaramiento de imagen está bien establecido, las estrategias de enmascaramiento de texto han arrojado resultados mixtos. El trabajo anterior de vanguardia (CLIPA) identificó el "enmascaramiento sintáctico" —que prioriza la retención de sustantivos y adjetivos basándose en el etiquetado de categorías gramaticales (POS)— como el enfoque de enmascaramiento de texto superior. Sin embargo, este artículo argumenta que la evaluación de estas estrategias estuvo limitada por el entrenamiento durante un número de épocas fijo y relativamente pequeño. Los autores observan que, a medida que aumentan las épocas de entrenamiento, el rendimiento del enmascaramiento sintáctico se degrada en relación con otras estrategias, sugiriendo que la comprensión actual del enmascaramiento de texto óptimo es incompleta.

Metodología
Los autores proponen un análisis sistemático de cómo diferentes estrategias de enmascaramiento de texto impactan la distribución de las frecuencias de palabras en los datos de entrenamiento. Definen el enmascaramiento de texto como la selección de un subconjunto de tokens de un texto $T$ para formar un nuevo input $T'$. El estudio compara cuatro estrategias existentes:

1. Truncamiento (Truncation): Retiene los primeros $k$ tokens.
2. Aleatorio (Random): Selecciona aleatoriamente $k$ tokens.
3. Bloque (Block): Selecciona un bloque contiguo de $k$ tokens comenzando en un índice aleatorio.
4. Sintáctico (Syntax): Utiliza el etiquetado POS (mediante herramientas como NLTK) para priorizar la retención de sustantivos, seguidos de adjetivos, verbos y otras palabras.

A través de este análisis, los autores descubren que estrategias como el truncamiento y el enmascaramiento sintáctico alteran desproporcionadamente las frecuencias relativas de las palabras en el conjunto de entrenamiento. Por ejemplo, el enmascaramiento sintáctico retiene fuertemente los sustantivos mientras suprime las palabras funcionales (categoría "Otros"), y el truncamiento sobre-representa las palabras iniciales de la oración. En contraste, el enmascaramiento aleatorio y de bloque preservan la distribución de frecuencia de palabras original de manera más fiel.

Motivados por el hallazgo de que preservar la frecuencia de las palabras se correlaciona con un mejor rendimiento del modelo, los autores introducen CLIPF (Contrastive Language-Image Pre-training with Word Frequency Masking). CLIPF calcula una puntuación de probabilidad de enmascaramiento $P(w_i)$ para cada palabra $w_i$ basada en su frecuencia $f(w_i)$ en los datos de entrenamiento:
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
donde $t$ es un parámetro de umbral. A diferencia de los intentos previos basados en frecuencia (por ejemplo, SW-CLIP) que utilizaban un corte estricto para descartar palabras (dejando potencialmente los espacios de entrada vacíos), CLIPF utiliza estas probabilidades para priorizar qué palabras retener, llenando los tokens de entrada con las palabras de mayor probabilidad. Este enfoque evita la carga computacional del etiquetado POS requerido por el enmascaramiento sintáctico.

Contribuciones Clave

1. Análisis del Impacto de la Frecuencia: El artículo demuestra que el éxito de una estrategia de enmascaramiento de texto está vinculado a cuánto distorsiona la distribución de frecuencia de palabras de los datos de entrenamiento. Las estrategias que impactan desproporcionadamente la frecuencia (truncamiento, sintaxis) tienen un rendimiento inferior a aquellas que la preservan (aleatorio, bloque).
2. Introducción de CLIPF: Los autores proponen CLIPF, una estrategia de enmascaramiento basada en la frecuencia que aprovecha directamente las estadísticas de frecuencia de palabras sin requerir el etiquetado POS.
3. Reevaluación de las Épocas de Entrenamiento: El estudio destaca que el número de épocas de entrenamiento es una variable crítica. Aunque el enmascaramiento sintáctico parecía superior en ejecuciones de entrenamiento cortas (como se reportó en CLIPA), queda rezagado frente a otras estrategias cuando el entrenamiento se extiende hacia la convergencia (por ejemplo, más de 30 épocas).
4. Evaluación Exhaustiva: Los autores proporcionan comparaciones cuantitativas extensas a través de múltiples conjuntos de datos (CC3M, CC12M, LAION-400M) y tareas (clasificación zero-shot, robustez, recuperación de imagen-texto).

Resultos

• Rendimiento vs. Épocas: Los experimentos en ImageNet-1K muestran que, si bien el enmascaramiento sintáctico funciona bien en las etapas tempranas del entrenamiento, su precisión se estanca o declina en relación con el enmascaramiento aleatorio, de bloque y CLIPF a medida que aumentan las épocas (hasta 40 épocas). CLIPF alcanza consistentemente la mayor precisión en el rango de 16 a 40 épocas.
• Eficiencia de Tokens: CLIPF supera al enmascaramiento sintáctico y a otros modelos base, particularmente cuando el número de tokens de texto de entrada se reduce (por ejemplo, de 4 a 8 tokens). En estos escenarios de enmascaramiento agresivo, CLIPF mantiene una brecha de rendimiento significativa sobre el enmascaramiento sintáctico.
• Robustez y Recuperación: CLIPF demuestra una robustez zero-shot superior en conjuntos de datos como ImageNet-A, ImageNet-R y ObjectNet. En tareas de recuperación de imagen-texto, CLIPF generalmente supera al truncamiento y al enmascaramiento sintáctico, aunque muestra un rendimiento comparable al enmascaramiento aleatorio y de bloque en algunas métricas de recuperación, con una ventaja distintiva en escenarios de alta tasa de enmascaramiento (4 tokens).
• Comportamiento de Datasets Específicos: En conjuntos de datos donde los nombres de las clases no son predominantemente sustantivos (por ejemplo, Describable Textures Dataset, OxfordPets), el enmascaramiento sintáctico tiene un desempeño pobre, mientras que CLIPF mantiene un fuerte rendimiento.
• Eficiencia Computacional: CLIPF evita el laborioso etiquetado POS requerido por el enmascaramiento sintáctico. Los experimentos muestran que el enmascaramiento sintáctico tarda aproximadamente 2.5 veces más en procesar el conjunto de datos CC12M que CLIPF.

Significancia y Reivindicaciones
El artículo afirma que el hallazgo actual de vanguardia (que el enmascaramiento sintáctico es el mejor) depende de una duración de entrenamiento limitada. Al extender el entrenamiento, los autores demuestran que el enmascaramiento sintáctico no es el enfoque óptimo. La importancia de este trabajo radica en:

• Corregir el Estado de la Cuestión: Actualizar la comprensión de que el enmascaramiento sintáctico es la mejor estrategia de enmascaramiento de texto, mostrando en su lugar que las estrategias que preservan la frecuencia son superiores.
• Guía Práctica: Proporcionar una directriz clara para los profesionales: se deben evitar las estrategias de enmascaramiento de texto que impactan desproporcionadamente la frecuencia de las palabras, mientras que se prefieren aquellas que protegen las frecuencias relativas (como CLIPF, aleatorio y bloque).
• Eficiencia de Recursos: CLIPF ofrece una alternativa de alto rendimiento que requiere menos carga computacional (sin etiquetado POS) y logra mejores resultados con menos recursos de entrenamiento (menos tokens y épocas) en comparación con los modelos base sin enmascaramiento o los enfoques basados en sintaxis.

Los autores concluyen que considerar la frecuencia de las palabras es esencial al seleccionar una estrategia de enmascaramiento de texto, y que CLIPF proporciona una solución robusta, eficiente y de alto rendimiento para el preentrenamiento de VLMs.