Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

Resumo Técnico: Frequência é o que Você Precisa: Considerando a Frequência de Palavras ao Utilizar Máscara de Texto para o Pré-treinamento de Modelos de Visão-Linguagem

Declaração do Problema
Modelos de Visão-Linguagem (VLMs), como o CLIP, tipicamente requerem recursos computacionais massivos (milhares de dias-GPU) para o pré-treinamento em conjuntos de dados de imagem-texto em larga escala. Para acelerar este processo, trabalhos recentes empregaram estratégias de mascaramento para tokens de imagem e texto. Embora o mascaramento de imagem seja bem estabelecido, as estratégias de mascaramento de texto têm apresentado resultados mistos. O estado da arte anterior (CLIPA) identificou o "mascaramento sintático" — que prioriza a retenção de substantivos e adjetivos com base na etiquetagem de Classe Gramatical (POS) — como a abordagem superior de mascaramento de texto. No entanto, este artigo argumenta que a avaliação dessas estratégias foi limitada pelo treinamento por um número fixo e relativamente pequeno de épocas. Os autores observam que, à medida que as épocas de treinamento aumentam, o desempenho do mascaramento sintático degrada-se em relação a outras estratégias, sugerindo que a compreensão atual sobre o mascaramento de texto ideal é incompleta.

Metodologia
Os autores propõem uma análise sistemática de como diferentes estratégias de mascaramento de texto impactam a distribuição das frequências de palavras nos dados de treinamento. Eles definem o mascaramento de texto como a seleção de um subconjunto de tokens de um texto $T$ para formar um novo input $T'$. O estudo compara quatro estratégias existentes:

1. Truncamento (Truncation): Retém os primeiros $k$ tokens.
2. Aleatório (Random): Seleciona aleatoriamente $k$ tokens.
3. Bloco (Block): Seleciona um bloco contíguo de $k$ tokens começando em um índice aleatório.
4. Sintático (Syntax): Utiliza a etiquetagem POS (via ferramentas como NLTK) para priorizar a retenção de substantivos, seguidos por adjetivos, verbos e outras palavras.

Através desta análise, os autores descobrem que estratégias como truncamento e mascaramento sintático alteram desproporcionalmente as frequências relativas de palavras no conjunto de treinamento. Por exemplo, o mascaramento sintático retém fortemente substantivos enquanto suprime palavras funcionais (categoria "Outras"), e o truncamento sobre-representa palavras iniciais de sentenças. Em contraste, o mascaramento aleatório e de bloco preservam a distribuição original de frequência de palavras de forma mais fiel.

Motivados pela descoberta de que preservar a frequência de palavras correlaciona-se com um melhor desempenho do modelo, os autores introduzem o CLIPF (Contrastive Language-Image Pre-training with Word Frequency Masking). O CLIPF calcula uma pontuação de probabilidade de mascaramento $P(w_i)$ para cada palavra $w_i$ com base em sua frequência $f(w_i)$ nos dados de treinamento:
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
onde $t$ é um parâmetro de limiar (threshold). Diferente de tentativas anteriores baseadas em frequência (ex: SW-CLIP) que usavam um corte rígido para descartar palavras (potencialmente deixando slots de entrada vazios), o CLIPF usa essas probabilidades para priorizar quais palavras reter, preenchendo os tokens de entrada com as palavras de maior probabilidade. Esta abordagem evita o custo computacional da etiquetagem POS exigida pelo mascaramento sintático.

Principais Contribuições

1. Análise do Impacto da Frequência: O artigo demonstra que o sucesso de uma estratégia de mascaramento de texto está ligado ao quanto ela distorce a distribuição de frequência de palavras dos dados de treinamento. Estratégias que impactam desproporcionalmente a frequência (truncamento, sintática) apresentam desempenho inferior àquelas que a preservam (aleatória, bloco).
2. Introdução do CLIPF: Os autores propõem o CLIPF, uma estratégia de mascaramento baseada em frequência que aproveita diretamente as estatísticas de frequência de palavras sem exigir a etiquetagem POS.
3. Reavaliação das Épocas de Treinamento: O estudo destaca que o número de épocas de treinamento é uma variável crítica. Embora o mascaramento sintático parecesse superior em execuções de treinamento curtas (conforme reportado no CLIPA), ele fica atrás de outras estratégias quando o treinamento é estendido até a convergência (ex: 30+ épocas).
4. Avaliação Abrangente: Os autores fornecem comparações quantitativas extensas através de múltiplos conjuntos de dados (CC3M, CC12M, LAION-400M) e tarefas (classificação zero-shot, robustez, recuperação imagem-texto).

Resultos

• Desempenho vs. Épocas: Experimentos no ImageNet-1K mostram que, embora o mascaramento sintático performe bem no início do treinamento, sua precisão estabiliza ou declina em relação ao aleatório, bloco e CLIPF conforme as épocas aumentam (até 40 épocas). O CLIPF alcança consistentemente a maior precisão na faixa de 16–40 épocas.
• Eficiência de Tokens: O CLIPF supera o mascaramento sintático e outros baselines, particularmente quando o número de tokens de texto de entrada é reduzido (ex: 4 a 8 tokens). Nestes cenários de mascaramento agressivo, o CLIPF mantém uma lacuna de desempenho significativa sobre o mascaramento sintático.
• Robustez e Recuperação: O CLIPF demonstra robustez zero-shot superior em datasets como ImageNet-A, ImageNet-R e ObjectNet. Em tarefas de recuperação imagem-texto, o CLIPF geralmente supera o truncamento e o mascaramento sintático, embora apresente desempenho comparável ao mascaramento aleatório e de bloco em algumas métricas de recuperação, com uma vantagem distinta em cenários de alta razão de mascaramento (4 tokens).
• Comportamento de Datasets Específicos: Em datasets onde os nomes das classes não são predominantemente substantivos (ex: Describable Textures Dataset, OxfordPets), o mascaramento sintático performa mal, enquanto o CLIPF mantém um forte desempenho.
• Eficiência Computacional: O CLIPF evita a demorada etiquetagem POS exigida pelo mascaramento sintático. Experimentos mostram que o mascaramento sintático leva aproximadamente 2,5 vezes mais tempo para processar o dataset CC12M do que o CLIPF.

Significância e Alegações
O artigo alega que a descoberta atual do estado da arte (de que o mascaramento sintático é o melhor) é contingente a uma duração de treinamento limitada. Ao estender o treinamento, os autores mostram que o mascaramento sintático não é a abordagem ideal. A significância deste trabalho reside em:

• Corrigir o Estado da Arte: Atualizar o entendimento de que o mascaramento sintático é a melhor estratégia de mascaramento de texto, mostrando, em vez disso, que estratégias que preservam a frequência são superiores.
• Orientação Prática: Fornecer uma diretriz clara para profissionais: estratégias de mascaramento de texto que impactam desproporcionalmente a frequência de palavras devem ser evitadas, enquanto aquelas que protegem as frequências relativas (como CLIPF, aleatório e bloco) são preferíveis.
• Eficiência de Recursos: O CLIPF oferece uma alternativa de alto desempenho que requer menos overhead computacional (sem etiquetagem POS) e alcança melhores resultados com menos recursos de treinamento (menos tokens e épocas) em comparação com baselines não mascarados ou abordagens baseadas em sintaxe.

Os autores concluem que considerar a frequência de palavras é essencial ao selecionar uma estratégia de mascaramento de texto, e que o CLIPF fornece uma solução robusta, eficiente e de alto desempenho para o pré-treinamento de VLMs.