Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

Technische Samenvatting: Frequentie is wat je nodig hebt: Het overwegen van woordfrequentie bij tekstmaskering ten behoeve van Vision-Language Model Pre-training

Probleemstelling
Vision-Language Models (VLM's), zoals CLIP, vereisen doorgaans enorme computationele middelen (duizenden GPU-dagen) voor pre-training op grootschalige beeld-tekstdatasets. Om dit proces te versnellen, hebben recente werken maskeringstrategieën toegepast voor beeld- en teksttokens. Terwijl beeldmaskering goed gevestigd is, hebben tekstmaskeringsstrategieën gemengde resultaten opgeleverd. Eerder state-of-the-art werk (CLIPA) identificeerde "syntax masking"—waarbij prioriteit wordt gegeven aan het behouden van zelfstandige naamwoorden en bijvoeglijke naamwoorden op basis van Part-of-Speech (POS) tagging—als de superieure tekstmaskeringsaanpak. Dit artikel betoogt echter dat de evaluatie van deze strategieën beperkt werd door training voor een vast, relatief klein aantal epochs. De auteurs observeren dat naarmate het aantal trainingsepochs toeneemt, de prestaties van syntax masking achteruitgaan ten opzichte van andere strategieën, wat suggereert dat het huidige begrip van optimale tekstmaskering incompleet is.

Methodologie
De auteurs stellen een systematische analyse voor van hoe verschillende tekstmaskeringsstrategieën de distributie van woordfrequenties in de trainingsdata beïnvloeden. Ze definiëren tekstmaskering als de selectie van een subset van tokens uit een tekst $T$ om een nieuwe input $T'$ te vormen. De studie vergelijkt vier bestaande strategieën:

1. Truncation (Afkapping): Behoudt de eerste $k$ tokens.
2. Random (Willekeurig): Selecteert willekeurig $k$ tokens.
3. Block (Blok): Selecteert een aaneengesloten blok van $k$ tokens beginnend bij een willekeurige index.
4. Syntax (Syntaxis): Gebruikt POS tagging (via tools zoals NLTK) om prioriteit te geven aan het behouden van zelfstandige naamwoorden, gevolgd door bijvoeglijke naamwoorden, werkwoorden en andere woorden.

Door deze analyse ontdekken de auteurs dat strategieën zoals truncation en syntax masking de relatieve frequenties van woorden in de trainingsset onevenredig veranderen. Bijvoorbeeld, syntax masking behoudt zwaar zelfstandige naamwoorden terwijl het functiewoorden ("Overige" categorie) onderdrukt, en truncation vertegenwoordigt woorden aan het begin van de zin overmatig. In contrast hiermee bewaren random en block masking de oorspronkelijke woordfrequentieverdeling getrouwer.

Gemotiveerd door de bevinding dat het behouden van woordfrequentie correleert met betere modelprestaties, introduceren de auteurs CLIPF (Contrastive Language-Image Pre-training with Word Frequency Masking). CLIPF berekent een maskering-waarschijnlijkheidsscore $P(w_i)$ voor elk woord $w_i$ op basis van zijn frequentie $f(w_i)$ in de trainingsdata:
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
waarbij $t$ een drempelparameter is. In tegenstelling tot eerdere frequentiegebaseerde pogingen (bijv. SW-CLIP) die een harde afkapwaarde gebruikten om woorden weg te gooien (wat potentieel lege inputslots achterlaat), gebruikt CLIPF deze waarschijnlijkheden om te prioriteren welke woorden behouden moeten worden, waarbij de inputtokens worden gevuld met de woorden met de hoogste waarschijnlijkheid. Deze aanpak vermijdt de computationele overhead van de POS tagging die vereist is door syntax masking.

Belangrijkste Bijdragen

1. Analyse van de Impact van Frequentie: Het artikel demonstreert dat het succes van een tekstmaskeringsstrategie gekoppeld is aan de mate waarin het de woordfrequentieverdeling van de trainingsdata vervormt. Strategieën die de frequentie onevenredig beïnvloeden (truncation, syntax) presteren minder goed dan strategieën die deze behouden (random, block).
2. Introductie van CLIPF: De auteurs stellen CLIPF voor, een frequentiegebaseerde maskeringstrategie die direct gebruikmaakt van woordfrequentiestatistieken zonder dat POS tagging vereist is.
3. Herwaardering van Trainingsepochs: De studie benadrukt dat het aantal trainingsepochs een cruciale variabele is. Ho ewel syntax masking superieur leek in korte trainingsruns (zoals gerapporteerd in CLIPA), blijft het achter bij andere strategieën wanneer de training wordt uitgebreid naar convergentie (bijv. 30+ epochs).
4. Uitgebreide Evaluatie: De auteurs bieden uitgebreide kwantitatieve vergelijkingen over meerdere datasets (CC3M, CC12M, LAION-400M) en taken (zero-shot classificatie, robuustheid, beeld-tekst retrieval).

Resultaten

• Prestaties vs. Epochs: Experimenten op ImageNet-1K laten zien dat hoewel syntax masking goed presteert in de vroege fase van de training, de nauwkeurigheid een plateau bereikt of daalt ten opzichte van random, block en CLIPF naarmate de epochs toenemen (tot 40 epochs). CLIPF behaalt consistent de hoogste nauwkeurigheid in het bereik van 16–40 epochs.
• Token Efficiëntie: CLIPF presteert beter dan syntax masking en andere baselines, vooral wanneer het aantal inputteksttokens wordt verminderd (bijv. van 4 naar 8 tokens). In deze agressieve maskeringsscenario's behoudt CLIPF een significante prestatiekloof ten opzichte van syntax masking.
• Robuustheid en Retrieval: CLIPF demonstreert superieure zero-shot robuustheid op datasets zoals ImageNet-A, ImageNet-R en ObjectNet. In beeld-tekst retrieval taken presteert CLIPF over het algemeen beter dan truncation en syntax masking, hoewel het vergelijkbare prestaties vertoont met random en block masking in sommige retrieval-metrieken, met een duidelijk voordeel in scenario's met een hoge maskeringsratio (4 tokens).
• Specifiek Datasetgedrag: Op datasets waar klassenamen niet voornamelijk uit zelfstandige naamwoorden bestaan (bijv. Describable Textures Dataset, OxfordPets), presteert syntax masking slecht, terwijl CLIPF een sterke prestatie behoudt.
• Computationele Efficiëntie: CLIPF vermijdt de tijdrovende POS tagging die vereist is door syntax masking. Experimenten tonen aan dat syntax masking ongeveer 2,5 keer langer nodig heeft om de CC12M dataset te verwerken dan CLIPF.

Betekenis en Claims
Het artikel claimt dat de huidige state-of-the-art bevinding (dat syntax masking het beste is) afhankelijk is van een beperkte trainingsduur. Door de training uit te breiden, laten de auteurs zien dat syntax masking niet de optimale aanpak is. De betekenis van dit werk ligt in:

• Correctie van de State-of-the-Art: Het bijstellen van het begrip dat syntax masking de beste tekstmaskeringsstrategie is, door aan te tonen dat frequentie-behoudende strategieën superieur zijn.
• Praktische Richtlijnen: Het bieden van een duidelijke richtlijn voor beoefenaars: tekstmaskeringsstrategieën die de woordfrequentie onevenredig beïnvloeden moeten worden vermeden, terwijl strategieën die relatieve frequenties beschermen (zoals CLIPF, random en block) de voorkeur genieten.
• Efficiëntie van Middelen: CLIPF biedt een hoogwaardig alternatief dat minder computationele overhead vereist (geen POS tagging) en betere resultaten behaalt met minder trainingsmiddelen (minder tokens en epochs) vergeleken met niet-gemaskeerde baselines of syntax-gebaseerde benaderingen.

De auteurs concluderen dat het overwegen van woordfrequentie essentieel is bij het selecteren van een tekstmaskeringsstrategie, en dat CLIPF een robuuste, efficiënte en hoogwaardige oplossing biedt voor VLM pre-training.