🤖 machine learning

Data Selection Through Iterative Self-Filtering for Vision-Language Settings

Dit artikel stelt een nieuwe bootstrapped methode voor genaamd Self-Filtering, die iteratief een CLIP-model traint op een evoluerende dataset die een balans vindt tussen zeer waarschijnlijke schone samples en diverse data, waardoor de downstream vision-language prestaties worden verbeterd zonder dat er aanvullende data of vooraf getrainde modellen nodig zijn.

Oorspronkelijke auteurs: Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe de wereld werkt door hem miljoenen foto's en bijbehorende beschrijvingen te laten zien. Het probleem is dat het internet een rommelige plek is. Als je gewoon alle data die je online vindt in het brein van de robot dumpt, voed je hem ook met troep: wazige foto's, bijschriften die niet bij de afbeelding passen, of onzinteksten. Deze "ruis" verwart de robot of zorgt ervoor dat hij langzamer leert of dingen fout doet.

Normaal gesproken lossen wetenschappers dit op door een "slim filter" te gebruiken—een vooraf getrainde, superintelligente robot die al alles heeft geleerd. Ze vragen aan deze expert-robot: "Hé, welke van deze foto's zijn goed?" en gooien de rest weg. Maar dit paper stelt een andere vraag: Wat als we nog geen superintelligente filter hebben? Kunnen we er zelf een bouwen terwijl we aan het leren zijn?

De auteurs stellen een methode voor genaamd Self-Filtering. Zo werkt het, met behulp van alledaagse analogieën:

De "Student-Docent" Analogie

Zie je AI-model niet als een voltooide expert, maar als een student-docent.

De Rommelige Klaslokaal (De Dataset): Je hebt een enorme klas vol studenten (datapunten). Sommigen zijn briljant en braaf (schone data), maar velen zijn verstorend of in de war (ruizige data).
De Eerste Les (Training): Je begint de student-docent te onderwijzen met de hele rommelige klas. In het begin is de docent in de war en maakt hij fouten.
Zelfreflectie (Filtering): Na een paar lessen is de docent iets slimmer geworden. Nu vraag je de docent: "Kijk nog eens naar alle studenten. Welke lijken de les het beste te begrijpen?" De docent wijst de "waarschijnlijk schone" studenten aan.
De Nieuwe Klasmix (De Strategie): Hier komt het slimme deel. Je gooit niet alleen de "slechte" studenten weg. Dat zou gevaarlijk zijn, want sommige "slechte" studenten kunnen gewoon worstelen met een moeilijk concept, in plaats van dat ze echt slecht zijn.
- In plaats daarvan creëer je een nieuwe klas waar je twee keer zoveel van de "goede" studenten die de docent heeft geïdentificeerd, hebt, maar je houdt de rest van de klas er ook bij.
- Dit zorgt ervoor dat de docent extra oefent met de gemakkelijke, duidelijke voorbeelden (exploitatie), maar nog steeds wordt blootgesteld aan de moeilijke, diverse voorbeelden (diversiteit), zodat hij niet alleen de basis blijft kennen.
Herhalen: Je onderwijst de docent met deze nieuwe, iets betere klasmix. De docend wordt nog slimmer. Daarna vraag je de nieuwe, slimmere docent om de beste studenten opnieuw te selecteren. Je mengt ze weer opnieuw.

De Cyclus van Verbetering

Het paper noemt dit een iteratieve loop.

Ronde 1: De docent is een beetje dom, dus hun filter is oké maar niet perfect.
Ronde 2: Omdat de docent heeft geleerd van de "goede" mix in Ronde 1, is hij slimmer. Hun filter is beter.
Ronde 3: De docent is nog slimmer, wat een nog betere mix creëert.

Tegen de tijd dat het proces klaar is, heeft de docent zijn eigen "gecureerde" dataset gebouwd die bijna net zo goed is als wanneer een super-expert het vanaf het begin voor hem had gefilterd.

Waarom dit een Groot Ding is

Het paper beweert drie hoofdzaken:

Geen Magische Stok Nodig: Je hebt geen bestaande "God-modus" AI nodig om je data te filteren. Je kunt je filter zelf bouwen met het model dat je probeert te trainen.
Gooi Niet Alles Weg: Als je alleen de "perfecte" voorbeelden houdt, kan het model bevooroordeeld raken of vergeten hoe het met moeilijke, echte situaties moet omgaan. Door de "waarschijnlijk goede" data te mengen met de "volledige" data, krijg je het beste van twee werelden: hoge kwaliteit en hoge variëteit.
Het Werkt: Ze hebben dit getest op enorme beeld- en tekstdatasets (zoals miljoenen foto's en bijschriften). De modellen die getraind zijn met deze self-filtering methode presteerden even goed als, of zelfs beter dan, modellen die getraind zijn op data gefilterd door dure, vooraf gemaakte expertsystemen.

Het Nadeel (Beperkingen)

De auteurs zijn eerlijk over de beperkingen:

Het is een Lokaal Perspectief: Het model beslist wat "goed" is op basis van wat het tot nu toe heeft geleerd. Het heeft geen kristallen bol om te weten wat nuttig zal zijn voor een specifieke toekomstige taak.
Computationele Kosten: Het kost tijd om de training te pauzeren, het model over alle data te laten lopen om scores te geven, en dan de training te hervatten. Ze suggereren echter dat dit gedaan kan worden op oudere, tragere computers terwijl de hoofdtraining op snelle computers plaatsvindt.

Kortom, dit paper laat zien dat leren en filteren tegelijkertijd kunnen gebeuren. In plaats van te wachten tot er een perfect filter arriveert, kun je je model zijn eigen filter laten groeien, waardoor het bij elke stap die het zet slimmer wordt en betere data cureert.

Technische Samenvatting: Dataselectie door Iteratieve Zelffiltering voor Vision-Language Instellingen

Probleemstelling

Het trainen van grootschalige vision-language modellen, zoals CLIP, vereist enorme datasets die vaak inherent ruisachtig zijn vanwege hun oorsprong uit internet-schaal schraapsels (scrapes). Hoewel handmatige controle op deze schaal onpraktisch is, vertrouwen bestaande datafilteringsmethoden zwaar op heuristieken (bijv. aantal woorden, resolutie), gecureerde referentiedatasets of vooraf getrainde modellen (bijv. OpenAI's CLIP) om schone monsters te selecteren.

De auteurs identificeren drie kritieke beperkingen in huidige benaderingen:

Confounding Knowledge (Verwarrende Kennis): Het gebruik van een vooraf getraind model voor filtering verweeft de voordelen van dataselectie met de indirecte distillatie van de kennis van het filter zelf, waardoor het onduidelijk wordt of de filtering zelf de monster-efficiëntie verbetert.
Bias Propagatie (Voortplanting van Vooringenomenheid): Geselecteerde datasets vangen onvermijdelijk de beperkingen en biases op van het vooraf getrainde filter (bijv. OpenAI's CLIP is bevooroordeeld naar oudere gebeurtenissen en heeft moeite met recente concepten).
Wetenschappelijke Opaciteit (Ondoorzichtigheid): Het onvermogen om toegang te krijgen tot de pre-training datasets van propriëtaire filters belemmert wetenschappelijk onderzoek naar de aard van datafiltering.

Verder blijft er een fundamentele uitdaging bestaan in het onderscheiden tussen "harde" monsters (die nuttige, niet-triviale kennis coderen) en "ruisachtige" monsters (mismatch tussen beeld en tekst), aangezien beide doorgaans een hoge loss veroorzaken tijdens de vroege stadia van training.

Methodologie: Zelffiltering

Het artikel stelt Self-Filtering voor, een gebootstrapt, iteratief proces dat een vision-language model traint terwijl het gelijktijdig een evoluerende dataset cureert. Deze benadering opereert zonder vooraf getrainde modellen of extra data. De kernfilosofie is dat betere modellen leiden tot betere datamixes, die op hun beurt weer betere modellen produceren.

De methode volgt een vierfasige iteratieve lus (Algoritme 1):

Initialisatie: Een model ( $f_\theta$ ) wordt willekeurig geïnitialiseerd, en de huidige trainingsdatamix ( $D_{current}$ ) wordt ingesteld op de volledige, ongefilterde dataset.
Trainingsfase: Het model wordt $T$ stappen getraind op voorbeelden gesampled uit $D_{current}$ .
Selectiefase: Het huidige model fungeert als filter. Voor elk paar $(x, y)$ in de dataset wordt een score berekend op basis van de uitlijning tussen beeld- en tekstembeddings (cosine similarity voor CLIP). De top $p\%$ van de scorende monsters wordt geïdentificeerd als "waarschijnlijk schoon".
Mixingsfase: Een nieuwe datamix wordt gecreëerd door te hersamplen uit de unie van de volledige dataset en de "waarschijnlijk schone" subset. Cruciaal is dat de waarschijnlijk schone monsters een dubbele sampling-gewicht krijgen. Deze stap balanceert exploitatie (focussen op monsters met een hoge betrouwbaarheid) met diversiteit (het behouden van toegang tot de volledige distributie om model collapse te voorkomen en te zorgen dat harde monsters niet permanent worden weggegooid).

Deze cyclus herhaalt zich voor $R$ rondes. De auteurs benadrukken dat de mixingsfase essentieel is om te voorkomen dat het model convergeert naar een bevooroordeelde set van makkelijke monsters en om het model uiteindelijk te laten leren van harde monsters die aanvankelijk als ruisachtig werden geclassificeerd.

Belangrijkste Bijdragen

Onafhankelijkheid van Pre-trained Modellen: De auteurs demonstreren dat effectieve filteringsstrategieën kunnen worden bereikt zonder afhankelijk te zijn van vooraf getrainde modellen of aanvullende propriëtaire data.
Iteratieve Zelfverbetering: Ze stellen een methode voor waarbij het trainingsmodel iteratief de dataset verbetert waarop het traint, wat een positieve feedbackloop creëert van datakwaliteit en modelprestaties.
Exploitatie-Diversiteit Balans: Er wordt een specifieke strategie geïntroduceerd voor het mixen van geselecteerde monsters met een hoge waarschijnlijkheid met willekeurige voorbeelden uit de gehele distributie, wat ervoor zorgt dat het model toegang behoudt tot diverse data terwijl het zich richt op waarschijnlijk schone monsters.
Correlatie van Metrieken: Het artikel toont aan dat filterprestaties en downstream-prestaties binnen dezelfde trainingsrun gecorreleerd zijn, wat de zelfverbeterende aard van de aanpak valideert.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Datacomp benchmark (kleine subset: ~11,5M monsters; medium subset: ~128M monsters) met behulp van CLIP ViT-B/32 modellen.

Prestatiewinst: Self-Filtering modellen (getraind op mixes van 30% of 40% geselecteerde monsters) presteerden consequent beter dan baselines getraind op de volledige dataset of datasets die exclusief gefilterd zijn door OpenAI's vooraf getrainde CLIP.
Vergelijking met Pre-trained Filters: Modellen getraind op datamixes gegenereerd door Self-Filtering bereikten downstream-prestaties die op gelijke hoogte liggen met modellen getraind op data gefilterd door de veel grotere OpenAI CLIP ViT-L/14.
Iteratieve Verbetering: Experimenten waarbij modellen vanaf nul werden getraind op datasets gefilterd door voorgaande iteraties toonden progressieve prestatiewinsten (bijv. Ronde 2 > Ronde 1), wat bevestigt dat de datakwaliteit met elke iteratie verbetert.
Transfereerbaarheid: Een model getraind via Self-Filtering op de kleine Datacomp-subset slaagde erin een andere, ongeziene medium-grote subset succesvol te filteren, waarbij het resultaten behaalde die superieur waren aan training op de ruwe data en vergelijkbaar met OpenAI CLIP-filtering.
Curriculum vs. Datakwaliteit: De auteurs vonden dat de prestatiewinsten niet te danken waren aan het curriculum learning effect (het ordenen van data van makkelijk naar moeilijk). Modellen getraind vanaf nul op de uiteindelijke vaste datamix presteerden beter dan modellen die iteratief getraind werden, wat suggereert dat het primaire voordeel de hogere kwaliteit van de data zelf is, en niet de volgorde van presentatie.

Betekenis en Claims

Het artikel claimt dat Self-Filtering een levensvatbaar pad biedt naar hoogwaardige vision-language training zonder de afhankelijkheid van dure vooraf getrainde filters of aanvullende dataresources. Door dataselectie en modeltraining te behandelen als facetten van hetzelfde probleem, bereikt de methode een balans tussen het exploiteren van geleerde kennis en het behouden van datasetdiversiteit.

De auteurs merken bescheiden op dat hoewel hun methode effectief onderscheid maakt tussen ruis en harde monsters over de tijd heen, het het onderscheid in de vroege stadia van de training niet perfect oplost. Ze erkennen ook dat de computationele kosten voor het scoren van monsters voor selectie niet zijn meegenomen in hun Datacomp-gebaseerde analyse, hoewel ze suggereren dat dit kan worden gemitigeerd door parallelle inferentie op oudere hardware. Uiteindelijk levert het werk bewijs dat zelfverbeterende modellen datasets van vergelijkbare kwaliteit kunnen genereren als die gecureerd door grote, vooraf getrainde modellen, wat de noodzaak van externe, statische filters voor het schalen van vision-language modellen uitdaagt.