💻 computer science

FineVision: Open Data Is All You Need

FineVision introduceert het grootste open corpus van 24 miljoen zorgvuldig samengestelde vision-language samples, gecreëerd via een rigoureuze semi-automatische pipeline die meer dan 200 bronnen verenigt met menselijk toezicht om contaminatie en duplicatie te elimineren, waardoor modellen die op dit dataset zijn getraind uiteindelijk aanzienlijk beter presteren dan bestaande open alternatieven.

Oorspronkelijke auteurs: Luis Wiedmann, Orr Zohar, Amir Mahla, Xiaohan Wang, Rui Li, Thibaud Frere, Leandro von Werra, Aritra Roy Gosthipaty, Andrés Marafioti

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luis Wiedmann, Orr Zohar, Amir Mahla, Xiaohan Wang, Rui Li, Thibaud Frere, Leandro von Werra, Aritra Roy Gosthipaty, Andrés Marafioti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe hij de wereld kan zien en begrijpen, net als een mens. Om dit te doen, moet je hem miljoenen afbeeldingen tonen en hem leren hoe hij erover kan praten. Dit is wat "Vision-Language Models" (VLM's) doen.

Tot nu toe waren de "handboeken" (datasets) die voor het publiek beschikbaar waren, echter een puinhoop. Ze waren als een bibliotheek waar sommige boeken in verschillende talen waren geschreven, sommige pagina's ontbraken, sommige tikfouten hadden en sommige zelfs kopieën waren van de toetsvragen waar de robot later op zou worden beoordeeld. Dit maakte het moeilijk voor open-source robots om even goed te leren als de dure, geheime robots die door grote technologiebedrijven worden gebouwd.

FineVision is een nieuwe, enorme en zorgvuldig opgeschoonde bibliotheek die is gecreëerd door onderzoekers van Hugging Face, de Technische Universiteit München en Stanford. Hieronder wordt uitgelegd hoe ze het hebben gebouwd en waarom het belangrijk is, in eenvoudige bewoordingen:

1. De Grote Opruiming (Data Curation)

De onderzoekers verzamelden meer dan 200 verschillende bronnen van data – van academische papers tot cloudopslagmappen. Maar ze gewoon bij elkaar gooien zou niet werken.

De Vertaler: Ze bouwden een "semi-geautomatiseerd" systeem (met behulp van AI-helpers) om al deze verschillende formaten te vertalen naar één standaardtaal. Stel je voor dat je 200 verschillende soorten recepten neemt (sommigen in het Frans, sommigen in het Japans, sommigen op servetten geschreven) en ze allemaal omzet naar één enkel, makkelijk te volgen kookboekformaat.
De Menselijke Redacteuren: AI is niet perfect. Dus fungeerden menselijke reviewers als redacteuren. Ze controleerden het werk van de AI, corrigeerden fouten en zorgden ervoor dat de "recepten" veilig en accuraat waren. Als de AI een conversie verprutste, maakten de mensen het goed en zeiden ze tegen de AI om het opnieuw te proberen.
De Dubbelverwijdering: Ze gebruikten een speciale "kopie-detecteur" om dubbele afbeeldingen te vinden en te verwijderen. Als dezelfde foto van een kat 50 keer in de bibliotheek verscheen, bewaarden ze er slechts één (of voegden ze ze samen tot één, rijkere conversatie) zodat de robot niet steeds weer dezelfde kat uit het hoofd leerde.
De Veilige Zone voor Toetsen: Ze controleerden de bibliotheek tegen 66 standaardtoetsen die worden gebruikt om deze robots te beoordelen. Als ze een afbeelding in de bibliotheek vonden die identiek was aan een afbeelding op een toekomstige toets, verwijderden ze die. Dit zorgt ervoor dat de robot echt aan het leren is, en niet gewoon cheat door de antwoorden uit het hoofd te leren.

2. Wat zit er in de Bibliotheek?

Het eindresultaat is FineVision, een verzameling van 24 miljoen voorbeelden (ongeveer 17 miljoen afbeeldingen). Het is niet zomaar een stapel foto's; het is georganiseerd in gesprekken.

Variatie: Het dekt alles, van simpele vragen als "Wat is dit?" tot complexe taken zoals het lezen van een grafiek, het oplossen van wiskundeproblemen of het begrijpen van een document.
De "Actie"-sectie: Een speciaal deel van de bibliotheek leert de robot hoe hij computerinterfaces moet gebruiken (zoals op een muis klikken of op een telefoonscherm typen). Ze hebben dit gestandaardiseerd zodat de robot een universele "taal van actie" leert die werkt op desktops, telefoons en browsers.
Kwaliteitscontrole: Elk gesprek in de bibliotheek werd beoordeeld door AI-rechters (en gecontroleerd door mensen) op vier punten:
1. Opmaak: Is de tekst schoon en leesbaar?
2. Relevantie: Past het antwoord daadwerkelijk bij de vraag?
3. Visuele afhankelijkheid: Moet het antwoord naar de afbeelding kijken om correct te zijn?
4. Overeenstemming: Toont de afbeelding daadwerkelijk waar de vraag over gaat?

3. De Resultaten: Werkt Het?

De onderzoekers trainden een klein robotmodel met deze nieuwe bibliotheek en vergeleken het met modellen die waren getraind op andere populaire, rommelige bibliotheken.

Het Scorebord: De robot die was getraind op FineVision scoorde aanzienlijk hoger op 11 verschillende toetsen. Hij sloeg de vorige beste open-source bibliotheken met een ruime marge (een verbetering van ongeveer 11% tot 38%, afhankelijk van de concurrent).
De "Cheating"-toets: Toen ze de paar resterende "cheat"-afbeeldingen (data die mogelijk gelekt was vanuit de toetsen) uit de trainingsdata verwijderden, daalde de prestatie van de FineVision-robot nauwelijks. Daarentegen daalden de prestaties van de andere robots aanzienlijk. Dit bewijst dat FineVision de robot leerde om te begrijpen, en niet alleen om uit het hoofd te leren.
De GUI-Magie: De robot die was getraind op FineVision was ook veel beter in het navigeren door computerschermen (op knoppen klikken, typen) dan andere kleine modellen, en presteerde net zo goed als modellen die vier keer zo groot waren.

De Conclusie

Het paper beweert dat schone, diverse en goed georganiseerde data het geheime ingrediënt is. Je hebt niet per se een groter model of een geheim dataset nodig; je hebt gewoon een betere bibliotheek nodig. FineVision bewijst dat door de data op te schonen en zorgvuldig te organiseren, open-source modellen eindelijk de grote, gesloten bron-modellen kunnen inhalen.

De onderzoekers hebben de bibliotheek en de tools die ze gebruikten om deze op te schonen, vrijgegeven, in de hoop de hele gemeenschap te helpen slimmere, betrouwbaardere AI-viziesystemen te bouwen.

Technische Samenvatting: FineVision: Open Data Is All You Need

Probleemstelling

De vooruitgang van Vision-Language Models (VLM's) wordt momenteel gehinderd door een gefragmenteerd landschap van openbare datasets. Terwijl propriëtaire modellen gebruikmaken van enorme, zorgvuldig samengestelde corpora, worden open-source alternatieven gedwongen om talloze kleinere, gespecialiseerde datasets aan elkaar te naaien. Deze aanpak leidt tot inconsistenties in annotatieschema's, opmaak en datakwaliteit. Bovendien lijden bestaande open datasets vaak aan vervuiling, waarbij trainingsdata overlapt met evaluatiebenchmarks, wat prestatie-indicatoren kunstmatig opblaast en robuust, data-gedreven onderzoek belemmert. Het vakgebied is verschoven van eenvoudige aggregatie naar de behoefte aan een principiële, schaalbare curatie die diversiteit, hygiëne en opkomende taken zoals agente GUI-interactie aanpakt.

Methodologie

De auteurs introduceren FineVision, een zorgvuldig samengesteld corpus van 24 miljoen steekproeven afgeleid van meer dan 200 openbare bronnen. Het curatieproces maakt gebruik van een semi-automatische, mens-in-de-lus-pijplijn die heterogene data unificeert tot een gestandaardiseerd conversatieschema.

1. Data-curatiepijplijn

Bronaggregatie: Data is verzameld van Hugging Face, institutionele cloudopslag, GitHub-repositories en directe webdownloads.
Semi-automatische conversie: Een hybride aanpak combineert Large Language Model (LLM)-agenten (specifiek Claude) voor bulk-inname en strategievormgeving met menselijke reviewers. De pijplijn breekt conversie op in annotatieanalyse, strategievormgeving, scriptimplementatie en kwaliteitsverificatie.
Mens-in-de-lus-toezicht: Reviewers auditeren mappingen, controleren uitvoer steekproefsgewijs op trouwe annotatieconsumptie en valideren opmaak en diversiteit. Voor agente/GUI-data valideren reviewers unificatie-actieschema's en inspecteren ze trajecten op uitvoerbare betrouwbaarheid.
Unificatieschema: Alle datasets worden omgezet naar een gestandaardiseerd chatformaat (sample = {images, texts, source, metadata}). Niet-conversatie-data (bijv. classificatie) wordt getransformeerd naar natuurlijke QA-paren. Enkele-turn QA-datasets worden vaak gegroepeerd in multi-turn conversaties om rijker trainingssignaal te creëren.

2. Taakspecifieke strategieën

De pijplijn past zes kernconversiestrategieën toe om semantische rijkdom te behouden:

Visuele QA: Groeperen van vragen per afbeelding in multi-turn conversaties met gevarieerde formuleringen.
Bijschriften & Beschrijvingen: Omhullen van ground-truth bijschriften met gerandomiseerde instructieve prompts.
Grounding & Ruimtelijke relaties: Omzetten van ruimtelijke annotaties naar ja/nee-vragen met verklarende antwoorden; coördinaten worden genormaliseerd naar metadata.
Documentbegrip: Verwerken van meerpagina-documenten als lijsten met afbeeldingen met verrijkte antwoorden (afleidingsstappen, feiten).
OCR & Transcriptie: Genereren van exacte transcriptie-omwentelingen naast optionele begrijpende omwentelingen.
Classificatie & Detectie: Omzetten van labels naar beslissingsvragen met verklarende antwoorden.
GUI/Agente Unificatie: Een specifieke pijplijn normaliseert heterogene functiesignaturen en actietaxonomieën uit GUI-datasets naar een unificatie, getypeerde actieruimte met resolutie-agnostische coördinaten.

3. Datahygiëne en decontaminatie

Schoonmaken: Automatische validatie verwijdert beschadigde afbeeldingen, niet-decodeerbare bestanden en misvormde tekst. Tekst wordt genormaliseerd naar UTF-8, besturingskarakters worden verwijderd en omwentelingen worden beperkt tot 8192 tokens.
Duplicaatverwijdering: Zelf-superviserende Copy Detection (SSCD)-embeddings en cosinusgelijkenis worden gebruikt om bijna-dubbele afbeeldingen binnen en tussen bronnen te identificeren en samen te voegen.
Testset-decontaminatie: De pijplijn identificeert trainingsafbeeldingen die lijken op die in 66 openbare VLM-benchmarks. Een conservatieve drempel ( $\tau = 0.95$ ) wordt toegepast om potentiële vervuiling te markeren, hoewel het dataset in zijn originele vorm wordt vrijgegeven met verstrekte vervuilsstatistieken.

Belangrijkste bijdragen

FineVision Corpus: De release van de grootste open bron van zijn soort, met 17 miljoen afbeeldingen, 89 miljoen omwentelingen en 9,5 miljard antwoordtokens verspreid over 185 subsets.
Curatiewerkflow: Een reproduceerbare, semi-automatische, mens-in-de-lus-pijplijn die 200+ bronnen unificeert terwijl taakstructuur en conversatiediversiteit behouden blijven.
Unificatie actieruimte: Een nieuwe bijdrage voor agente taken, die een gestandaardiseerd schema biedt voor GUI-interacties over desktop-, mobiele- en browseromgevingen heen.
Strenge hygiëne: Uitgebreide protocollen voor duplicaatverwijdering en decontaminatie met SSCD-embeddings, met openbare release van de tools en vooraf berekende embeddings.
Kwaliteitsanalyse: Een gedetailleerde karakterisering van het dataset langs vier assen (Opmaak, Relevantie, Visuele afhankelijkheid, Afbeelding-vraag-correspondentie) met behulp van LLM-as-a-judge scoring.

Experimentele resultaten

De auteurs trainden een SmolVLM met 460M parameters op FineVision en vergeleken dit met modellen getraind op The Cauldron, LLaVA-OneVision en Cambrian-7M.

Prestatiewinst: Modellen getraind op FineVision behaalden state-of-the-art resultaten onder open-data VLM's, met significante relatieve verbeteringen:
- +27,7% ten opzichte van The Cauldron
- +11,4% ten opzichte van Cambrian-7M
- +38,4% ten opzichte van LLaVA-OneVision
- (Gemiddelde verbetering van 10,8 procentpunten ten opzichte van baselines over 11 benchmarks).
Trainingsdynamiek: Hoewel de initiële prestaties licht achterbleven vanwege de opname van nieuwe taken, overtroffen FineVision-getrainde modellen na ongeveer één epoch alle baselines, wat superieure generalisatie aantoont.
Robuustheid tegen vervuiling: Bij hertraining op gedecontamineerde versies van de datasets leden basismodellen prestatiedalingen van 2,7–3,7 procentpunten, terwijl het FineVision-model slechts 1,6 punt daalde, wat bevestigt dat de winst niet wordt gedreven door datalekken.
GUI-vaardigheden: Op uitdagende GUI-benchmarks (ScreenSpot-V2 en ScreenSpot-Pro) behaalde het FineVision-getrainde 0,5B-model prestaties vergelijkbaar met een architectonisch equivalent 2B-model, en presteerde het beter dan basiskleine modellen die zonder fijne afstemming niet in staat waren taken op te lossen.
Diversiteitsmetrieken: FineVision vertoont een hoge conceptuele breedte (Effective Rank) en, cruciaal, een superieure Participatieverhouding in vergelijking met andere grote datasets, wat wijst op een uniformere verdeling van visuele concepten.

Betekenis en claims

Het paper beweert dat datahygiëne en doordachte integratie even kritiek zijn als schaal. FineVision toont aan dat een principiële aanpak van curatie – die enorme schaal combineert met strenge schoonmaak, duplicaatverwijdering en menselijk toezicht – de prestatiekloof tussen open-source en propriëtaire VLM's kan dichten.

De auteurs benadrukken dat het dataset niet zomaar een grotere aggregatie is, maar een "fundament" dat is ontworpen voor opkomende taken, met name in agente/GUI-omgevingen via een unificatie actieruimte. Door het corpus, conversierecepten en duplicaatverwijderingstools vrij te geven, streeft het werk ernaar de toegang tot hoogwaardige trainingsdata te democratiseren en de volgende golf van innovatie in open VLM-ontwikkeling te catalyseren. De auteurs erkennen nederig beperkingen, zoals residuële overlappingen en het ontbreken van geïntegreerde community-benchmarks voor GUI-besturing, en positioneren FineVision als een startpunt voor toekomstige uitbreidingen naar video, meertalige dekking en redenering met langere context.