Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual is een geünificeerd visiemodel dat is getraind op industriële schaal met behulp van miljarden afbeeldingen en video's van Facebook en Instagram, en dat door middel van een geavanceerde drie-fasen trainingspipeline en efficiënte architectuur nieuwe prestatiebenchmarks zet voor beeld- en videobegrip.

De kern

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken met duidelijke titels en samenvattingen, zit deze vol met miljoenen losse foto's en video's van mensen die hun dag delen op Facebook en Instagram. De uitdaging? De meeste van deze foto's hebben geen goede beschrijvingen, of ze zijn vol met ruis (zoals "kijk mijn hondje" terwijl het eigenlijk om de achtergrond gaat).

De auteurs van dit paper, een team van Meta AI, hebben een slimme manier bedacht om deze chaotische bibliotheek te ordenen en er een super-intelligente visuele assistent van te maken, genaamd Xray-Visual.

Hier is hoe ze dat deden, vertaald in alledaagse termen:

1. De Grote Schoonmaak (Data Curation)

Stel je voor dat je een berg vuilnis moet sorteren om er de beste schatten uit te halen.

• Het probleem: De originele data (meer dan 100 miljard foto's en video's) was erg rommelig. Veel teksten waren onzin, vol met emojis of URL's.
• De oplossing: Ze bouwden een geautomatiseerde "reinigingsmachine". Deze machine verwijderde alle ruis, vertaalde alles naar het Engels en zorgde ervoor dat ze niet alleen foto's van honden kregen, maar ook van zeldzame vogels of specifieke gerechten. Ze maakten de dataset evenwichtig, alsof ze een buffet hadden waar elke gerecht even vaak voorkomt, in plaats van dat er alleen maar pizza ligt.

2. De Drie-Traps Raket (Training)

Ze leerden hun model niet in één keer alles. Ze gebruikten een drie-stappenplan, net zoals je een kind leert lezen:

1. De Gokker (Self-Supervised Learning): Eerst kregen ze de foto's met gaten erin (alsof je een puzzel hebt waarbij 75% van de stukjes ontbreekt). Het model moest de ontbrekende stukjes raden. Hierdoor leerde het de basisstructuur van de wereld begrijpen zonder dat iemand hoefde te vertellen wat er op de foto staat.
2. De Hashtag-Expert (Semi-Supervised): Vervolgens kregen ze de foto's met de originele hashtags (zoals #zomer, #vakantie). Ze leerden deze woorden koppelen aan de beelden.
3. De Vertaler (Contrastive Learning): Tenslotte leerden ze het model om foto's en lange, mooie zinnen (beschrijvingen) met elkaar te matchen. Hierbij gebruikten ze een slimme truc: ze vervingen de simpele tekst-vertaler door een LLM (een taalmodel zoals LLaMA).
   • De analogie: Stel je voor dat je een simpele woordenboek-vertaler hebt versus een ervaren schrijver. De schrijver (het LLM) begrijpt nuance, humor en context veel beter. Hierdoor kan het model niet alleen zeggen "dit is een hond", maar ook "een vrolijke hond die rent in het gras".

3. Slimme Besparingen (Efficiency)

Meestal moeten zulke slimme modellen enorme rekenkracht gebruiken, alsof ze een vrachtwagen nodig hebben om een fiets te vervoeren.

• De truc: Ze gebruikten een techniek genaamd EViT. Stel je voor dat je een foto van 1000 pixels hebt. In plaats van elk pixel te bekijken, kijkt het model alleen naar de belangrijke stukjes en negeert het de saaie stukjes (zoals een blauwe lucht die niks te zeggen heeft).
• Het resultaat: Het model is 4 keer sneller en gebruikt 4 keer minder rekenkracht dan de concurrenten, maar is net zo slim of zelfs slimmer. Het is alsof je een Ferrari hebt die net zo snel rijdt als een vrachtwagen, maar met de helft van de brandstof.

4. Waarom is dit zo belangrijk? (De Realiteit)

De meeste AI-modellen zijn getraind op "schone" academische datasets. Ze zijn als een student die alleen in de bibliotheek heeft gezeten: ze doen het perfect op een examen, maar raken in paniek in de echte wereld.

• Xray-Visual is getraind op de echte chaos van het internet. Daardoor is het veel robuuster. Als je een foto maakt in slecht licht, met een rare hoek of met een filter, herkent het model het nog steeds.
• Ze toonden aan dat bestaande modellen faalden op echte Facebook/Instagram-data, terwijl Xray-Visual daar juist glansde.

Samenvattend

Xray-Visual is een super-receptie voor beelden.

• Het heeft miljarden foto's en video's gezien.
• Het is opgeleid in drie stappen (puzzelen, hashtags lezen, en diep begrijpen).
• Het gebruikt een slimme taal-expert om te begrijpen wat er gebeurt.
• Het is extreem efficiënt en kan dus snel werken op je telefoon of in de cloud.

Dit model helpt Meta om je beter te begrijpen, of het nu gaat om het vinden van de juiste reclame voor jou, het zoeken naar een specifieke video in je feed, of het begrijpen van wat er op een foto gebeurt, zelfs als de foto niet perfect is. Het is de brug tussen de ruwe data van het internet en echt slimme visuele intelligentie.

Technische samenvatting

Probleemstelling

Hoewel computerzicht (computer vision) de afgelopen jaren enorme vooruitgang heeft geboekt, lopen visuele modellen nog steeds achter bij grote taalmodellen (LLMs) wat betreft schaal en generalisatie. De succesfactoren van LLMs zijn de overvloed aan menselijk gegenereerde tekst, terwijl het verzamelen en cureren van visuele data op vergelijkbare schaal uitdagend blijft. Bestaande visuele modellen presteren vaak goed op academische benchmarks, maar vertonen significante prestatieverlies bij domeinverschuivingen (domain shift) en in real-world scenario's, zoals die voorkomen op sociale media. Er is een behoefte aan een model dat kan trainen op industriële schaal (miljarden beelden en video's) en robuust is tegen ruis en variatie in de data.

Methodologie

1. Data Curation en Schaal
Het team van Meta AI heeft een uitgebreide data-curatiepijplijn ontwikkeld om ruwe sociale media-data om te zetten in hoogwaardige supervisie:

• ViSE (Image Dataset): Een dataset van meer dan 15 miljard beeld-tekstparen afkomstig van Facebook en Instagram. De data is grondig schoongemaakt (verwijdering van URL's, emoji's, tags) en semantisch gebalanceerd via WordNet-synsets om de lange staart (rare concepten) beter te vertegenwoordigen.
• Video Dataset: 10 miljard video-hashtagparen van Instagram. In plaats van gebruikerscaptions (vaak ruisig), worden hashtags gebruikt als precieze visuele beschrijvingen. Deze worden "gecanonicaliseerd" (semantisch gelijkwaardige hashtags samengevoegd) en opnieuw gesampled.
• Synthetische Captions: Gebruik van een intern multimodaal LLM (MMLLM) om synthetische captions te genereren, gevolgd door herschrijven met LLaMA om herhaling te verminderen en diversiteit te vergroten.

2. Model Architectuur
Xray-Visual gebruikt een unified architecture voor zowel afbeeldingen als video's, gebaseerd op Vision Transformers (ViT):

• Backbone: Een ViT met 3D-tokenisatie om video's direct te verwerken. Afbeeldingen worden tijdelijk herhaald om te matchen met de 3D-convolutie.
• EViT (Efficient ViT): Implementatie van "token reorganization" om inattentieve tokens te verwijderen. Dit stelt het model in staat om hogere resoluties (336px) te verwerken met slechts 288 tokens (in plaats van 1024 bij concurrenten), wat leidt tot een enorme efficiëntieverbetering.
• Registers: Toevoeging van extra "register tokens" aan de sequentie om uitbijters (outliers) beter te vangen en de video-prestaties te verbeteren.
• LLM als Tekstencoder (LLM2CLIP): In plaats van een standaard CLIP-tekstencoder, wordt LLaMA-1B gebruikt. Dit verhoogt het contextvenster en de semantische begrip van complexe beschrijvingen, wat cruciaal is voor real-world retrieval.

3. Trainingspijplijn (3 Stadia)
Het model wordt getraind in drie opeenvolgende fasen:

1. Zelftoezicht (Self-Supervised): Masked Autoencoding (MAE) om visuele representaties te leren van gemaskerde patches (75% maskering voor beelden, 90% voor video's).
2. Semi-toezicht (Semi-Supervised): Hashtag-classificatie op de gecurateerde datasets om object-gerichte representaties te versterken.
3. Contrastief Leren (CLIP-style): Alignering van visuele en tekstuele representaties met behulp van gecurateerde caption-paren. Hierbij wordt ook gebruikgemaakt van SLIP (Self-supervision meets Language-Image Pre-training) en een denoising loss om robuustheid tegen ruis te vergroten.

4. Sampling Strategie
Om bias te voorkomen tijdens het gezamenlijke trainen van beelden en video's, wordt een probabilistische samplingstrategie gebruikt. Batches worden zo verdeeld dat beide modaliteiten uniform binnen een epoch worden blootgesteld, ongeacht het totale aantal samples.

Belangrijkste Bijdragen

• Industriële Schaal Data: Het presenteren van de grootste tot nu toe gepubliceerde dataset voor visuele encoder-training (26 miljard afbeeldingen en video's in totaal), met name de 10 miljard video-uren.
• Unificatie van Modaliiteiten: Een enkel model dat zowel beelden als video's verwerkt, wat de deploy-kosten verlaagt en synergie tussen de modaliteiten benut.
• Efficiëntie: Het bereiken van state-of-the-art resultaten met 71,9% minder tokens en 43,75% minder pixeloppervlak dan concurrenten (zoals SigLIP en PE), wat leidt tot een 4x hogere queries per seconde (QPS).
• LLM2CLIP: Het succesvol integreren van een LLM als tekstencoder, wat aanzienlijk betere generalisatie en retrieval-prestaties oplevert in real-world omgevingen.
• Robuustheid: Het model toont superieure prestaties bij domeinverschuivingen en adversarial perturbaties, wat vaak een zwak punt is bij bestaande modellen.

Resultaten

Xray-Visual behaalt state-of-the-art (SOTA) resultaten op diverse benchmarks:

• Afbeelding: 89,3% Top-1 nauwkeurigheid op ImageNet (met 336px resolutie en 288 tokens).
• Video: 78,1% Top-1 op Kinetics-700 en 74,69% op HMDB51.
• Retrieval: Nieuwe SOTA op MS-COCO (beeld-naar-tekst en tekst-naar-beeld) en interne Meta-benchmarks (Reels-to-Ads, FB Search).
• Robuustheid: Significant betere prestaties op OOD-datasets (Out-of-Distribution) zoals ObjectNet en ImageNet-Sketch.
• Interne Metrics: Op real-world taken (zoals advertentie-matching) presteert het model aanzienlijk beter dan concurrenten (bijv. +10,8% AUC verbetering op Instagram Reels-to-Ads retrieval ten opzichte van Perception Encoder).

Betekenis en Impact

Dit paper markeert een verschuiving in visuele modellering van puur academische benchmarks naar industriële toepasbaarheid. Het bewijst dat het trainen op enorme, ruwe, maar zorgvuldig gecurateerde datasets van sociale media leidt tot modellen die niet alleen nauwkeuriger zijn, maar vooral veel robuuster in de echte wereld.

De belangrijkste inzichten zijn:

1. Schaal is cruciaal: Het gebruik van miljarden samples is nodig om de "long-tail" van visuele concepten te dekken.
2. Efficiëntie en Schaal gaan samen: Door slimme architecturale keuzes (EViT, token merging) kan men grotere datasets verwerken zonder exponentiële kostenstijging.
3. LLMs verbeteren Visie: Het gebruik van LLMs als tekstencoders lost het probleem op van beperkte context en zwakke semantische begrip in traditionele CLIP-modellen, wat essentieel is voor complexe zoekopdrachten en aanbevelingssystemen.

Xray-Visual stelt een nieuwe standaard voor schaalbare, multimodale visuele modellen en biedt een blauwdruk voor hoe grote technologiebedrijven hun eigen data-ecosystemen kunnen benutten voor het bouwen van superieure AI-systemen.