Xray-Visual Models: Scaling Vision models on Industry Scale Data

Das Paper stellt Xray-Visual vor, ein einheitliches Vision-Modell, das auf über 25 Milliarden kuratierten Bild- und Videodaten von Facebook und Instagram trainiert wurde und durch eine dreistufige Trainingspipeline sowie effiziente Architekturen neue Maßstäbe in Bezug auf Leistung, Skalierbarkeit und Robustheit bei multimodalen Aufgaben setzt.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem Kind beizubringen, die Welt zu verstehen. Bisher haben wir dem Kind nur ein paar hundert Bilder aus einem Lehrbuch gezeigt und es dann auf einen Test geschickt. Das Kind bestand den Test, aber sobald es auf die echte Straße ging, war es verwirrt.

Das ist das Problem, das das Team von Meta AI mit Xray-Visual lösen wollte. Sie haben eine neue Art von „Augen" für Computer entwickelt, die nicht nur aus Büchern lernen, sondern aus dem gesamten, chaotischen Internet.

Hier ist die Geschichte von Xray-Visual, einfach erklärt:

1. Der riesige Datenschatz: Von der Bibliothek zum Ozean

Stellen Sie sich vor, die meisten KI-Modelle lernen in einer kleinen, sauberen Bibliothek mit 10.000 perfekten Bildern. Xray-Visual hingegen wurde in einem Ozean aus 15 Milliarden Bildern und 10 Milliarden Videos trainiert. Das sind Posts von Facebook und Instagram.

Aber ein Ozean ist voller Müll (Werbung, Spam, unsinnige Kommentare). Wenn man einem Kind einfach alles zeigt, lernt es vielleicht, dass ein „Hund" auch ein „Pizza-Schnitzel" sein kann, weil jemand das falsch getaggt hat.

• Die Lösung: Das Team baute einen riesigen „Sieb-Maschinen"-Prozess. Sie filterten den Müll heraus, sortierten die Bilder nach Themen (damit das Kind nicht nur 1000 Bilder von Hunden, sondern auch von seltenen Insekten sieht) und machten die Beschriftungen sauber. Sie haben das Chaos in eine strukturierte Welt verwandelt.

2. Der dreistufige Lernplan: Vom Malen zum Sprechen

Statt das Kind sofort zu einem schweren Test zu schicken, gaben sie ihm einen cleveren Lernplan in drei Schritten:

• Schritt 1: Das Puzzle-Spiel (Selbstüberwachtes Lernen):
  Das Kind bekommt ein Bild, bei dem 75% der Teile fehlen. Es muss raten, was dahinter ist. Das trainiert das Gehirn, Muster zu erkennen, ohne dass jemand ihm sagt, was es ist. Es lernt: „Oh, hier ist ein Auge, also muss da unten eine Nase sein."
• Schritt 2: Das Etikettieren (Hashtag-Klassifizierung):
  Jetzt zeigt man dem Kind Bilder mit Hashtags (z. B. #Sonnenuntergang, #Hund). Es lernt, die visuellen Muster mit den Wörtern zu verknüpfen.
• Schritt 3: Das Gespräch (Kontrastives Lernen):
  Hier kommt der Clou. Das Kind sieht ein Bild und einen Text. Es muss lernen, dass diese beiden zusammengehören. Aber nicht irgendein Text – sie nutzten LLM2CLIP.
  • Die Analogie: Früher benutzten Computer für Texte einen kleinen, starren Wörterbuch-Eintrag. Xray-Visual nutzt stattdessen einen großen, klugen Sprach-Assistenten (wie LLaMA) als Übersetzer. Dieser Assistent versteht Nuancen, Witze und lange Beschreibungen viel besser als ein einfaches Wörterbuch. Das Ergebnis: Das Bild und der Text verstehen sich perfekt, auch wenn die Beschreibung kompliziert ist.

3. Der effiziente Superheld: Schneller und schlanker

Früher mussten Computer für ein hochauflösendes Bild tausende von kleinen Puzzleteilen (Tokens) verarbeiten. Das war langsam und teuer, wie ein Lastwagen, der nur eine Postkarte transportiert.
Xray-Visual nutzt eine Technik namens EViT.

• Die Analogie: Stellen Sie sich vor, Sie schauen durch ein Fenster. Ein normaler Computer schaut auf jedes einzelne Ziegelstein des Fensterrahmens. Xray-Visual schaut nur auf die wichtigen Teile (das Bild in der Mitte) und ignoriert den leeren Himmel oder den Rahmen, der nichts zur Geschichte beiträgt.
• Das Ergebnis: Es ist 4-mal schneller und braucht viel weniger Rechenleistung, ist aber trotzdem genauer als die alten Modelle.

4. Warum ist das wichtig? (Der Realitäts-Check)

Das Schönste an Xray-Visual ist nicht nur, dass es Tests in der Schule (akademische Benchmarks) besteht. Es ist, dass es im echten Leben funktioniert.

• Das Problem: Andere Modelle sind wie Sportler, die nur im Stadion trainieren. Sobald sie auf den Asphalt der Stadt kommen, stolpern sie.
• Xray-Visual: Weil es auf echten Social-Media-Daten trainiert wurde, kennt es die „Straßen". Es erkennt Dinge auch dann, wenn das Bild unscharf ist, das Licht schlecht ist oder das Objekt etwas anders aussieht als im Lehrbuch. Es ist robuster gegen „Domain Shift" (den Wechsel vom Labor in die echte Welt).

Zusammenfassung in einem Satz

Xray-Visual ist wie ein polymathischer Weltenbummler: Es hat Milliarden von Bildern und Videos gesehen, gelernt, was wirklich wichtig ist, ignoriert den Müll, versteht komplexe Sprache dank eines klugen Assistenten und ist dabei so schnell und effizient, dass es überall eingesetzt werden kann – von der Suche nach dem perfekten Werbevideo bis hin zur Erkennung von Inhalten in sozialen Medien.

Es zeigt uns, dass man für eine wirklich intelligente KI nicht nur mehr Daten braucht, sondern bessere Daten und einen besseren Lernplan.

Technische Zusammenfassung

Titel: Xray-Visual: Skalierung von Vision-Modellen auf Industriedatenbasis

Autoren: Shlok Mishra et al. (Meta AI, MIT, University of Maryland)
Datum: Februar 2026

---

1. Problemstellung

Trotz enormer Fortschritte in der Computer Vision hinken visuelle Modelle hinter großen Sprachmodellen (LLMs) in Bezug auf die Datenmenge und die Generalisierungsfähigkeit zurück. Der Erfolg von LLMs basiert auf der Fülle an menschlich generierten Textdaten, während die Sammlung und Kuratierung visueller Daten in vergleichbarem Maßstab schwierig ist. Bestehende Vision-Encoder leiden oft unter:

• Datenmangel: Fehlende Trainingsdaten im industriellen Maßstab.
• Domain-Shift: Signifikante Leistungsverschlechterung bei realen, verteilten Daten (Out-of-Distribution), die von akademischen Benchmarks abweichen.
• Ineffizienz: Hoher Rechenaufwand bei hohen Auflösungen und Token-Anzahlen.
• Sprachlimitierung: Herkömmliche Text-Encoder (wie in CLIP) haben begrenzte Kontextfenster und schwaches Textverständnis für komplexe Beschreibungen.

2. Methodik

A. Datenerstellung und Kuratierung (ViSE & URU)

Das Team entwickelte eine robuste Pipeline, um aus über 100 Milliarden rohen Social-Media-Daten (Facebook/Instagram) hochwertige Datensätze zu erstellen:

• ViSE (Image Dataset): Über 15 Milliarden Bild-Text-Paare.
  • Bereinigung: Entfernung von URLs, Emojis, User-Tags und nicht-semantischem Inhalt.
  • Semantisches Balancing: Nutzung von WordNet-Synsets zur Umverteilung (Resampling) von Kopf- und Schwanz-Verteilungen, um die semantische Vielfalt zu maximieren.
  • Noise-Suppression: Filterung basierend auf Ähnlichkeits-Scores (MetaCLIP) und Label Smoothing.
• URU (Video Dataset): 10 Milliarden Video-Hashtag-Paare aus 24 Milliarden Instagram-Posts.
  • Hashtag-Kanonisierung: Mapping von benutzerdefinierten Hashtags auf kanonische, semantisch konsistente Begriffe.
  • Synthetische Beschreibungen: Generierung von Captions mittels Multimodaler LLMs (MMLLM), gefolgt von einer Refinierung durch LLaMA (Rewriting), um Wiederholungen zu eliminieren und die Vielfalt zu erhöhen.

B. Modellarchitektur

• Unified Backbone: Ein Vision Transformer (ViT) mit 3D-Tokenisierung, der sowohl Bilder als auch Videos in einem einzigen Framework verarbeitet.
• EViT (Efficient Vision Transformer): Nutzung einer Token-Reorganisierungstechnik, die nicht-aufmerksame Token (inattentive tokens) verwirft. Dies ermöglicht die Verarbeitung höherer Auflösungen (bis 336px) mit deutlich weniger Tokens (288 Tokens vs. 1024 bei Baselines) bei minimalem Rechenaufwand.
• LLM als Text-Encoder (LLM2CLIP): Ersetzung des Standard-CLIP-Text-Encoders durch LLaMA-1B. Dies löst Probleme mit begrenztem Kontext und schwachem Textverständnis. Durch Fine-Tuning (LoRA) und Adapter-Module wird die Ausrichtung zwischen visuellen und linguistischen Embeddings optimiert.
• Register-Token: Zusätzliche Token, die outlier-Features besser erfassen und die Video-Leistung steigern.

C. Drei-Stufen-Trainingspipeline

1. Selbstüberwachtes Lernen (MAE): Masked Autoencoding auf Bildern und Videos (75% Maskierung für Bilder, 90% für Videos) zur Erlernung robuster visueller Repräsentationen.
2. Semi-überwachtes Hashtag-Klassifizierung: Feinabstimmung auf großen Hashtag-Datensätzen (URU), um objektspezifische Repräsentationen zu stärken.
3. Kontrastives Lernen (CLIP-Style): Ausrichtung von visuellen und textuellen Repräsentationen unter Verwendung kuratierter Bild- und Video-Captions.
   • Zusätzliche Ziele: Einsatz von SLIP (Kombination aus Selbstüberwachung und Kontrastivlernen), Denoising Loss (zur Stabilisierung und Skalierbarkeit) und Siamese Loss (Kombination aus synthetischen Captions und Hashtags für Video-Aktionen).

D. Training-Strategien

• Batch-Sampling: Probabilistisches Sampling von Bild- und Videobatches, um eine gleichmäßige Exposition während eines Epochs zu gewährleisten und Modality-Bias zu vermeiden.
• Progressive Resolution: Training beginnt bei niedriger Auflösung (224px) und steigt schrittweise bis auf 448px an, um Recheneffizienz zu maximieren.
• Optimierer: Verwendung von Lion statt AdamW für bessere Skalierung.

3. Wichtige Beiträge

1. Industrielle Datenmenge: Präsentation des bisher größten kuratierten Datensatzes für Vision-Encoder-Pre-Training (15 Mrd. Bilder, 10 Mrd. Videos).
2. Einheitliche Architektur: Ein Modell, das sowohl für Bilder als auch für Videos SOTA-Ergebnisse liefert, ohne separate Modelle zu benötigen.
3. Effizienz: Durch EViT und Token-Merging wird die Token-Anzahl um 75% reduziert (288 Tokens bei 336px), was zu einer 4-fachen Steigerung der Queries per Second (QPS) führt.
4. LLM-Integration: Demonstration, dass LLMs als Text-Encoder die Generalisierung in realen Szenarien (Reels-to-Ads) massiv verbessern, auch wenn akademische Benchmarks nur marginale Unterschiede zeigen.
5. Robustheit: Nachweis, dass das Modell signifikant robuster gegenüber Domain-Shift und adversarialen Störungen ist als bestehende State-of-the-Art-Modelle.

4. Ergebnisse

• ImageNet (Bilder):
  • 89,3% Top-1 Genauigkeit (Linear Probing) – neuer State-of-the-Art.
  • Erreicht dies mit nur 288 Tokens bei 336px Auflösung, während Baselines (PE, SigLIP) 1024 Tokens bei 448px benötigen.
• Kinetics & HMDB51 (Video):
  • 78,1% Top-1 auf Kinetics-700 (SOTA).
  • Das Joint Image-Video-Modell übertrifft reine Video-Modelle, da es Synergien aus Bild- und Videodaten nutzt.
• Cross-Modal Retrieval (MSCOCO):
  • Neue SOTA-Ergebnisse bei Image-to-Text und Text-to-Image Retrieval.
• Robustheit & OOD (Out-of-Distribution):
  • Deutliche Verbesserungen auf ObjectNet (+8,1%), ImageNet-Adversarial (+15,5%) und ImageNet-Rendition.
  • Interne Metriken (Meta): Bei realen Aufgaben wie „Reels-to-Ads" und „FB Search" zeigt Xray-Visual massive Verbesserungen (+10,8% AUC) gegenüber Perception Encoder (PE), was die Limitierungen akademischer Benchmarks für reale Anwendungen aufzeigt.
• Effizienz: 4x höhere Effizienz (QPS) bei gleicher oder besserer Genauigkeit im Vergleich zu Modellen wie PE oder DiNO.

5. Bedeutung und Fazit

Das Paper „Xray-Visual" markiert einen Paradigmenwechsel in der Entwicklung von Vision-Modellen:

• Skalierung ist entscheidend: Es beweist, dass die Nutzung von Milliarden industrieller Social-Media-Daten (mit sorgfältiger Kuratierung) zu überlegenen Modellen führt, die akademische Datensätze übertreffen.
• Realitätsnähe: Die Arbeit unterstreicht, dass SOTA-Ergebnisse auf akademischen Benchmarks nicht automatisch auf reale Produktionsumgebungen übertragbar sind. Die Integration von LLMs als Text-Encoder und das Training auf heterogenen, realen Daten sind essenziell für robuste Anwendungen.
• Effizienz: Durch die Kombination von EViT und fortschrittlichen Trainingsstrategien wird gezeigt, dass hohe Genauigkeit nicht zwingend mit extrem hohem Rechenaufwand einhergehen muss.

Xray-Visual etabliert neue Benchmarks für skalierbare, multimodale Vision-Modelle und liefert einen Fahrplan für den Einsatz solcher Modelle in großen Produktionsumgebungen wie denen von Meta.