Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual es un modelo unificado de visión entrenado a escala industrial con datos de redes sociales que, mediante una arquitectura eficiente y un pipeline de entrenamiento de tres etapas, logra un rendimiento superior en clasificación de imágenes, comprensión de video y recuperación multimodal, mejorado aún más mediante la integración de modelos de lenguaje grandes.

Lo esencial

¡Hola! Imagina que quieres enseñar a un niño a reconocer el mundo. Podrías mostrarle 100 fotos de gatos y 100 de perros, pero el niño solo aprendería esas 200 fotos. Si luego le muestras un gato en la nieve o un perro con un sombrero, podría confundirse.

Xray-Visual es como ese niño, pero en lugar de aprender con 200 fotos, ha visto más de 26 mil millones de imágenes y videos de Facebook e Instagram. Es un "super-cerebro" visual creado por Meta que no solo ve, sino que entiende lo que ve, incluso en situaciones caóticas y reales.

Aquí te explico cómo funciona, usando analogías sencillas:

1. La Gran Biblioteca de Internet (Los Datos)

Imagina que tienes una biblioteca desordenada con millones de libros escritos por extraños. Algunos están en idiomas raros, otros tienen garabatos, y muchos son solo emojis.

• El problema: Si usas esos libros tal cual, el niño aprenderá cosas raras.
• La solución de Xray: El equipo de Meta actuó como unos bibliotecarios super-organizados.
  • Limpian el "ruido": Quitan enlaces, correos y emojis.
  • Equilibran la dieta: Si hay 1 millón de fotos de "gatos" pero solo 10 de "aviones", el sistema reduce las fotos de gatos y busca más de aviones para que el niño no sea un experto solo en gatos.
  • Traductores inteligentes: Usaron una Inteligencia Artificial (un LLM) para reescribir las descripciones de los videos, haciéndolas más claras y menos repetitivas, como si un profesor corriera los deberes de un alumno.

2. El Entrenamiento en Tres Etapas (La Escuela)

Xray no aprende todo de golpe. Sigue un plan de estudios de tres niveles, como un atleta olímpico:

• Nivel 1: El Juego de "Encuentra la Pieza Faltante" (MAE).
  Imagina que le muestran una foto de un perro y le cubren la mitad con una manta. El modelo debe adivinar qué hay debajo basándose en lo que ve. Esto le enseña a entender la estructura de las cosas sin necesidad de que nadie le diga "esto es un perro".
• Nivel 2: El Examen de Etiquetas (Hashtags).
  Ahora le muestran videos y le dicen: "¿Qué está pasando aquí? ¿Es 'bailando' o 'corriendo'?". Usa los hashtags que la gente pone en Instagram (que suelen ser muy precisos sobre el contenido visual) para aprender a clasificar acciones.
• Nivel 3: La Pareja Perfecta (Contraste).
  Aquí es donde ocurre la magia. Le muestran una foto de una playa y le dan dos textos: "Playa soleada" y "Desierto árido". El modelo debe aprender a emparejar la foto correcta con el texto correcto. Al hacerlo millones de veces, aprende a conectar lo que ve con lo que se lee.

3. El Superpoder: Usar un "Cerebro de Lenguaje" para Leer

La mayoría de los modelos de visión tienen un "traductor" de texto muy básico (como un diccionario pequeño). Xray hizo algo revolucionario: usó un cerebro de lenguaje gigante (LLaMA) como traductor.

• La analogía: Imagina que para entender una pintura, la mayoría de los modelos usan un niño de 5 años para leer la descripción. Xray usa a un profesor universitario experto en literatura.
• El resultado: El modelo entiende matices, ironías y descripciones complejas. Esto es crucial para buscar cosas en el mundo real, donde la gente escribe cosas raras y creativas, no solo palabras clave simples.

4. Eficiencia: Hacer más con menos

Normalmente, para ver una imagen en alta calidad, los modelos necesitan "descomponerla" en miles de piezas pequeñas (tokens), lo que consume mucha energía y tiempo.

• La analogía: Imagina que para ver un cuadro, tienes que mirar cada pincelada individualmente. Xray es como un pintor experto que puede ver el cuadro completo y entenderlo mirando solo las partes importantes, ignorando los detalles que no aportan nada.
• Beneficio: Es 4 veces más rápido y consume mucha menos energía que sus competidores, pero sigue siendo más preciso.

5. ¿Por qué es tan bueno en la vida real?

Muchos modelos son como estudiantes que sacan 10 en los exámenes de la escuela (bancos de datos académicos perfectos), pero se bloquean en la vida real.

• El problema: Si un modelo ve un gato en una foto de estudio, sabe que es un gato. Pero si el gato está en la nieve, con un filtro de Instagram o con mala luz, el modelo se confunde.
• La ventaja de Xray: Como se entrenó con datos reales de redes sociales (sucios, variados, con mala luz, con filtros), es extremadamente robusto. No se confunde con el "ruido" del mundo real. Funciona mejor cuando busca anuncios relacionados con videos, o cuando intenta encontrar una foto específica entre millones en Facebook.

En resumen

Xray-Visual es un modelo de visión artificial que:

1. Aprendió viendo billones de fotos y videos reales.
2. Se entrenó con un método de 3 pasos (jugar, etiquetar, emparejar).
3. Usa un cerebro de lenguaje avanzado para entender lo que lee.
4. Es rápido y eficiente, haciendo más con menos recursos.

Es como pasar de tener un perro de guardia que solo ladra a personas con uniformes, a tener un detective que puede reconocer a cualquier persona, en cualquier situación, con cualquier ropa, y entender exactamente qué está haciendo.

Resumen técnico

Resumen Técnico: Xray-Visual

1. El Problema

A pesar de los avances recientes en visión por computadora, los modelos de visión aún se quedan atrás en comparación con los Grandes Modelos de Lenguaje (LLMs) en términos de escala de datos y capacidad de generalización. La principal barrera es la dificultad para recopilar y curar datos visuales a la misma escala masiva que los datos de texto generados por humanos.

• Limitaciones actuales: Los modelos existentes a menudo carecen de robustez ante cambios de dominio (domain shift) y perturbaciones adversarias en entornos del mundo real (como redes sociales).
• Ineficiencia: Muchos modelos de alto rendimiento requieren resoluciones de entrada muy altas y un número excesivo de tokens, lo que incrementa drásticamente los costos computacionales y limita su escalabilidad en producción.
• Brecha de rendimiento: Existe una desconexión entre el rendimiento en benchmarks académicos (como ImageNet) y el rendimiento en tareas de recuperación y búsqueda en entornos industriales reales.

2. Metodología

Xray-Visual es una arquitectura unificada de visión diseñada para el aprendizaje multimodal (imagen y video) a escala industrial. Su metodología se basa en tres pilares fundamentales:

A. Curación de Datos a Escala Industrial

• Escala: Se entrenó con más de 15 mil millones de pares imagen-texto y 10 mil millones de pares video-hashtag, extraídos de Facebook e Instagram. Esto representa aproximadamente 10 millones de horas de video, una cantidad 10 veces superior a modelos previos como JEPA.
• Pipeline de Curación:
  • Limpieza: Eliminación rigurosa de ruido (URLs, emojis, etiquetas de usuario) y normalización de hashtags.
  • Balanceo Semántico: Uso de WordNet para identificar sinónimos y re-muestrear la distribución de cola larga (long-tail), asegurando que conceptos visuales raros estén bien representados.
  • Supresión de Ruido: Filtrado basado en similitud utilizando un modelo MetaCLIP pre-entrenado y suavizado de etiquetas (label smoothing).
  • Capturas Sintéticas: Generación de descripciones sintéticas mediante MMLLMs (Modelos de Lenguaje Multimodal) y refinamiento posterior mediante LLMs (LLaMA-1B) para eliminar repeticiones y mejorar la diversidad léxica.

B. Arquitectura del Modelo

• Backbone Unificado: Se basa en un Vision Transformer (ViT) con tokenización 3D, permitiendo procesar imágenes y videos en un solo marco. Las imágenes se repiten en la dimensión temporal para compatibilidad con convoluciones 3D.
• Eficiencia (EViT): Implementa Token Reorganization (reorganización de tokens) para eliminar tokens no atentos, permitiendo procesar resoluciones más altas (336x336) con solo 288 tokens (una reducción del 71.9% en tokens y 84.2% en costo computacional comparado con modelos base).
• Codificador de Texto LLM: Reemplaza los codificadores de texto estándar de CLIP por LLaMA-1B. Para solucionar la homogeneidad de características de los LLMs, se utiliza un enfoque de fine-tuning con LoRA y alineación de espacio de salida (similar a LLM2Vec) para mejorar la discriminación semántica.
• Componentes Adicionales: Uso de Register tokens para capturar características atípicas (outliers) y mejorar el rendimiento en video.

C. Pipeline de Entrenamiento de Tres Etapas

1. Autoencoders enmascarados (MAE): Aprendizaje auto-supervisado inicial para aprender representaciones visuales robustas a partir de parches enmascarados (75% en imágenes, 90% en video).
2. Clasificación de Hashtags Semi-supervisada: Fine-tuning utilizando hashtags curados para aprender representaciones centradas en objetos y acciones.
3. Aprendizaje Contrastivo (CLIP-style): Alineación de representaciones visuales y textuales utilizando pares imagen/video-captura. Se incorpora una pérdida de denoising (Lden) para estabilizar el entrenamiento y mejorar la robustez, además de combinar objetivos de SLIP (Self-supervision meets Language-Image Pre-training).

3. Contribuciones Clave

• Dataset ViSE y URU: Creación de los conjuntos de datos de visión más grandes y curados públicamente disponibles hasta la fecha (15B imágenes y 10B videos), superando significativamente a los conjuntos de datos académicos anteriores.
• Arquitectura Unificada Eficiente: Un solo modelo que maneja imagen y video simultáneamente, logrando un rendimiento superior en video gracias a la sinergia de datos cruzados, manteniendo un alto rendimiento en imagen con una fracción de los tokens computacionales.
• Integración de LLMs como Codificadores de Texto: Demostración de que el uso de LLMs (LLaMA) como codificadores de texto mejora drásticamente la recuperación en el mundo real, superando las limitaciones de los codificadores de texto tradicionales de CLIP.
• Estrategias de Entrenamiento Avanzadas: Validación de técnicas como el muestreo probabilístico de lotes (batch sampling) para equilibrar imagen/video, el uso de pérdidas de denoising para escalabilidad, y el entrenamiento progresivo de resolución.

4. Resultados

Xray-Visual establece nuevos estándares de rendimiento (State-of-the-Art - SOTA) en múltiples frentes:

• Clasificación de Imágenes: Alcanza 89.3% de precisión Top-1 en ImageNet (con 336px y 288 tokens), superando a modelos como PE, SigLIP y DiNO que utilizan resoluciones y tokens muy superiores.
• Comprensión de Video: Logra 78.1% en Kinetics-700 y 74.69% en HMDB51, superando a los modelos de visión pura y modelos multimodales existentes.
• Recuperación Multimodal:
  • SOTA en MS-COCO para recuperación imagen-texto.
  • Mejoras significativas en métricas internas de Meta (Reels a Anuncios, Búsqueda en Facebook), con ganancias de +10.8% en escenarios de cambio de dominio (cross-domain) comparado con la línea base Perception Encoder.
• Robustez: El modelo demuestra una superioridad notable en conjuntos de datos de distribución fuera de entrenamiento (OOD) y adversarios (como ImageNet-A y ObjectNet), donde los modelos SOTA tradicionales sufren degradaciones severas.
• Eficiencia: Opera con un 4x más de consultas por segundo (QPS) que los modelos comparables debido a la reducción de tokens y el uso de EViT.

5. Significancia

El trabajo de Xray-Visual es fundamental por varias razones:

1. Validación de la Escala Industrial: Demuestra que entrenar con datos masivos de redes sociales, cuando se curan adecuadamente, supera a los enfoques basados en datos académicos limpios, especialmente en tareas del mundo real.
2. Puente entre Academia e Industria: Cierra la brecha entre el rendimiento en benchmarks académicos y la utilidad práctica en producción, mostrando que la robustez ante el ruido y el cambio de dominio es crítica para aplicaciones reales.
3. Eficiencia Computacional: Provee una ruta viable para escalar modelos de visión a miles de millones de parámetros sin prohibir los costos computacionales, mediante técnicas de tokenización eficiente y arquitecturas unificadas.
4. Nueva Dirección en Codificadores de Texto: Establece un nuevo paradigma donde los LLMs reemplazan a los codificadores de texto tradicionales en tareas de visión, mejorando la alineación semántica en contextos complejos y diversos.

En resumen, Xray-Visual no solo establece nuevos récords de precisión, sino que redefine cómo se deben construir, entrenar y desplegar los modelos de visión a gran escala para soportar las demandas de plataformas globales de redes sociales.