VDCook:DIY video data cook your MLLMs

El artículo presenta VDCook, un sistema operativo de datos de video autoevolutivo que permite a investigadores y equipos especializados generar, actualizar y gestionar conjuntos de datos de entrenamiento para modelos multimodales mediante consultas en lenguaje natural y un mecanismo automatizado de ingestión basado en el Protocolo de Contexto de Modelo (MCP).

Lo esencial

¡Hola! Imagina que quieres aprender a cocinar un plato muy específico, digamos, "Sushi de estilo japonés con ingredientes de tu propio huerto".

Antes, para tener los ingredientes, tenías que ir a un supermercado gigante, comprar una caja enorme llena de todo tipo de vegetales (algunos frescos, otros viejos, algunos que no te interesan), y luego intentar separar lo que necesitabas. Si te dabas cuenta de que te faltaba un tipo de alga específica, tenías que volver a empezar todo el proceso desde cero. Eso es como construir los conjuntos de datos de video actuales: costoso, lento y rígido.

VDCook es como un chef robot inteligente y un supermercado vivo que se reinventa a sí mismo. En lugar de darte una caja de ingredientes fija, te da una cocina completa donde tú decides qué quieres cocinar.

Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

1. Tú eres el Chef (La Pregunta)

En lugar de buscar en una biblioteca gigante, tú simplemente le dices al sistema: "Quiero videos de camiones de construcción en zonas urbanas, pero que tengan mucha acción y poco texto en pantalla".

• La magia: El sistema entiende tu lenguaje natural. No necesitas ser un programador experto.

2. El Sistema va a la Búsqueda (La Recolección)

VDCook tiene dos formas de conseguir ingredientes:

• El explorador automático (MCP): Es como un robot que navega por internet buscando videos que coincidan con tu pedido.
• Tus propios ingredientes: Puedes subir tus propios videos privados (como los de tu empresa o investigación) y el sistema los trata igual que los de internet.

3. El "Preparado" Inteligente (Etiquetado, no eliminación)

Aquí está la gran diferencia. Los sistemas antiguos tiraban a la basura todo lo que no encajaba perfectamente en una lista rígida.
VDCook hace lo contrario: etiqueta todo.
Imagina que el sistema toma cada video y le pone una etiqueta mental detallada:

• "Este video tiene mucho movimiento (como un baile frenético)."
• "Este tiene mucho texto en la pantalla (como un noticiero)."
• "Este tiene una calidad de imagen de 4K."
• "Este dura 30 segundos."

En lugar de borrar los videos que no encajan al principio, los guarda con sus etiquetas. Esto es como tener un almacén donde cada ingrediente tiene una ficha de identidad perfecta.

4. La "Cocción" a Medida (El Procesamiento)

Ahora, tú le dices al sistema: "Dame 1000 videos, pero solo los que tengan mucho movimiento y sean de alta calidad".
El sistema busca en su almacén etiquetado, selecciona exactamente lo que pediste y, si no encuentra suficientes videos reales, crea nuevos.

• La síntesis controlada: Si te faltan videos de "camiones en la nieve", el sistema usa inteligencia artificial para generar esos videos basándose en los que ya tiene, asegurándose de que se vean realistas.

5. El Ciclo de Mejora (El Sistema que Aprende)

Lo más genial es que VDCook no se queda quieto. Es un ecosistema vivo.

• Si entrenas un modelo de IA con tus datos cocinados y ves que funciona bien, el sistema lo sabe.
• Si ves que le falta algo (por ejemplo, videos de "tormentas de nieve"), el sistema puede generar más o buscar más automáticamente.
• Es como un jardín: tú plantas las semillas (tus preguntas), el sistema cuida el crecimiento, y el jardín se vuelve más rico y diverso con el tiempo.

¿Para qué sirve todo esto?

El papel muestra ejemplos increíbles de lo que se puede "cocinar":

• Escenarios raros: Videos de inundaciones en ciudades o árboles caídos por tormentas (cosas que son difíciles de encontrar en internet).
• Estilos artísticos: Crear videos con estilo de "tinta china" tradicional, algo que casi no existe en la naturaleza.
• Medicina: Videos específicos de escáneres médicos para entrenar a doctores de IA.

En resumen

VDCook cambia la forma en que vemos los datos de video.

• Antes: Era como comprar un paquete de galletas preenvasado. Si no te gustaba el sabor, tenías que tirar todo y comprar otro paquete diferente.
• Ahora con VDCook: Es como tener una cocina infinita donde tú eliges los ingredientes, decides cuánto de cada cosa quieres, y el sistema te prepara el plato exacto que necesitas, todo el tiempo, siempre mejorando.

Es una herramienta para que investigadores y empresas puedan crear sus propios "entrenamientos" de Inteligencia Artificial sin tener que ser expertos en ingeniería de datos, haciendo que la tecnología sea más accesible y útil para todos.

Resumen técnico

Resumen Técnico: VDCook

1. El Problema

A pesar de la abundancia de corpus de video públicos, la construcción de conjuntos de datos de video de alta calidad para dominios específicos sigue siendo un proceso costoso, técnicamente complejo y estático. Los investigadores y equipos de dominios verticales enfrentan tres desafíos principales:

• Inflexibilidad: Los conjuntos de datos tradicionales siguen un paradigma "one-shot" (una sola vez): se recopilan, limpian y empaquetan una vez, volviéndose estáticos. Adaptarlos a nuevas necesidades o dominios requiere reiniciar todo el pipeline.
• Procesamiento Local: Los conjuntos de datos existentes suelen ser demasiado grandes para procesarlos localmente o carecen de subconjuntos específicos de dominio sin necesidad de reconstruir pipelines de indexación.
• Falta de Reproducibilidad: Los flujos de trabajo de construcción de datos suelen ser estáticos y no reproducibles, dificultando la iteración y la evolución continua de los datos.

2. Metodología

El paper introduce VDCook, un sistema operativo de datos de video auto-evolutivo diseñado para "cocinar" (generar) conjuntos de datos específicos bajo demanda. La arquitectura se basa en los siguientes pilares:

• Enfoque "Annotate-First, Filter-Later" (Anotar primero, filtrar después):

  • A diferencia de los pipelines tradicionales que filtran agresivamente en la etapa de preprocesamiento, VDCook retiene la mayoría de los datos (excepto clips muy cortos) y los enriquece con metadatos multidimensionales (segmentación de escenas, puntuación de movimiento, ratio de texto OCR, subtítulos automáticos, etc.).
  • Estos metadatos actúan como señales de indexación flexibles, permitiendo a los usuarios definir criterios de selección dinámicos sin pérdida de información.

• Pipeline Modular de Procesamiento:

  1. Adquisición de Datos: Soporta dos fuentes:
     • Rastreo Web Automatizado (MCP): Utiliza el Protocolo de Contexto de Modelo (MCP) para recuperar videos basados en consultas optimizadas, con actualizaciones periódicas y seguimiento de procedencia.
     • Datos Contribuidos por Usuarios: Permite subir datos privados que pasan por el mismo pipeline estandarizado.
  2. Centro de Anotación de Modelos: Utiliza un ensemble de modelos de gran escala (VLM, reconocimiento de acciones, OCR, consistencia temporal) para etiquetar estructuralmente los videos.
  3. Cocción y Recuperación: Un agente optimiza la consulta del usuario, recupera candidatos y ensambla el conjunto de datos. Si se solicita, un motor de síntesis controlada genera variantes basadas en semillas reales y condiciones (estilo, pose, etc.).
  4. Filtrado y Empaquetado: Se aplican filtros de calidad y cumplimiento al final, generando un manifiesto reproducible con metadatos completos por clip.

• Amplificación de Datos de Cola Larga (Long-Tail):

  • Para dominios con escasez de datos reales (ej. estilos artísticos raros, acciones específicas), el sistema utiliza modelos generativos fuertes para sintetizar nuevos datos condicionados a clips reales y atributos estructurados.
  • Estos datos sintéticos se reinyectan en el pipeline, creando un bucle de co-evolución Datos-Modelo.

• Evaluación y Cierre del Bucle:

  • Incluye una plataforma de evaluación de referencia (baseline) para medir el rendimiento de modelos en tareas como generación de video, reconocimiento de acciones y razonamiento temporal.
  • La brecha de rendimiento entre modelos base y ajustados sirve como señal indirecta de la efectividad del conjunto de datos.

3. Contribuciones Clave

• Replanteamiento Sistémico: Transforma la construcción de conjuntos de datos de un artefacto estático a un servicio configurable y continuo ("cooking" bajo demanda).
• Arquitectura Auto-Evolutiva: Integra la ingestión automatizada (MCP), el enriquecimiento de metadatos, la síntesis controlada y la gobernanza en un solo ecosistema que crece y se adapta.
• Separación de Enriquecimiento y Filtrado: Preserva la riqueza de los datos mediante anotaciones detalladas, permitiendo una selección flexible en etapas posteriores en lugar de descartar datos prematuramente.
• Soporte para Dominios Verticales: Facilita la creación de datasets especializados (médicos, urbanos, artísticos) que son difíciles de obtener en corpus generales.

4. Resultados y Validación

El equipo ha construido un corpus de más de 100 millones de clips con las siguientes características y validaciones:

• Estadísticas del Corpus:
  • Promedio de longitud de subtítulos: ~266 palabras (rico en instrucciones).
  • Resolución: Soporte significativo para 1080p (32.7%) y contenido 4K.
  • Diversidad de movimiento y texto: Alta densidad de texto en pantalla (OCR) y puntuaciones de movimiento variadas, ideales para modelos de interacción visual-texto.
• Casos de Uso Demostrados:
  • Datos de Cola Larga: Conjuntos específicos para inundaciones urbanas, camiones de volteo en construcción, acumulación de nieve y angiografía CT pulmonar.
  • Manipulación Encarnada: Tareas de razonamiento espacial y seguimiento de objetos multi-paso.
  • Humanos Digitales Multimodales: Sincronización de habla, gestos y subtítulos.
  • Estilo Artístico (Tinta China): Generación y curación de videos con estilo de pintura tradicional china.
• Experimento de Validación (Adaptación de Estilo):
  • Se fine-tuneó el modelo generativo Wan-1.3B utilizando el subconjunto de videos de tinta china.
  • Resultado: El modelo ajustado mostró una mejora cualitativa significativa en la representación de texturas de pincel, reducción de artefactos fotorrealistas y mejor difusión de tinta, demostrando que los datos "cocinados" por VDCook pueden guiar efectivamente la adaptación estilística.

5. Significado e Impacto

VDCook representa un cambio de paradigma en la investigación multimodal:

• Democratización del Acceso: Reduce la barrera técnica para que equipos de investigación y dominios verticales creen sus propios conjuntos de datos de entrenamiento especializados sin depender de lanzamientos estáticos.
• Sostenibilidad de Datos: Convierte los conjuntos de datos en "ecosistemas vivos" que evolucionan con las consultas de los usuarios, las mejoras de los modelos y la síntesis de datos de cola larga.
• Reproducibilidad y Gobernanza: Proporciona trazabilidad completa (procedencia), metadatos ricos y notebooks reproducibles, fomentando prácticas de datos más transparentes y éticas.
• Infraestructura para el Futuro: Establece una base para la pre-entrenamiento escalable y reproducible de modelos de lenguaje multimodal (MLLMs), permitiendo una adaptación dinámica a nuevas tareas y dominios.

En resumen, VDCook no solo entrega datos, sino que proporciona la infraestructura y el proceso para que la comunidad genere, refine y mantenga datos de video de alta calidad de manera continua y adaptativa.