Resumen Técnico: VKnowU

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han demostrado competencia en el reconocimiento de objetos y atributos, pero frecuentemente carecen de una comprensión intuitiva y humana de los principios físicos y sociales subyacentes que gobiernan el mundo. Esta brecha representa una deficiencia en el conocimiento visual: una capa semántica de alto nivel, fundamentada en la visión, que sirve de puente entre la percepción y el razonamiento. Mientras que los modelos actuales sobresalen en la percepción detallada mediante características multiescala o entradas de alta resolución, luchan con el conocimiento intuitivo y embebido necesario para un razonamiento más profundo, como predecir trayectorias físicas o inferir intenciones subjetivas. En consecuencia, los MLLMs suelen depender de sesgos lingüísticos frágiles, lo que conduce a alucinaciones y un rendimiento deficiente en tareas que requieren una verdadera comprensión del mundo.

Metodología

1. VKnowU: Un Benchmark Exhaustivo

Para medir cuantitativamente la brecha entre la precisión perceptiva y el razonamiento cognitivo, los autores introducen VKnowU, un benchmark de video que comprende 1,249 videos y 1,680 preguntas de opción múltiple. El benchmark está estructurado en torno a ocho dimensiones centrales de conocimiento visual, categorizadas en dos dominios:

• Centrado en el Mundo (Físico):
  • Física Intuitiva: Juzgar la plausibilidad física (p. ej., gravedad, permanencia de objeto).
  • Asequibilidad del Objeto (Affordance): Determinar usos funcionales basados en propiedades estructurales.
  • Material del Objeto: Identificar la composición del material mediante pistas intrínsecas o conductuales.
  • Conciencia Espacial: Inferir posiciones relativas y navegación.
• Centrado en el Humano (Psicológico/Social):
  • Anticipación de Eventos: Inferir eventos subsecuentes probables basados en normas sociales.
  • Estado Mental: Inferir estados psicológicos internos y atmósferas afectivas.
  • Relación Social: Inferir relaciones interpersonales y roles.
  • Intención Subjetiva: Reconstruir las metas subyacentes detrás de las acciones observadas.

Construcción del Dataset:
Para asegurar que el benchmark evalúe estrictamente el conocimiento visual en lugar de los sesgos del lenguaje o pistas de audio, los autores emplearon un riguroso Pipeline de Reformulación de QA:

1. Minimizar la Dependencia de Audio: Se descartaron las preguntas resolubles mediante transcripciones de audio (similitud > 0.3).
2. Reducir el Sesgo Lingüístico: Se excluyeron las preguntas que podían ser resueltas únicamente por LLMs de texto (Pass@10 ≥ 0.5).
3. Mejorar los Candidatos Incorrectos: Los distractores fueron reconstruidos para ser semánticamente plausibles pero incorrectos, evitando estrategias de eliminación.
4. Verificación Humana: Una revisión manual final aseguró la claridad y la alineación con las competencias específicas de conocimiento visual.

2. VideoKnow+: Un Modelo Base para el Conocimiento Visual

Para abordar los déficits identificados, los autores proponen VideoKnow+, un modelo base diseñado para integrar explícitamente el conocimiento visual. El enfoque sigue un paradigma de Ver–Pensar–Responder (See–Think–Answer):

• Salida Estructurada: El modelo está constreñido a generar una descripción visual autónoma ("Ver") antes de razonar ("Pensar") y responder ("Responder"). Esto obliga al modelo a anclar su razonamiento en la evidencia visual percibida.
• Aprendizaje por Refuerzo (RL): El modelo es entrenado utilizando GRPO (Optimización de Política Relativa de Grupo) con una Recompensa de Conocimiento Visual ($r_v$) especializada. Un MLLM externo congelado actúa como verificador para determinar si la descripción visual generada es suficiente para derivar la respuesta sin necesidad de mayor razonamiento.
• VKnowQA: Se construyó un nuevo corpus de entrenamiento a gran escala (VKnowQA-30K y VKnowQA-CS-12K) para apoyar el entrenamiento de VideoKnow+, asegurando que no haya filtración de datos (data leakage) con el benchmark de evaluación.

Resultados Clave

Evaluación de SOTA MLLMs en VKnowU

Los autores evaluaron 28 MLLMs de última generación (incluyendo modelos de código abierto y propietarios como GPT-4o, Gemini-3.0 e InternVL3.5).

• Brecha General: Incluso el modelo con mejor desempeño (Gemini-3.0-Pro) alcanzó un 76.3%, quedando por detrás del rendimiento humano (93.0%) por un 16.7%.
• Déficit Centrado en el Mundo: La brecha es más pronunciada en tareas físicas. Los modelos se quedaron atrás de los humanos por un 37.0% en Física Intuitiva y un 32.7% en Conciencia Espacial, con algunos modelos apenas superando el azar en estas categorías.
• Desempeño Centrado en el Humano: Los modelos funcionaron relativamente mejor en tareas centradas en el humano (mejor: 81.9%), probablemente debido a la prevalencia de narrativas sociales en los datos de ajuste de instrucciones (instruction tuning).
• Análisis de Escalamiento: El aumento del tamaño del backbone del LLM (p. ej., de 4B a 8B) produjo ganancias marginales en VKnowU (+1.3%) en comparación con benchmarks generales, sugiriendo que el rendimiento está limitado por la fundamentación visual más que por la capacidad de modelado de lenguaje.

Desempeño de VideoKnow+

El entrenamiento de VideoKnow+ en VKnowQA con la estructura Ver–Pensar–Responder y la recompensa de conocimiento visual produjo mejoras significativas:

• VKnowU: Logró una mejora de +3.7% sobre el modelo base (Qwen2.5-VL-7B).
• Generalización: Demostró ganancias consistentes en otros benchmarks de video:
  • MVBench: +5.4%
  • Video-MME: +7.0%
  • MMVU: +5.7%
• Ablación: Se encontró que la combinación de Ajuste Fino Supervisado (SFT) para el formato estructurado y GRPO con la recompensa de conocimiento visual ($r_v$) era la estrategia más efectiva.

Significado y Reivindicaciones

El artículo afirma que el conocimiento visual es una piedra angular faltante para desarrollar MLLMs generalizables. Los autores argumentan que:

1. Limitaciones Actuales: Los objetivos estándar de predicción del siguiente token luchan por capturar la dinámica física implícita y los matices sociales basándose únicamente en la supervisión alineada con el texto.
2. El Puente: El conocimiento visual sirve como una capa intermedia crítica que reduce la dependencia excesiva de los sesgos lingüísticos y mitiga las alucinaciones.
3. Aprendibilidad: Los resultados demuestran que el conocimiento visual es aprendible. Al estructurar explícitamente el proceso de razonamiento (Ver–Pensar–Responder) y recompensar al modelo por fundamentar sus respuestas en la evidencia visual, los MLLMs pueden lograr una comprensión más robusta y humana.
4. Herramienta de Diagnóstico: VKnowU proporciona una herramienta de diagnóstico precisa que desvincula la fundamentación física del razonamiento social, revelando que estos son subsistemas cognitivos mayormente independientes en los modelos actuales.

Este trabajo posiciona la integración explícita del conocimiento visual como un paso necesario para avanzar los MLLMs de simplemente "ver" a verdaderamente "comprender" los mundos físico y social.