Resumen Técnico: Cada Juez con su Propia Regla (JUDGEFIT)

Planteamiento del Problema

La evaluación de la consistencia física en generadores de vídeo y modelos de mundo depende cada vez más de los Modelos de Lenguaje y Visión (VLM) como jueces automatizados. Estos modelos proporcionan señales de recompensa, decisiones de clasificación y criterios de filtrado de datos. Sin embargo, los paradigmas de evaluación actuales suelen aplicar una taxonomía global única y fija (por ejemplo, un conjunto de cuatro dominios físicos) de manera uniforme a todos los VLM.

Este enfoque asume que todos los VLM comparten los mismos ejes de competencia de evaluación física y difieren solo en la magnitud de sus puntuaciones a lo largo de esos ejes. El artículo argumenta que esto es erróneo porque los VLM, entrenados con datos y arquitecturas distintas, codifican los fenómenos físicos a través de diferentes representaciones internas. En consecuencia, un esquema fijo suele provocar:

• Dimensiones Inactivas: Las puntuaciones de diferentes VLM se concentran en un solo eje (por ejemplo, "mecánica"), mientras que otras dimensiones permanecen casi inactivas.
• Pérdida de Resolución: El esquema no logra revelar las distintas fortalezas o puntos ciegos entre las diferentes familias de modelos.
• Desalineación: Los VLM suelen discrepar sustancialmente con los evaluadores humanos en cuanto al sentido común físico, exhibiendo sesgo de posición e inestabilidad en la puntuación.

El problema central es que los esquemas de evaluación se tratan como propiedades del benchmark en lugar de propiedades del evaluador. Un VLM debe ser evaluado según las dimensiones que puede percibir y puntuar de manera fiable.

Metodología: JUDGEFIT

Los autores proponen JUDGEFIT, un proceso de dos etapas, de siembra y refinamiento (seed-and-refine), diseñado para descubrir una taxonomía de evaluación por VLM. El procedimiento trata el esquema de evaluación del juez como un objeto optimizable, impulsado por un diagnóstico calibrado de qué es lo que ese VLM específico puede puntuar de forma fiable.

Etapa 1: Siembra (Anotación Abierta y Agrupación)

1. Elicitación de Formato Libre: Se le pide al VLM objetivo que enumere los errores físicos que observa en un pequeño conjunto de vídeos ($D_{annot}$) utilizando lenguaje natural de formato libre, sin dimensiones predefinidas.
2. Agrupación (Clustering): Un LLM agrupa estas descripciones recolectadas en categorías nombradas y definidas para formar una taxonomía semilla inicial ($T_0$).
3. Alineación de Vocabulario: Debido a que $T_0$ se construye únicamente a partir de los errores que el VLM reporta, sus dimensiones reflejan el propio vocabulario perceptual del VLM. Los conceptos que el VLM nunca menciona están ausentes de la taxonomía inicial.

Etapa 2: Refinamiento (Edición Guiada por Diagnóstico)

La taxonomía semilla se refina mediante un bucle iterativo donde un editor de LLM revisa las dimensiones basándose en una señal diagnóstica derivada de las calificaciones humanas.

1. Calibración: Un calibrador lineal con regularización de Ridge mapea las puntuaciones por dimensión del VLM con las calificaciones de sentido común físico humano ($y$).
2. Diagnóstico: El calibrador revela tres tipos de fallos:
   • Informativo (Uninformative): Dimensiones cuyas puntuaciones no se correlacionan con las calificaciones humanas ($|\rho_i| < \tau$).
   • Inestable (Unstable): Dimensiones donde el signo del coeficiente cambia entre los pliegues de validación cruzada ($\pi_i < \kappa$).
   • Redundante (Redundant): Pares de dimensiones que clasifican los vídeos de forma casi idéntica ($r_{ij} > \gamma$).
   • Brechas de Cobertura (Coverage Gaps): Errores que los humanos penalizaron pero que el VLM pasó por alto, identificados mediante el análisis de los residuos frente a las propias anotaciones de formato libre del VLM.
3. Edición: Un editor de LLM propone ediciones locales (ELIMINAR, REDEFINIR, FUSIONAR, AÑADIR, DIVIDIR) para abordar estos fallos.
4. Objetivo de Selección ($J$): Una taxonomía candidata solo se acepta si mejora un objetivo de selección que premia tanto la calidad de la clasificación como la especificidad (ganancias sobre una línea base de "halo" que utiliza solo la puntuación media). Esto evita que la taxonomía colapse en una única puntuación de "maldad general".
5. Convergencia: El bucle se repite hasta que ninguna edición mejore $J$. Empíricamente, la convergencia ocurre en aproximadamente dos rondas.

Contribuciones Clave

1. Pipeline JUDGEFIT: Un procedimiento eficiente en muestras que descubre taxonomías por VLM. A diferencia de los optimizadores de recompensa escalar que requieren cientos de iteraciones, JUDGEFIT converge en ~2 rondas al utilizar un calibrador lineal como señal diagnóstica en lugar de un predictor final.
2. Estudio de Benchmark por VLM: Una evaluación de 16 VLM a través de ocho familias de modelos (incluyendo Qwen, Gemma, GLM, Reka, Gemini, Seed, Nova, MiMo) utilizando el conjunto de datos VideoPhy-2. El estudio publica las taxonomías refinadas y las evaluaciones de control (held-out).
3. Análisis Trans-VLM: Una tipología de convergencia de conceptos y sesgo por discriminación. Los autores identifican qué conceptos físicos son universalmente legibles entre los VLM y cuáles siguen siendo puntos ciegos específicos de cada modelo, revelando que los estilos de puntuación (estricto vs. permisivo) varían independientemente de la precisión de alineación.

Resultados

• Mejora del Rendimiento: La taxonomía refinada por VLM supera a la línea base de esquema global fijo (PhyGenBench) en los vídeos de control para cada uno de los VLM probados.
  • Mejora Relativa Media: Aproximadamente 32% (la correlación de Spearman aumentó de 0.239 a 0.315).
  • Consistencia: Las mejoras se mantienen en todo el espectro de capacidad, desde los jueces más fuertes (ej. Gemini-3-Flash-Thinking) hasta los más débiles (ej. GLM-4.6V).
• Convergencia: La mayoría de las ganancias de rendimiento ocurren en la primera ronda de refinamiento. El procedimiento es altamente eficiente en comparación con los métodos de búsqueda de recompensa escalar iterativa.
• Generalización: Las mejoras se transfieren del conjunto de anotación al conjunto de prueba disjunto, lo que indica que las taxonomías no sufren de sobreajuste al conjunto de entrenamiento de 200 vídeos.
• Perfiles Específicos de Modelo:
  • Cobertura de Conceptos: Mientras que un núcleo de conceptos (momento, trayectoria, rigidez) es casi universal, los conceptos de mecánica de fluidos (flotabilidad, tensión superficial) forman una cola larga de cobertura escasa.
  • Modos de Pensamiento: El beneficio de las variantes de "pensamiento" (thinking) es específico del modelo y no sistemático; algunos modelos mejoran, mientras que otros degradan o permanecen sin cambios.
  • Sesgo vs. Discriminación: Los jueces se dividen en categorías "estrictas" y "permisivas" basadas en su ubicación de escala, pero este sesgo no se correlaciona con su precisión de alineación (Spearman $\rho$).

Significado y Reivindicaciones

El artículo sostiene que los esquemas de evaluación deben tratarse como propiedades del evaluador, no del benchmark. Al fundamentar la taxonomía en el propio vocabulario de errores del juez y refinarla frente al juicio humano, JUDGEFIT expone los puntos ciegos específicos de cada modelo que las clasificaciones generales no pueden anticipar.

Los autores argumentan que este enfoque permite una comprensión más granular de las capacidades de los VLM:

• Revela que los VLM "fuertes en promedio" no son uniformemente fuertes en todas las reglas físicas.
• Demuestra que los patrones de fiabilidad difieren notablemente entre las familias de modelos.
• Proporciona un marco para descubrir qué reglas físicas puede y no puede un VLM específico fundamentar en el juicio humano.

El trabajo sugiere que alejarse de las rúbricas fijas de "talla única" hacia taxonomías adaptativas por modelo es esencial para evaluar y mejorar con precisión la consistencia física en los modelos de vídeo generativo.