💻 computer science

CALIPER: Clean Scenes Cannot Rank Physical Inference in Pretrained Visual Representations

El artículo presenta CALIPER, un referente basado en la calibración que demuestra que las evaluaciones estándar de "escenas limpias" no logran distinguir si los codificadores visuales preentrenados realmente infieren propiedades físicas como la masa y la fricción, ya que su competencia aparente suele depender de pistas directas a nivel de píxel en lugar de un razonamiento físico genuino.

Autores originales: Aman Mehta, Riya Baviskar

Publicado 2026-09-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aman Mehta, Riya Baviskar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Para construir máquinas que puedan moverse por el mundo real, los científicos están enseñando a las computadoras a ver no solo formas y colores, sino las reglas ocultas que gobiernan cómo se mueven las cosas. Cuando un robot empuja una caja, la distancia que esta se desliza depende de factores invisibles como qué tan pesada es la caja y cuánta fricción existe entre la caja y el suelo. Una computadora no puede ver estas propiedades directamente en una sola fotografía; una caja ligera y una caja pesada se ven exactamente iguales hasta que algo las mueve. Para cerrar esta brecha, los investigadores utilizan modelos de inteligencia artificial entrenados en vastas bibliotecas de video para actuar como los ojos de estos robots. Se supone que estos modelos deben aprender la física del mundo para poder predecir qué pasará después. Pero durante años, las pruebas utilizadas para calificar estos modelos han sido demasiado simples para determinar si realmente están aprendiendo física o si solo están memorizando los ángulos de la cámara.

Un equipo de investigadores independientes realizó recientemente un nuevo experimento para ver si estos ojos digitales podían comprender verdaderamente el mundo físico. Configuraron una simulación donde un disco estándar golpea una caja de peso y fricción desconocidos. Primero, la computadora observa dos golpes de práctica donde el disco golpea la caja a velocidades conocidas, y la caja se desliza una distancia específica. Estos son los momentos de calibración, que le dan a la computadora la oportunidad de aprender los secretos de la caja. Luego, la computadora ve un tercer golpe a una nueva velocidad, pero el video se corta en el momento en que el disco toca la caja. La computadora debe ahora predecir qué tan lejos se deslizará la caja basándose únicamente en lo que aprendió de los dos primeros golpes. Los investigadores probaron ocho tipos diferentes de sistemas de visión, que van desde modelos altamente avanzados entrenados en millones de videos hasta un sistema de visión por computadora con pesos completamente aleatorios y sin entrenar.

Los resultados revelaron una falla sorprendente en la forma en que calificamos actualmente a estas máquinas. Cuando los investigadores realizaron la prueba en una habitación perfectamente limpia y estática con una cámara fija, cada uno de los sistemas funcionó casi perfectamente, incluyendo aquel con pesos aleatorios. La computadora no necesitaba entender la física para obtener la respuesta correcta; simplemente aprendió que, en una vista de cámara fija, la distancia que recorre un objeto crea un patrón específico de píxeles. Debido a que la cámara nunca se movió, la computadora pudo medir el deslizamiento directamente desde las coordenadas de la pantalla sin necesidad de saber la masa o la fricción de la caja. Fue como un estudiante que memorizó la clave de respuestas para un examen específico, pero no podría resolver el problema si cambiaban los números. Los investigadores descubrieron que, en este entorno limpio, la prueba no podía distinguir un modelo inteligente de uno ignorante.

Para solucionar esto, los investigadores cambiaron el entorno para cada uno de los clips de video. Cambiaron aleatoriamente el ángulo de la cámara, el color de la iluminación, el color del suelo y añadieron objetos distractores a la escena. De repente, el patrón de píxeles ya no revelaba la respuesta. La computadora ya no podía confiar en mirar las coordenadas de la pantalla. En este mundo desordenado e impredecible, los resultados se dividieron drásticamente. Los modelos más avanzados, entrenados para predecir video, siguieron funcionando bien, prediciendo la distancia del deslizamiento con alta precisión. Sin embargo, los modelos que dependían de mirar fotogramas individuales o que no tenían entrenamiento fallaron por completo. El sistema no entrenado, que había obtenido una puntuación casi perfecta en la sala limpia, ahora se desempeñó no mejor que un sistema que simplemente ignoraba el objeto y adivinaba basándose en la velocidad del empuje.

El estudio también examinó cómo suelen ser probados estos modelos por otros científicos. Un método común implica cambiar una propiedad en una escena, como hacer que un objeto sea ligeramente más pesado, y observar si la representación interna de la computadora cambia. Los investigadores encontraron que, en muchas pruebas existentes, el cambio era tan diminuto que la reacción de la computadora era solo ruido aleatorio, lo que significaba que la prueba no estaba midciendo nada real. También observaron las "sondas" (probes), que son pruebas simples que intentan leer una propiedad específica, como la masa, directamente desde el cerebro de la computadora. Descubrieron que un modelo podía pasar una prueba de sonda y parecer que conocía la masa, pero fallar al usar ese conocimiento al realizar una predicción real. Por el contrario, un modelo podía fallar una prueba de sonda y, aun así, utilizar la información de manera efectiva si la escena proporcionaba otras pistas. Esto demostró que el simple hecho de ser capaz de leer una propiedad de la memoria de un modelo no significa que el modelo la esté utilizando realmente para comprender el mundo.

La medida final del éxito fue una tarea práctica: pedirle a la computadora que elija la velocidad exacta necesaria para empujar la caja hasta una distancia objetivo específica. En el entorno desordenado y cambiante, el mejor modelo falló el objetivo por solo 4.0 milímetros. El modelo no entrenado, sin embargo, falló por 19.6 milímetros, una tasa de error idéntica a la de ignorar el objeto por completo. Los investigadores concluyeron que la capacidad de una prueba para separar los buenos modelos de los malos debe ser demostrada, no asumida. Si una prueba no puede distinguir entre una IA sofisticada y un adivinador aleatorio, la prueba misma está rota. Al introducir el caos del mundo real y requerir que la computadora utilice evidencia de múltiples interacciones, el nuevo método reveló con éxito qué modelos comprenden verdaderamente la física del movimiento y cuáles solo están mirando los píxeles.

Resumen Técnico: CALIPER

Planteamiento del Problema
Los codificadores visuales preentrenados (por ejemplo, V-JEPA 2, VC-1, R3M) sirven como el front-end de percepción para modelos de mundo en la manipulación robótica. Su capacidad para inferir propiedades físicas latentes, como la masa y la fricción, se evalúa típicamente mediante pruebas de perturbación y sondas lineales en escenas "limpias" caracterizadas por una cámara fija, un único objeto y ausencia de desorden. Los autores argumentan que estas evaluaciones estándar son fundamentalmente defectuosas: no logran distinguir entre codificadores que realmente infieren la física y aquellos que no lo hacen. En entornos de cámara fija, el desplazamiento de un objeto se convierte en una función determinista de las coordenadas de los píxeles. En consecuencia, cualquier mapa de características inyectivo (incluyendo píxeles brutos o redes inicializadas aleatoriamente) permite que una lectura lineal recupere el resultado físico sin inferir la física subyacente, lo que hace que los benchmarks sean incapaces de clasificar las representaciones.

Metodología: CALIPER
El artículo presenta CALIPER (Calibrar, luego Predecir), un benchmark diseñado para asegurar que la respuesta no esté contenida dentro del propio cuadro de entrada. La tarea consiste en un entorno simulado donde un disco estándar golpea una caja objetivo de masa ( $m$ ) y fricción ( $\mu$ ) desconocidas.

Calibración: El modelo observa dos clips completos del objetivo siendo golpeado a velocidades conocidas ($0.45 $y$ 0.75$ m/s), revelando las distancias de deslizamiento resultantes.
Consulta (Query): Se le muestra al modelo un tercer golpe a una nueva velocidad, pero la entrada se trunca exactamente en el momento del contacto. El modelo debe predecir la distancia de deslizamiento subsiguiente.
Prueba de Intercambio (Swap Test): Para verificar que el modelo utiliza la historia de interacción del objeto específico en lugar de correlaciones espurias, los clips de calibración se intercambian con los de un objeto diferente. Si la precisión cae, el modelo estaba utilizando la evidencia correcta.

La evaluación se lleva a cabo en dos configuraciones de escena distintas:

Escena Limpia (Clean Scene): Cámara fija, iluminación fija, mesa vacía.
Escena de Molestia (Nuisance Scene): La pose de la cámara, la iluminación, el color del suelo y los objetos distractores se remuestrean para cada clip, asegurando que los clips dentro de un episodio no compartan un marco de referencia.

Se prueban ocho representaciones bajo una lectura lineal unificada (regresión de Ridge sobre características congeladas): V-JEPA 2, VideoMAE, VC-1, DINOv2, R3M, un ViT inicializado aleatoriamente, píxeles brutos y diferencias de fotogramas. El estudio también emplea pruebas de "borrado" (proyección de nulidad iterativa) para determinar si una propiedad es necesaria para la predicción y analiza la precisión de la sonda bajo diferentes estrategias de agregación de fotogramas (promedio de pooling vs. concatenación).

Resultados Clave

Fallo de las Escenas Limpias: En la escena limpia de cámara fija, todas las representaciones, incluyendo el ViT aleatorio y los píxeles brutos, logran un rendimiento casi idéntico ( $R^2 \approx 0.99$ ), dentro de $0.02$ del techo del estado del simulador. Los clips de calibración proporcionan un aumento de $+0.50$ en $R^2$ para todos los modelos, pero el intercambio elimina este beneficio por completo. Esto confirma que los puntajes altos se deben a la geometría de la escena (las coordenadas de los píxeles mapean directamente al desplazamiento) más que a la inferencia física.
Éxito de las Escenas de Molestia: Cuando la cámara, la iluminación y el desorden varían por clip, las representaciones se separan significativamente. La dispersión en el rendimiento crece de $0.020 $a$ $a$ 0.498$ $R^2$ $R^{2}$ .
- Mejores Desempeños: V-JEPA 2 ($0.974$), Diferencias de Fotogramas ($0.944$) y VideoMAE ($0.912$) mantienen un alto rendimiento.
- Nivel Medio: VC-1, Rм y DINOv2 caen al rango de $0.67–0.71$ .
- Nivel Bajo: El ViT aleatorio cae a $0.476$, no rindiendo mejor que un baseline que ignora el objeto ($0.514$), lo que indica que no puede distinguir el desplazamiento del objeto del movimiento de la cámara bajo variación.
Desempeño de la Tarea de Control: Al pedirle que seleccione una velocidad de empuje para alcanzar una distancia objetivo específica, V-JE jepa 2 falla por $4.0$ mm, mientras que el ViT aleatorio falla por $19.6$ mm (coincidiendo con el baseline de "ignorar objeto").
Sondas vs. Uso: Las sondas lineales no logran rastrear estas diferencias.
- Sensibilidad de Agregación: Concatenar fotogramas en lugar de realizar un promedio de pooling eleva el puntaje de la sonda de fricción del ViT aleatorio de $0.361 $a$ 0.672$ (superando a VC-1) sin cambiar su precisión de predicción.
- Dependencia de la Escena: Borrar la dirección de la masa de los píxeles brutos cuesta $-0.001$ $R^2$ en la escena limpia, pero $-0.350$ en la escena de molestia. Esto demuestra que la decodificabilidad de la sonda no es un indicador fiable de si una propiedad se está utilizando para la predicción, ya que la redundancia en la escena puede enmascarar la necesidad de características específicas.

Significancia y Afirmaciones
El artículo concluye que la capacidad de un benchmark para clasificar modelos debe demostrarse empíricamente, no asumirse. Los autores proponen tres verificaciones para validar los benchmarks:

Auditoría del Tamaño del Efecto: Verificar que las perturbaciones realmente cambien el resultado simulado (los autores encontraron un benchmark previo donde 13 de 20 celdas cambiaron el resultado en menos de $10^{-4}$ ).
Análisis de Dispersión: Asegurar que la brecha de rendimiento entre un baseline aleatorio, los píxeles brutos y el mejor modelo sea significativa; una dispersión estrecha indica que la escena, no el codificador, está impulsando el puntaje.
Verificación de Intercambio/Borrado: Confirmar que las afirmaciones de inferencia física estén respaldadas por evidencia de que el modelo depende de la historia de interacción específica, ya que la decodificabilidad no es ni necesaria ni suficiente para el uso.

Los autores afirman que los resultados de la "escena limpia", anteriormente interpretados como "todas las representaciones son equivalentes", eran en realidad una declaración sobre la falta de requisitos de invarianza de la escena. El benchmark CALIPER revela que, si bien muchos modelos pueden aprender a predecir resultados en entornos estáticos de cámara fija, solo ciertos objetivos de preentrenamiento (como la predicción de video en V-JEPA 2) confieren la invarianza necesaria para una inferencia física robusta en entornos dinámicos y variables.

Más como este