🤖 AI

It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling

Este artículo demuestra que, si bien la Selección Basada en Perturbaciones (Pgs) parece superar al voto de mayoría en el escalado en tiempo de prueba de visión y lenguaje, sus ganancias aparentes son en gran medida un artefacto de formatos de decodificación no controlados, ya que un control con formato emparejado revela que la consistencia de la perturbación por sí sola no es una señal de selección fiable una vez que los presupuestos y formatos de decodificación están debidamente alineados.

Autores originales: Puzhuo Zheng, Hasan Kurban

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Puzhuo Zheng, Hasan Kurban

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente cómo resolver acertijos. En el mundo de la inteligencia artificial, existe un truco ingenioso llamado "escalado en tiempo de prueba" (test-time scaling). En lugar de pedirle al robot que resuelva un problema una sola vez y esperar lo mejor, le pides que intente muchas soluciones diferentes al mismo tiempo. Luego, tú actúas como un juez y eliges la mejor respuesta del montón. Para los robots que solo procesan texto, esto funciona como por arte de magia: si el robot piensa profundamente y genera diez respuestas diferentes, la que aparece con más frecuencia suele ser la correcta. Es como hacerle una pregunta de matemáticas a una sala llena de personas; si nueve personas dicen "42" y una dice "43", probablemente te quedes con el "42".

Pero cuando les das ojos a estos robots (convirtiéndolos en "Modelos de Lenguaje-Visión" o VLM), las cosas se complican. Estos robots pueden ver imágenes, pero también tienen el fuerte hábito de adivinar basándose en lo que han oído antes, ignorando la imagen real. A veces, el robot ve la foto de una hoja pero adivina "semilla" porque recuerda una historia sobre semillas que crecen hasta convertirse en árboles. El viejo truco de simplemente elegir la respuesta más común falla aquí porque el robot podría adivinar con confianza la misma cosa incorrecta diez veces seguidas. Los científicos han estado tratando de arreglar esto haciendo que el robot "vuelva a revisar" su trabajo, pero un nuevo estudio plantea una pregunta muy importante: ¿Está el robot realmente mirando la imagen, o solo está usando una forma diferente de hablar?

Este artículo investiga un nuevo método llamado Selección Basada en Perturbación (Pgs). La idea detrás de Pgs es simple y lúdica: para ver si el robot realmente está mirando la imagen, alteras ligeramente la foto —recortándola, cambiando el brillo o enmascarando el fondo— y le pides al robot que resuelva el problema de nuevo. Si el robot sigue dando la misma respuesta incluso cuando la imagen cambia un poco, el método asume que la respuesta está "fundamentada" en la imagen. Si la respuesta cambia drásticamente, el método asume que el robot solo estaba adivinando basándose en su memoria. Los investigadores querían ver si este "test de vibración" (jitter test) podía ayudar a elegir la respuesta correcta mejor que el viejo método de la "respuesta más común".

Sin embargo, los investigadores descubrieron un problema astuto en la forma en que se realizaban estas pruebas usualmente. El nuevo método (Pgs) pedía al robot dar respuestas cortas y rápidas al verificar las imágenes alteradas, mientras que el viejo método (Votación por Mayoría) pedía pasos de pensamiento largos y detallados (llamados Cadena de Pensamiento o Chain-of-Thought) para la imagen original. Resulta que pedir respuestas cortas es simplemente más fácil de acertar para el robot, independientemente de si está mirando una imagen alterada o no.

Para solucionar esto, el equipo creó una comparación justa llamada MatchedCtrl. Le dieron al robot el mismo número de respuestas cortas y rápidas, pero esta vez no alteraron la imagen en absoluto; simplemente le pidieron al robot que respondiera a la imagen original rápidamente. Cuando compararon el "método de vibración" (Pgs) contra este "método de respuesta corta justo" (MatchedCtrl), la magia desapareció. El método de vibración no eligió mejores respuestas en realidad. De hecho, en una prueba difícil llamada ViLP, el método de vibración a veces funcionó peor.

El artículo muestra que, si bien la "vibración" sí crea una diferencia mensurable en cómo se comporta el robot (el robot sí reacciona a los cambios en la imagen), esta reacción no ayuda realmente al robot a elegir la respuesta correcta mejor que simplemente pedirle más intentos de respuestas cortas y rápidas sobre la imagen original. La gran ganancia que algunos vieron anteriormente (hasta +31.8 puntos en una prueba) no fue porque el robot estuviera mirando la imagen con más cuidado, sino porque estaba respondiendo en un formato diferente y más corto.

Al final, los autores concluyen que simplemente pedirle a un robot que vuelva a responder una imagen ligeramente alterada no es una forma fiable de obligarlo a mirar la imagen si ya estás controlando la forma en que el robot responde. La señal de "vibración" es real, pero no es un interruptor mágico que hace al robot más inteligente. Para mejorar realmente a estos robots, es posible que necesitemos encontrar una forma de hacer que miren la imagen que no dependa solo de cómo formatean sus respuestas. El estudio sugiere que, hasta que encontremos una mejor manera, debemos ser muy cuidadosos al afirmar que un nuevo método funciona solo porque supera la vieja regla de la "respuesta más común" sin una comparación justa.

Resumen Técnico: Es el Formato de Decodificación, No la Perturbación

Planteamiento del Problema

El escalado en tiempo de inferencia (test-time scaling), una técnica que mejora el razonamiento en los Modelos de Lenguaje Grande (LLMs) mediante el muestreo de múltiples soluciones candidatas y la selección de la mejor, se ha transferido deficientemente a los Modelos de Lenguaje-Visión (VLMs). Trabajos recientes indican que, para los VLMs, el voto por mayoría simple suele superar a los métodos sofisticados de selección basados en la autoverificación o la autoconsistencia. El problema central es que, en la capa de selección, una respuesta fundamentada en la imagen y una suposición confiada derivada de los sesgos lingüísticos (language priors) suelen parecer indistinguibles para el modelo. Las señales de selección estándar (por ejemplo, la frecuencia de ocurrencia o la confianza verbalizada) fallan porque no evalúan explícitamente si una respuesta depende de los píxeles de la entrada visual.

Las soluciones existentes a este "escape en la capa de selección" generalmente requieren o bien un entrenamiento extensivo (aprendizaje por refuerzo, currículos de uso de herramientas) o acceso a los componentes internos del modelo (enmascaramiento de atención, redes verificadoras externas). Existe una falta de mecanismos de selección sin etiquetas y sin entrenamiento que operen únicamente durante la inferencia en hardware de consumo.

Metodología

Los autores proponen y evalúan la Selección Basada en Perturbación (Pgs), una regla sin etiquetas y sin entrenamiento diseñada para crear una señal de selección que no pueda computarse sin la imagen.

Selección Basada en Perturbación (Pgs)

Pgs califica las respuestas candidatas midiendo su estabilidad bajo perturbaciones de la imagen de entrada que preservan la etiqueta.

Muestreo: El modelo genera $N$ respuestas candidatas iniciales con razonamiento de Cadena de Pensamiento (CoT) a partir de la imagen original.
Perturbación: La imagen de entrada se transforma utilizando un conjunto de perturbaciones que preservan la etiqueta ( $T$ ), tales como recortar hacia regiones relevantes, enmascarar fondos o aplicar un ligero jitter fotométrico/geométrico.
Rederivación: Para cada vista perturbada, el modelo genera $K$ muestras cortas, solo de la respuesta (sin CoT).
Calificación: Una respuesta candidata $c$ $c$ recibe una puntuación de soporte fundamentada $g(c)$ $g (c)$ , que combina el recuento de votos original con una suma ponderada de su frecuencia de rederivación a través de las vistas perturbadas.
- Matemáticamente, $g(c) = \text{votos}_{\text{original}} + \lambda \sum \rho(c | t_m(x), q)$ , donde $\rho$ es la puntuación de consistencia en las vistas perturbadas.
Selección: Se selecciona la respuesta con el mayor $g(c)$ $g (c)$ .
- Nota: Si el conjunto de perturbaciones es vacío, Pgs se reduce al voto por mayoría estándar.

El Control: MatchedCtrl

El artículo identifica un confuso factor de confusión en las evaluaciones previas: comparar Pgs (que utiliza muestras cortas, sin CoT para las perturbaciones) contra el Voto por Mayoría estándar (que utiliza únicamente muestras largas con CoT) confunde el mecanismo de selección con un cambio en el formato de decodificación (CoT vs. corto).

Para aislar el efecto de la perturbación, los autores introducen MatchedCtrl:

Utiliza las mismas $N$ muestras de CoT que la línea base.
Añade el mismo número de muestras cortas, sin CoT ( $M \times K$ ) que Pgs.
Crucialmente, estas muestras cortas adicionales se extraen de la imagen original, no perturbada.
Esto asegura que cualquier diferencia de rendimiento entre Pgs y MatchedCtrl se deba únicamente al enrutamiento por perturbación, no al formato de decodificación o al presupuesto de respuestas cortas.

Contribuciones Clave

Identificación de un Confundido de Formato de Decodificación: El artículo demuestra que las ganancias reportadas de los selectores basados en perturbación sobre el voto por mayoría basado solo en CoT son a menudo artefactos del cambio de trazas largas de CoT a trazas cortas, solo de respuesta.
Control MatchedCtrl: Un nuevo protocolo experimental que aisla el mecanismo de perturbación al igualar el presupuesto y el formato de decodificación (corto, sin CoT) en la imagen original.
Resultado Empírico Negativo: Bajo el control de MatchedCtrl, Pgs no muestra una ventaja significativa sobre el control en ningún benchmark, incluyendo aquellos que requieren fundamentación visual.
Distinción entre Diagnóstico y Enrutamiento: El artículo establece que, si bien la consistencia de la perturbación (Brecha de Estabilidad) es un diagnóstico válido de la dependencia visual (la puntuación cambia cuando se altera la imagen), no funciona como una señal de enrutamiento utilizable para mejorar la precisión de la selección una vez que se controla el formato de decodificación.
Herramientas Abiertas: Lanzamiento de código y herramientas de auditoría (incluyendo intervalos de confianza bootstrap emparejados) para permitir a la comunidad auditar futuras afirmaciones de selección basada en perturbación.

Resultados

Los autores evaluaron Pgs, Voto por Mayoría (MV) y MatchedCtrl a través de cuatro benchmarks: TextVQA, MATH-Vision, MMMU y ViLP, utilizando Qwen2.5-VL-7B y LLaVA-OneVision-7B.

Pgs vs. MV (Comparación Injusta): Pgs pareció superar significativamente al Voto por Mayoría estándar en TextVQA (+31.8 puntos porcentuales) y mostró ganancias modestas en otros lugares.
Pgs vs. MatchedCtrl (Comparación Justa): Cuando se comparó con MatchedCtrl (que utiliza el mismo presupuesto de "respuesta corta" en la imagen original), Pgs no mostró ninguna ventaja fiable en ningún benchmark.
- En TextVQA, MatchedCtrl (87.6%) superó ligeramente a Pgs (86.2%).
- En ViLP (un benchmark diseñado específicamente para probar la fundamentación frente a los sesgos lingüísticos), MatchedCtrl (53.7%) superó a Pgs (52.3%).
Análisis de la Brecha de Estabilidad: La brecha de estabilidad "preservar/destruir" (la diferencia en las puntuaciones entre las entradas originales y las enmascaradas/destruidas) fue real y dependiente de la imagen (hasta +0.48). Sin embargo, una gran brecha no predijo victorias por instancia de Pgs sobre MatchedCtrl.
Ablaciones: El enmascaramiento de las entradas de perturbación colapsó el rendimiento de Pgs en tareas visuales, confirmando que la señal depende de la imagen. Sin embargo, esto no se tradujo en ganancias de selección sobre el control.

Significado y Afirmaciones

El artículo concluye que la consistencia de la perturbación es, en el mejor de los casos, un diagnóstico parcial de la dependencia visual y, por sí sola, no es una señal de selección utilizable una vez que se controla el formato de decodificación.

Reevaluación de Afirmaciones: Las ganancias reportadas en la literatura contra el voto por mayoría basado solo en CoT probablemente sobreestiman la efectividad de los métodos basados en perturbación porque no tienen en cuenta los beneficios de la agregación de respuestas cortas (sin CoT) en la imagen original.
El Hallazgo Nulo: El estudio proporciona un resultado nulo medido: simplemente añadir la rederivación basada en perturbación no mejora la precisión de la selección más allá de lo que se logra agregando respuestas cortas, sin CoT, de la imagen original.
Dirección Futura: El progreso en el escalado en tiempo de inferencia para los VLMs probablemente requerirá fuentes de información más allá de la consistencia a nivel de respuesta, como sondas visuales más densas, recompensas a nivel de proceso o desacuerdo entre modelos.
Estándar Metodológico: Los autores argumentan que cualquier regla de selección futura que utilice un presupuesto de inferencia adicional en un formato de decodificación diferente debe incluir un control de formato emparejado (como MatchedCtrl) para evitar atribuir erróneamente los efectos del formato al mecanismo de fundamentación.

El artículo no afirma que las señales de perturbación sean inútiles; más bien, sostiene que son insuficientes como selector independiente una vez que se controla la variable de confusión del formato de decodificación. La brecha de estabilidad sigue siendo útil para auditar si un modelo "ve" la imagen, pero no para decidir qué respuesta elegir cuando hay un control justo disponible.