💬 NLP

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

Este artículo demuestra que, para los modelos multilingües de visión y lenguaje de pequeño tamaño, las ganancias de escalado en tiempo de prueba son impulsadas principalmente por asegurar la capacidad de análisis del prompt y presupuestos de decodificación suficientes, más que por mecanismos complejos de búsqueda o verificación, siendo el modelo de política subyacente el factor más significativo para alcanzar un rendimiento de vanguardia en evaluaciones visuales de opción múltiple.

Autores originales: Spiros Baxevanakis, Peng-Jian Yang

Publicado 2026-07-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Spiros Baxevanakis, Peng-Jian Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas complejo y multilingüe donde las pistas están ocultas dentro de imágenes. Tienes un equipo de pequeños y listos robots (llamados Modelos de Visión y Lenguaje) para ayudarte. Durante mucho tiempo, la gente pensó que el secreto para resolver estos rompecabezas era construir una máquina supercompleja que pudiera revisar cada uno de los pasos del pensamiento del robot, o hacer que el robot reescribiera sus propias respuestas hasta que fueran perfectas.

Pero este artículo, escrito por investigadores de la Universidad de Ámsterdam para el concurso ImageCLEF 2026, dice: "¡Para un poco! El secreto no es una máquina sofisticada; es simplemente darle a los robots más tiempo para terminar sus frases".

El Gran Descubrimiento: Más Palabras, Menos Pensamiento

Los investigadores probaron un montón de estrategias diferentes en un conjunto masivo de preguntas de exámenes (11 idiomas diferentes, 20 materias) para ver qué es lo que realmente ayuda a estos pequeños robots a mejorar su razonamiento. Descubrieron que lo más importante no era qué tan inteligente fuera el método de búsqueda, sino qué tan largo se le permitía hablar al robot antes de tener que detenerse.

Piénsalo como un estudiante tomando un examen.

La Forma Antigua: Le dices al estudiante: "Piensa muy duro, revisa tu trabajo y escribe un ensayo perfecto", pero solo le das 1,000 palabras para hacerlo. Puede que haya descifrado la respuesta correcta en su mente, pero se queda sin espacio antes de que pueda escribir la letra final (A, B, C, D o E). Su razonamiento es correcto, pero reprueba el examen porque nunca llegó a comprometerse con una respuesta.
La Nueva Forma: Le dices al estudiante: "Simplemente escribe tus pensamientos, pero puedes usar hasta 2,048 palabras". De repente, tiene suficiente espacio para terminar su historia y realmente escribir la letra de la respuesta.

El artículo midió esto cuidadosamente. Cuando duplicaron el límite de palabras de 1,000 a 2,048 tokens, la precisión aumentó 3.7 puntos porcentuales. ¡Esa es una gran victoria! Pero cuando intentaron obtener más respuestas pidiéndole al robot que generara 16 cadenas de pensamiento distintas en lugar de 8 (duplicando el número de intentos), la puntuación solo subió un ínfimo 0.15 puntos porcentuales. Es como pedirle a un estudiante que escriba el mismo ensayo 16 veces en lugar de una; no ayuda mucho si ya estaba atrapado por el límite de palabras.

Lo que No Funcionó (Las Ideas "Geniales" que Fallaron)

Los investigadores probaron algunos trucos muy sofisticados que suenan como si deberían funcionar, pero los datos demostraron que no fue así.

El Entrenador "Paso a Paso": Intentaron usar un modelo especial de Recompensa de Proceso (PRM) para actuar como un entrenador, revisando cada uno de los pasos del razonamiento del robot y guiándolo como una búsqueda de haz (beam search). Pensaron que esto sería mejor que dejar que el robot adivinara libremente. Resultado: En realidad funcionó peor que el método simple, bajando la puntuación en 0.39 puntos porcentuales mientras consumía 8.7 veces más potencia de cómputo. Resulta que el entrenador se confundía con las imágenes y no podía redirigir al robot por el camino correcto.
El Robot "Juez": Intentaron añadir un segundo robot para que actuara como juez, leyendo todas las respuestas y eligiendo la mejor. Probaron dos tipos: uno entrenado para ser un crítico y otro que era simplemente un modelo generativo inteligente. Resultado: Ninguno superó al método simple de tomar una "votación por mayoría" (elegir la respuesta que aparecía con más frecuencia). De hecho, con el robot más inteligente, los jueces hicieron que las cosas fueran ligeramente peores. El artículo sugiere que esto se debe a que los jueces no podían distinguir entre una respuesta correcta y una incorrecta cuando las respuestas eran muy similares.
Autocorrección: Analizaron si dejar que el robot corrigiera sus propios errores ayudaba. Resultado: No. A esta escala, dejar que el robot reescribiera sus propias respuestas a menudo lo hacía peor.

El Verdadero Héroe: El Robot en sí Mismo

El mayor impulso no vino de una nueva estrategia en absoluto; vino de cambiar el robot. Cuando cambiaron de un modelo antiguo (Qwen2.5-VL-7B) a uno nuevo y más pequeño (Qwen3.5-4B), la puntuación saltó 11.4 puntos porcentuales. Esto sugiere que tener un "cerebro" más inteligente (el modelo de política) importa mucho más que tener un "proceso de pensamiento" (el método de búsqueda) sofisticado.

El Truco de "Reparación"

Hubo un pequeño fallo: a veces, incluso con suficientes palabras, el robot escribía una gran explicación pero olvidaba escribir la letra final (A, B, C, etc.). Los investigadores encontraron un sencillo truco de "reparación guiada": si el robot no escribía una letra, simplemente lo forzaban a decir "Respuesta: [A/B/C/D/E]" por un solo token. Esto solucionó el problema para el 2.67% restante de las preguntas que estaban fallando, cerrando efectivamente la brecha.

La Puntuación Final

Al combinar el nuevo robot (Qwen3.5-4B), darle un límite de palabras generoso (2,048 tokens), pedirle 16 intentos diferentes y usar el truco simple de "reparación", el equipo alcanzó un 84.1% de precisión en la prueba final. Esto los colocó en el primer lugar de la tabla de clasificación.

La Conclusión

La lección principal aquí es que para los modelos pequeños de visión y lenguaje, los detalles de ingeniería importan más que los algoritmos complejos. Si le das al modelo suficiente espacio para terminar su pensamiento (el presupuesto de tokens) y un prompt que lo obligue a comprometerse con una respuesta, obtendrás mejores resultados que si intentas superarlo con árboles de búsqueda complicados o jueces. El artículo sugiere que, hasta que tengamos mejores modelos, la mejor estrategia es simplemente dejar que el modelo hable más tiempo y corregir su formato, en lugar de intentar ser más listo que él con procesos de búsqueda o jueces complicados.

Resumen Técnico: Nika en la Tarea de ImageCLEF 2026 sobre Razonamiento Multimodal

1. Planteamiento del Problema

El artículo aborda el desafío de aplicar el Escalamiento en Tiempo de Prueba (Test-Time Scaling - TTS) a modelos de lenguaje visual (VLMs) pequeños y de pesos abiertos (≤7B de parámetros) en preguntas de opción múltiple (MCQs) visuales y multilingües. Aunque el TTS ha demostrado ser eficaz para los grandes modelos de lenguaje solo de texto, su eficacia en los VLMs de pesos abiertos bajo estrictas restricciones computacionales (una sola GPU A40) aún no está clara. Los autores investigan si las técnicas de inferencia avanzadas —como la búsqueda estructurada, los modelos de recompensa de proceso (PRMs) y los críticos generativos— pueden superar a las estrategias de muestreo paralelo más simples en el benchmark EXAMS-V, que abarca 13 idiomas y 20 materias escolares.

2. Metodología

Los autores evaluaron dos políticas de pesos abiertos: Qwen2.5-VL-7B-Instruct y el más nuevo y pequeño Qwen3.5-4B. Compararon dos pipelines primarios a través de dos ejes de escalamiento (conteo de cadenas paralelas y presupuesto de tokens por cadena):

Autoconsistencia Plana (Self-Consistency - SC): El modelo genera $N$ cadenas de razonamiento independientes condicionadas a un prompt de Cadena de Pensamiento (Chain-of-Thought - CoT) que termina con una señal de respuesta estandarizada (MMMU closer). La respuesta final se determina por voto de mayoría, con resolución de empates mediante log-probabilidad.
Búsqueda Estructurada (Describir-luego-Razonar con PRM): Un pipeline donde el modelo primero genera descripciones fundamentadas en la imagen, seguido de un razonamiento paso a paso guiado por una búsqueda de haz guiada por PRM (PRM-guided beam search o PRM-BAS). El PRM (Qwen-VL-PRM-7B) califica los pasos de razonamiento mientras mantiene el acceso a la imagen original.
Selectores: Se probaron métodos de selección post-hoc contra el voto de mayoría, incluyendo un crítico generativo libre de entrenamiento y un PRM discriminativo (calificación de un solo disparo/one-shot).
Intervenciones de Ingeniería:
- Formato de Prompt: Cambio a una señal de respuesta estándar para reducir los fallos de análisis (parsing).
- Reparación Guiada: Un mecanismo para forzar la generación de una letra de respuesta mediante restricciones de guided_choice cuando las cadenas no logran comprometerse con una respuesta.
- Escalamiento: Variación sistemática del conteo de cadenas ( $N \in \{8, 16\}$ ) y el presupuesto de tokens (1k vs. 2k tokens).

Todos los experimentos utilizaron vLLM para la decodificación paralela por lotes en una única GPU A100-40 GB, adhiriéndose a las restricciones de la tarea compartida de ImageCLEF 2026.

3. Hallazgos Clave y Resultados

El Dominio de la Ingeniería y la Política sobre la Búsqueda

El hallazgo más significativo es que los detalles de ingeniería y la elección de la política dominan las estrategias de búsqueda.

Capacidad de Análisis (Parseability): Un formato de prompt temprano causó que ~9% de las cadenas de razonamiento fallaran al producir una letra de respuesta. Cambiar a una señal estándar e implementar un paso de reparación guiada redujo los fallos de análisis a casi cero, recuperando una precisión significativa.
Presupuesto de Tokens vs. Conteo de Cadenas: Aumentar el presupuesto de tokens por cadena de 1,000 a 2,048 tokens produjo una ganancia de +3.7 puntos porcentuales (pp). En contraste, duplicar el número de cadenas de 8 a 16 añadió solo +0.15 pp. Los autores concluyen que asegurar que las cadenas tengan el presupuesto suficiente para terminar el razonamiento es mucho más crítico que muestrear más cadenas.
Actualización de la Política: Cambiar de Qwen2.5-VL-7B a Qwen3.5-4B resultó en una ganancia de +11.4 pp, el factor individual más grande en el estudio.

Ineficacia de la Búsqueda Compleja y los Selectores

Búsqueda Estructurada: La búsqueda de haz guiada por PRM (PRM-BAS) tuvo un rendimiento inferior a la autoconsistencia plana por -0.39 pp mientras costaba 8.7 veces más computación. La calificación por pasos del PRM se saturó rápidamente, lo que llevó a una baja diversidad en la búsqueda de haz (71.9% de las preguntas tenían todos los haces de acuerdo en la misma letra), haciendo que la búsqueda fuera ineficaz.
Selectores: Ni el crítico generativo libre de entrenamiento ni el PRM discriminativo superaron al simple voto de mayoría. En los grupos de alto rendimiento (Q3.5), ambos selectores arrojaron resultados negativos o nulos, corrigiendo a menudo menos errores de los que introdujeron.

Rendimiento Estratificado

Idiomas: Las ganancias de precisión del aumento del presupuesto de tokens se concentraron en inglés (+17.3 pp) y chino (+8.5 pp). Los idiomas con alto acuerdo de cadenas (por ejemplo, el chino, donde el 22.3% de las preguntas tenían un acuerdo unánime de 8/8) vieron cómo la SC regresaba o se estancaba porque el voto de mayoría amplificaba los errores compartidos en lugar de corregir los independientes.
Materias: Las materias STEM se beneficiaron más del TTS, mientras que las materias con mucho texto (por ejemplo, Estudios Islámicos) mostraron poca mejora, sugiriendo un cuello de botella en el conocimiento del dominio más que en la diversidad del razonamiento.

4. Rendimiento Final

La mejor configuración—Qwen3.5-4B con Autoconsistencia ( $N=16$ ), un presupuesto de 2,048 tokens y reparación guiada—logró:

81.64% en el conjunto de validación completo de EXAMS-V.
84.06% en la división de prueba (test split) de ImageCLEF 2026 reservada.
Primer lugar en la tabla de clasificación de Visual MCQ, ocupando el primer puesto en los seis idiomas de prueba.

5. Significado y Reivindicaciones

El artículo sostiene que para los VLMs de pesos abiertos pequeños bajo presupuestos de computación restringidos:

El TTS es efectivo pero específico: Los beneficios del TTS provienen principalmente de permitir que las cadenas completen su proceso (aumentar el presupuesto de tokens) y mejorar la fiabilidad de la extracción (capacidad de análisis), no de algoritmos de búsqueda complejos o selectores externos.
El Sustrato de la Política es Clave: Actualizar el modelo base genera mayores ganancias que cualquier estrategia de inferencia.
Límites de los PRMs: Los PRMs actuales entrenados en matemáticas o dominios específicos pueden no generalizarse bien al razonamiento multimodal y multilingüe, particularmente cuando fallan en distinguir entre pasos de razonamiento correctos e incorrectos con la señal suficiente para guiar la búsqueda.
Ingeniería sobre Algoritmo: A la escala de ≤7B, el "sustrato de ingeniería" (formatos de prompt, presupuestos de decodificación) y la elección del modelo son más impactantes que la maquinaria sofisticada de búsqueda o verificación.

Los autores conclen que el trabajo futuro debería centrarse en desacoplar la percepción del razonamiento y en entrenar mejores PRMs calibrados en contenido multilingüe y no matemático, en lugar de depender de los métodos actuales de escalamiento basados en búsqueda.