Resumen Técnico: Sobre el Escalamiento en Tiempo de Prueba para Modelos de Visión y Lenguaje

Planteamiento del Problema

El escalamiento en tiempo de prueba (TTS, por sus siglas en inglés) es un paradigma donde los modelos utilizan recursos computacionales adicionales durante la inferencia para mejorar el rendimiento sin modificar los pesos del modelo. Aunque ha sido ampliamente estudiado para los Grandes Modelos de Lenguaje (LLM), su aplicabilidad a los Grandes Modelos de Visión y Lenguaje (LVLM) sigue estando poco explorada. La literatura previa sugiere que los métodos de TTS, particularmente el prompting de Cadena de Pensamiento (CoT), son ineficaces para los LLM pequeños e incluso pueden degradar el rendimiento en los LVLM. Además, se han propuesto técnicas de TTS específicas adaptadas para tareas de visión y lenguaje bajo la premisa de que los métodos estándar de LLM no se transfieren de manera efectiva. Este trabajo aborda la pregunta fundamental: ¿Pueden los métodos convencionales de escalamiento en tiempo de prueba desarrollados para LLM aplicarse directamente a los LVLM, y bajo qué condiciones tienen éxito o fallan?

Metodología

Los autores llevan a cabo un estudio empírico exhaustivo que abarca múltiples arquitecturas, escalas y evaluaciones de referencia (benchmarks).

Modelos y Evaluaciones de Referencia (Benchmarks)

• Modelos: El estudio evalúa 13 modelos ajustados por instrucciones a través de cuatro series: Qwen-2.5-VL, Qwen-3-VL, InternVL-3.5 y Molmo2. Los tamaños de los modelos varían desde 2B hasta 72B de parámetros.
• Evaluaciones de Referencia: Se utilizan seis benchmarks diversos para cubrir percepción, razonamiento y alucinación:
  • Razonamiento: WeMath, LogicVista.
  • Percepción: RealWorldQA, A-OKVQA.
  • Mixto/Alucinación: MMStar, HallusionBench.

Métodos de Escalamiento en Tiempo de Prueba (TTS)

Se evalúan nueve estrategias de inferencia, categorizadas entre aquellas tomadas de la literatura de LLM y aquellas específicas para tareas de visión y lenguaje:

1. Cadena de Pensamiento (CoT): Solicitar al modelo que piense paso a paso.
2. CoT Estructurada (S-CoT): Guiar la descomposición y el razonamiento lógico.
3. Planificar y Resolver (PaS): Diseñar un plan antes de la ejecución.
4. Autoconsistencia (Self-Consistency): Muestrear múltiples cadenas de razonamiento y seleccionar la votación mayoritaria.
5. Autoagregación (Self-Aggregation): Generar múltiples cadenas y agregarlas en una respuesta final.
6. Autorrefinamiento (Self-Refinement): Refinar iterativamente una única cadena de razonamiento.
7. Describir-Responder (Describe-Answer): Generar un pie de foto detallado de la imagen antes de responder.
8. CoT Composicional (CCoT): Generar un grafo de escena antes de responder.
9. Repetición de Prompt: Repetir la pregunta de entrada para simular la atención bidireccional.

Técnicas de Análisis

• Análisis de Presupuesto de Tokens: Los experimentos se repiten con un límite de tokens de salida reducido (300 tokens) para determinar si las mejoras de rendimiento dependen de un razonamiento verboso o si el paro temprano es suficiente.
• Dinámica de Atención: Los autores analizan los mapas de atención de los tokens generados para medir la asignación de atención a los tokens de imagen ($P_{ad}^v$) frente a los tokens de texto previamente generados ($g_{0...y-1}$) a través de los pasos de generación.
• Intervención Causal (Eliminación de Clave-Valor de Imagen): Los tokens de imagen se eliminan del caché de Clave-Valor en varios pasos de generación (20, 50, 100, 200, 300) para medir el impacto de eliminar la información visual en diferentes etapas del razonamiento.
• Evaluación de la Calidad del Racional: Se utiliza un enfoque de "LLM como Juez" y evaluación humana para evaluar la suficiencia y la dinámica de las cadenas de razonamiento generadas.

Hallazgos Clave y Resultados

1. Los Modelos Pequeños se Benefician Más del TTS

Contrario a los hallazgos en la literatura de LLM donde los modelos pequeños (<10B) a menudo no se benefician del TTS, el estudio encuentra que los LVLM pequeños y capaces (2B–8B) son los que más se benefician.

• Ganancias de Rendimiento: Los modelos pequeños logran mejoras de rendimiento de hasta un 30–40% en tareas de razonamiento.
• Superando a Modelos Más Grandes: Un modelo de 4B (Qwen3-VL-4B) con TTS (por ejemplo, CoT o Autoconsistencia) a menudo iguala o supera a un modelo base de 32B sin TTS en benchmarks de razonamiento (ej. LogicVista, WeMath).
• Eficiencia: El análisis de la frontera de Pareto sugiere que asignar cómputo a un modelo más pequeño con TTS es a menudo más eficiente que usar un modelo más grande sin TTS.

2. El TTS Puede Perjudicar las Tareas de Solo Percepción

Mientras que el TTS mejora el razonamiento, frecuentemente degrada el rendimiento en benchmarks enfocados en la percepción (ej. RealWorldQA, A-OKVQA) que requieren un razonamiento limitado.

• Sobrepensar (Overthinking): Cuando se les otorga un exceso de cómputo (presupuestos de tokens largos) para tareas de percepción simples, los LVLM tienden a "sobrepensar", realizar suposiciones incorrectas y acumular errores, lo que conduce a alucinaciones.
• Sensibilidad al Presupuesto de Tokens: Reducir el presupuesto de tokens a 300 mejora o mantiene el rendimiento en tareas de percepción, pero degrada el rendimiento en tareas de razonamiento, lo que indica que las cadenas de razonamiento impulsan las respuestas correctas en tareas complejas, mientras que la verbosidad perjudica las tareas de percepción simple.

3. La Información Visual se Codifica Temprano

El análisis de atención revela que la fundamentación visual está concentrada al inicio (front-loaded):

• Atención Temprana: La atención a los tokens de la imagen alcanza su pico inmediatamente al inicio de la cadena de razonamiento y decae rápidamente.
• Razonamiento Dominado por el Texto: Tras la ventana inicial, el modelo depende fuertmente de los tokens de texto generados previamente y de la representación del estado oculto de la imagen, en lugar de volver a atender a la imagen.
• Evidencia Causal: Eliminar los tokens de la imagen después de ~200 pasos de generación tiene un impacto insignificante en la precisión, confirmando que la información visual se absorbe tempranamente y el razonamiento subsiguiente es basado en texto.

4. Calidad del Racional

• Suficiencia: Los racionales generados generalmente contienen información suficiente para que un juez externo responda la pregunta sin la imagen, particularmente en modelos de mayor calidad.
• Dinámica: Las cadenas de razonamiento típicamente comienzan con incertidumbre, avanzan hacia un soporte explícito para la respuesta correcta a mitad de camino, y alcanzan un punto de información suficiente antes del final de la cadena.

Significancia y Contribuciones

El artículo afirma proporcionar el primer estudio exhaustivo de escalamiento en tiempo de prueba zero-shot para LVLM, ofreciendo las siguientes contribuciones:

1. Revisión de Supuestos: Desafía la visión predominante de que los métodos de TTS basados en LLM no se transfieren a los LVLM, demostrando que los métodos estándar son altamente efectivos, especialmente para modelos pequeños.
2. Compromiso entre Precisión y Cómputo: Establece que desplegar LVLM más baratos, rápidos y de menor memoria combinados con TTS puede lograr una precisión comparable o superior a la de modelos más grandes, proporcionando una estrategia de despliegue práctica para la investigación y la industria.
3. Perspectivas Diagnósticas: Identifica que la "pérdida de enfoque" debido al exceso de cómputo es un modo de falla primario para las tareas de percepción, sugiriendo que la clasificación de tareas (razonamiento vs. percepción) es necesaria para determinar si se debe aplicar el TTS.
4. Comprensión Mecanicista: A través del análisis de atención y causal, el artículo elucida que la información visual se codifica tempranamente en el proceso de razonamiento, y los pasos subsiguientes dependen del contexto textual, explicando por qué las generaciones excesivamente verbosas pueden conducir a alucinaciones.

En conclusión, los autores postulan que el escalamiento en tiempo de prueba zero-shot es una palanca poderosa para mejorar el rendimiento de los LVLM, particularmente para modelos pequeños, pero debe aplicarse con precaución para evitar degradar el rendimiento en tareas que no requieren un razonamiento complejo.