ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

ResAdapt: Resolución Adaptativa para el Razonamiento Multimodal Eficiente

1. El Problema: La Tensión entre Fidelidad y Contexto

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) han demostrado una comprensión visual superior al aumentar la fidelidad de entrada (resolución y número de cuadros). Sin embargo, esto genera un cuello de botella crítico:

• Crecimiento de Tokens: Aumentar la resolución o la duración temporal del video incrementa exponencialmente el número de tokens visuales, haciendo prohibitivo mantener simultáneamente alta resolución espacial y contexto temporal largo.
• Limitaciones de las Estrategias Existentes:
  • Compresión del Lado del Modelo (Post-codificación): Métodos que podan o fusionan tokens después de la codificación visual descartan evidencia fina irreversiblemente y pueden romper la compatibilidad con kernels de inferencia optimizados.
  • Razonamiento Agente del Lado de Salida (Iterativo): Métodos que realizan búsquedas iterativas o zoom añaden latencia y dependen de una vista inicial que puede ser demasiado gruesa para captar pistas decisivas.

El artículo argumenta que el verdadero cuello de botella no es cómo se comprimen las representaciones después de la codificación, sino cuántos píxeles recibe el codificador en primer lugar.

2. Metodología: ResAdapt

ResAdapt es un marco de adaptación del lado de la entrada (Input-side adaptation) que reasigna el presupuesto visual por cuadro antes de la codificación, preservando la interfaz nativa del modelo base.

Componentes Clave:

1. Allocator (Asignador) Ligero:

   • Es una red neuronal pequeña que toma características visuales gruesas y la consulta de texto.
   • Predice un vector de asignación $s = (s_1, ..., s_T)$, donde cada $s_t$ representa el presupuesto visual (factor de escala) para el cuadro $t$.
   • Utiliza una distribución Beta para parametrizar las acciones latentes, permitiendo un espacio de acción continuo y exploración.
   • Aplica un operador visual (en este caso, redimensionamiento o resizing) a cada cuadro antes de pasarlos al MLLM principal.

2. Optimización de Política Consciente del Costo (CAPO):

   • El espacio de asignación es continuo y el operador es no diferenciable. Una penalización de costo simple colapsaría la política hacia presupuestos mínimos uniformes.
   • CAPO convierte la retroalimentación de rollout (respuesta del modelo) en una señal de aprendizaje estable y asimétrica.
   • Utiliza un pivote de costo dinámico ($\tau_{dyn}$) que se adapta al estado actual de la política.
   • Aplica un moldeado asimétrico: otorga bonificaciones moderadas a respuestas correctas y de bajo costo, pero impone penalizaciones fuertes a respuestas incorrectas y costosas.

3. Regularización de Similitud Temporal:

   • Para evitar que el asignador asigne presupuestos altos redundantes a cuadros consecutivos similares, se introduce una pérdida de regularización ($L_{sim}$).
   • Esto fomenta una asignación diferenciada y consciente del contenido, concentrando la resolución en momentos de cambio de escena, texto o movimiento rápido, y comprimiendo el resto.

4. Entrenamiento:

   • Se formula como un Bandido Contextual (Contextual Bandit).
   • Se utiliza un bucle de optimización alternado (similar a PPO/GRPO) para actualizar tanto al Allocator como al backbone del MLLM (o solo al Allocator si el backbone está congelado).

3. Contribuciones Principales

1. Marco ResAdapt: Un enfoque de adaptación del lado de la entrada que formula la asignación dinámica de presupuesto visual como un problema de bandido contextual, preservando completamente la arquitectura nativa y las optimizaciones de hardware de los MLLMs.
2. Algoritmo CAPO: Propone una optimización de política con regularización de similitud temporal y moldeado de costos asimétrico, proporcionando una señal de aprendizaje estable que optimiza conjuntamente la precisión y el costo sin heurísticas manuales.
3. Resultados Empíricos: Demostración de que ResAdapt alcanza fronteras de eficiencia-precisión (Pareto) superiores en tareas de QA de video y anclaje temporal, especialmente bajo compresión agresiva.

4. Resultados Clave

• Eficiencia y Precisión: En benchmarks de QA de video (VideoMME, VideoMMMU, etc.), ResAdapt supera o iguala a métodos de compresión de tokens existentes (como ToMe, VisionZip) mientras comprime más del 90% de los tokens visuales.
• Ganancia en Razonamiento: Los beneficios son más pronunciados en benchmarks intensivos en razonamiento. Por ejemplo, en VideoMMMU con una retención del 11.4%, ResAdapt logra un 45.7% de precisión, superando significativamente a los métodos de línea base.
• Extensión Temporal: Bajo el mismo presupuesto visual, ResAdapt permite procesar 16 veces más cuadros (ej. de 32 a 128 cuadros) manteniendo o mejorando el rendimiento. Esto demuestra que el ahorro espacial se reinvierte eficazmente en cobertura temporal.
• Percepción Activa: El modelo aprende una política de "percepción activa de bucle abierto", concentrando la resolución en contenido denso en información (texto, transiciones) y comprimiendo el ruido visual, sin necesidad de supervisión explícita de saliencia.
• Latencia: Aunque hay un costo inicial de inferencia del Allocator, el ahorro en la atención del backbone (que escala cuadráticamente con el número de tokens) resulta en una reducción neta de la latencia de extremo a extremo, especialmente en secuencias largas (reducción del 50-70% en tiempo de generación en contextos largos).

5. Significado e Impacto

ResAdapt representa un cambio de paradigma en la eficiencia de los MLLMs para video:

• Cambio de Enfoque: Mueve la carga de la eficiencia de la compresión post-codificación (que pierde información) al control de presupuesto pre-codificación.
• Compatibilidad: Al no modificar la arquitectura del backbone ni la disposición de los tokens, es compatible con motores de inferencia optimizados (vLLM, FlashAttention) sin necesidad de ingeniería de kernels específica.
• Viabilidad para Contextos Largos: Proporciona una ruta práctica y efectiva para el razonamiento en videos de larga duración bajo presupuestos visuales estrictos, permitiendo que los modelos "vean" más tiempo sin explotar los recursos computacionales.

En resumen, ResAdapt demuestra que aprender a cuánto ver (resolución) antes de codificar es más eficiente y efectivo que intentar comprimir lo que ya se ha codificado.