Q-Zoom: Query-Aware Adaptive Perception for Efficient Multimodal Large Language Models

1. Problema Identificado

Los Modelos de Lenguaje Multimodales (MLLMs) actuales requieren entradas visuales de alta resolución para tareas de percepción fina (como la comprensión de documentos o la percepción de escenas densas). Sin embargo, los paradigmas actuales de escalado de resolución global presentan dos deficiencias críticas:

• Redundancia a Nivel de Consulta: Tratan todas las consultas por igual, asumiendo que se necesita la máxima fidelidad visual para todo, lo que desperdicia recursos computacionales en preguntas simples que podrían resolverse con características globales de baja resolución.
• Redundancia Espacial: Escalar la imagen completa inunda el mecanismo de autoatención cuadrática del LLM con miles de tokens visuales de fondo irrelevantes.
• Ineficiencia de Métodos Existentes: Las soluciones actuales (como métodos training-free basados en heurísticas o métodos basados en Refuerzo de Aprendizaje - RL) sufren de cuellos de botella en la inferencia debido a pasadas de relleno redundantes, decodificación autoregresiva lenta o costos de entrenamiento prohibitivos.

2. Metodología: Q-Zoom

El authors proponen Q-Zoom, un marco de percepción adaptativa de alta resolución que opera de manera eficiente en un flujo de "básico a fino" (coarse-to-fine) dentro del espacio de características intermedias del modelo. El sistema consta de dos etapas principales y un mecanismo de alineación:

A. Redireccionamiento Dinámico (Dynamic Gating Network)

• Función: Actúa como un enrutador ligero que decide si una consulta específica requiere procesamiento de alta resolución o si las características globales de baja resolución son suficientes.
• Entrenamiento: Utiliza una estrategia de Generación de Muestras Consciente de la Consistencia. En lugar de etiquetas humanas, evalúa las respuestas del modelo a lo largo de una trayectoria de resoluciones crecientes. Solo se asignan etiquetas de entrenamiento deterministas a los casos donde el modelo falla en baja resolución pero tiene éxito en alta resolución, asegurando que la resolución visual sea el factor determinante para la corrección.
• Inferencia: Si la probabilidad de refinamiento es baja, el modelo salta el procesamiento de alta resolución, acelerando la inferencia.

B. Red de Propuesta de Regiones Auto-Distilada (SD-RPN)

• Función: Para consultas complejas que requieren refinamiento, el SD-RPN localiza automáticamente la Región de Interés (RoI) directamente desde las características intermedias del LLM (sin necesidad de un codificador de visión externo).
• Mecanismo: Predice un mapa de calor denso para recortar y re-codificar solo la parte relevante de la imagen de alta resolución.
• Entrenamiento (Auto-Distilación): Elimina la dependencia de datos anotados. Utiliza un paradigma de distilación auto-supervisada que:
  1. Extrae mapas de atención cruzada del modelo base.
  2. Filtra "tokens sumidero" (sink tokens) que acumulan atención sin relevancia semántica.
  3. Aplica una asignación de etiquetas de tres estados (Fondo, Primer Plano, Ignorado) para generar pseudo-etiquetas limpias.
• Eficiencia: Opera en una sola pasada de pre-llenado (prefilling), reutilizando la caché KV de los tokens previos para evitar la recodificación redundante del contexto global.

C. Alineación Espacio-Temporal y Ajuste Fino (Post-SFT)

• Problema: Procesar la imagen global y el RoI recortado por separado puede causar desalineación espacial.
• Solución: Se introduce un esquema de codificación posicional espacio-temporal continuo que inyecta las coordenadas originales de la fuente en los tokens del RoI, preservando la ubicación física relativa.
• Post-SFT: Se realiza un ajuste fino dirigido (Post-Supervised Fine-Tuning) solo en el backbone del LLM utilizando un conjunto de "muestras difíciles" extraídas mediante un juez LLM. Esto enseña al modelo a fusionar coherentemente los detalles locales densos con el contexto global sin olvidar su conocimiento general.

3. Contribuciones Clave

1. Desacoplamiento de Fidelidad y Costo: Q-Zoom desacopla la fidelidad perceptiva de los costos computacionales cuadráticos mediante un enrutamiento dinámico y la extracción de RoI en una sola pasada.
2. Estrategias de Optimización Eficientes en Datos:
   • Generación de etiquetas de enrutamiento basada en consistencia (sin anotación humana).
   • Paradigma de distilación auto-supervisada de tres estados para el SD-RPN (sin necesidad de modelos detectores externos ni RL costoso).
3. Alineación Espacial Robusta: Un esquema de codificación posicional y un ajuste fino dirigido que resuelven la desconexión entre el contexto global y las regiones locales, restaurando la capacidad de razonamiento espacial.

4. Resultados Experimentales

Los experimentos se realizaron en modelos base como Qwen2.5-VL-7B, Qwen3-VL, LLaVA y modelos basados en RL.

• Rendimiento y Eficiencia:
  • En benchmarks de Documentos y OCR, Q-Zoom acelera la inferencia en 2.52 veces (con Qwen2.5-VL-7B) manteniendo la precisión máxima.
  • En escenarios de Alta Resolución, logra una aceleración de 4.39 veces.
  • Reduce el costo de tokens visuales en un 53.0% (Documentos) y 73.2% (Alta Resolución) comparado con un enfoque de fuerza bruta de 4,096 tokens.
• Precisión:
  • En configuraciones de máxima fidelidad, supera el rendimiento pico de la línea base en un 1.1% (Documentos) y 8.1% (Alta Resolución).
  • Establece un nuevo estado del arte (SoTA) en benchmarks como DocVQA, OCRBench, V* Bench y HR-Bench.
• Comparativa: Supera a métodos training-free (como ViCrop) y a modelos basados en RL (como Thyme), evitando sus cuellos de botella de latencia y costos de entrenamiento.

5. Significado e Impacto

Q-Zoom representa un avance significativo en la eficiencia de los MLLMs al demostrar que no es necesario procesar imágenes enteras a alta resolución para todas las consultas.

• Escalabilidad: Ofrece una frontera de Pareto dominante, logrando mayor precisión con menos recursos computacionales.
• Versatilidad: Funciona como un módulo "plug-and-play" compatible con arquitecturas existentes y modelos de razonamiento avanzados (RL-based).
• Accesibilidad: Al eliminar la necesidad de RL costoso o grandes conjuntos de datos anotados manualmente, hace que la percepción visual de alta resolución sea más accesible y eficiente para la comunidad de investigación y aplicaciones prácticas.

En resumen, Q-Zoom resuelve el dilema entre la precisión visual y la eficiencia computacional mediante una arquitectura inteligente que adapta dinámicamente la resolución de entrada según la intención de la consulta y la complejidad espacial de la tarea.