Resumen Técnico: Morir de Hambre para Percibir

Problema: El Fenómeno de la Percepción Perezosa

Los Modelos Visuales-Lingüísticos (VLM) desplegados como agentes situados en entornos de alta resolución requieren percepción activa—la capacidad de decidir dinámicamente dónde mirar mediante operaciones como zoom, recorte y desplazamiento. Sin embargo, los paradigmas de entrenamiento actuales (Ajuste Fino Supervisado y Aprendizaje por Refuerzo) a menudo producen modelos que exhiben percepción perezosa. Estos modelos imitan la forma sintáctica de las acciones de percepción (por ejemplo, generar comandos de zoom correctos) sin depender funcionalmente de sus salidas.

La causa raíz es una asimetría fundamental de aprendizaje: cuando una vista global gruesa combinada con fuertes priores lingüísticos es suficiente para una precisión moderada, el modelo no tiene un incentivo basado en gradientes para invertir en la estrategia computacionalmente más difícil de búsqueda visual multi-paso. Si un modelo puede tener éxito sin mirar activamente, nunca aprenderá a mirar. La evidencia diagnóstica muestra que reemplazar las observaciones visuales intermedias con entradas en blanco o corromper las llamadas a herramientas a menudo deja la precisión del modelo sin cambios, lo que indica una dependencia de los priores lingüísticos en lugar de la evidencia visual.

Metodología: Morir de Hambre para Percibir

Para abordar esto, los autores proponen Morir de Hambre para Percibir, un paradigma de entrenamiento que impone ancho de banda visual restringido. El mecanismo central restringe la observación visual en cada paso de razonamiento a un presupuesto estricto de tokens ($B$), asegurando que ninguna vista única (incluida la primera mirada global inicial) contenga información suficiente para completar la tarea de manera confiable. Esto obliga a que la percepción activa sea la única estrategia viable para el éxito.

El marco opera en dos etapas dentro de las pipelines estándar de post-entrenamiento (SFT seguido de RL):

1. Ajuste de Instrucción Visual Consciente del Presupuesto (SFT):

   • Objetivo: Inicializar la política con un prior conductual para la percepción activa bajo restricciones de tokens.
   • Construcción de Datos: Las trayectorias se generan mediante Destilación de Modelo Docente (usando un docente fuerte en un entorno restringido con muestreo de rechazo) y Reescritura de Trayectorias (convirtiendo conjuntos de datos existentes de alta calidad para el uso de herramientas en formatos conscientes del presupuesto mediante submuestreo de vistas y realineación de coordenadas espaciales).
   • Restricción: La observación visual $v_t$ se genera mediante un operador de submuestreo determinista $D(\cdot, B)$ aplicado a la región recortada de la imagen original, asegurando que el recuento de tokens nunca exceda $B$.

2. Aprendizaje por Refuerzo mediante Inanición Perceptiva:

   • Objetivo: Desarrollar una dependencia funcional genuina de las observaciones visuales a través de la exploración autónoma.
   • Presupuesto Condicionado a la Resolución: El presupuesto de tokens $B$ escala dinámicamente con la resolución nativa de la imagen de entrada ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$) para mantener una presión de inanición perceptiva consistente a través de entradas diversas.
   • Señal de Recompensa: El marco utiliza una recompensa minimalista y dispersa ($R=1$ para respuesta correcta, $0$ en caso contrario). Debido a que el presupuesto visual prohíbe estructuralmente resolver detalles finos desde la vista global por sí sola, el modelo debe realizar acciones de enfoque intermedias para lograr la recompensa. No se requieren pérdidas auxiliares ni moldeado de recompensas.
   • Optimización: La política se optimiza utilizando GRPO (Optimización de Política Relativa de Grupos) sobre trayectorias recopiladas dentro del entorno restringido.

Contribuciones Clave

• Identificación de la Percepción Perezosa: El artículo identifica y rastrea el fallo de los VLM actuales para depender genuinamente de operaciones visuales activas hacia una asimetría de aprendizaje donde los atajos pasivos dominan.
• Paradigma Morir de Hambre para Percibir: Un mecanismo de entrenamiento novedoso que se integra en las pipelines estándar de SFT seguido de RL como un componente plug-in. No requiere cambios arquitectónicos, pérdidas auxiliares ni moldeado complejo de recompensas.
• Transferibilidad de Habilidades: Los autores proporcionan la primera evidencia de que las habilidades de percepción activa aprendidas bajo entrenamiento restringido se transfieren robustamente a entornos de prueba sin restricciones.
• Ganancias de Eficiencia: El enfoque produce dividendos significativos de eficiencia, reduciendo el tiempo de entrenamiento en ~50% y la latencia de inferencia en 2.7–5.1× debido a la menor cantidad de tokens visuales procesados por paso.

Resultados

Los autores evaluaron su modelo (basado en Qwen2.5-VL-7B) contra bases sólidas (por ejemplo, DeepEyes, Chain-of-Focus, PixelReasoner) en diversos puntos de referencia, incluidos HR-Bench, V* Bench y tareas de razonamiento intensivas en percepción (MME-RealWorld-Lite, RealWorldQA).

• Rendimiento sin Restricciones: A pesar de haber sido entrenado exclusivamente bajo restricciones de ancho de banda visual, el modelo logró una puntuación general de 64.59 en puntos de referencia sin restricciones, superando con claridad a la base más fuerte de escala 7B aumentada con herramientas (DeepEyes con 61.77).
• Robustez bajo Restricciones: Bajo presupuestos estrictos de tokens ($B=256$), el modelo propuesto se degradó solo 0.18 puntos en relación con su rendimiento sin restricciones. En contraste, las bases entrenadas sin restricciones visuales sufrieron caídas de rendimiento de 6.96 a 7.29 puntos, demostrando que su "percepción activa" era superficial y colapsó cuando se eliminó la riqueza visual.
• Estudios de Ablación:
  • SFT vs. RL: El SFT consciente del presupuesto por sí solo mejoró el rendimiento sobre el SFT estándar, pero la combinación con RL restringido produjo los mejores resultados.
  • Necesidad de SFT: Iniciar RL desde un modelo base sin SFT causó que la política colapsara en un comportamiento "perezoso" (confiando en priores lingüísticos), confirmando que el SFT proporciona un prior conductual necesario.
  • Necesidad de la Restricción: El RL entrenado sin restricciones visuales (incluso con inicialización SFT) resultó en ratios de percepción activa más bajos y precisión final más baja en comparación con la pipeline completamente restringida.

Significado

El artículo argumenta que el razonamiento visual superior no surge de la densidad de entrada, sino de la presión de optimización para extraer información eficientemente. Al hacer que la observación pasiva sea estructuralmente indisponible durante el entrenamiento, se obliga al modelo a interiorizar la dependencia funcional entre las pistas visuales locales y el éxito de la tarea. Este paradigma cambia la percepción activa de una mejora opcional a una capacidad fundamental, permitiendo el despliegue de agentes visuales robustos y eficientes en entornos con restricciones de computación (por ejemplo, aplicaciones en el dispositivo) sin sacrificar el rendimiento en entornos de alta resolución. El trabajo sugiere que el ancho de banda visual debe tratarse como una variable de diseño deliberada para construir agentes visuales-lingüísticos fundamentados perceptualmente.