Resumen Técnico: Beyond the Eye (BEE)

1. Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) recientes han avanzado en la percepción de grano fino mediante el paradigma "Pensar con Imágenes" (TwI, por sus siglas en inglés), donde los modelos invocan iterativamente herramientas visuales externas (por ejemplo, zoom, recorte) para re-codificar regiones de la imagen. Aunque este enfoque es efectivo, sufre de dos limitaciones críticas:

1. Sobrecarga Computacional: Las llamadas frecuentes a herramientas externas y la re-codificación repetida de imágenes introducen una latencia de inferencia sustancial y cuellos de botella de E/S (I/O).
2. Falta de Conciencia del Límite de Capacidad: Los modelos existentes, incluyendo tanto los basados en herramientas explícitas como los emergentes enfoques de razonamiento latente, tienen dificultades para determinar de forma adaptativa cuándo confiar en el conocimiento paramétrico interno y cuándo invocar herramientas. Esto conduce a un uso redundante de herramientas en tareas que el modelo ya puede resolver, desperdiciando recursos computacionales sin mejorar la precisión.

2. Metodología: Beyond the Eye (BEE)

Los autores proponen BEE, un nuevo paradigma de Herramienta Visual Implícita (IvT) centrado en la autorregulación de la capacidad. En lugar de llamar a APIs externas, BEE integra la invocación de la herramienta visual directamente en el objetivo de entrenamiento del modelo, aprendiendo a generar representaciones visuales implícitas (tokens semánticos) que simulan los efectos de las herramientas dentro de un solo paso hacia adelante (forward pass).

El marco emplea un proceso de entrenamiento de dos etapas:

Etapa 1: Ajuste Fino Supervisado (SFT) de Cadena de Pensamiento (CoT) Formalizada

• Objetivo: Activar las representaciones de herramientas implícitas del modelo, los mecanismos de cambio adaptativo y las capacidades de razonamiento básicas.
• Construcción de Datos: Los autores construyen el conjunto de datos BEE-SFT-320K integrando datos heterogéneos de Refocus, Thyme, mini-o3 y Visual-CoT.
  • Pulido de Trayectorias: Las invocaciones de herramientas explícitas (basadas en código) se transforman en representaciones implícitas. Un tokenizador semántico preentrenado codifica imágenes auxiliares (por ejemplo, vistas de zoom o recorte) en tokens semánticos (<tool_pad>), reemplazando los segmentos de código en las trayectorias de razonamiento.
  • Estados de Invocación Mixtos: El conjunto de datos incluye una mezcla de trayectorias de razonamiento con y sin espacios de herramientas implícitas. Esto guía explícitamente al modelo para aprender cuándo invocar herramientas y cuándo confiar en el conocimiento interno.
  • Alineación Auxiliar: Se utiliza una tarea de predicción de subtítulos auxiliar para fortalecer la capacidad del modelo para comprender estos nuevos tokens visuales implícitos.

Etapa 2: Alineación Impulsada por Recompensa y Autorregulada

• Identificación del Problema: El análisis del modelo entrenado con SFT revela una falta de conciencia del límite de capacidad. El modelo tiende a usar herramientas en exceso incluso en tareas que puede resolver internamente.
• Métrica de Ganancia Neta de la Herramienta (NTG): Para cuantificar esto, los autores introducen la métrica NTG, que mide la contribución marginal de la invocación de la herramienta al éxito de la tarea ($NTG = \frac{|G| - |L|}{|C_{tool}|}$), donde $G$ es la ganancia efectiva, $L$ es la alucinación inducida por la herramienta y $C_{tool}$ es el conjunto de muestras donde se invocó la herramienta. El modelo SFT mostró una NTG baja (6.2%), lo que indica una redundancia significativa.
• MC-Reward (Calibración de Confianza Autorregulada): Se diseña una función de recompensa compuesta que penaliza la dependencia ineficaz de las herramientas y fomenta el enrutamiento del conocimiento.
  • Señal de Capacidad Dinámica: El modelo estima la dificultad de la tarea ($p$) basándose en la precisión promedio de las trayectorias muestreadas dentro de un grupo de ejecución (rollout group).
  • Lógica de Recompensa:
    • Tareas Fáciles ($p \geq \tau$): Si el modelo resuelve la tarea sin herramientas, recibe una recompensa alta. Si invoca una herramienta innecesariamente, es penalizado.
    • Tareas Difíciles ($p < \tau$): Si el modelo invoca herramientas para resolver una tarea difícil, es recompensado. Si falla al no usar herramientas cuando es necesario, es penalizado.
  • Implementación: La recompensa se formula utilizando funciones suaves y continuas (incluyendo el gating de coseno) para asegurar la estabilidad del entrenamiento, optimizando la política mediante el algoritmo DAPO.

3. Contribuciones Clave

1. Paradigma BEE: Un marco de herramienta visual implícita impulsado por la autorregulación que evita el uso redundante de herramientas y reduce la latencia de inferencia al internalizar los comportamientos de las herramientas.
2. Etiquetas de CoT Formalizadas y Métrica NTG: Construcción de un conjunto de datos SFT especializado con estados de invocación mixtos para activar el cambio adaptativo, junto con la métrica NTG para evaluar cuantitativamente el valor marginal del uso de herramientas.
3. Mecanismo de Recompensa Autorregulado: Un nuevo objetivo de recompensa (MC-Reward) que permite al modelo evaluar dináicamente sus propios límites cognitivos, suprimiendo las llamadas redundantes a herramientas en tareas fáciles mientras aprovecha las herramientas para tareas difíciles.
4. Validación Empírica: Demostración de que BEE logra un rendimiento de vanguardia en la percepción visual de grano fino mientras mejora significativamente la eficiencia de la inferencia en comparación con los modelos base de herramientas explícitas y de razonamiento latente.

4. Resultados Experimentales

Los autores evaluaron BEE en múltiples bancos de pruebas, incluyendo V*, HRBench (4K/8K), MME-RealWorld, LogicVista y POPE.

• Rendimiento:
  • BEE-8B y BEE-4B superaron al modelo comercial Kimi-K2.6 en precisión promedio en tareas de percepción.
  • BEE-8B alcanzó una precisión promedio de 75.3 en bancos de pruebas de comprensión del mundo real, superando al más fuerte modelo de código abierto (Qwen3-VL-235B) por 1.2 puntos.
  • BEE superó consistentemente a los modelos agénticos (por ejemplo, DeepEyes, Thyme) y a los modelos de razonamiento latente (por ejemplo, Monet, EVA) en diversas escalas.
• Eficiencia:
  • Reducción de Latencia: Bajo la configuración de resolución de 8K, BEE logró hasta un ~86.2% de aceleración de inferencia en comparación con el método DeepEyes.
  • Capacidad de Procesamiento (Throughput): BEE-7B alcanzó un rendimiento de 1.61 muestras/s, comparado con 0.07 muestras/s para DeepEyes y 0.33 muestras/s para DeepEyesV2.
  • Costo: Los costos operativos se redujeron de ~$6.40 (DeepEyes) a $0.72 por cada 1K muestras.
• Estudios de Ablación:
  • Eliminar las herramientas implícitas o reemplazarlas con tokens sin significado causó caídas consistentes en el rendimiento, validando la necesidad del diseño de herramienta implícita.
  • El mecanismo MC-Reward mejoró significativamente la Ganancia Neta de la Herramienta (NTG) de 6.2% (BEE-Static) a 66.0% (BEE-7B), confirmando la efectividad del mecanismo de autorregulación para reducir la redundancia.

5. Significado y Pretensiones

El artículo afirma que BEE proporciona una dirección prometedora para el desarrollo de MLLM de herramientas implícitas que combinan una fuerte capacidad cognitiva con una latencia extremadamente baja. Al establecer un límite de capacidad autorregulado, BEE permite a los modelos equilibrar adaptativamente el conocimiento interno y el uso de herramientas implícitas, abordando fundamentalmente el compromiso entre la profundidad del razonamiento y la eficiencia de la inferencia. Los autores sostienen que este enfoque hace avanzar el desarrollo de MLLM autorregulados, ofreciendo una alternativa escalable a la pesada sobrecarga computacional de los paradigmas tradicionales de "Pensar con Imágenes".