Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Resumen Técnico: Lang2Act

1. El Problema

Los modelos de Visión-Lenguaje (VLM) enmarcados en la Generación Aumentada por Recuperación Visual (VRAG) han avanzado significativamente al incorporar documentos visuales externos. Sin embargo, los enfoques existentes presentan limitaciones críticas:

• Desacoplamiento de la percepción y el razonamiento: Muchos sistemas utilizan herramientas externas rígidas y predefinidas (como APIs de recorte de imágenes o zoom) que separan la percepción visual del proceso de razonamiento lógico.
• Pérdida de información: Las operaciones mecánicas sobre la imagen (ej. recortar una región) pueden provocar una pérdida irreversible de información visual crítica o contexto de diseño (layout), especialmente si la selección de la región no es perfecta.
• Falta de granularidad: Los métodos basados en el procesamiento holístico de páginas enteras a menudo carecen de la capacidad de inspeccionar detalles visuales finos necesarios para preguntas complejas.

2. Metodología: Lang2Act

Lang2Act propone un marco unificado que habilita el razonamiento visual de alta granularidad a través de cadenas de herramientas lingüísticas auto-emergentes, en lugar de depender de motores externos estáticos. La metodología se basa en dos pilares principales:

• Herramientas Lingüísticas Auto-Emigrantes:
  En lugar de invocar funciones externas, el modelo genera "acciones" como texto dentro de su propia secuencia de generación autoregresiva. Estas acciones se formalizan como herramientas lingüísticas (ej. <tool name="read_text_element" args="...">). Al descodificar estas herramientas, el VLM aprende a dirigir su atención interna hacia regiones específicas de la imagen de manera implícita, manteniendo el contexto global intacto.

• Marco de Entrenamiento por Refuerzo (RL) en Dos Etapas:
  Para optimizar la creación y el uso de estas herramientas, se propone un proceso de entrenamiento en dos fases utilizando el algoritmo DAPO (Decoupled Clip and Dynamic sampling Policy Optimization):

  1. Etapa de Exploración de Acciones (Action RL): Se entrena al VLM para que explore autónomamente trayectorias de razonamiento de alta calidad. El objetivo es descubrir acciones visuales efectivas que lleven a respuestas correctas. De estas trayectorias exitosas, se extraen y curan las acciones más frecuentes para construir un "Toolbox" (caja de herramientas) lingüístico reutilizable.
  2. Etapa de Optimización Basada en Herramientas (Tool-based RL): Se entrena nuevamente al modelo utilizando el toolbox curado como parte del prompt. El modelo aprende a invocar estas herramientas lingüísticas de manera estructurada (etapa de enrutamiento para seleccionar páginas y etapa de ejecución para extraer evidencia) para resolver tareas de razonamiento visual. La función de recompensa equilibra la precisión de la respuesta final con la validez estructural del uso de las herramientas.

3. Contribuciones Clave

• Unificación de Percepción y Razonamiento: Lang2Act elimina la necesidad de herramientas externas rígidas, integrando la percepción visual de alta granularidad directamente en el proceso de generación de lenguaje natural del modelo.
• Prevención de Pérdida de Información: Al evitar el recorte físico de imágenes y utilizar referencias lingüísticas, el método preserva el contexto global y los elementos de diseño, mitigando la pérdida de información crítica.
• Caja de Herramientas Curada Automáticamente: El sistema no requiere ingeniería manual de herramientas; las herramientas emergen de los datos de entrenamiento y se seleccionan automáticamente basándose en su frecuencia y utilidad.
• Marco de Entrenamiento Eficiente: La estrategia de dos etapas permite que el modelo primero descubra patrones de razonamiento efectivos y luego los consolide mediante el uso de herramientas estructuradas.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks de preguntas visuales sobre documentos: SlideVQA, ViDoSeek y MMLongBench-Doc.

• Rendimiento Superior: Lang2Act supera consistentemente a todos los modelos base (incluyendo métodos de prompting, modelos de razonamiento VLM, sistemas RAG multimodales y VLMs potenciados por herramientas) con una mejora de rendimiento superior al 4% en promedio.
• Comparación con Herramientas Visuales: Frente a métodos que usan recorte de imágenes (como VRAG-RL o Pixel-Reasoner), Lang2Act logra mejoras de más del 5%, demostrando que las herramientas lingüísticas son más efectivas para la percepción visual que las operaciones de píxeles directas.
• Análisis de Percepción: Los estudios muestran una fuerte correlación entre la tasa de atención a las regiones "doradas" (ground truth) y la precisión de la respuesta. Lang2Act logra la mayor precisión tanto en la localización de regiones correctas como en la explotación de la evidencia visual, reduciendo significativamente las alucinaciones.
• Generalización: El método demuestra robustez en diferentes escalas de modelos (3B, 7B, 32B) y mantiene su eficacia en dominios fuera de distribución (Out-of-Domain) sin necesidad de reentrenar la caja de herramientas.

5. Significado e Impacto

Lang2Act representa un cambio de paradigma en la interacción entre visión y lenguaje. Demuestra que las herramientas lingüísticas pueden ser suficientes y superiores a las herramientas visuales explícitas para tareas de razonamiento visual complejo.

• Eficiencia y Robustez: Al evitar la latencia y los errores asociados con las APIs externas de manipulación de imágenes, el sistema es más eficiente y robusto.
• Interpretabilidad: El uso de cadenas de herramientas lingüísticas hace que el proceso de razonamiento sea más transparente y auditable, ya que las acciones del modelo se expresan en lenguaje natural estructurado.
• Futuro de los Agentes Visuales: Este trabajo sugiere que el futuro de los agentes visuales avanzados no reside en la integración de motores de procesamiento de imágenes externos, sino en la capacidad de los modelos de lenguaje para internalizar y simular operaciones visuales complejas a través de su propia capacidad de generación de texto.

En conclusión, Lang2Act establece un nuevo estado del arte en la comprensión de documentos visuales, logrando un razonamiento de alta granularidad mediante la auto-emergencia y el uso estratégico de herramientas lingüísticas.