Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

Resumen Técnico: Modelos de Visión-Lenguaje de Auto-Preguntas

Planteamiento del Problema
Los Modelos de Visión-Lenguaje (VLM) sobresalen en tareas de reconocimiento de patrones directos, como la identificación de objetos o la descripción de escenas, pero tienen dificultades con el razonamiento visual composicional. Estos son problemas de múltiples pasos que requieren la encadenación de operaciones intermedias; por ejemplo, localizar múltiples objetos, contarlos y comparar los resultados. Los enfoques actuales para mejorar este razonamiento dependen en gran medida de explicaciones paso a paso anotadas por humanos (por ejemplo, el prompting de Cadena de Pensamiento o el Ajuste Fino Supervisado), las cuales son costosas de crear y difíciles de escalar. Además, los enfoques de programación visual dependen de librerías de herramientas predefinidas, lo que limita la generalización a nuevos tipos de preguntas. El desafío central es permitir que los VLM descubran y utilicen pasos de razonamiento intermedios sin demostraciones humanas explícitas.

Metodología
Los autores proponen un marco de auto-preguntas (self-questioning framework) entrenado mediante Optimización de Política Relativa de Grupo (GRPO), un algoritmo de aprendizaje por refuerzo (RL). El marco opera de la siguiente manera:

• Arquitectura del Modelo: El estudio utiliza Qwen2.5-VL-3B-Instruct, un VLM de 3 mil millones de parámetros. Para hacer que el entrenamiento sea viable en hardware limitado, los autores emplean Adaptación de Bajo Rango (LoRA), actualizando menos del 1% de los parámetros mientras mantienen congelados los pesos originales.
• Objetivo de Entrenamiento: A diferencia del RL estándar que recompensa solo la respuesta final, este marco impone un formato de salida estructurado. Se le pide al modelo que genere una secuencia de pares de <sub-pregunta> y <sub-respuesta> antes de producir una <respuesta-final>.
• Función de Recompensa: La señal de recompensa es binaria y estricta. Una completitud del modelo recibe una recompensa de +1.0 solo si cumple dos condiciones: (1) se adhiere estrictamente al formato de sub-pregunta/respuesta (conteniendo al menos un par), y (2) la respuesta final coincide con la verdad fundamental (ground truth). De lo contrario, recibe -1.0.
• Sin Demostraciones Humanas: Crucialmente, nunca se le muestran ejemplos al modelo sobre cómo descomponer preguntas. El comportamiento de desglosar consultas complejas en sub-preguntas debe emerger únicamente de la señal de recompensa que incentiva el formato y la corrección.
• Comparación con el Baseline: Para aislar el efecto del formato de auto-preguntas del beneficio general del RL, los autores entrenan un baseline de Direct+GRPO. Este modelo utiliza el mismo algoritmo GRPO y conjuntos de datos, pero se le solicita proporcionar solo una respuesta directa, con una función de recompensa que verifica únicamente la corrección y concisión de la respuesta.

Contribuciones Clave

1. Descomposición Emergente: El artículo demuestra que un VLM puede aprender a descomponer preguntas visuales composicionales en pares de sub-pregunta-respuesta enteramente a través de aprendizaje por refuerzo, sin trazas de razonamiento escritas por humanos.
2. Primera Aplicación de GRPO a VLM: Este trabajo es el primero en aplicar la Optimización de Política Relativa de Grupo (GRPO) a un modelo de visión-lenguaje para el razonamiento composicional, adaptando el método de los LLM solo de texto (como DeepSeek-R1) al entorno multimodal.
3. Recompensar la Estructura: Los autores introducen una función de recompensa que penaliza explícitamente la falta de descomposición intermedia, haciendo que el desglose estructural del problema sea un objetivo de entrenamiento primario junto con la corrección de la respuesta.

Resultados Experimentales
El marco fue evaluado en dos benchmarks: CLEVR (escenas geométricas sintéticas) y A-OKVQA (fotografías del mundo real que requieren conocimiento externo).

• El RL Mejora la Precisión: Tanto el modelo de Auto-Preguntas (SQ) como los modelos Direct+GRPO superaron significativamente al modelo base no entrenado en A-OKVQA. El modelo base logró un 46.8% de precisión, mientras que Direct+GRPO alcanzó el 51.6% y SQ+GRPO el 52.2%.
• Beneficio Marginal de la Auto-Pregunta: En A-OKVQA, el formato de auto-preguntas proporcionó solo una ganancia marginal de +0.6% sobre el Direct+GRPO estándar. Los autores concluyen que la mayor parte de la mejora (+4.8%) proviene de la señal de entrenamiento de RL (que sesga al modelo hacia respuestas correctas) más que de la estrategia de descomposición.
• Transferencia de Dominio Cruzado: Un hallazgo significativo es la transferibilidad de la estrategia de descomposición. Un modelo entrenado en datos sintéticos de CLEVR utilizando auto-preguntas mejoró en un +2.6% al ser probado en imágenes de A-OKVQA del mundo real. En contraste, el modelo Direct+GRPO entrenado en CLEVR mostró solo una ganancia de +0.2% en A-OKVQA. Esto sugiere que la estrategia de descomponer preguntas es una habilidad de dominio general que se transfiere mejor que la enseñanza específica de nivel de respuesta aprendida por el RL estándar.
• Impuesto de Formato en Tareas Simples: En tareas más simples (por ejemplo, CLEVR), la auto-pregunta introdujo un "impuesto de formato". El modelo entrenado con SQ cayó a un 81.0% de precisión en CLEVR cuando se le obligó a usar el prompt de sub-preguntas, comparado con el 97.4% del modelo base. Sin embargo, cuando se evaluó con un prompt directo, la precisión del modelo SQ se recuperó al 97.6%, indicando que las capacidades visuales del modelo permanecieron intactas pero se vieron obstaculizadas por la carga innecesaria de la descomposición en consultas simples.

Significancia y Afirmaciones
El artículo afirma que enseñar a los sistemas de IA a hacerse preguntas intermedias es una estrategia prometedora para el razonamiento visual complejo, particularmente cuando la dificultad de una pregunta justifica la descomposición explícita paso a paso.

• Escalabilidad: El marco ofrece una alternativa escalable a las costosas anotaciones humanas para el razonamiento de múltiples pasos, ya que el comportamiento de descomposición emerge únicamente de las señales de recompensa.
• Valor Condicional: Los autores señalan modestamente que el valor de la auto-pregunta está supeditado a la complejidad de la pregunta. Proporciona ventajas claras para tareas que requieren razonamiento de múltiples pasos (por ejemplo, contar, identificación de materiales) y facilita la transferencia de dominio cruzado, pero puede degradar el rendimiento en tareas más simples donde la descomposición crea ruido innecesario.
• Dirección Futura: Los resultados sugieren que el despliegue práctico, especialmente en dominios críticos para la seguridad como la conducción autónoma o la imagen médica, puede beneficiarse de estrategias de prompting adaptativas que apliquen selectivamente la auto-pregunta solo cuando la complejidad estimada de la pregunta justifique la sobrecarga.