Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

Resumo Técnico: Modelos de Visão-Linguagem de Autoquestionamento

Definição do Problema
Os Modelos de Visão-Linguagem (VLMs) destacam-se em tarefas de reconhecimento de padrões diretos, como identificação de objetos ou descrição de cenas, mas têm dificuldade com o raciocínio visual composicional. Estes são problemas de múltiplas etapas que exigem o encadeamento de operações intermediárias — por exemplo, localizar múltiplos objetos, contá-los e comparar os resultados. As abordagens existentes para melhorar este raciocínio dependem fortemente de explicações passo a passo anotadas por humanos (por exemplo, prompting de Cadeia de Pensamento ou Ajuste Fino Supervisionado), que são caras de criar e difíceis de escalar. Além disso, as abordagens de programação visual dependem de bibliotecas de ferramentas pré-definidas, o que limita a generalização para novos tipos de perguntas. O desafio central é permitir que os VLMs descubram e utilizem etapas de raciocínio intermediárias sem demonstrações humanas explícitas.

Metodologia
Os autores propõem um framework de autoquestionamento treinado via Otimização de Política Relativa de Grupo (GRPO), um algoritmo de aprendizado por reforço (RL). O framework opera da seguinte forma:

• Arquitetura do Modelo: O estudo utiliza o Qwen2.5-VL-3B-Instruct, um VLM de 3 bilhões de parâmetros. Para tornar o treinamento viável em hardware limitado, os autores empregam Adaptação de Baixa Classificação (LoRA), atualizando menos de 1% dos parâmetros enquanto congelam os pesos originais.
• Objetivo de Treinamento: Ao contrário do RL padrão, que recompensa apenas a resposta final, este framework impõe um formato de saída estruturado. O modelo é instruído a gerar uma sequência de pares <sub-pergunta> e <sub-resposta> antes de produzir uma <resposta-final>.
• Função de Recompensa: O sinal de recompensa é binário e rigoroso. Uma conclusão do modelo recebe uma recompensa de +1.0 apenas se satisfizer duas condições: (1) aderir estritamente ao formato de sub-pergunta/resposta (contendo pelo menos um par) e (2) a resposta final coincidir com a verdade fundamental (ground truth). Caso contrário, recebe -1.0.
• Sem Demonstrações Humanas: Crucialmente, o modelo nunca é mostrado exemplos de como decompor perguntas. O comportamento de decompor consultas complexas em sub-perguntas deve emergir inteiramente do sinal de recompensa que incentiva o formato e a correção.
• Comparação com Baseline: Para isolar o efeito do formato de autoquestionamento dos benefícios gerais de RL, os autores treinam um baseline Direct+GRPO. Este modelo utiliza o mesmo algoritmo GRPO e conjuntos de dados, mas é instruído a fornecer apenas uma resposta direta, com uma função de recompensa que verifica apenas a correção e concisão da resposta.

Principais Contribções

1. Decomposição Emergente: O artigo demonstra que um VLM pode aprender a decompor perguntas visuais composicionais em pares de sub-pergunta–resposta inteiramente através de aprendizado por reforço, sem quaisquer rastros de raciocínio escritos por humanos.
2. Primeira Aplicação de GRPO a VLMs: Este trabalho é o primeiro a aplicar a Otimização de Política Relativa de Grupo (GRPO) a um modelo de visão-linguagem para raciocínio composicional, adaptando o método de LLMs apenas de texto (como o DeepSeek-R1) para o cenário multimodal.
3. Recompensando a Estrutura: Os autores introduzem uma função de recompensa que penaliza explicitamente a falta de decomposição intermediária, tornando a quebra estrutural do problema um objetivo primário de treinamento ao lado da correção da resposta.

Resultados Experimentais
O framework foi avaliado em dois benchmarks: CLEVR (cenas geométricas sintéticas) e A-OKVQA (fotografias do mundo real que exigem conhecimento externo).

• RL Melhora a Acurácia: Tanto os modelos SQ (Autoquestionamento) quanto os modelos Direct RL superaram significativamente o modelo base não treinado no A-OKVQA. O modelo base alcançou 46,8% de acurácia, enquanto o Direct+GRPO atingiu 51,6% e o SQ+GRPO atingiu 52,2%.
• Benefício Marginal do Autoquestionamento: No A-OKVQA, o formato de autoquestionamento proporcionou um ganho marginal de apenas +0,6% sobre o Direct RL padrão. Os autores concluem que a maior parte da melhoria (+4,8%) provém do próprio sinal de treinamento de RL (enviesando o modelo para respostas corretas) em vez da estratégia de decomposição.
• Transferência de Domínio: Uma descoberta significativa é a transferibilidade da estratégia de decomposição. Um modelo treinado em dados sintéticos do CLEVR usando autoquestionamento melhorou em +2,6% quando testado em imagens do A-OKVQA do mundo real. Em contraste, o modelo Direct+GRPO treinado no CLEVR mostrou um ganho de apenas +0,2% no A-OKVQA. Isso sugere que a estratégia de decompor perguntas é uma habilidade de domínio geral que transfere melhor do que o aprendizado específico de nível de resposta aprendido pelo RL padrão.
• Imposto de Formato em Tarefas Simples: Em tarefas mais simples (ex: CLEVR), o autoquestionamento introduziu um "imposto de formato". O modelo treinado com SQ caiu para 81,0% de acurácia no CLEVR quando forçado a usar o prompt de sub-pergunta, comparado a 97,4% para o modelo base. No entanto, quando avaliado com um prompt direto, a acurácia do modelo SQ recuperou-se para 97,6%, indicando que as capacidades visuais do modelo permaneceram intactas, mas foram prejudicadas pelo overhead desnecessário da decomposição em consultas simples.

Significância e Alegações
O artigo afirma que ensinar sistemas de IA a fazer autoquestionamentos intermediários é uma estratégia promissora para o raciocínio visual complexo, particularmente quando a dificuldade de uma pergunta justifica a decomposição explícita passo a passo.

• Escalabilidade: O framework oferece uma alternativa escalável às custosas anotações humanas para raciocínio de múltiplas etapas, uma vez que o comportamento de decomposição emerge apenas dos sinais de recompensa.
• Valor Condicional: Os autores observam modestamente que o valor do autoquestionamento é contingente à complexidade da pergunta. Ele fornece vantagens claras para tarefas que exigem raciocínio de múltiplas etapas (ex: contagem, identificação de materiais) e facilita a transferência entre domínios, mas pode degradar o desempenho em tarefas mais simples onde a decomposição cria ruído desnecessário.
• Direção Futura: Os resultados sugerem que o implantação prática, especialmente em domínios críticos de segurança como direção autônoma ou imagem médica, pode beneficiar-se de estratégias de prompting adaptativas que apliquem o autoquestionamento seletivamente apenas quando a complexidade estimada da pergunta justificar o overhead.