Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

Résumé technique : Modèles de vision-langage par auto-questionnement

Énoncé du problème
Les modèles de vision-langage (VLM) excellent dans les tâches de reconnaissance de formes directes, telles que l'identification d'objets ou la description de scènes, mais peinent face au raisonnement visuel compositionnel. Il s'agit de problèmes multi-étapes nécessitant l'enchaînement d'opérations intermédiaires — par exemple, localiser plusieurs objets, les compter et comparer les résultats. Les approches existantes pour améliorer ce raisonnement reposent lourdement sur des explications étape par étape annotées par l'humain (par exemple, le prompting de type "Chain-of-Thought" ou l'ajustement fin supervisé), qui sont coûteuses à créer et difficiles à mettre à l'échelle. De plus, les approches de programmation visuelle dépendent de bibliothèques d'outils prédéfinies, ce qui limite la généralisation à de nouveaux types de questions. Le défi central est de permettre aux VLM de découvrir et d'utiliser des étapes de raisonnement intermédiaires sans démonstration humaine explicite.

Méthodologie
Les auteurs proposent un cadre d'auto-questionnement entraîné via la Group Relative Policy Optimization (GRPO), un algorithme d'apprentissage par renforcement (RL). Le cadre fonctionne comme suit :

• Architecture du modèle : L'étude utilise Qwen2.5-VL-3B-Instruct, un VLM de 3 milliards de paramètres. Pour rendre l'entraînement réalisable sur un matériel limité, les auteurs emploient l'adaptation de bas rang (Low-Rank Adaptation - LoRA), mettant à jour moins de 1 % des paramètres tout en figeant les poids originaux.
• Objectif d'entraînement : Contrairement au RL standard qui ne récompense que la réponse finale, ce cadre impose un format de sortie structuré. Le modèle est incité à générer une séquence de paires <sub-question> (sous-question) et <sub-answer> (sous-réponse) avant de produire une <final-answer> (réponse finale).
• Fonction de récompense : Le signal de récompense est binaire et strict. Une complétion du modèle reçoit une récompense de +1,0 uniquement si elle satisfait deux conditions : (1) elle respecte strictement le format sous-question/réponse (contenant au moins une paire), et (2) la réponse finale correspond à la vérité terrain. Sinon, elle reçoit -1,0.
• Absence de démonstrations humaines : Crucialement, le modèle ne voit jamais d'exemples de la manière de décomposer les questions. Le comportement consistant à décomposer des requêtes complexes en sous-questions doit émerger uniquement du signal de récompense qui incite au format et à la justesse.
• Comparaison avec une ligne de base : Pour isoler l'effet du format d'auto-questionnement des bénéfices généraux du RL, les auteurs entraînent une ligne de base Direct+GRPO. Ce modèle utilise le même algorithme GRPO et les mêmes jeux de données, mais est incité à fournir uniquement une réponse directe, avec une fonction de récompense vérifiant uniquement l'exactitude et la concision de la réponse.

Contributions clés

1. Décomposition émergente : L'article démontre qu'un VLM peut apprendre à décomposer des questions visuelles compositionnelles en paires sous-question-réponse entièrement par apprentissage par renforcement, sans aucune trace de raisonnement rédigée par l'humain.
2. Première application de GRPO aux VLM : Ce travail est le premier à appliquer la Group Relative Policy Optimization (GRPO) à un modèle vision-langage pour le raisonnement compositionnel, adaptant la méthode des LLM textuels (comme DeepSeek-R1) au contexte multimodal.
3. Récompenser la structure : Les auteurs introduisent une fonction de récompense qui pénalise explicitement l'absence de décomposition intermédiaire, faisant de la décomposition structurelle du problème un objectif d'entraînement primaire aux côtés de l'exactitude de la réponse.

Résultats expérimentaux
Le cadre a été évalué sur deux benchmarks : CLEVR (scènes géométriques synthétiques) et A-OKVQA (photographies du monde réel nécessitant des connaissances externes).

• Le RL améliore la précision : Les modèles Self-Questioning (SQ) et Direct RL ont tous deux nettement surpassé le modèle de base non entraîné sur A-OKVQA. Le modèle de base a atteint 46,8 % de précision, tandis que Direct+GRPO a atteint 51,6 % et SQ+GRPO a atteint 52,2 %.
• Bénéfice marginal de l'auto-questionnement : Sur A-OKVQA, le format d'auto-questionnement n'a apporté qu'un gain marginal de +0,6 % par rapport au Direct RL standard. Les auteurs concluent que la majeure partie de l'amélioration (+4,8 %) provient du signal d'entraînement par RL lui-même (biaisant le modèle vers des réponses correctes) plutôt que de la stratégie de décomposition.
• Transfert de domaine : Une conclusion significative est la transférabilité de la stratégie de décomposition. Un modèle entraîné sur les données synthétiques CLEVR utilisant l'auto-questionnement s'est amélioré de +2,6 % lors de tests sur des images A-OKVQA du monde réel. En revanche, le modèle Direct+GRPO entraîné sur CLEVR n'a montré qu'un gain de +0,2 % sur A-OKVQA. Cela suggère que la stratégie de décomposition des questions est une compétence de domaine général qui se transfère mieux que l'apprentissage spécifique au niveau de la réponse du RL standard.
• Taxe de format sur les tâches simples : Sur des tâches plus simples (ex. CLEVR), l'auto-questionnement a introduit une "taxe de format". Le modèle entraîné par SQ est tombé à 81,0 % de précision sur CLEVR lorsqu'il était contraint d'utiliser le prompt de sous-questions, contre 97,4 % pour le modèle de base. Cependant, lorsqu'il était évalué avec un prompt direct, la précision du modèle SQ est remontée à 97,6 %, indiquant que les capacités visuelles du modèle restaient intactes mais étaient entravées par l'overhead inutile de la décomposition sur des requêtes simples.

Signification et affirmations
L'article affirme que l'enseignement aux systèmes d'IA à se poser des questions intermédiaires est une stratégie prometteuse pour le raisonnement visuel complexe, particulièrement lorsque la difficulté d'une question justifie une décomposition explicite étape par étape.

• Évolutivité : Le cadre offre une alternative évolutive aux annotations humaines coûteuses pour le raisonnement multi-étapes, car le comportement de décomposition émerge uniquement des signaux de récompense.
• Valeur conditionnelle : Les auteurs notent modestement que la valeur de l'auto-questionnement est contingente sur la complexité de la question. Elle offre des avantages clairs pour les tâches nécessitant un raisonnement multi-étapes (ex. compter, identifier des matériaux) et facilite le transfert de domaine, mais peut dégrader les performances sur des tâches plus simples où la décomposition crée un bruit inutile.
• Direction future : Les résultats suggèrent que le déploiement pratique, notamment dans des domaines critiques pour la sécurité comme la conduite autonome ou l'imagerie médicale, pourrait bénéficier de stratégies de prompting adaptatives qui appliquent sélectivement l'auto-questionnement uniquement lorsque la complexité estimée de la question justifie l'overhead.