RECODE: Reasoning Through Code Generation for Visual Question Answering

Le papier présente RECODE, un cadre agentique qui améliore le raisonnement visuel des modèles multimodaux en transformant l'analyse d'images structurées en une tâche de génération et de vérification itérative de code exécutable, surpassant ainsi les méthodes traditionnelles sur plusieurs benchmarks.

L'essentiel

Imaginez que vous demandez à un robot de vous expliquer un graphique complexe ou un diagramme de géométrie. Souvent, les robots actuels (les modèles d'intelligence artificielle multimodale) regardent l'image comme un peintre regarde une toile : ils voient les couleurs, les formes et les lignes, mais ils ne comprennent pas vraiment comment ces formes ont été créées ni les règles mathématiques qui les régissent. C'est comme essayer de deviner la recette d'un gâteau en le regardant simplement : on peut voir qu'il est rond et marron, mais on ne sait pas exactement combien de sucre ou de farine il contient.

Le papier RECODE propose une solution ingénieuse pour résoudre ce problème. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le Robot "Devineur"

Actuellement, si vous montrez un graphique à un robot, il essaie de deviner les chiffres en se basant sur ce qu'il voit (les pixels). C'est comme essayer de lire un livre en regardant seulement la couverture : on peut deviner le genre, mais on ne peut pas vérifier si l'histoire est vraie ou fausse. Il n'y a pas de moyen de "vérifier" la réponse.

2. La Solution : Le "Dessinateur Inverse" (Derendering)

L'équipe derrière RECODE a eu une idée brillante : au lieu de simplement regarder l'image, pourquoi ne pas demander au robot de réécrire le code qui a servi à créer cette image ?

Imaginez que l'image est une maison. Au lieu de juste regarder la maison, le robot essaie de reconstruire les plans d'architecte (le code) qui ont permis de la construire. C'est ce qu'ils appellent le "derendering" (dé-rendu).

3. Le Processus : L'Architecte et l'Inspecteur

Le système RECODE fonctionne comme une équipe de deux experts :

• L'Architecte (Le Générateur) : Il essaie de dessiner le graphique à l'aveugle en écrivant du code informatique. Il ne le fait pas une seule fois, mais il propose plusieurs versions différentes, comme un artiste qui fait plusieurs croquis rapides.
• L'Inspecteur (Le Critique) : Il compare chaque croquis avec l'image originale. Son travail est de dire : "Celui-ci est trop grand", "Celui-là a la mauvaise couleur", ou "Celui-ci correspond parfaitement !".

Si le croquis n'est pas parfait, l'Architecte corrige son code et réessaie. C'est un cycle d'amélioration continue.

4. Pourquoi c'est Magique ?

Une fois que le robot a réussi à recréer le graphique avec du code, il ne se contente plus de "deviner". Il peut maintenant exécuter ce code.

C'est la différence entre essayer de deviner combien pèse un sac de pommes en le regardant, et utiliser une balance électronique. Une fois le code généré, le robot peut faire des calculs mathématiques précis, vérifier des logique complexes et répondre aux questions avec une certitude absolue.

En Résumé

RECODE transforme une tâche floue (comprendre une image) en un problème logique et vérifiable (écrire et exécuter du code).

C'est comme passer d'un jeu de devinettes où l'on se trompe souvent, à un laboratoire de sciences où chaque résultat est testé et prouvé. Grâce à cette méthode, le robot devient beaucoup plus précis pour répondre à des questions sur des graphiques, des diagrammes et des formes géométriques, surpassant largement les méthodes précédentes qui se contentaient de "regarder" l'image sans la comprendre en profondeur.

Résumé technique

Voici un résumé technique détaillé de l'article « RECODE : Reasoning Through Code Generation for Visual Question Answering », basé sur le résumé fourni.

1. Le Problème : Les Limites de la Perception Visuelle Actuelle

Les modèles de langage multimodaux (MLLM) actuels éprouvent des difficultés majeures à effectuer un raisonnement précis sur des visuels structurés, tels que des graphiques, des diagrammes ou des figures géométriques.

• Cause racine : Ces modèles reposent principalement sur une perception basée sur les pixels. Cette approche manque d'un mécanisme intrinsèque de vérification.
• Conséquence : L'ambiguïté perceptuelle conduit à des erreurs de raisonnement logique et de calcul, car le modèle ne peut pas valider objectivement si son interprétation visuelle correspond à la réalité structurelle de l'image.

2. Méthodologie : L'Approche RECODE

Pour surmonter ces limitations, les auteurs proposent RECODE, un cadre agentic (basé sur des agents) qui introduit le dé-réndering (derendering) comme nouvelle modalité pour le raisonnement visuel vérifiable. Le processus se déroule en plusieurs étapes clés :

• Dé-réndering (Reverse-engineering) : Au lieu d'analyser directement les pixels, le système tente de « déconstruire » l'image en générant du code exécutable capable de la reproduire. Cela transforme une tâche perceptuelle ambiguë en un problème symbolique et vérifiable.
• Génération de candidats multiples : Le framework génère d'abord plusieurs programmes candidats visant à recréer l'image d'entrée.
• Sélection par Critique (Critic) : Un module critique évalue ces programmes et sélectionne celui qui offre la reconstruction la plus fidèle à l'image originale.
• Raffinement Itératif : Le système itère sur le code sélectionné pour l'affiner, améliorant progressivement la précision de la reconstruction.
• Raisonnement et Inférence : Une fois le code de reconstruction établi, il sert de base pour effectuer des calculs précis et des inférences logiques, exploitant la nature exécutable du code plutôt que la simple estimation visuelle.

3. Contributions Clés

• Nouveau Paradigme de Modalité : Introduction du dé-réndering (conversion Visuel $\to$ Code) comme une modalité intermédiaire pour le raisonnement visuel, comblant le fossé entre la perception et la logique.
• Vérifiabilité : Transformation d'un problème de perception subjective en un problème de vérification objective (le code peut être exécuté et comparé à l'image source).
• Cadre Agentic RECODE : Développement d'une architecture capable de générer, critiquer et itérer sur du code pour la reconstruction visuelle, dépassant l'usage traditionnel du code (souvent limité au traçage de lignes auxiliaires ou au recadrage).

4. Résultats Expérimentaux

L'évaluation de RECODE a été menée sur plusieurs benchmarks de référence en raisonnement visuel, notamment :

• CharXiv (graphiques scientifiques)
• ChartQA (questions sur des graphiques)
• Geometry3K (géométrie)

Performance : RECODE surpasse significativement les méthodes existantes qui n'utilisent pas du tout de code, ainsi que celles qui n'utilisent le code que de manière superficielle (par exemple, pour dessiner des lignes d'aide ou recadrer des zones). La capacité à générer un code de reconstruction fidèle se traduit directement par une meilleure précision dans les réponses aux questions.

5. Signification et Impact

Ce travail démontre que l'ancrage de la perception visuelle dans du code exécutable offre une voie prometteuse pour améliorer la fiabilité des modèles multimodaux.

• Précision : Il permet de réaliser des calculs mathématiques et des inférences logiques avec une exactitude accrue, là où les modèles purement visuels échouent.
• Vérification : Il introduit une boucle de rétroaction (via le critique et la reconstruction) qui permet de valider les hypothèses du modèle, réduisant ainsi les hallucinations courantes dans les tâches de raisonnement complexe.
• Avenir : Cette approche ouvre la voie vers des systèmes d'IA multimodaux plus robustes, capables de traiter des données structurées complexes avec un niveau de rigueur comparable à celui d'un programmeur humain.