ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools

Ce papier présente ToolVQA, un nouveau jeu de données multimodal à grande échelle conçu pour améliorer le raisonnement par étapes multiples des modèles de fondation en intégrant des outils externes réels, surpassant ainsi les modèles propriétaires comme GPT-3.5-turbo sur des scénarios hors distribution.

L'essentiel

🧠 Le Problème : Les IA sont de superbes bibliothécaires, mais de piètres artisans

Imaginez que vous avez un assistant très intelligent (une IA) qui a lu tous les livres du monde. Si vous lui demandez : "Qui a écrit 'Les Misérables' ?", il répondra instantanément. C'est facile.

Mais si vous lui montrez une photo d'un vieux restaurant et que vous lui demandez : "Ce restaurant a fermé en 2019. Combien de temps s'est-il écoulé depuis ? Et pouvez-vous me dessiner un graphique montrant la différence de prix entre leurs plats et ceux du restaurant d'en face ?", l'IA va souvent paniquer.

Pourquoi ? Parce que pour répondre, elle ne doit pas seulement réciter un fait, elle doit :

1. Lire la photo (OCR).
2. Chercher la date de fermeture sur Google.
3. Faire un calcul (2024 - 2019).
4. Utiliser un outil pour dessiner le graphique.
5. Enchaîner toutes ces étapes logiquement.

C'est comme demander à un chef étoilé de cuisiner un plat, mais en lui interdisant de toucher aux casseroles et en lui disant de demander à un autre chef de chaque étape. La plupart des IA actuelles sont excellentes pour la théorie, mais elles échouent lamentablement quand il faut utiliser des outils de manière complexe et en plusieurs étapes.

🛠️ La Solution : ToolVQA et "ToolEngine"

Les chercheurs de l'Université de Peking ont créé deux choses pour régler ce problème :

1. ToolEngine : L'architecte qui construit le terrain de jeu

Au lieu de demander à des humains de créer manuellement des milliers d'exemples (ce qui prendrait des années), ils ont inventé ToolEngine.

Imaginez un jeu de Labyrinthe (un "Depth-First Search" ou DFS).

• Au lieu de donner une seule réponse, ToolEngine fait explorer l'IA dans un labyrinthe de possibilités.
• À chaque carrefour, l'IA doit choisir un outil (ex: "Je vais utiliser la calculatrice" ou "Je vais chercher sur Google").
• Pour s'assurer que l'IA ne tourne pas en rond, ils utilisent une technique intelligente appelée LCS (Longest Common Subsequence). C'est comme un GPS qui compare votre chemin avec ceux de vrais humains qui ont déjà réussi le trajet. Si votre chemin ressemble à celui d'un expert, le GPS vous dit : "Bravo, continue !" Sinon, il vous redirige.

Le résultat ? Ils ont généré 23 000 scénarios réalistes où l'IA doit utiliser 10 outils différents (calculatrice, recherche Google, dessin, reconnaissance de texte, etc.) pour résoudre un problème.

2. ToolVQA : Le terrain d'entraînement ultime

C'est la base de données (le "gymnase") créée avec ToolEngine.

• Ce n'est pas de la fiction : Les images sont de vraies photos (pas des dessins générés par ordinateur).
• Ce n'est pas facile : Les questions sont cachées. L'IA ne vous dit pas "Utilise la calculatrice". Elle doit deviner qu'elle en a besoin.
  • Exemple : On montre une photo d'une bière. La question est : "Depuis combien d'années cette brasserie a-t-elle fermé ?"
  • L'IA doit : Lire le nom sur la bouteille -> Chercher la date de fermeture sur Google -> Faire la soustraction -> Répondre.

🏆 Les Résultats : Une petite IA bat un géant

Pour tester leur méthode, ils ont pris un modèle d'IA standard (LLaVA-7B, qui est relativement "petit" et open-source) et l'ont entraîné sur ce nouveau terrain d'entraînement (ToolVQA).

Le résultat est bluffant :

• Cette petite IA entraînée a battu GPT-3.5 (un modèle propriétaire très puissant de chez OpenAI) sur plusieurs tests.
• Elle a même réussi à résoudre des problèmes qu'elle n'avait jamais vus auparavant (ce qu'on appelle la "généralisation").

C'est comme si vous preniez un élève de primaire, vous lui donniez un manuel d'instructions très clair sur comment utiliser un marteau, une scie et une perceuse, et qu'ensuite il réussissait à construire une maison mieux qu'un architecte célèbre qui n'a jamais pratiqué avec ces outils.

🌟 En résumé : Pourquoi c'est important ?

Aujourd'hui, les IA sont comme des encyclopédies vivantes. Elles savent tout, mais elles ne savent pas faire les choses.

ToolVQA change la donne en apprenant aux IA à devenir des artisans.

• Elles apprennent à penser avant d'agir.
• Elles apprennent à choisir le bon outil au bon moment.
• Elles apprennent à enchaîner les étapes sans se perdre.

Grâce à ce travail, nous nous rapprochons d'une IA capable de vraiment nous aider dans la vie réelle : analyser vos factures, planifier un voyage complexe, ou diagnostiquer un problème technique en regardant une photo de votre machine, tout en utilisant les bons outils pour le faire.

C'est un pas de géant vers des assistants IA qui ne se contentent pas de bavarder, mais qui font vraiment le travail.

Résumé technique

1. Problématique

L'intégration d'outils externes dans les Modèles de Fondation (LFM) est une approche prometteuse pour améliorer leurs capacités de résolution de problèmes. Cependant, les benchmarks existants présentent des lacunes majeures par rapport aux besoins réels :

• Scénarios non réalistes : La plupart des ensembles de données actuels reposent sur des images synthétiques ou des scénarios simplifiés, ne reflétant pas la complexité du monde réel.
• Requêtes simplistes : Les requêtes existantes nécessitent souvent un raisonnement en une seule étape ou fournissent des indices explicites sur l'outil à utiliser (ex: "Utilisez l'API YouTube"), ce qui ne teste pas la capacité du modèle à inférer implicitement la nécessité d'un outil.
• Manque de raisonnement multi-étapes : Les tâches actuelles échouent souvent à simuler des processus de résolution de problèmes complexes nécessitant l'enchaînement logique de plusieurs outils (ex: OCR + Calculatrice + Recherche Web).

Il existe donc un fossé entre les performances des modèles sur les benchmarks synthétiques et leur véritable maîtrise des outils dans des contextes multimodaux réels.

2. Méthodologie

Pour combler ce fossé, les auteurs proposent deux contributions principales : un nouveau pipeline de génération de données (ToolEngine) et un nouvel ensemble de données (ToolVQA).

A. ToolEngine : Pipeline de Génération de Données

ToolEngine est un pipeline automatisé conçu pour générer des paires question-réponse complexes à partir d'images non annotées. Il repose sur trois composantes clés :

1. Construction d'exemples du monde réel : Des experts humains construisent un petit ensemble d'exemples de trajectoires d'utilisation d'outils réalistes. Ces exemples servent de connaissances a priori pour guider le contrôleur du modèle.
2. Recherche en Profondeur (DFS) guidée par l'image : Le système utilise une recherche en profondeur (DFS) sur un graphe d'outils pour simuler un processus de raisonnement multi-étapes. À chaque étape, un contrôleur (basé sur un LFM avancé, ChatGPT-4o) sélectionne l'outil suivant et ses arguments en fonction de l'image, de la trajectoire actuelle et des exemples correspondants.
3. Appariement d'exemples basé sur la LCS (Longest Common Subsequence) : C'est l'innovation centrale. Au lieu d'utiliser un ensemble fixe d'exemples, le système utilise l'algorithme LCS pour trouver dynamiquement les exemples les plus pertinents par rapport à la trajectoire actuelle de recherche. Cela permet d'adapter la génération de requêtes à la complexité spécifique de chaque image et d'intégrer des informations variées pour un raisonnement plus riche.

B. ToolVQA : L'Ensemble de Données

• Volume : 23 755 échantillons.
• Outils : 10 outils multimodaux couvrant 7 domaines (Perception, Opération, Logique, Créativité). Les outils incluent : ImageCaption, OCR, ObjectDetection, GoogleSearch, Calculator, Plot, TextToImage, etc.
• Complexité : Une longueur moyenne de raisonnement de 2,78 étapes par échantillon.
• Qualité : Les données sont générées automatiquement puis filtrées et ré-annotées par des humains. Un échantillon de 4 000 données a été validé avec une précision de 90,8 %. L'ensemble de test final contient 2 550 échantillons entièrement annotés par des humains.

3. Contributions Clés

1. ToolEngine : Un moteur de construction de données capable de générer des trajectoires d'utilisation d'outils réalistes et complexes à partir d'images brutes, en utilisant une correspondance dynamique d'exemples (LCS) pour éviter les biais des modèles statiques.
2. ToolVQA : Le premier ensemble de données à grande échelle conçu spécifiquement pour évaluer le raisonnement multi-étapes avec des outils externes dans des contextes visuels réels. Il se distingue par l'utilisation d'images réelles et de requêtes implicites.
3. Fine-tuning et Agent : Les auteurs ont affiné le modèle LLaVA-7B sur ToolVQA. Ce modèle affiné démontre des capacités supérieures à celles de modèles fermés beaucoup plus grands (comme GPT-3.5-Turbo) sur des tâches d'utilisation d'outils.

4. Résultats Expérimentaux

Les expériences ont été menées sur l'ensemble de test ToolVQA et sur cinq benchmarks Out-of-Distribution (OOD) : TextVQA, TallyQA, Infoseek, TEMPLAMA et GTA.

• Performance sur ToolVQA : Le modèle LLaVA-7B affiné surpasse ou égale GPT-3.5-Turbo (un modèle fermé de grande taille) sur l'ensemble de test ToolVQA.
• Généralisation (OOD) : Le modèle affiné surpasse GPT-3.5-Turbo sur 5 benchmarks OOD (y compris des tâches avec des outils non vus lors de l'entraînement).
  • Exemple : Sur GTA, l'accuracy passe de 12,12 % (LLaVA de base) à 33,29 % (LLaVA affiné), surpassant GPT-3.5-Turbo (23,62 %).
• Analyse des limites : L'analyse d'erreur révèle que les modèles peinent encore à prédire les arguments des outils (ex: mots-clés manquants dans une recherche) et à résumer correctement les réponses des outils. Cependant, le fine-tuning améliore considérablement la sélection des outils et le formatage des instructions.
• Apprentissage en contexte (ICL) : Le fine-tuning et l'ICL (Few-shot) sont complémentaires. Le modèle affiné bénéficie toujours de l'ICL, contrairement aux modèles de base qui voient leurs performances stagner ou baisser avec des contextes longs.

5. Signification et Impact

• Nouveau Standard : ToolVQA établit un nouveau standard pour l'évaluation des agents multimodaux, passant de tâches simples à des scénarios complexes nécessitant une planification et un raisonnement logique.
• Efficacité du Fine-tuning : L'article démontre qu'un modèle open-source de taille moyenne (7B) peut surpasser des modèles fermés massifs sur des tâches d'utilisation d'outils réels s'il est entraîné sur des données de haute qualité et réalistes.
• Réduction du fossé Synthétique/Réel : En utilisant des images réelles et en supprimant les indices explicites, ToolVQA force les modèles à développer une véritable compréhension de l'affordance des outils, essentielle pour le déploiement d'assistants IA dans le monde réel.
• Ressource Open Source : Le code et les données sont disponibles publiquement, favorisant la recherche future sur les agents multimodaux.

En résumé, ce travail prouve que la combinaison d'un pipeline de génération de données intelligent (ToolEngine) et d'un ensemble de données réaliste (ToolVQA) permet de former des agents IA capables de raisonner et d'utiliser des outils complexes de manière autonome, comblant ainsi l'écart entre la recherche académique et les applications pratiques.