🤖 AI

AIR: Adaptive Interleaved Reasoning with Code in MLLMs

Cet article présente AIR, un cadre qui améliore la capacité des grands modèles de langage multimodaux à effectuer un raisonnement entrelacé adaptatif avec du code pour le calcul numérique complexe grâce à une solution à trois composants impliquant la construction de données de démarrage à froid, la curation de jeux de données et une stratégie d'invocation d'outils adaptative guidée par l'apprentissage par renforcement à contraintes de groupe, entraînant des améliorations de performance significatives sur les bancs d'essai d'évaluation.

Auteurs originaux : Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

Publié 2026-06-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant très intelligent, capable de regarder des images et de lire du texte, mais qui se retrouve parfois bloqué lorsqu'un problème mathématique nécessite des calculs intensifs. Si vous demandez à cet assistant de résoudre un problème de géométrie complexe impliquant un volume, il pourrait essayer de faire le calcul dans sa « tête » (le réseau neuronal) et commettre une erreur, tout comme un humain pourrait le faire en essayant de multiplier de grands nombres sans calculatrice.

Le document présente un nouveau système appelé AIR (Adaptive Interleaved Reasoning with Code) qui enseigne à cet assistant un nouveau super-pouvoir : savoir quand arrêter de réfléchir et commencer à utiliser un outil.

Voici comment fonctionne AIR, décomposé en concepts simples :

1. L'idée centrale : l'analogie de la « calculatrice humaine »

Considérez l'IA comme un élève passant un examen.

L'ancienne méthode : L'élève essaie de résoudre chaque problème en utilisant uniquement son cerveau. Si les mathématiques sont trop difficiles, il devine ou se trompe.
La méthode AIR : L'élève apprend que lorsque le problème devient trop complexe, il peut lever la main et demander une calculatrice. Il note les chiffres, appuie sur les touches, obtient le résultat, puis écrit la réponse finale.
La nuance : L'IA ne se contente pas d'utiliser une calculatrice pour chaque question. Elle apprend à être adaptative. Elle sait : « Cette question est facile, je vais la faire de tête », et « Cette question est difficile, je dois écrire un code pour la résoudre ».

2. Le processus d'apprentissage : un voyage en deux étapes

Le document explique que l'on ne peut pas simplement dire à un modèle d'« utiliser une calculatrice » et s'attendre à ce qu'il fonctionne immédiatement. Il a besoin d'un plan d'entraînement spécifique :

Étape 1 : Le « démarrage à froid » (Apprendre les bases)
Avant que l'IA puisse apprendre à utiliser des outils par elle-même, elle doit voir des exemples de la manière dont cela se fait. Les chercheurs ont construit un jeu de données spécial où ils ont pris des problèmes mathématiques difficiles et ont montré manuellement à l'IA comment passer de la « réflexion » (texte) au « calcul » (écriture de code Python).

Analogie : Imaginez un professeur montrant à un élève quelques exemples résolus où l'élève utilise une calculatrice pour les parties difficiles. Cela donne à l'élève un modèle de base à suivre.

Étape 2 : L'apprentissage par renforcement (La phase d'essais et d'erreurs)
Une fois que l'IA possède les bases, elle commence à s'entraîner seule. C'est là que la magie opère. Les chercheurs ont utilisé un système de notation spécial (une fonction de récompense) pour enseigner à l'IA quand utiliser l'outil.

Le problème : Si l'IA utilise trop souvent la calculatrice, elle s'embrouille et l'entraînement s'effondre (comme un élève qui refuse de réfléchir par lui-même). Si elle ne l'utilise jamais, elle continue de commettre des erreurs mathématiques.
La solution : Les chercheurs ont créé une « Récompense contrainte par groupe » (Group-Constrained Reward). Imaginez un entraîneur surveillant toute une équipe de joueurs. L'entraîneur ne récompense pas seulement le joueur qui marque ; il récompense l'équipe pour avoir le bon équilibre de joueurs utilisant des calculatrices.
- Si l'IA utilise l'outil trop souvent, elle reçoit un score plus faible.
- Si l'IA l'utilise juste ce qu'il faut pour obtenir la bonne réponse, elle reçoit un score élevé.
- Cela maintient la stabilité de l'IA et l'empêche de devenir incontrôlable.

3. Le résultat : Plus intelligente et plus stable

Le document affirme qu'après cet entraînement :

Précision : L'IA est devenue nettement meilleure pour les problèmes mathématiques, en particulier ceux qui nécessitent des calculs complexes. En moyenne, ses scores ont augmenté d'environ 6 points, et pour les problèmes spécifiques où elle a utilisé l'outil, elle s'est améliorée de près de 10 points.
Fiabilité : L'IA a utilisé l'outil avec succès plus de 95 % du temps lorsqu'elle décidait de l'utiliser.
Stabilité : La méthode « contrainte par groupe » a empêché l'IA de planter ou de devenir instable pendant l'entraînement, un problème courant lorsqu'on enseigne à une IA l'utilisation d'outils.

Résumé

En bref, AIR est une méthode qui enseigne aux modèles de langage de grande taille multimodaux (des IA qui voient et lisent) à agir comme un résolveur de problèmes humain : il réfléchit à un problème, réalise que les calculs sont trop difficiles, écrit rapidement un script informatique pour résoudre le calcul, puis termine la réponse. L'innovation clé est d'apprendre à l'IA de le faire automatiquement et au bon moment, sans avoir besoin qu'un humain lui dise quand prendre sa calculatrice.

Résumé technique : AIR : Raisonnement entrelacé adaptatif avec code dans les modèles de langage multimodaux à grande échelle

Énoncé du problème

Bien que les progrès récents des modèles de langage multimodaux à grande échelle (MLLM) aient intégré l'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) pour améliorer les capacités de raisonnement, les paradigmes existants se concentrent principalement sur l'utilisation d'outils pour les tâches de perception visuelle (par exemple, la rotation, le zoom). Ces approches reposent sur des heuristiques prédéfinies pour la manipulation visuelle et ne parviennent pas à traiter les problèmes de calcul numérique complexes. Les MLLM actuels manquent souvent de la capacité de déclencher de manière autonome des scripts Python pendant le raisonnement textuel pour gérer des tâches mathématiques complexes, une capacité essentielle pour combler le fossé entre la délibération multimodale et l'exécution agentique. De plus, l'entraînement de modèles pour un tel appel d'outils adaptatif entraîne souvent une instabilité, notamment l'effondrement du modèle, lorsque l'utilisation des outils devient excessive ou non régulée.

Méthodologie

Le papier propose AIR (Adaptive Interleaved Reasoning with Code), un cadre conçu pour doter les MLLM de capacités de raisonnement entrelacé adaptatif grâce à un paradigme d'entraînement en deux étapes : un démarrage à froid par ajustement fin supervisé (SFT) et un renforcement par apprentissage par renforcement (RL).

1. Construction de données de démarrage à froid en deux étapes

Pour surmonter la difficulté d'activer le raisonnement entrelacé dans les modèles open-source plus petits, les auteurs introduisent un pipeline de synthèse de données découplé en deux étapes :

Génération de CoT textuelle : Un MLLM génère des chemins de raisonnement initiaux de type Chaîne de Pensée (CoT) textuelle pour des problèmes complexes.
Réécriture entrelacée : Un LLM réécrit ces chemins, remplaçant les composants de calcul numérique par des extraits de code Python exécutables.
Vérification : Les données résultantes subissent une vérification rigoureuse dans un environnement de bac à sable (sandbox) pour garantir l'intégrité de l'exécution du code et l'exactitude des résultats avant d'être utilisées comme données de démarrage à froid.

2. Stratégies de filtrage de données pour le RL

Pour garantir des données d'entraînement de haute fidélité pour la phase de RL, deux stratégies de filtrage distinctes sont employées :

Stratégie d'auto-échantillonnage : Utilise un mécanisme de consensus multi-tours où les propres déploiements du modèle candidat déterminent l'éligibilité basée sur la métrique Pass@k. Cela permet un re-filtrage itératif à mesure que le modèle s'améliore.
Stratégie de filtrage préalable : S'appuie sur des modèles "enseignants" à haute capacité (par exemple, GPT, Gemini) pour agir comme une barrière de qualité extrinsèque, étiquetant les échantillons de données en fonction de leur nécessité d'invoquer un outil pour une résolution efficace.

3. Appel d'outils adaptatif via une récompense contrainte par groupe

L'innovation centrale réside dans la phase d'entraînement par RL, qui utilise l'algorithme GRPO (Group Relative Policy Optimization) amélioré par une fonction de récompense contrainte par groupe.

Structure de récompense hybride : La récompense totale ( $R$ ) combine une Récompense de Format ( $R_f$ ), une Récompense d'Exactitude ( $R_{acc}$ ) et une Récompense Intégrée au Code ( $R_{code}$ ).
Contraintes de groupe : Contra\à la méthode GRPO standard, cette méthode introduit des contraintes intra-groupe sur la proportion de séquences de raisonnement entrelacées. La récompense pour l'utilisation du code ( $R_{code}$ ) est ajustée en fonction de la proportion de séquences d'appel d'outils au sein d'un groupe, différenciée selon que la réponse finale est correcte ( $P_r$ ) ou incorrecte ( $P_w$ ).
Mécanisme de stabilité : Cette contrainte empêche le modèle de trop invoquer les outils (ce qui entraîne des pics d'entropie et un effondrement de l'entraînement) tout en encourageant l'invocation adaptative. Elle découple la récompense du code de la récompense d'exactitude, reconnaissant que l'utilisation de l'outil est une composante de la chaîne de raisonnement plutôt que le seul déterminant du succès.

Principales contributions

Méthodologie de construction de données en deux étapes : Un pipeline pour synthétiser des données de démarrage à froid qui supportent un raisonnement entrelacé augmenté par le code, abaissant efficacement la barrière de génération de trajectoires de haute qualité.
Stratégies de filtrage de données : La proposition de stratégies d'auto-échantillonnage et de filtrage préalable pour organiser les données de raisonnement entrelacé, atténuant le bruit et assurant une optimisation de politique stable.
Stratégie d'appel d'outils adaptatif : Le développement d'une variante de GRPO avec des contraintes de groupe qui permet aux modèles de déterminer de manière autonome la nécessité et le moment des appels d'outils, tout en assurant la stabilité de l'entraînement à long terme.

Résultats expérimentaux

Les expériences ont été menées en utilisant le modèle Qwen2.5-VL-7B sur six benchmarks de raisonnement mathématique (MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista).

Gains de performance : Après l'entraînement par RL avec la récompense contrainte par groupe, le modèle AIR a obtenu une amélioration moyenne de 6,1 points de pourcentage (pp) sur les benchmarks par rapport à la ligne de base.
Améliorations spécifiques : Les gains notables incluent +8,1 pp sur MathVista, +7,7 pp sur MathVerse, et +9,9 pp sur WeMath.
Précision du raisonnement entrelacé : La précision spécifiquement pour les échantillons de raisonnement entrelacé a augmenté de 9,9 pp.
Succès de l'utilisation des outils : Le taux de réussite global de l'utilisation des outils a dépassé 95 % à travers divers ratios d'appels d'outils.
Stabilité : Le mécanisme de contrainte de groupe a réussi à prévenir l'effondrement de l'entraînement, un problème courant dans le RL agentique où l'utilisation excessive d'outils mène à l'instabilité.

Signification et affirmations

Le papier affirme que AIR représente une étape significative pour permettre aux MLLM d'effectuer un raisonnement de Système 2 (pensée lente) en orchestrant de manière autonome des outils spécialisés pour les tâches à forte intensité de calcul. Contrairement aux travaux précédents focalisés sur la perception visuelle (Système 1), AIR traite la lacune critique du calcul numérique complexe.

Les auteurs affirment que leur approche fournit une solution robuste pour le raisonnement multimodal complexe en :

Découplant la génération des traces de raisonnement de l'exécution du code, permettant une production de données plus fiable.
Stabilisant l'entraînement par RL agentique à long terme grâce à des récompenses contraintes par groupe, évitant l'effondrement du modèle associé à une invocation non régulée des outils.
Démontrant que l'invocation d'outils adaptative, plutôt qu'une utilisation fixe ou excessive, est la clé pour améliorer les performances sur les benchmarks mathématiques.

Le papier conclut modestement, notant que bien qu'AIR obtienne des résultats solides, sa performance reste limitée par les capacités de codage et de perception inhérentes au modèle de base, et que les travaux futurs devraient étendre l'évaluation au-delà du raisonnement mathématique vers des domaines comme la physique et la finance.