💬 NLP

SPARC: Separating Perception And Reasoning Circuits for Test-time Scaling of VLMs

Cet article introduit SPARC, un cadre modulaire qui découple la perception visuelle du raisonnement dans les modèles de vision-langage afin de permettre une mise à l'échelle asymétrique et efficace au moment de l'inférence et d'améliorer considérablement les performances sur les tâches de raisonnement visuel avec des budgets de jetons réduits.

Auteurs originaux : Niccolo Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Niccolo Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, mais qu'au lieu de regarder l'image entière d'un coup, vous devez décrire chaque pièce individuellement dans une longue histoire décousue avant de pouvoir deviner l'image finale. C'est ainsi que fonctionnent beaucoup de modèles actuels de "Vision-Langage" (les IA qui voient et parlent). Ils essaient d'analyser une image et de raisonner sur celle-ci en même temps, ce qui les amène souvent à se perdre, à inventer des détails ou à s'égarer dans leurs propres explications interminables.

Le document présente une nouvelle méthode appelée SPARC (Séparation des circuits de perception et de raisonnement). Considérez SPARC comme une équipe intelligente de deux spécialistes travaillant ensemble, plutôt qu'un seul généraliste surchargé essayant de tout faire à la fois.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le détective qui "trop réfléchit"

Les modèles d'IA actuels sont comme des détectives qui tentent de résoudre un crime en fixant toute la scène de crime et en parlant à voix haute de toutes les possibilités simultanément.

Le problème : Si le détective manque un minuscule indice (comme un grain de poussière) parce qu'il est occupé à parler de la météo, il pourrait construire toute une théorie erronée basée sur cette erreur. C'est ce qu'on appelle une "hallucination".
Le coût : Pour obtenir la bonne réponse, ces modèles doivent souvent générer des milliers de mots de "réflexion" (tokens), ce qui est lent et coûteux.

2. La solution SPARC : Le "Repéreur" et le "Résolveur"

SPARC sépare le travail en deux étapes distinctes, inspirées par le fonctionnement du cerveau humain. Cela sépare la Perception (voir) du Raisonnement (penser).

Étape 1 : Le Repéreur (Circuit de Perception)
Imaginez un repéreur hautement entraîné dont l'unique mission est de regarder une photo et de pointer du doigt la partie spécifique de l'image pertinente pour la question.
- Exemple : Si la question est "Quelle est la couleur de l'écharpe ?", le Repéreur ne répond pas. Il dit simplement : "Regardez juste ici, au cou de la femme", et zoome sur cette zone minuscule.
- Cette étape est rapide, ciblée, et ne cherche pas encore à résoudre l'énigme. Elle se contente de trouver "l'aiguille dans la botte de foin".
Étape 2 : Le Résolveur (Circuit de Raisonnement)
Une fois que le Repéreur a zoomé sur la bonne zone, le Résolveur obtient une vue claire et haute résolution de cet endroit précis.
- Le Résolveur regarde alors l'image zoomée et dit : "Ah, c'est une écharpe verte".
- Comme le Résolveur n'est pas distrait par le reste de l'arrière-plan désordonné, il peut donner la réponse rapidement et avec précision.

3. Pourquoi c'est un changement radical

A. L'effet "Loupe"
Le document montre que si vous donnez à l'IA une vue parfaite et zoomée du bon endroit, elle peut résoudre le problème même si le reste de l'image est flou ou de faible qualité.

Analogie : C'est comme essayer de lire une étiquette minuscule sur une bouteille. Vous n'avez pas besoin de voir tout le magasin ; vous avez juste besoin d'une loupe sur l'étiquette. SPARC agit comme cette loupe, permettant à l'IA d'utiliser moins de puissance de calcul tout en obtenant de meilleurs résultats.

B. Le "Filet de sécurité" (Auto-cohérence)
Parfois, le Repéreur peut pointer le mauvais endroit par erreur. SPARC utilise une astuce ingénieuse : il demande au Repéreur de pointer l'endroit huit fois rapidement.

Si le Repéreur pointe le même endroit 7 fois sur 8, le système sait que c'est le bon endroit.
C'est beaucoup moins coûteux que de demander au "Détective" entier de réfléchir au problème de huit manières différentes. C'est comme demander à une équipe de repéreurs de voter sur l'emplacement, puis de n'envoyer la réponse finale qu'à l'expert résolveur.

C. Entraîner l'équipe séparément
Dans l'ancienne méthode, si vous essayiez d'apprendre à l'IA à mieux repérer les choses, vous risquiez par inadvertance de la rendre moins performante pour résoudre des problèmes (comme apprendre à un joueur d'échecs à jongler, et qu'il en oublie comment jouer aux échecs).

Avec SPARC, vous pouvez entraîner le "Repéreur" pour qu'il soit excellent pour trouver des objets sans toucher au "Résolveur". Cela signifie que vous pouvez améliorer la vision de l'IA sans "casser son cerveau".

4. Les résultats en langage clair

Les chercheurs ont testé cela sur des énigmes visuelles très difficiles où l'IA devait trouver de minuscules détails dans de grandes images à haute résolution (comme des photos satellites ou des diagrammes complexes).

Meilleure précision : SPARC a résolu nettement plus de questions que les modèles standards qui "réfléchissent trop".
Beaucoup plus rapide : Il a utilisé jusqu'à 200 fois moins de puissance de calcul (tokens) pour obtenir des résultats identiques ou meilleurs.
Robustesse : Même lorsque l'image était floue ou la question complexe, SPARC ne s'est pas autant confondu ou n'a pas inventé de fausses réponses que les autres modèles.

Résumé

SPARC, c'est comme engager un Repéreur pour trouver la bonne pièce du puzzle et un Résolveur pour l'assembler, plutôt que de forcer une seule personne à faire les deux tâches tout en se parlant à elle-même pendant des heures. En séparant "le regard" de "la pensée", l'IA devient plus rapide, moins chère à utiliser et beaucoup moins susceptible de commettre des erreurs.

Résumé Technique : SPARC – Séparation des Circuits de Perception et de Raisonnement pour le Passage à l'Échelle au Moment de l'Inférence des VLM

1. Énoncé du Problème

Malgré les progrès récents, le passage à l'échelle au moment de l'inférence (test-time scaling) — l'expansion dynamique du budget de jetons lors de l'inférence pour améliorer les performances — reste fragile pour les modèles de langage-vision (VLM). Les approches actuelles, particulièrement le paradigme « réfléchir avec des images », reposent sur des chaînes de raisonnement visuel non structurées qui enchevêtrent les jetons de perception et de raisonnement. Cet enchevêtrement entraîne plusieurs problèmes critiques :

Erreurs en Cascade : De petites erreurs perceptuelles dans les premières étapes du raisonnement peuvent se propager, menant à des réponses finales totalement erronées (hallucinations ou « raisonnement mirage »).
Inefficacité Computationnelle : Les chaînes non structurées génèrent souvent des contextes longs et désorganisés, nécessitant un apprentissage par renforcement (RL) coûteux avec des récompenses conçues à la main pour être optimisés.
Inflexibilité : Les approches monolithiques manquent de mécanismes pour adapter l'allocation de calcul en fonction de la difficulté de la tâche. La décision de terminer une réponse est laissée à l'LLM, ce qui entraîne souvent une utilisation excessive de jetons pour des tâches perceptuelles simples ou un manque de concentration sur des détails complexes.
Complexité d'Entraînement : Apprendre à gérer des conversations multi-tours mélangeant des jetons visuels et de raisonnement est coûteux en calcul et sujet à l'oubli catastrophique des capacités pré-entraînées, particulièrement dans les modèles plus petits.

2. Méthodologie : Le Cadre SPARC

Inspiré par le traitement hiérarchique de l'information dans le cerveau biologique (spécifiquement la séparation des voies visuelles « quoi » et « où » convergeant dans le cortex préfrontal), les auteurs proposent SPARC (Separating Perception And Reasoning Circuits). Il s'agit d'un pipeline modulaire à deux étapes qui découple explicitement la perception visuelle du raisonnement.

Étape 1 : Détection de Pertinence Implicite (IRD) - Le Circuit de Perception

Au lieu de demander au modèle de répondre directement à une question, la première étape charge le modèle d'effectuer une recherche visuelle explicite.

Entrée : L'image originale et la question.
Sortie : Des coordonnées (boîtes englobantes ou points) identifiant les régions de l'image pertinentes pour la requête.
Mécanisme : Le modèle agit comme un circuit perceptuel, localisant strictement les régions saillantes. Cela est qualifié de « Détection de Pertinence Implicite » car le modèle doit inférer la pertinence visuelle latente à partir d'un prompt de haut niveau plutôt que de recevoir un nom d'objet explicite (comme dans la compréhension d'expression référentielle standard).
Optimisation : Cette étape peut être exécutée avec une allocation de calcul asymétrique. Par exemple, plusieurs itérations (ex: $N=8$ ) peuvent être générées avec un cache KV partagé pour garantir une localisation robuste via la Fusion de Boîtes Pondérée (WBF), sans encourir le coût de chaînes de raisonnement complètes.

Étape 2 : Raisonnement Perceptuel - Le Circuit de Raisonnement

La deuxième étape conditionne le processus de raisonnement sur les sorties de la première étape.

Entrée : L'image originale (ou une vue globale) combinée aux recadrages haute résolution identifiés à l'étape 1.
Sortie : La réponse finale.
Mécanisme : Le modèle agit comme un circuit de raisonnement (analogue au cortex préfrontal), synthétisant une Chaîne de Pensée (CoT) basée uniquement sur les preuves visuelles de haute fidélité pertinentes.
Ingénierie de Contexte : En fournissant un contexte structuré contenant uniquement le contenu haute résolution nécessaire, SPARC évite le « effet de vision tunnel » ou l'effondrement du contexte associé aux déploiements multimodaux longs et désorganisés.

Stratégie d'Entraînement

SPARC permet une optimisation indépendante. Les auteurs démontrent que le circuit de perception peut être affiné (par exemple, via l'adaptation de bas rang/LoRA) spécifiquement pour la tâche d'IRD sans dégrader les capacités pré-entraînées du socle de raisonnement. Cela évite l'oubli catastrophique souvent observé lors de l'ajustement de modèles monolithiques sur des traces de raisonnement multi-tours complexes.

3. Contributions Clés

Cadre SPARC : Un schéma de prompting qui permet un passage à l'échelle fiable des tâches de perception au moment de l'inférence en mode zero-shot avec un overhead computationnel minimal.
Allocation de Calcul Asymétrique : La capacité de mettre à l'échelle la perception et le raisonnement indépendamment. Les auteurs montrent qu'appliquer la cohérence de soi (plusieurs itérations) sélectivement à la branche de perception produit des gains de performance significatifs avec une fraction du coût en jetons par rapport à un ensemblage naïf de chaînes de raisonnement complètes.
Efficacité d'Entraînement : Une démonstration que le découplage permet un ajustement fin ciblé et efficace du modèle de perception (en utilisant le Supervised Fine-Tuning standard) sans compromettre les capacités originales du modèle de raisonnement.
Compensation de Résolution : Preuve empirique qu'un guidage perceptuel précis (recadrage précis) peut compenser entièrement la perte de détails visuels globaux, permettant à des modèles à basse résolution d'égaler les performances de modèles à pleine résolution lorsqu'ils sont fournis avec les bons recadrages.

4. Résultats Expérimentaux

Les auteurs ont évalué SPARC sur des benchmarks de raisonnement visuel exigeants, notamment V* (localisation d'objets haute résolution), HRBench-4K/8K, et le benchmark de télédétection hors distribution (OOD) XLRS.

Gains de Performance :
- Sur le benchmark V*, SPARC a amélioré Qwen3-VL 4B de 6,7 points (passant de 41,7 à 51,0 à 256px de résolution) par rapport à la ligne de base native.
- Dans un contexte OOD (XLRS), SPARC a surpassé le paradigme « réfléchir avec des images » de 4,6 points tout en utilisant un budget de jetons 200 fois inférieur.
- SPARC surpasse systématiquement les bases monolithiques et les approches de grounding visuel fortes à travers toutes les familles de modèles testées (Qwen3-VL et Molmo2) et tailles (4B et 8B).
Efficacité :
- SPARC atteint une précision supérieure avec beaucoup moins de jetons. Par exemple, sur le réglage de résolution 256px, SPARC surpasse souvent le « réfléchir avec des images » tournant à pleine résolution.
- L'utilisation de la Fusion de Boîtes Pondérée (WBF) avec 8 itérations dans l'étape de perception a abouti à seulement ~3,3 recadrages finaux pour Qwen3-VL 4B, réduisant drastiquement le nombre de jetons visuels pour l'étape de raisonnement.
Efficacité d'Entraînement :
- L'ajustement fin du module de perception avec un adaptateur LoRA spécialisé (entraîné sur des données synthétiques générées par un modèle enseignant plus large) a encore boosté les performances. Contre-intuitivement, l'entraînement à des résolutions plus basses (256px) a produit une meilleure généralisation que l'entraînement en pleine résolution, agissant comme un régularisateur qui force le modèle à apprendre des caractéristiques structurelles robustes plutôt qu'à faire du surapprentissage sur des détails à haute fréquence.
Robustesse :
- SPARC n'a pas souffert de « vision tunnel » sur les requêtes globales ou relationnelles ; l'architecture conserve le contexte de l'image globale lors de l'étape de raisonnement, permettant au modèle de revenir à la vue complète si nécessaire.

5. Signification et Revendications

L'article affirme que SPARC représente un changement de paradigme dans l'inférence des VLM en passant d'un raisonnement non structuré et enchevêtré à des pipelines de perception-raisonnement modulaires et structurés.

Plausibilité Biologique : L'architecture reflète la séparation du traitement sensoriel et de l'intégration cognitive de haut niveau trouvée dans le cerveau, offrant une stratégie d'inférence plus robuste et efficace.
Scalabilité : En découplant les circuits, SPARC permet une allocation dynamique des ressources (ex: dépenser plus de calcul pour la perception pour des tâches visuelles difficiles tout en gardant les coûts de raisonnement bas).
Praticité : La méthode est largement exempte d'entraînement (reposant sur le prompting) mais supporte également un ajustement fin ciblé et efficace sans l'instabilité des cadres d'apprentissage par renforcement complexes requis par les approches « réfléchir avec des images ».
Limites : Les auteurs reconnaissent que SPARC repose actuellement sur des VLM possédant des capacités natives de grounding spatial (sorties de coordonnées ou de points). Appliquer cela à des VLM purement générateurs de texte nécessiterait l'intégration d'un modèle de détection d'objets externe.

En résumé, SPARC démontre que le fait de séparer explicitement le « où » (perception) du « pourquoi » (raisonnement) permet aux VLM de monter en échelle efficacement, de réduire les hallucinations et d'atteindre des performances de pointe avec des coûts de calcul considérablement réduits.