🤖 AI

On Locality and Length Generalization in Visual Reasoning

Cet article démontre que, tandis que les modèles de vision globaux standards échouent souvent à se généraliser à travers la complexité des tâches en exploitant des raccourcis, les politiques récurrentes basées sur une perception strictement locale peuvent surmonter ces limitations et parvenir à une généralisation compositionnelle robuste, suggérant que l'attention locale est essentielle pour le raisonnement visuel.

Auteurs originaux : Pulkit Madan, Sanjay Haresh, Reza Ebrahimi, Sunny Panchal, Apratim Bhattacharyya, Roland Memisevic

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pulkit Madan, Sanjay Haresh, Reza Ebrahimi, Sunny Panchal, Apratim Bhattacharyya, Roland Memisevic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle géant et désordonné, mais qu'au lieu de regarder l'image entière d'un coup, vous devez utiliser une loupe minuscule et ultra-puissante pour examiner une pièce à la fois, en déplaçant votre main étape par étape sur la table. C'est exactement ainsi que nos yeux fonctionnent. Nous ne voyons pas le monde comme un seul cliché géant et figé ; nous prenons une série de « aperçus » locaux et rapides pour construire une image dans notre esprit.

Mais voici le rebondissement : la plupart des modèles de vision par ordinateur super intelligents que nous utilisons aujourd'hui sont comme quelqu'un qui essaierait de résoudre ce même puzzle en regardant toute la table à distance, d'un seul coup. Ils prennent toute l'image en une seule grande bouchée.

Un nouvel article de chercheurs de Qualcomm AI Research pose une question cruciale : est-ce que cette approche de la « grande bouchée » freine réellement les ordinateurs lorsqu'il s'agit de tâches de raisonnement complexes ? Ils ont mis en place une série de terrains de jeux numériques pour tester cela, et les résultats sont assez incroyables.

Le puzzle de la « Parité » et le piège du « raccourci »

Les chercheurs ont créé un jeu appelé Visual Parity (Parité Visuelle). Imaginez un plateau avec un tas d'interrupteurs éparpillés. Certains sont allumés (1), d'autres sont éteints (0). L'objectif ? Déterminer si le nombre total d'interrupteurs « allumés » est un nombre impair ou pair.

Pour un humain, c'est facile : il suffit de parcourir les interrupteurs du regard, de les compter, et de crier « Impair ! » ou « Pair ! ». Mais pour un modèle informatique qui voit l'image entière d'un coup, c'est un piège. L'article montre que ces modèles « globaux » (comme le populaire Qwen2.5-VL) sont trop malins pour leur propre bien. Ils apprennent un raccourci. Au lieu de réellement compter chaque interrupteur, ils pourraient simplement observer la densité des interrupteurs ou le motif global de l'image. Cela fonctionne parfaitement lorsque le plateau contient, par exemple, 5 à 10 interrupteurs (ce qui est ce sur quoi ils ont été entraînés).

Mais dès que vous lancez une courbe imprévue — en leur donnant un plateau avec 15 ou 20 interrupteurs, ou en rendant le plateau beaucoup plus grand — le raccourci échoue. Le modèle panique. C'est comme un élève qui a mémorisé les réponses à un quiz de 10 questions mais qui échoue à un examen de 20 questions parce qu'il n'a jamais réellement appris comment compter.

L'article exclut explicitement l'idée que ces modèles aient simplement besoin d'être plus grands ou plus intelligents. Même les modèles les plus avancés, lorsqu'ils tentent de voir l'image entière d'un coup, se heurtent à un mur quand la tâche devient plus longue ou plus complexe. Ils sont tout simplement incapables de généraliser aux nouvelles versions plus difficiles du jeu.

La recette secrète : Un agent « fovéal »

Alors, quelle est la solution ? Les chercheurs ont construit un agent robotique appelé FOVEAGENT-LSTM. Au lieu de fixer tout le plateau, cet agent est équipé d'un système de vision « fovéal », tout comme l'œil humain.

Voyez cela comme ceci : l'agent possède une minuscule caméra ultra-nette au centre de sa vision (la fovéa) qui voit les détails clairement, et une caméra grand-angle floue autour des bords (la périphérie) qui l'aide à savoir où se déplacer ensuite. Il fait un pas, regarde un interrupteur, met à jour son état mental, passe au suivant, et recommence.

Cette approche « étape par étape » est la clé. L'article révèle que lorsqu'on force l'agent à regarder l'image localement, pièce par pièce, il apprend réellement la logique de la tâche. Il ne repose pas sur des raccourcis. Lorsque les chercheurs ont testé cet agent sur des plateaux contenant beaucoup plus d'interrupteurs que ceux vus durant l'entraînement (jusqu'à 20 interrupteurs !), il a continué à réussir. Cela suggère que la perception locale (regarder de petites parties) combinée à la récurrence (se souvenir de ce que l'on a vu à l'étape précédente) est la recette magique pour résoudre ces problèmes.

Et pour la simple « recherche » d'objets ?

C'est ici que cela devient intéressant. Les chercheurs ont également testé un type de jeu différent appelé Recall (Rappel). Imaginez une pièce remplie de « T » rouges et de « L » verts, et vous devez trouver un « L » rouge. Il s'agit d'une tâche de recherche, pas d'une tâche de comptage.

Dans ce scénario, les modèles « globaux » (ceux qui voient tout d'un coup) ont en fait très bien réussi ! Ils n'ont pas eu besoin de déambuler dans la pièce étape par étape. Ils ont pu simplement scanner toute la pièce et repérer la cible. L'article suggère que pour des tâches simples de « recherche et détection », vous n'avez pas besoin de la vision locale complexe, étape par étape. Vous n'avez besoin de cette approche par étapes que lorsque vous devez suivre un état (comme compter ou suivre une séquence de règles).

Le test en conditions réelles : Trouver des racines

Pour voir si cela fonctionne dans le monde réel, ils ont tenté une tâche mathématique : trouver les « racines » (là où une ligne traverse zéro) sur un graphique. Ils devaient trouver ces racines dans des graphiques encombrés d'autres lignes et sous-graphiques.

Lorsqu'ils ont utilisé un modèle global standard, celui-ci avait du mal à trouver les racines dans les graphiques désordonnés et complexes. Mais lorsqu'ils ont utilisé leur agent « fovéal » (qui regardait le graphique par petits morceaux à haute résolution), ses performances étaient bien meilleures. L'article suggère que pour les tâches nécessitant d'assembler des informations provenant de différentes parties d'une image, regarder localement est un avantage majeur.

Le bémol : La taille compte

Il existe toutefois un équilibre délicat. Les chercheurs ont découvert que si l'« aperçu » pris par l'agent est trop grand, il recommence à tricher. Si l'agent peut voir trop d'interrupteurs à la fois, il arrête de compter et se remet à deviner des motifs.

Ils ont trouvé un « point idéal ». L'agent a besoin d'une vue haute résolution de l'interrupteur spécifique qu'il regarde (pour voir s'il est allumé ou éteint), mais d'une vue basse résolution et floue de la zone environnante (pour naviguer sans trop en voir). Si la vue périphérique est trop nette, l'agent apprend des raccourcis. Si elle est trop floue, l'agent se perd. C'est une situation de type « Goldilocks » (ni trop chaud, ni trop froid) : la vue périphérique doit être juste assez précise pour aider l'agent à se déplacer sans lui permettre de tricher.

L'essentiel à retenir

L'article ne prétend pas avoir résolu tous les problèmes de l'IA. Il suggère que pour les tâches qui nécessitent de compter, de suivre un état ou de suivre une séquence d'étapes à travers une grande image, les modèles actuels qui « regardent tout en même temps » pourraient atteindre un plafond.

Il suggère que pour obtenir un raisonnement véritablement robuste et semblable à celui de l'humain chez les ordinateurs, nous devrons peut-être revenir aux bases et construire des modèles qui « regardent » le monde comme nous le faisons : un aperçu focalisé à la fois, en se souvenant de ce qui a précédé, et en progressant étape par étape à travers le puzzle. C'est un rappel que, parfois, voir moins (localement) aide réellement à comprendre davantage (globalement).

Résumé Technique : Sur la Localité et la Généralisation de la Longueur dans le Raisonnement Visuel

Énoncé du Problème

Les modèles de vision actuels à l'état de l'art, particulièrement ceux basés sur les Transformers, ingèrent généralement les images de manière globale en une seule passe directe (forward pass). Bien que ces modèles atteignent des performances de niveau humain sur des tâches comme la légende d'images et les questions-réponses visuelles, ils reposent sur des calculs globaux qui diffèrent fondamentalement de la vision humaine, laquelle traite l'information par une série de l'aperçus fovéaux locaux connectés par des saccades.

Le problème central abordé dans ce travail est la généralisation de la longueur dans le raisonnement visuel : la capacité d'un modèle à résoudre des tâches nécessitant l'agrégation d'informations locales à travers une image lorsque le nombre d'entités ou la complexité de la tâche dépasse la distribution d'entraînement. En établissant des parallèles avec les découvertes dans les modèles de langage (ex. : Dubois et al., 2020 ; Anil et al., 2022), les auteurs étudient si les modèles de vision globaux échouent à généraliser à des séquences visuelles plus longues et plus complexes parce qu'ils apprennent des « raccourcis globaux » plutôt que de véritables stratégies de raisonnement compositionnel. Le papier postule qu'à l'inverse des tâches textuelles où l'information est déjà décomposée en jetons (tokens) séquentiels, les tâches visuelles exigent que le modèle rassemble et agrège activement des informations spatialement distribuées, un processus potentiellement entravé par la perception globale.

Méthodologie

Banc d'essai pour la généralisation de la longueur

Les auteurs introduisent une suite de tâches de raisonnement visuel conçues pour évaluer les capacités d'extrapolation :

Parité Visuelle : Un analogue visuel au problème de la parité binaire. Le modèle doit localiser $N$ commutateurs binaires (0 ou 1) distribués aléatoirement sur un canevas 2D et déterminer si la somme des états pressés est impaire ou paire. Cela teste l'agrégation invariante à la permutation.
Machine à États : Une tâche exigeant des mises à jour d'états sensibles à l'ordre. Des commutateurs déclenchent des règles (incrément/décrément) sur un état numérique, avec des flèches indiquant l'ordre de traversée. Cela teste le raisonnement séquentiel et le suivi d'état.
Rappel (Recall) : Une tâche de contrôle impliquant la récupération visuelle (trouver un objet spécifique parmi des distracteurs) sans suivi d'état, conçue pour tester si les échecs de généralisation sont spécifiques au suivi d'état ou s'appliquent à toutes les tâches visuelles.
Recherche de Racines (Finding Roots) : Une tâche de raisonnement mathématique réelle nécessitant la localisation de sous-graphiques et de fonctions spécifiques pour identifier des racines, testant les performances sur des données structurées et complexes.

Le Modèle FOVEAGENT-LSTM

Pour tester l'hypothèse selon laquelle la perception locale et la récurrence sont nécessaires pour la généralisation, les auteurs proposent FOVEAGENT-LSTM, un modèle de vision récurrent inspiré de la fovéation biologique.

Mécanisme d'Entrée : À chaque étape temporelle, le modèle reçoit deux entrées : un aperçu fovéal ( $G_l$ ) à haute résolution pour les détails fins et un aperçu périphérique ( $G_p$ ) à basse résolution pour la navigation.
Architecture : Les aperçus sont encodés par des encodeurs ResNet et concaténés, puis transmis à un squelette (backbone) LSTM.
Espace d'Action : Le modèle produit un vecteur de déplacement (angle et magnitude) pour déterminer l'emplacement du prochain regard et un bit d'arrêt pour signaler la fin de la tâche.
Sondes (Probes) : Une supervision intermédiaire est fournie via des « sondes » (ex. : l'état de l'interrupteur actuel) pour imiter le raisonnement de type « chaîne de pensée » (chain-of-thought) et améliorer l'efficacité des données.

Configuration Expérimentale

Les auteurs comparent FOVEAGENT-LSTM à des bases solides, incluant QWEN2.5-VL-3B-INSTRUCT (fine-tuné) et divers modèles propriétaires (GPT-4o, Claude Sonnet). Les expériences sont menées sur des données en distribution (InD) (ex. : 2–10 commutateurs) et hors distribution (OOD) (ex. : 11–20 commutateurs, résolutions variables). L'étude évalue systématiquement les ablations suivantes :

Type de Perception : Vue globale vs Locale+Globale vs Strictement Locale (Fovéale).
Architecture : Récurrente (LSTM) vs Non-récurrente (Transformers, RNN Linéaires comme Mamba/XLSTM).
Paramètres d'Aperçu : La taille et la résolution de la vue périphérique et de la vue fovéale.

Contributions Clés

La Généralisation de la Longueur comme Benchmark Visuel : Le papier établit les tâches de raisonnement visuel nécessitant l'agrégation d'informations locales comme un banc d'essai fondamental pour la généralisation de la longueur, soulignant une lacune dans les évaluations actuelles qui se concentrent sur la performance en distribution.
Identification des Raccourcis Globaux : Les auteurs démontrent que les modèles de vision et de vision-langage actuels, malgré de fortes performances en distribution, échouent à extrapoler vers des séquences visuelles plus longues. Cet échec est attribué aux modèles apprenant des raccourcis globaux qui se brisent face à une complexité visuelle accrue.
La Nécessité de la Localité et de la Récurrence : Le travail trace l'échec à deux facteurs spécifiques :
- Perception Globale : Les modèles ayant accès à l'image complète (même récurrents) échouent à généraliser OOD, suggérant que voir l'image entière permet l'apprentissage de raccourcis.
- Non-Récurrence : Les modèles dotés d'une perception locale mais de squelettes non récurrents (Transformers, RNN Linéaires comme Mamba/XLSTM) échouent également à généraliser.
- Conclusion : La perception strictement locale et le traitement récurrent sont tous deux nécessaires et conjointement suffisants pour une généralisation robuste OOD dans les tâches de suivi d'état.
Distinction entre Rappel et Suivi d'État : Le papier montre que si les modèles globaux échouent au suivi d'état, ils réussissent aux tâches de « rappel » (récupération visuelle sans suivi d'état), confirmant que l'échec de généralisation est spécifique à l'agrégation séquentielle d'états.
Validation par le Monde Réel : Les conclusions sont validées sur une tâche de raisonnement mathématique réelle (Finding Roots), montées que les approches fovéales surpassent significativement les modèles globaux en réglages OOD, même lorsque les budgets de calcul sont équivalents.

Résultats

Performance de Généralisation : FOVEAGENT-LSTM maintient une précision élevée sur les tâches OOD (ex. : 11–20 commutateurs) là où les modèles globaux (QWEN2.5-VL) montrent un déclin brutal de performance.
Ablation de la Perception : Les modèles entraînés avec accès à l'image complète haute résolution (configurations Global ou Local+Global) échouent à généraliser OOD, tandis que le modèle strictement fovéal réussit. Cela soutient l'idée que la perception globale favorise l'apprentissage de raccourcis.
Ablation de l'Architecture : Lorsqu'ils sont alimentés par la même séquence d'aperçus locaux, les architectures non récurrentes (Transformers, Mamba, XLSTM) échouent à généraliser, tandis que l'LSTM réussit. Cela confirme que la récurrence est essentielle pour le calcul étape par étape requis par le suivi d'état.
Compromis de Taille d'Aperçu : Il existe un équilibre optimal entre la taille de l'aperçu et la résolution. Des aperçus plus larges permettent un traitement plus rapide mais encouragent l'apprentissage de raccourcis ; des aperçus plus petits imposent un traitement séquentiel mais peuvent entraver la navigation. Une fovéa à haute résolution combinée à une périphérie à basse résolution résout ce conflit.
Recherche Active : Le modèle généralise avec succès même lorsque les indices de traversée explicites (flèches) sont supprimés, à condition qu'il possède des mécanismes de recherche active et de mémoire spatiale (marquage des commutateurs visités).
Efficacité de Calcul : Dans la tâche « Finding Roots », FOVEAGENT-QWEN (une version fovéale de Qwen) double presque la précision du baseline global pour le même budget de calcul visuel, démontrant qu'allouer le calcul à des régions locales à haute résolution est plus efficace que d'augmenter uniformément la résolution globale.

Signification et Revendications

Le papier soutient que l'attention locale est une exigence essentielle, bien que négligée, pour un raisonnement compositionnel robuste en vision. Les auteurs affirment que la pratique standard consistant à encoder l'information visuelle dans une fenêtre de contexte globale (via des ViT ou CNN) empêche les modèles de développer les biais inductifs nécessaires à l'extrapolation.

La signification de ce travail réside dans :

Plausibilité Biologique : Elle suggère que la nature séquentielle et fovéale de la vision humaine n'est pas simplement un artefact évolutif, mais une nécessité computationnelle pour gérer des tâches de raisonnement de longueur variable et complexes.
Orientation Architecturale : Elle propose que les futurs modèles de fondation visuelle visant des capacités de raisonnement de niveau humain pourraient devoir revenir à des politiques d'attention séquentielles inspirées de la biologie, combinant la récurrence avec une perception strictement locale.
Limites des Benchmarks Actuels : Elle souligne que les benchmarks standards, qui reposent souvent sur la performance en distribution, ne parviennent pas à capturer l'incapacité des modèles actuels à généraliser à des niveaux de complexité ou de longueur inédits.

Les auteurs restent modestes dans leurs affirmations, notant que si ils démontrent la nécessité de la localité et de la récurrence pour le suivi d'état, ces mécanismes ne sont pas requis pour les tâches de rappel. De plus, ils reconnaissent que l'apprentissage de politiques générales pour la perception locale dans des scénarios réels (au-delà des tâches synthétiques) reste un problème de recherche ouvert nécessitant l'apprentissage par renforcement ou des données plus diverses.