🤖 AI

Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders

Cet article introduit « Analysis-by-Proxy », un cadre qui révèle comment les modèles vision-langage utilisés comme encodeurs de condition pour l'édition d'images échouent à propager les signaux de localisation cruciaux lors d'une passe avant unique, car ces représentations spatiales restent cachées dans les couches intermédiaires plutôt que d'atteindre les points de conditionnement prédéfinis utilisés par les pipelines actuels.

Auteurs originaux : Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Le Modèle « Intelligent » vs L'Éditeur « Maladroit »

Imaginez que vous avez un architecte brillant et très instruit (le Modèle Vision-Langage, ou VLM). Cet architecte est incroyable pour regarder une photo et une instruction écrite comme : « Supprime l'abeille située tout en haut du tournesol », et savoir instantanément où se trouve cette abeille. Si vous lui demandez de la pointer du doigt, il réussit 89 % du temps.

Cependant, lorsque vous engagez cet architecte pour travailler comme chef de chantier pour une équipe de construction (le Pipeline d'Édition d'Image), les choses tournent mal. Le chef de chantier dit à l'équipe : « Allez corriger l'abeille », mais l'équipe finit par peindre la mauvaise fleur, par supprimer tout le tournesol, ou par halluciner une abeille qui n'existait pas. L'équipe ne réussit que 57 % du temps.

Le Mystère : Pourquoi l'architecte connaît-il parfaitement la réponse, alors que l'équipe de construction échoue si lamentablement ?

L'Hypothèse de l'Article : La « Rue à Sens Unique » vs La « Conversation »

Les auteurs ont découvert que le problème n'est pas que l'architecte est mauvais pour trouver des abeilles. Le problème est la manière dont on demande à l'architecte de faire son travail.

Le Superpouvoir de l'Architecte : L'architecte a été entraîné pour avoir une conversation. Si vous posez une question, il réfléchit, répond, réfléchit à nouveau et affine sa réponse. Cette « va-et-vient » (appelée génération autorégressive) l'aide à fouiller profondément dans sa mémoire pour trouver l'emplacement exact de l'abeille.
Le Travail de Chantier : Dans l'édition d'image, l'architecte est forcé de travailler en silence. On lui donne la photo et l'instruction, et il doit recracher immédiatement une série d'instructions unique. Il n'est pas autorisé à « réfléchir à voix haute » ou à générer une conversation.

L'article soutient que lorsqu'on force l'architecte à travailler dans ce mode « silencieux et en une seule étape », les détails spécifiques sur l'endroit où se trouve l'abeille sont enfouis profondément dans son cerveau. Les instructions finales qu'il envoie au chantier sont trop vagues, même si l'architecte connaît la réponse.

La Solution : L'Espion (Analysis-by-Proxy)

Puisque l'architecte ne nous parlera pas directement dans ce mode silencieux, les chercheurs ont inventé un Espion, qu'ils appellent un Proxy.

La Mise en Place : Au lieu de demander à l'architecte d'écrire une longue histoire (ce qu'il ne peut pas faire dans ce mode), les chercheurs ont placé un petit détective super intelligent (le Proxy) à l'intérieur du cerveau de l'architecte.
La Mission : Le seul travail du détective est de regarder les pensées internes de l'architecte (les couches cachées du réseau neuronal) et d'essayer de deviner les coordonnées de l'abeille.
La Découverte : Le détective a découvert que l'information sur la « localisation de l'abeille » ne se trouvait pas dans les pensées finales de l'architecte (la dernière couche). Elle était cachée dans les couches intermédiaires, comme un mot secret transmis entre amis dans une salle de classe.
- Analogie : Imaginez que l'architecte est une bibliothèque. La dernière couche est le « Livre de Synthèse » au bureau d'accueil — il est trop général. Les couches intermédiaires sont les étagères spécifiques où les cartes détaillées sont conservées. L'équipe de construction ne lisait que le Livre de Synthèse, mais la carte se trouvait en réalité sur l'Étagère 15.

Le Tournant « Dynamique » : Ce n'est pas toujours l'Étagère 15

Les chercheurs ont trouvé quelque chose d'encore plus intéressant. L'emplacement du « mot secret » change selon la question.

Si vous posez une question sur une abeille sur un tournesol, la carte est sur l'Étagère 15.
Si vous posez une question sur une abeille sur une autre fleur, la carte peut être sur l'Étagère 18.

Les outils d'édition standards étaient comme un bibliothécaire qui vérifiait toujours l'Étagère 20, peu importe la question. C'est pourquoi ils échouaient systématiquement. Le « secret » se déplace en fonction de l'image et du texte spécifiques.

Comment Ils Ont Réparé Cela

Les chercheurs ont utilisé leur Espion (le Proxy) pour trouver le mot secret dans les couches intermédiaires, lire les coordonnées, puis dessiner physiquement une boîte autour de l'abeille sur la photo avant de la remettre à l'équipe de chantier.

Le Résultat : Quand l'équipe de chantier a vu la boîte dessinée par l'Espion, elle a arrêté de deviner. Elle savait exactement où travailler. L'édition est devenue précise, et ils ont cessé de peindre les mauvaises fleurs.

Ce qu'il faut retenir

Cet article nous enseigne que ce n'est pas parce qu'un modèle d'IA intelligent sait où se trouve quelque chose que les outils qui utilisent ce modèle peuvent le voir.

L'Ancienne Méthode : Demander au modèle intelligent un résumé final et espérer qu'il soit assez détaillé. (Il ne l'est généralement pas).
La Nouvelle Méthode : Utiliser un « espion » léger pour jeter un coup d'œil dans les couches intermédiaires du modèle, trouver les détails spécifiques qui y sont cachés, et donner ces détails directement à l'outil d'édition.

En faisant cela, les chercheurs ont prouvé que les échecs d'édition « maladroits » n'étaient pas dus au fait que l'IA était stupide ; c'était parce que le pipeline d'édition cherchait la réponse au mauvais endroit.

Résumé Technique : Analyse par Procuration : Signaux de Localisation dans les VLM Opérant comme Encodeurs de Conditionnement

Énoncé du Problème

Les modèles vision-langage (VLM) sont devenus le standard pour le conditionnement des modèles de diffusion d'édition d'images grâce à leurs capacités avancées de raisonnement multimodal. Cependant, un écart de performance significatif existe : alors que les VLM autonomes démontrent de fortes capacités de localisation lorsqu'ils sont autorisés à générer du texte de manière autorégressive, les pipelines d'édition d'images qui utilisent les VLM comme encodeurs de conditionnement échouent fréquemment à localiser les éditions avec précision, particulièrement dans les scènes complexes comportant plusieurs entités.

Les pipelines d'édition actuels traitent généralement le VLM comme un encodeur non génératif, traitant les entrées en une passe directe unique (single forward pass) et extrayant les signaux de conditionnement à partir d'un sous-ensemble prédéfini et indépendant de l'entrée de certaines couches (souvent la couche finale). Les auteurs émettent l'hypothèse que ce mode opérationnel empêche le VLM d'exposer pleinement sa compréhension spatiale, laquelle est optimisée pour la génération autorégressive. Par conséquent, des signaux de localisation cruciaux peuvent rester cachés dans les représentations intermédiaires ou ne pas se propager aux couches sélectionnées pour le conditionnement, entraînant une mauvaise localisation, des hallucinations ou une application incorrecte des attributs dans l'image éditée finale.

Méthodologie : Analyse par Procuration (Analysis-by-Proxy)

Pour étudier les mécanismes internes des VLM sous les contraintes de la passe directe unique et récupérer les signaux spatiaux cachés, les auteurs introduisent l'Analyse par Procuration, un cadre conçu pour sonder les représentations des VLM sans dépendre de la génération de texte autorégressive.

1. Le Modèle de Procuration (Proxy Model)

Le cadre utilise un Q-Former léger et interprétable comme procuration pour le Transformeur de Diffusion (DiT) en aval. Contraits au DiT, qui opère avec des objectifs génératifs complexes, le Q-Former est entraîné sur une tâche auxiliaire traçable : prédire les coordonnées de la boîte englobante (bounding box) $(x_1, y_1, x_2, y_2)$ d'un objet cible directement à partir des états cachés du VLM.

Architecture : Le Q-Former utilise des requêtes apprenables qui effectuent une attention croisée (cross-attention) sur un sous-ensemble des états cachés du Volem $\{H^{(l)}\}$ et une auto-attention.
Objectif d'entraînement : La procuration est optimisée en utilisant une combinaison de l'Intersection sur Union Généralisée (GIoU) et de la perte L1 pour prédire les boîtes englobantes.
Vérité de Terrain (Ground Truth) : Les boîtes englobantes de vérité de terrain sont obtenues en sollicitant le VLM dans son mode autorégressif natif, garantissant que la procuration apprenne à décoder l'information spatiale que le VLM possède intrinsèquement.

2. Investigation de la Distribution des Signaux

En utilisant ce cadre, les auteurs mènent une analyse granulaire de l'endroit où réside l'information de localisation au sein du VLM :

Analyse par Couche : En entraînant des procurations indépendantes sur les états cachés de couches spécifiques, ils déterminent quelles couches contiennent les signaux spatiaux les plus décodables.
Décomposition de l'Attention : Les auteurs analysent les poids d'attention des requêtes du Q-Former pour identifier les têtes d'attention « décisives ». Ces têtes agissent comme des routeurs dynamiques, concentrant la masse d'attention sur des couches spécifiques du VLM et sur des jetons (tokens) spécifiques selon l'invite (prompt) d'entrée.
Analyse par Jeton (Token) : Au sein des couches dominantes identifiées, les auteurs examinent quels jetons portent le signal spatial, constatant qu'il est encodé de manière éparse dans des noms et adjectifs sémantiquement significatifs définissant l'édition cible.

3. Récupération et Intégration des Signaux

Pour valider que ces signaux cachés peuvent améliorer l'édition, les auteurs proposent un pipeline d'inférence en deux étapes :

Extraction du Signal : Une passe directe unique du VLM extrait les états cachés intermédiaires, que le Q-Former entraîné utilise pour prédire la boîte englobante cible.
Conditionnement : La boîte englobante prédite est superposée visuellement sur l'image source. Cette image (avec la boîte) est encodée dans l'espace latent du DiT via un VAE.
Édition : Le DiT est conditionné à la fois sur l'instruction textuelle originale et sur le marqueur spatial explicite (la boîte), guidant l'édition pour localiser précisément l'action.

Contributions Clés

Identification de l'Écart de Localisation : Le papier démontre empiriquement une chute de 31,5 % de la précision de localisation lorsque les VLM sont utilisés comme encodeurs de conditionnement en passe directe unique par rapport à leurs capacités autorégressives (89,0 % contre 57,5 % sur un ensemble de données multi-entités curaté).
Cadre d'Analyse par Procuration : Une méthode novatrice pour analyser les VLM dans des contextes non génératifs. Elle révèle que la connaissance spatiale n'est pas perdue mais est diluée dans les couches finales et est distribuée dynamiquement à travers les couches intermédiaires et des jetons spécifiques.
Découverte de la Parcimonie du Signal : L'étude révèle que les signaux de localisation sont hautement concentrés. Ils atteignent un pic dans les couches intermédiaires (spécifiquement les couches 15 à 24 du backbone Qwen2.5-VL) et sont encodés presque exclusivement dans quelques jetons sémantiquement critiques, plutôt que d'être distribués uniformément.
Mécanisme de Récupération Pratique : Les auteurs démontrent que la distillation de ces signaux intermédiaires en boîtes englobantes spatiales explicites améliore considérablement la performance de localisation des pipelines d'édition existants, résolvant les modes de défaillance courants comme la modification du mauvais objet ou la suppression excessive.

Résultats

Évaluation Quantitative : En utilisant une métrique de Question-Réponse Visuelle (VQA) via Gemini 2.5 Pro pour évaluer le succès de l'édition sémantique et LPIPS pour mesurer la préservation de l'arrière-plan, la méthode proposée a obtenu le score VQA moyen le plus élevé parmi les bases de référence de pointe (incluant FLUX.2, FIBO-Edit et Qwen-Image-Edit).
Comparaison avec les Bases de Référence : La méthode a surpassé le pipeline standard Qwen-Image-Edit et d'autres stratégies de conditionnement (par exemple, la moyenne de normalisation à travers les couches). Notamment, une base de référence « Full Description » autorégressive a bien performé, corroborant l'hypothèse que le décodage séquentiel aide à faire émerger des indices spatiaux qui sont dormants en mode de passe directe unique.
Améliorations Qualitatives : Les résultats visuels montrent que l'approche guidée par la procuration corrige avec succès les erreurs de localisation, garantissant que les éditions sont appliquées strictement aux objets cibles prévus dans des scènes complexes, là où les méthodes de base échouaient souvent à distinguer des entités similaires.

Signification et Revendications

Le papier prétend fournir une base fondée sur des principes pour comprendre et concevoir des architectures de conditionnement dans l'édition d'images guidée par le texte. En révélant que les stratégies d'extraction standard (reposant sur les couches finales ou des configurations de couches fixes) sont fondamentalement sous-optimales pour les tâches spatiales, ce travail plaide pour un changement dans la manière dont l'information est extraite des modèles de conditionnement.

Les auteurs affirment que leurs découvertes établissent une compréhension plus profonde des mécanismes internes des VLM dans les régimes de passe directe unique. Ils proposent que les futurs designs de conditionnement s'éloignent de l'extraction par couches fixes pour privilégier des stratégies dépendantes de l'entrée qui sélectionnent dynamiquement les représentations les plus informatives (couches et jetons) pour une tâche donnée. Cette approche vise à équilibrer l'efficacité de l'inférence en passe directe avec les riches capacités de raisonnement spatial inhérentes aux VLM, permettant ainsi des outils d'édition d'images plus précis et fiables.