🤖 AI

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

Cet article aborde le goulot d'étranglement de la connaissance structurelle du monde dans la génération visuelle en introduisant le benchmark et le corpus SearchGen, démontrant que la recherche naïve échoue en raison d'une récupération indiscriminée, et en proposant un cadre de co-entraînement « teach-then-search » qui découvre dynamiquement la limite de connaissance d'un générateur pour permettre une génération visuelle agentique efficace.

Auteurs originaux : Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le problème central : L'artiste « faux-crédible »

Imaginez que vous engagiez un artiste brillant qui a mémorisé tous les livres d'une immense bibliothèque. Il peut tout dessiner de cette bibliothèque parfaitement. Mais, si vous lui demandez de dessiner quelque chose qui s'est passé hier (comme une nouvelle célébrité) ou quelque chose de très spécifique qui n'a jamais été répertorié dans un livre (comme un festival local), il ne dira pas : « Je ne sais pas ». Au lieu de cela, il invente avec assurance une version fausse qui semble réelle, mais qui est complètement erronée.

C'est le problème des générateurs d'images IA actuels. Ils sont excellents pour le rendu (dessiner l'image), mais ils sont très mauvais en ce qui concerne la connaissance (connaître les faits). Ils sont bloqués par une « date de coupure » dans leur mémoire. Si vous demandez les résultats de la Coupe du Monde 2025, ils ne peuvent pas les connaître car leurs données d'entraînement se sont arrêtées avant 2025.

La solution : Donner un moteur de recherche à l'artiste

La correction évidente semble simple : « Donnons à l'artiste un moteur de recherche pour qu'il puisse chercher les faits avant de dessiner. »

Cependant, les auteurs ont découvert que la recherche naïve aggrave les choses.

L'analogie : Imaginez demander à un chef de cuisiner un steak. Si vous jetez simplement un tas d'ingrédients aléatoires (résultats de recherche) sur son plan de travail, il pourrait être confus. Il pourrait utiliser une tomate alors qu'il n'en avait pas besoin, ou copier l'intégralité de la photo d'un steak que vous lui avez montrée au lieu de l'utiliser uniquement comme référence pour la couleur.
Le résultat : L'IA reçoit du « bruit ». Elle commence à copier les mauvaises choses ou à être confuse par des informations qu'elle connaissait déjà, ce qui conduit à de moins bonnes images que si elle avait simplement essayé de se souvenir par elle-même.

La découverte : La « Frontière de Connaissance »

Le papier introduit un concept ingénieux appelé la Frontière de Connaissance (Knowledge Boundary). Considérez le cerveau de l'IA comme une maison avec deux pièces :

La Pièce de la Mémoire (Interne) : Les choses que l'IA a apprises et peut dessiner de mémoire (ex: ce à quoi ressemble un chat).
La Pièce de Référence (Externe) : Les choses que l'IA doit chercher parce qu'elles sont trop récentes, trop rares ou trop spécifiques (ex: la tenue spécifique d'un personnage d'un jeu vidéo sorti la semaine dernière).

Le problème est le suivant : l'IA ne sait pas où se trouve le mur entre ces deux pièces.

Si elle cherche des choses qu'elle connaît déjà, elle est confuse (bruit).
Si elle ne cherche pas les choses qu'elle ne connaît pas, elle invente des réponses fausses.

La solution : Une équipe en deux étapes « Enseigner puis Chercher »

Les auteurs ont créé un système composé de deux parties travaillant ensemble :

Le Raisonneur (Le Manager) : Un agent IA qui décide quand chercher et quoi chercher.
Le Générateur (L'Artiste) : L'IA qui dessine réellement l'image.

Ils ont utilisé une méthode d'entraînement spéciale appelée Co-Entraînement (Co-Training) pour leur apprendre à travailler ensemble. Cela se déroule en deux phases :

Phase 1 : Enseigner à l'Artiste (Élargir la Mémoire)
D'abord, on montre à l'Artiste des exemples de choses qu'il ne connaissait pas, accompagnés des résultats de recherche corrects. L'Artiste apprend à mémoriser ces nouvelles choses.

Résultat : La « Pièce de la Mémoire » devient plus grande. L'Artiste en sait maintenant plus sans avoir besoin de chercher.

Phase 2 : Entraîner le Manager (Affiner la Recherche)
Maintenant que l'Artiste en sait plus, le Manager doit apprendre à arrêter de chercher ces choses. Si le Manager continue de chercher des choses que l'Artiste connaît déjà, cela crée de la confusion.

Résultat : Le Manager apprend à dire : « Je sais que l'Artiste peut gérer cela, pas besoin de chercher ! » et ne cherche que les choses vraiment difficiles.

L'analogie : L'Apprenti et le Maître

Imaginez un Maître Peintre (le Générateur) et un Assistant de Recherche (le Raisonneur).

Avant : L'Assistant tend aveuglément au Maître une pile de 50 photos de référence pour chaque demande. Le Maître est submergé et peint un désastre.
Après le Co-Entraînement :
1. Le Maître étudie les photos et apprend à les peindre de mémoire.
2. L'Assistant apprend à observer les nouvelles compétences du Maître. Si le Maître peut peindre un « dragon rouge » de mémoire, l'Assistant ne lui tend pas de photo.
3. L'Assistant ne tend une photo que si le Maître doit peindre un « dragon d'un jeu vidéo sorti hier ».

Les Résultats : Pourquoi cela compte

Le papier a testé cela sur un nouvel ensemble de données massif appelé SEARCHGEN-20K, qui contient 20 000 requêtes difficiles concernant des événements récents, des personnages spécifiques et des symboles culturels.

L'écart : Les modèles d'IA standards ont obtenu des scores très bas (environ 20–28 sur 100) sur ces requêtes riches en connaissances. Ils ont échoué car ils ont tenté d'inventer les faits.
L'amélioration : En utilisant cette méthode « Enseigner puis Chercher », le score de l'IA s'est considérablement amélioré.
La découverte clé : Le système a appris à être sélectif. Il a arrêté de chercher quand il n'en avait pas besoin (évitant la confusion) et a cherché quand il le devait (évitant l'invention de faits).

Résumé

Le papier soutient que nous ne devrions pas seulement construire des modèles d'IA plus grands qui tentent de tout mémoriser. Au lieu de cela, nous devrions construire des équipes intelligentes où l'IA apprend ce qu'elle peut mémoriser et ce qu'elle doit chercher. En entraînant le « chercheur » et le « dessinateur » ensemble, le système apprend ses propres limites, arrête d'inventer des faits et n'utilise Internet que lorsqu'il en a réellement besoin.

En bref : Ne donnez pas seulement un moteur de recherche à l'IA ; apprenez-lui quand l'utiliser.

Résumé Technique : Chercher au-delà de ce qui peut être enseigné : Faire évoluer la frontière de la connaissance dans la génération visuelle agentique

1. Énoncé du problème : Le goulot d'étranglement de la connaissance du monde

Les générateurs visuels excellent dans le rendu de concepts connus mais échouent de manière catastrophique sur des requêtes nécessitant une connaissance du monde illimitée, évolutive et à longue traîne (par exemple, des événements récents, des symboles culturels de niche ou des personnages de propriété intellectuelle spécifiques). Il s'agit d'un goulot d'étranglement structurel : les générateurs sont entraînés sur des corpus fixes avec des limites de connaissances intrinsèques, tandis que les requêtes des utilisateurs sont ouvertes.

Le papier identifie que les générateurs actuels manquent d'un mécanisme pour reconnaître ce qu'ils ne savent pas. Par conséquent, ils « fabriquent avec assurance » des réponses plutôt que d'admettre leur ignorance ou de chercher des informations externes. Les benchmarks existants ne parviennent pas à capturer cette dynamique, car ils testent principalement le rendu au sein de concepts connus. Lorsqu'ils sont testés sur des prompts intensifs en recherche, les générateurs open-weight de pointe s'effondrent, obtenant seulement 21 à 28 sur 100, soit une chute allant jusqu'à 40 points par rapport à leurs performances sur des prompts standards.

Un remède naïf — équiper les générateurs d'outils de recherche — échoue car il introduit du bruit de recherche. La récupération aveugle d'informations pour chaque prompt dégrade la qualité en injectant des détails visuels non pertinents, une contamination stylistique ou des structures spécieuses dans l'entrée du générateur. Le défi central n'est pas seulement de récupérer la connaissance, mais de définir une frontière de connaissance évolutive et spécifique au générateur : la division entre ce qu'un générateur peut internaliser via son entraînement et ce qui doit rester dans le contexte externe.

2. Méthodologie

Le papier propose SearchGen, un cadre pour la génération visuelle agentique qui emploie un raisonneur agentique résistant au bruit et un cadre de co-entraînement pour découvrir et respecter la frontière de la connaissance.

2.1 Construction du jeu de données et du benchmark

Pour étudier systématiquement ce problème, les auteurs ont construit :

SEARCHGEN-20K : Un jeu de données de 20 839 prompts ancrés dans la connaissance du monde, couvrant 12 catégories d'échec et 22 domaines (ex: événements temporels, entités/PI, spécificités culturelles). Il comprend 34 694 emplacements de références visuelles et 16 345 emplacements de connaissances textuelles.
SEARCHGEN-BENCH : Un benchmark dérivé du jeu de données pour évaluer l'ancrage de la connaissance du monde.
SEARCHGEN-CORPUS-1M : Un corpus multimodal pré-exécuté et figé contenant 145 642 sessions de recherche archivées et 370 733 téléchargements mis en cache. Cela permet une recherche reproductible et hors ligne sans dépendre d'API en direct ou de résultats de recherche changeants.

2.2 Raisonneur agentique résistant au bruit

Pour éviter que le bruit de recherche ne corrompe la génération, les auteurs introduisent un protocole en trois étapes Gate–Filter–Integrate (Porte–Filtre–Intégration) :

Gate (Porte) : Le raisonneur (un VLM) analyse le prompt pour identifier les lacunes de connaissances. Il classifie les lacunes par type et par sévérité, déclenchant la recherche uniquement pour les lacunes « critiques » ou « importantes ». Il décide de la modalité (image vs texte web) pour chaque requête.
Filter (Filtre) : Lors de la récupération des résultats, le raisonneur sélectionne les références qui comblent spécifiquement la lacune identifiée tout en minimisant le contenu superflu (par exemple, en filtrant les images complètes pour n'extraire que les caractéristiques visuelles nécessaires).
Integrate (Intégration) : Au lieu de transmettre les images brutes directement, le raisonneur convertit les références visuelles en citations de langage naturel ancrées (ex : « rendre le personnage portant une robe bleu sarcelle et or en suivant l'Image I »). Cela préserve la connaissance manquante tout en éliminant le bruit au niveau des pixels qui cause la fuite de style ou la fusion d'identité.

2.3 Cadre de co-entraînement : « Enseigner, puis chercher »

Les auteurs définissent la Frontière de Connaissance $B(\theta)$ comme la partition entre la connaissance internalisable ( $K_{int}$ ) et la connaissance contextuelle ( $K_{ctx}$ ). Cette frontière est spécifique au générateur et change à mesure que le modèle s'améliore. Ils proposent une boucle de co-entraînement en deux phases pour découvrir cette frontière :

Phase 1 : Teach (Enseigner - DPO itératif en ligne)
Le générateur visuel est entraîné sur des entrées augmentées par la recherche en utilisant l'Optimisation de Préférence Directe (DPO). Le générateur échantillonne plusieurs images par prompt, et les paires de préférence sont construites sur la base de scores de qualité. Cette phase sert deux objectifs :
1. Internalisation : Elle pousse la frontière vers l'extérieur, permettant au générateur d'internaliser une connaissance visuelle stable qui nécessitait auparavant une recherche.
2. Robustesse au bruit : En s'entraînant sur des entrées imparfaites augmentées par la recherche, le générateur apprend à incorporer les références sans être dominé par leur bruit.
Phase 2 : Search (Chercher - Fine-tuning par échantillonnage de rejet)
Une fois que la frontière du générateur a glissé, le raisonneur est recalibré. En utilisant le Fine-tuning par Échantillonnage de Rejet (RFT), le raisonneur est entraîné sur des trajectoires où la politique de recherche a amélioré le résultat (avantage positif) par rapport à celles où elle l'a dégradé. Le raisonneur apprend à s'abstenir de chercher des concepts que le générateur a désormais internalisés, déplaçant ainsi efficacement la « politique de recherche vers l'intérieur » pour correspondre à la nouvelle frontière.

3. Résultats clés

Le papier valide le cadre sur deux générateurs open-weight (Flux.2-Klein-4B et Bagel-7B) en utilisant le SEARCHGEN-BENCH.

Amélioration monotone : La progression de No Search (Pas de recherche) $\to$ Blind Search (Recherche aveugle - raisonneur SFT) $\to$ Generator-Adaptive Search (Recherche adaptative au générateur - raisonneur RFT) produit des gains constants et monotones à travers tous les niveaux de difficulté.
Sélectivité : Le raisonneur calibré réussit à récupérer les performances sur les prompts qui ne nécessitent pas de recherche (strate NoSearch), là où la recherche naïve causait auparavant une dégradation. Par exemple, sur l'ensemble NoSearch, le raisonneur adaptatif a amélioré les scores de 49,9 (baseline No Search) à 56,9, alors que la Blind Search faisait chuter les scores à 60,4.
Spécificité du générateur : La politique de recherche optimale est spécifique à la capacité actuelle du générateur. Un raisonneur calibré pour un générateur renforcé par DPO est nettement moins performant lorsqu'il est couplé au générateur de base, confirmant que la frontière est une propriété conjointe de la paire.
Écarts de performance :
- Les générateurs ouverts avec une recherche naïve s'effondrent à environ 22–28/100 sur les prompts intensifs en recherche.
- Le système co-entraîné (raisonneur 8B + générateur 4B) atteint 31,8/100, dépassant légèrement un oracle de pointe (Gemini-3-Flash) couplé au même générateur (31,2/100).
- Bien qu'encore en dessous des systèmes commerciaux avec recherche intégrée (ex: GPT-Image-2 à 71,2), le cadre démontre qu'un petit agent co-entraîné peut approcher les performances de raisonneurs génériques beaucoup plus larges.

4. Signification et affirmations

Le papier affirme que le défi central de la génération visuelle agentique n'est pas simplement de récupérer de l'information, mais de savoir ce que l'on ne sait pas.

Frontière découvrable : La frontière de connaissance n'est pas une propriété fixe de la distribution des prompts, mais une quantité dynamique et découvrable qui change avec l'entraînement du générateur.
Nécessité du co-entraînement : Les auteurs soutiennent que les politiques de recherche ne peuvent pas être optimisées contre un générateur fixe ; le générateur doit d'abord être enseigné à internaliser la connaissance, puis le raisonneur doit être recalibré par rapport à la nouvelle frontière.
Recette minimaliste : Le cadre valide qu'une « recette minimaliste » (un passage DPO, un passage RFT, un raisonneur 8B et un générateur 4B) est suffisante pour établir cette boucle d'auto-amélioration.
Scalabilité : Le travail suggère que si des modèles plus grands peuvent internaliser plus de connaissances, la frontière ne disparaîtra jamais en raison de la nature infinie du monde réel. Le co-entraînement fournit un mécanisme pour adapter continuellement la politique de recherche à la capacité évolutive du générateur.

Les auteurs publient l'ensemble du jeu de données, le corpus de co-entraînement et le corpus de recherche pour servir de « harnais reproductible » pour les recherches futures sur la génération visuelle ancrée dans la connaissance du monde et augmentée par des outils.