Retrieval Free Context Augmentation for Image Captioning: Learning from Self-Generated Beam Hypotheses

Les ordinateurs sont devenus remarquablement doués pour regarder une photographie et décrire ce qu'ils voient. Cette capacité, connue sous le nom de légendage d'images (image captioning), se situe à l'intersection de deux domaines puissants : la vision par ordinateur, qui apprend aux machines à voir, et le traitement du langage naturel, qui leur apprend à parler. Pendant des années, la méthode standard pour entraîner ces systèmes a consisté à leur montrer des milliers d'images accompagnées de descriptions écrites par des humains. L'ordinateur apprend ainsi à associer les motifs visuels de l'image aux mots spécifiques utilisés par les humains. Cependant, cette approche présente une limite cachée. En se reposant uniquement sur la description unique et statique fournie par un humain pour chaque photo, la compréhension du monde par l'ordinateur reste quelque peu étroite et rigide. Il apprend à répéter ce qu'on lui a dit plutôt qu'à explorer les nombreuses façons dont une scène pourrait être décrite. Les chercheurs se posent désormais une question simple mais profonde : un ordinateur peut-il apprendre à écrire de meilleures descriptions en écoutant ses propres idées, plutôt qu'en attendant simplement les instructions humaines ?

Une équipe de chercheurs de l'Université de Sfax en Tunisie et d'une institution partenaire en France a proposé une nouvelle méthode pour répondre à cette question. Ils appellent leur approche CAG-Cap, un système conçu pour aider les modèles de légendage d'images à s'améliorer sans avoir besoin de chercher des informations supplémentaires sur Internet. L'idée centrale est étonnamment autonome. Au lieu de chercher de l'aide à l'extérieur du modèle, les chercheurs permettent au modèle de générer son propre ensemble de descriptions possibles pour chaque image qu'il voit pendant l'entraînement. Ils utilisent ensuite ces options auto-générées comme matériel d'enseignement supplémentaire. C'est un peu comme un élève qui, après avoir résolu un problème de mathématiques, noterait trois manières différentes dont il aurait pu le résoudre, puis étudierait ces variations pour devenir plus flexible et plus confiant dans sa compréhension.

Le processus fonctionne en deux étapes distinctes. Premièrement, l'ordinateur est entraîné de la manière traditionnelle, apprenant à associer les images aux légendes écrites par l'humain jusqu'à ce qu'il atteigne un niveau de compétence stable. Une fois cet entraînement initial terminé, les chercheurs font une pause et demandent à l'ordinateur d'examiner à nouveau chaque image d'entraînement. Cette fois, au lieu de donner une seule réponse, l'ordinateur est invité à générer une petite liste de ses meilleures suppositions sur ce que l'image représente. Ces suppositions ne sont pas aléatoires ; ce sont des options soigneusement sélectionnées que le modèle estime être les descriptions les plus probables. Les chercheurs enregistrent cette liste de légendes auto-générées dans un cache numérique, un fichier de stockage temporaire qui fait office de bibliothèque des propres pensées du modèle.

Dans la deuxième étape, le modèle reprend l'entraînement, mais le plan de leçon a changé. Désormais, lorsqu'un ordinateur regarde une image, on ne lui montre pas seulement la description humaine originale. On lui montre également la liste de ses propres suppositions précédentes. Le système est alors sollicité pour apprendre de ces deux sources simultanément. Il doit satisfaire la description humaine, qui sert de vérité de terrain (ground truth), mais il est également encouragé à prêter attention aux diverses variations qu'il a lui-même générées. Cette double approche permet au modèle de comprendre qu'une seule image peut être décrite de nombreuses manières valides. En étudiant ses propres « hypothèses », le modèle apprend à être moins rigide et plus adaptable, comprenant qu'un train rouge peut être décrit comme « descendant la voie » ou « voyageant sur la voie » sans qu'aucune des deux expressions ne soit fausse.

Les résultats de cette expérience ont été testés sur deux grandes collections standard d'images et de descriptions : l'une contenant plus de 120 000 photos et l'autre de 31 000. Les chercheurs ont constaté que cette méthode d'auto-amélioration produisait des légendes souvent plus précises et structurellement plus solides que celles produites par la méthode d'entraînement standard seule. Sur le plus grand ensemble de données, la nouvelle méthode générait des descriptions qui correspondaient plus étroitement aux choix de mots humains dans les premiers mots de la phrase, signe d'une précision immédiate plus vive. Sur le plus petit ensemble de données, l'amélioration était encore plus large, le modèle produisant des légendes qui étaient meilleures pour capturer la structure complète et le sens de la scène. Crucialement, cette amélioration s'est faite sans ralentir l'ordinateur lorsqu'il était réellement utilisé. Parce que la « bibliothèque » d'idées auto-générées avait été construite au préalable, l'ordinateur n'avait pas besoin de s'arrêter pour chercher des informations supplémentaires pendant son travail. Il utilisait simplement les connaissances qu'il avait déjà distillées dans sa propre mémoire.

Cette approche remet en question une tendance populaire de l'intelligence artificielle connue sous le nom de génération augmentée par récupération (retrieval-augmented generation), où les systèmes cherchent constamment des informations externes pour aider à répondre aux questions. Bien que cette méthode fonctionne, elle nécessite de vastes bases de données et peut ralentir considérablement le système. La méthode CAG-Cap prouve qu'un modèle peut obtenir des résultats similaires, voire parfois meilleurs, en se reposant entièrement sur sa propre capacité interne à générer et à apprendre de diverses possibilités. Les chercheurs ont démontré qu'un modèle pouvait utiliser efficacement ses propres sorties passées comme une forme d'auto-enseignement, créant un cycle où le système s'améliore pour décrire le monde simplement en réfléchissant aux nombreuses façons dont il pourrait décrire ce monde.

L'étude a également souligné que le succès de cette méthode dépend de la façon dont le système est réglé. Les chercheurs ont découvert que l'équilibre entre l'écoute de l'enseignant humain et l'écoute des propres idées du modèle était délicat. Si le modèle était invité à accorder trop d'attention à ses propres suppositions, la qualité des descriptions chutait. Cependant, lorsqu'un équilibre était trouvé, le modèle produisait des légendes non seulement précises, mais aussi plus riches en détails. Par exemple, lors des tests, le modèle a réussi à décrire une vache debout dans une rue ou une girafe marchant à travers un champ avec un niveau de détail qui correspondait étroitement aux descriptions humaines, capturant souvent les actions et les contextes spécifiques plus efficacement que les méthodes précédentes.

En fin de compte, ce travail suggère une voie vers une intelligence artificielle plus efficace et plus autonome. En montissant qu'un modèle peut apprendre de sa propre diversité générée, les chercheurs ont offert un moyen d'améliorer ces systèmes sans le coût élevé de la maintenance de bases de données externes ou du ralentissement du processus d'inférence. Les conclusions indiquent que la clé d'un meilleur légendage d'images ne réside pas toujours dans la recherche de plus de données provenant du monde extérieur, mais plutôt dans l'apprentissage pour l'ordinateur à réfléchir plus profondément aux données qu'il possède déjà. Cette approche autonome offre un moyen pratique et évolutif de construire des systèmes de vision plus intelligents, capables de décrire notre monde visuel avec plus de clarté et de confiance.