Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task
Les Gators de l'Université de Floride ont remporté la tâche partagée cultural image captioning pour les langues autochtones d'AmericasNLP 2026 en mettant en œuvre un pipeline en deux étapes combinant Qwen2.5-VL pour le sous-titrage intermédiaire en espagnol avec un prompting à plusieurs tours augmenté par la recherche utilisant Gemini 2.5 Flash, réalisant une amélioration des performances de plus de 120 % par rapport à la ligne de base sur les langues Bribri, Guaraní et Nahuatl d'Orizaba.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'écrire une description courte et culturellement parfaite d'une photo pour une communauté qui parle une langue rare et ancienne. Le défi est que vous ne parlez pas bien cette langue, et qu'il existe très peu de livres ou de dictionnaires pour vous aider.
Ce document décrit comment une équipe de l'Université de Floride (les « Gators ») a résolu ce problème pour une compétition appelée AmericasNLP 2026. Leur objectif était de prendre une image et d'écrire une légende dans l'une des cinq langues autochtones des Amériques (comme le guarani ou le bribri).
Voici comment ils ont procédé, décomposé en étapes simples et analogies :
La Recette en Deux Étapes
Au lieu d'essayer de passer directement de « Image » à « Langue Rare », l'équipe a utilisé un relais en deux étapes :
- Étape 1 : Le Traducteur (Le Pont) : D'abord, ils ont utilisé une IA ultra-intelligente (appelée Qwen) pour regarder l'image et écrire une description simple en espagnol. Considérez l'espagnol comme une « langue pont » que l'IA maîtrise très bien.
- Étape 2 : L'Expert Culturel (Le Finisseur) : Ensuite, ils ont pris cette description en espagnol et demandé à une autre IA, encore plus intelligente (Gemini), de la traduire dans la langue autochtone finale.
La Sauce Secrète : « Montrez, ne dites pas seulement »
La vraie magie ne résidait pas seulement dans la traduction, mais dans la façon dont ils ont appris à l'IA quel « style » utiliser.
Habituellement, lorsque vous demandez à une IA de traduire, elle peut vous donner une phrase grammaticalement correcte mais qui sonne comme un robot ou un manuel scolaire. L'équipe voulait que les légendes sonnent comme si une personne locale parlait naturellement.
Pour corriger cela, ils ont utilisé une technique appelée Génération Augmentée par Récupération.
- L'Analogie : Imaginez que vous écrivez une lettre à un ami dans un village étranger. Au lieu de simplement deviner comment ils parlent, vous sortez une boîte de 100 lettres que d'autres personnes ont écrites à ce même village. Vous les lisez pour saisir l'argot, le ton et la structure des phrases. Ensuite, vous écrivez votre lettre en imitant ce style.
- Dans le Document : Avant que l'IA ne traduise la légende en espagnol, le système a recherché dans une immense bibliothèque de paires existantes espagnol-langue autochtone. Il a récupéré les exemples les plus similaires (comme les « 100 lettres ») et les a présentés à l'IA comme guide. Cela a aidé l'IA à correspondre au « registre » (le style culturel spécifique) requis par la compétition.
Les Résultats : Une Grande Victoire
L'équipe a soumis ce système à la compétition et a remporté la victoire.
- Le Score : Ils ont amélioré leurs scores de marges énormes par rapport à la ligne de base standard. Par exemple, dans la langue bribri, ils ont amélioré le score de 164 %. En guarani, l'amélioration a été de 131 %.
- Le Test Humain : Lorsque des juges humains ont examiné les légendes, les propositions de l'équipe ont été classées deuxièmes sur cinq finalistes, prouvant que les légendes sonnaient naturelles et étaient culturellement appropriées.
Ce Qu'ils Ont Appris (Les Moments « Aha ! »)
L'équipe a mené de nombreuses expériences pour voir ce qui fonctionnait et ce qui ne fonctionnait pas, aboutissant à trois découvertes clés :
- Toutes les Bibliothèques ne se Valent Pas : La « bibliothèque » d'exemples qu'ils ont utilisée a fait des merveilles pour le guarani car ils disposaient d'une immense collection de 53 000 exemples (y compris des exemples « faux » générés par ordinateur qui se sont révélés très utiles). Cependant, pour le maya yucatèque, ils avaient presque aucun exemple. Dans ce cas, les connaissances internes de l'IA étaient meilleures que de tenter de la forcer à utiliser une petite bibliothèque bruyante.
- Le Boost des Données « Faux » : Pour le guarani, environ 28 points de leur succès provenaient spécifiquement de l'utilisation de ces exemples générés par ordinateur. C'est comme avoir un entraîneur d'entraînement qui crée des exercices supplémentaires pour que vous les étudiiez.
- Le Ton Compte (Surtout pour le Bribri) : La langue bribri possède des sons complexes (tons) qui changent le sens des mots. L'équipe a constaté que la simple traduction ne suffisait pas ; ils devaient donner à l'IA des instructions spéciales sur la façon de gérer ces sons et l'ordre des mots. C'était comme dire à l'IA : « N'oubliez pas, dans cette langue, le verbe va à la fin, et ne manquez pas les notes de musique ! »
Le Bémol (Limites)
L'équipe admet que leur système n'est pas encore parfait :
- La Réaction en Chaîne : Si la première IA (le traducteur espagnol) fait une erreur en décrivant l'image, la deuxième IA (le traducteur) traduira cette erreur parfaitement. Il n'y a pas de bouton « annuler ».
- Le Piège du Score de Test : Ils ont utilisé des exemples du « test d'entraînement » (ensemble de développement) pour aider l'IA à apprendre le style. Cela a très bien fonctionné pour les scores d'entraînement, mais c'est un peu comme étudier les réponses exactes d'un quiz d'entraînement avant de passer l'examen réel. Cela pourrait gonfler le score, ils sont donc prudents quant à la façon dont ils interprètent ces résultats.
Résumé
L'équipe de l'Université de Floride a gagné en créant un pipeline qui décrit d'abord une image en espagnol, puis utilise une immense bibliothèque d'exemples similaires pour apprendre à une IA comment traduire cette description dans des langues autochtones avec la bonne saveur culturelle. Ils ont prouvé que pour les langues à ressources limitées, le contexte et les guides de style sont tout aussi importants que la traduction elle-même.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.