FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

Imaginez que vous soyez assis dans une salle d'examen à enjeux élevés, mais qu'au lieu de simplement lire des mots sur une page, le test soit un collage chaotique de manuels denses, de diagrammes complexes, de formules griffonnées et de graphiques dans six langues différentes. Votre travail consiste à regarder ce désordre visuel et à répondre à des questions difficiles à son sujet. C'est le monde du « Raisonnement Multimodal », un domaine où les ordinateurs tentent d'agir comme des étudiants humains capables à la fois de « voir » une image et de « lire » le texte qu'elle contient. Pendant longtemps, la grande question était : « Quelle intelligence le cerveau de l'ordinateur doit-il posséder pour réussir ? » Mais il y a un piège. Même si un ordinateur super intelligent comprend parfaitement les mathématiques et les sciences, il peut quand même échouer à l'examen s'il parle trop, utilise la mauvaise langue ou écrit sa réponse dans un format désordonné que la machine de notation du professeur ne peut pas lire. C'est comme avoir un étudiant génie qui écrit une dissertation brillante mais oublie d'écrire son nom sur la ligne, et qui se retrouve avec un zéro.

Ce document raconte l'histoire d'une équipe venue d'Allemagne (FAU) qui a participé à une compétition appelée ImageCLEF 2026 pour résoudre précisément ce problème. Ils n'ont pas seulement construit un cerveau plus intelligent ; ils ont construit un professeur plus strict. Leur découverte principale est que la manière dont vous demandez à l'ordinateur de répondre est aussi importante que l'ordinateur lui-même. Ils ont découvert que pour les questions à choix multiples, il est préférable d'empêcher l'ordinateur d'« écrire » une réponse et de plutôt lui faire « noter » les options comme un juge. Pour les questions ouvertes, ils ont appris que l'ordinateur doit être forcé d'être bref et propre, en supprimant tout son processus de « réflexion à voix haute » avant de soumettre le résultat final. Ils ont également essayé des astuces populaires, comme donner à l'ordinateur une fiche de référence textuelle (OCR) ou lui apprendre de nouvelles choses (fine-tuning), mais étonnamment, ces astuces ont en fait dégradé les performances de l'ordinateur. En se concentrant sur des règles strictes et sur le nettoyage des réponses, leur système est monté au sommet du classement, prouvant qu'un peu de discipline d'ingénierie peut transformer une IA puissante mais désordonnée en un candidat fiable.

Le Défi : L'Examen Visuel

La compétition comportait deux principaux types de questions. Le premier était le Choix Multiple Visuel (Visual MCQ). Imaginez une question de biologie en bulgare avec un tableau de données et cinq options étiquetées de A à E. L'ordinateur doit choisir la bonne lettre. Le second était la Réponse Ouverte Visuelle (Visual OpenQA). Ici, il n'y a pas d'options. L'ordinateur doit regarder un diagramme (peut-être un graphique économique) et écrire une réponse courte et directe dans la même langue que la question.

La partie délicate est que ces images sont pleines d'informations « denses ». Ce ne sont pas seulement des photos de chats ; ce sont des pages d'articles scientifiques avec des formules, des unités et du texte minuscule. Si l'ordinateur se laisse confondre par la mise en page ou écrit une longue explication alors qu'un simple nombre est nécessaire, il perd des points.

La Stratégie : L'astuce du « Noter, ne pas Écrire »

Pour la partie à choix multiples, l'équipe a réalisé que laisser l'ordinateur écrire une phrase telle que « La réponse est A car... » était dangereux. L'ordinateur pourrait trouver la bonne lettre mais l'envelopper dans trop de texte supplémentaire, ce qui confondrait le système de notation.

Au lieu de cela, ils ont changé les règles du jeu. Ils ont demandé à l'ordinateur de regarder les options A, B, C, D et E et de simplement donner à chacune un « score » basé sur sa probabilité d'être correcte. Pensez à un juge de sport donnant une note de 9,5 à la routine d'une gymnaste plutôt que d'écrire un paragraphe à son sujet. L'ordinateur n'avait pas besoin de générer du texte ; il devait simplement calculer quelle lettre avait le score le plus élevé. Cela rendait les réponses incroyablement propres et faciles à combiner. S'ils déroulaient le test avec trois cerveaux informatiques différents, ils pouvaient prendre les scores de tous les trois, faire la moyenne et choisir le vainqueur. Cette « fusion de scores » les a aidés à obtenir une précision très élevée de 0,7108, les plaçant à la troisième place du classement général.

L'Équipe de Nettoyage : Dompter l'IA Bavarde

Pour les questions ouvertes, le problème était l'inverse. Les ordinateurs étaient trop bavards. Ils aiment expliquer leur raisonnement, dire « Voici la réponse », ou utiliser des balises XML sophistiquées comme <answer>. Le système de notation, cependant, ne voulait que la réponse brute.

L'équipe a traité cela comme un éditeur strict. Ils ont utilisé un « prompt concis » qui disait à l'ordinateur : « Arrête de réfléchir à voix haute. Donne-moi juste la réponse. » Ensuite, ils ont passé les réponses à travers une « équipe de nettoyage » (un ensemble de règles) qui supprimait les mots superflus, les traces de raisonnement ou les erreurs de formatage. Ils ont également combiné les réponses de plusieurs modèles informatiques différents. Si un modèle disait « 50 kg » et un autre « 50 kilogrammes », le système comprenait qu'ils étaient identiques et choisissait le meilleur. Ce nettoyage et cette combinaison méticuleux ont permis de remporter la première place dans la catégorie des questions ouvertes avec un score de 0,6488 (mesuré par une métrique appelée COMET).

Les « Ne Pas Faire » Surprenants : Ce qui n'a pas fonctionné

L'équipe a essayé deux choses que beaucoup pensent être utiles, mais qui ont en fait fait baisser les scores.

1. La Fiche de Référence (OCR) : Ils ont essayé de nourrir l'ordinateur avec une transcription textuelle de l'image (en utilisant un outil d'OCR) pour l'aider à lire le texte. Mais cela s'est retourné contre eux. La transcription contenait souvent des fautes de frappe, des formules brisées ou un mauvais ordre de mots. C'était comme donner à un étudiant une fiche de référence remplie d'erreurs ; cela a plus confondu l'ordinateur que l'image elle-même.
2. Le Cours Intensif (Fine-Tuning) : Ils ont essayé d'« enseigner » spécifiquement à l'ordinateur les questions de l'examen en utilisant une méthode appelée fine-tuning LoRA. Ils pensaient que cela ferait de l'ordinateur un expert. Au lieu de cela, cela l'a rendu moins bon. Le papier suggère que l'ordinateur était déjà assez intelligent pour lire les images, et que tenter de le réentraîner sur un petit jeu de données désordonné a simplement perturbé ses capacités naturelles.

La Conclusion

La grande leçon de ce papier ne porte pas sur l'invention d'un nouveau cerveau super intelligent. Il s'agit de l'ingénierie d'inférence — ce qui est une façon sophistiquée de dire « comment nous demandons à l'ordinateur de faire son travail ». Les auteurs ont découvert qu'un modèle informatique puissant, lorsqu'il reçoit des règles strictes, des entrées propres et un bon processus de nettoyage, peut surpasser un modèle légèrement plus intelligent qui est laissé à lui-même pour être désordonné.

Ils ont montré qu'il n'est pas toujours nécessaire de rendre l'IA plus grande ou de l'entraîner plus durement. Parfois, il suffit de lui dire de se taire, de choisir la bonne lettre et de rendre une feuille de réponses propre. En se concentrant sur ces détails pratiques, ils ont transformé des modèles de vision-langage puissants en gagnants de compétitions fiables, prouvant que parfois, la meilleure façon de résoudre un problème est de gérer la sortie, et non de simplement améliorer le moteur.