CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context
Ce papier présente CAPITU, un benchmark en portugais brésilien évaluant la capacité des modèles de langage à suivre des instructions dans un contexte littéraire, révélant que les modèles de pointe atteignent une forte précision tandis que les modèles spécialisés offrent un excellent rapport coût-efficacité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef cuisinier très talentueux, capable de préparer n'importe quel plat du monde. Mais voici le problème : si vous lui donnez une recette en anglais, il la suit parfaitement. Si vous lui donnez la même recette en portugais brésilien, il risque de se tromper sur les épices, d'oublier de mettre le sel, ou de servir un plat trop salé parce qu'il ne comprend pas les nuances de la langue locale.
C'est exactement le problème que les chercheurs ont voulu résoudre avec CAPITU.
Voici une explication simple de ce papier, servie avec quelques analogies pour rendre le tout plus clair.
1. Le Problème : Le "Traducteur" n'est pas assez bon
Jusqu'à présent, pour tester si une intelligence artificielle (IA) savait suivre des instructions en portugais, les chercheurs prenaient des tests faits en anglais et les traduisaient simplement.
- L'analogie : C'est comme si vous demandiez à quelqu'un de cuisiner un plat brésilien en lui donnant une recette traduite d'un livre de cuisine français. Le résultat sera bizarre : il utilisera des ingrédients qui ne vont pas ensemble ou ne comprendra pas les expressions locales.
- La solution CAPITU : Au lieu de traduire, les auteurs ont créé un test natif. Ils ont plongé l'IA dans le cœur de la culture brésilienne : la littérature.
2. La Méthode : L'IA en cours de littérature
Pour créer ce test, les chercheurs ont choisi 8 grands classiques de la littérature brésilienne (comme Dom Casmurro ou Macunaíma).
- L'analogie : Imaginez que vous testez un élève non pas avec un questionnaire de maths standard, mais en lui demandant d'écrire un poème sur un personnage de Dom Casmurro, tout en respectant des règles très précises.
- Les règles du jeu : L'IA doit suivre des contraintes très strictes. Par exemple :
- "Écris un texte de 120 à 150 mots."
- "Utilise au moins 3 mots qui finissent par -inho (comme cachorrinho, un petit chien)."
- "Ne commence jamais une phrase par 'Je'."
- "Fais une acrostiche (les premières lettres de chaque phrase doivent former le mot AMOR)."
C'est comme si on demandait à l'IA de jouer aux échecs tout en jonglant avec des balles, le tout en parlant avec un accent brésilien parfait.
3. Le Juge : Un Robot très strict (pas d'humain)
Une grande innovation de ce papier, c'est la façon dont ils vérifient les réponses. Ils n'ont pas demandé à des humains de lire et de dire "c'est bien" ou "c'est mal".
- L'analogie : Au lieu d'un professeur qui note avec son stylo rouge, ils ont créé un robot-contrôleur ultra-rigide. Ce robot ne regarde pas si le texte est "beau" ou "émouvant". Il vérifie juste les faits : "Y a-t-il bien 120 mots ? Oui/Non. Y a-t-il un mot en -inho ? Oui/Non."
- Pourquoi ? Pour être sûr que le résultat est objectif et reproductible. Si le robot dit "C'est bon", c'est bon, point final.
4. Les Résultats : Qui a gagné ?
Les chercheurs ont testé 18 modèles d'IA différents (des géants américains comme GPT-5, des modèles chinois, et des modèles spécialisés au Brésil).
- Les champions : Les modèles les plus avancés (comme GPT-5 avec sa capacité de "raisonnement") sont excellents. Ils suivent les instructions presque à la perfection (98,5 % de réussite). C'est comme un élève modèle qui ne rate jamais une consigne.
- La surprise brésilienne : Un modèle spécialisé pour le portugais, appelé Sabiazinho-4, a très bien performé. Il est moins cher et plus rapide que les géants américains, tout en faisant un travail presque aussi bon. C'est comme si un petit restaurant de quartier servait un plat aussi délicieux que celui d'un chef étoilé, mais pour une fraction du prix.
- Le point faible : L'IA a du mal quand les règles s'accumulent. Si on lui demande de faire 3 choses en même temps (compter les mots, utiliser des mots en -inho et ne pas utiliser de points d'interrogation), elle commence à se tromper. C'est comme si, dans une conversation, elle oubliait la première règle qu'on lui avait donnée au début de la discussion.
5. Pourquoi c'est important ?
Ce papier nous dit deux choses importantes :
- La culture compte : On ne peut pas juste traduire des tests anglais pour le portugais. Il faut créer des tests qui respectent la grammaire et la culture locales (comme les petits mots en -inho ou les formes de verbes spécifiques).
- L'IA doit apprendre à écouter : Même les IA les plus intelligentes ont du mal à suivre des instructions précises dans une conversation longue. Elles ont tendance à oublier les règles ou à ajouter des choses qu'on ne leur a pas demandées (comme des titres en gras ou des émojis).
En résumé :
CAPITU est comme un examen de conduite spécial pour les voitures autonomes en Brésil. Au lieu de juste vérifier si la voiture roule, on vérifie si elle respecte les panneaux de signalisation locaux, les habitudes de conduite des Brésiliens et si elle peut gérer plusieurs consignes en même temps sans paniquer. C'est un outil essentiel pour s'assurer que l'IA comprend vraiment le portugais, et pas seulement le "parle" superficiellement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.