💬 NLP

Validity of LLMs as data annotators: AMALIA on authority

Cet article démontre que si le modèle de langue nationale du Portugal, AMALIA, atteint un haut degré d'accord avec les codeurs humains sur le fondement moral de l'autorité, il manque de validité de construit car il repose sur des raccourcis de surface plutôt que sur un raisonnement théorique, soulignant la nécessité de bancs d'essai pour les LLM nationaux afin d'évaluer la base de preuve de la performance des modèles au-delà du simple accord.

Auteurs originaux : Manuel Pita

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manuel Pita

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un nouveau robot super intelligent nommé AMALIA. C'est le propre robot linguistique du Portugal, construit avec de l'argent public pour comprendre et parler le portugais européen mieux que quiconque. L'espoir était grand : AMALIA pourrait agir comme un assistant humain super rapide et super bon marché pour les chercheurs. Plus précisément, les scientifiques voulaient l'utiliser pour lire des milliers de publications sur les réseaux sociaux et déterminer si les gens parlaient d'« Autorité » — une idée complexe qui ne se limite pas au mot « chef » ou « police », mais qui concerne la manière dont on respecte ou on conteste les règles de la hiérarchie.

Voici le rebondissement : AMALIA est très douée pour deviner la bonne réponse, mais elle est incapable de montrer son raisonnement.

Le problème du « Bon résultat, mauvaise raison »

Pensez à AMALIA comme à un élève passant un examen de mathématiques.

L'objectif : Le professeur demande : « Résous X en utilisant cette formule spécifique. »
Le résultat : AMALIA écrit le bon chiffre pour X.
Le piège : Quand le professeur demande : « Montre-moi tes étapes », AMALIA ne peut pas le faire. Au lieu d'utiliser la formule, elle a simplement deviné la réponse parce qu'elle a vu un motif, du genre : « Oh, le mot 'chef' est dans la phrase, donc la réponse doit être 'Autorité'. »

Dans le monde réel, c'est dangereux. Si un robot est d'accord avec les experts humains 90 % du temps, nous disons généralement : « Génial ! Nous pouvons lui faire confiance ! » Mais cet article soutient que pour AMALIA, cet accord est un leurre. C'est comme un perroquet qui apprend à dire « Je t'aime » dès qu'il voit un humain sourire. Le perroquet ne ressent pas l'amour ; il se contente d'associer le sourire à la phrase. AMALIA associait des indices de surface (comme voir un policier ou entendre quelqu'un de fâché) à l'étiquette « Autorité », plutôt que de réellement comprendre la théorie complexe du pouvoir et du respect que les chercheurs essayaient de mesurer.

Le test de la « Boîte Noire »

Pour prouver cela, les chercheurs n'ont pas seulement posé la grande question à AMALIA. Ils ont décomposé la question en petits morceaux simples, comme un détective décomposant une affaire en indices.

La Grande Question : « Ce texte traite-t-il de l'Autorité ? »
Les Petits Indices : « Mentionne-t-il un leader ? » « Juge-t-il le comportement de ce leader ? » « Parle-t-il de tradition ? »

Si AMALIA comprenait vraiment le concept, elle devrait obtenir le même résultat que vous lui posiez la grande question ou les petits indices. Mais ce ne fut pas le cas.

Lorsqu'on lui a posé la grande question, AMALIA était d'accord avec les experts humains 71 % du temps.
Lorsqu'on lui a posé les petits indices en la forçant à assembler les pièces, son accord est tombé à seulement 36 %.

Cette chute énorme est appelée l'« écart de récupération » (recovery gap). C'est comme un magicien sortant un lapin d'un chapeau. Si vous demandez : « Où est le lapin ? » et que le magicien pointe le chapeau, c'est bien. Mais si vous demandez : « Montre-moi le lapin à l'intérieur du chapeau », et que le chapeau est vide, vous réalisez que le magicien utilisait un tour de passe-passe. L'article a découvert que le « tour » d'AMALIA consistait à s'appuyer sur des raccourcis de surface, comme voir une « indignation morale » près d'une personne puissante et supposer qu'il s'agit d'autorité, même quand ce n'est pas le cas.

La comparaison avec les « Plus gros Robots »

Les chercheurs n'ont pas seulement testé AMALIA ; ils ont testé deux autres robots : Llama (un modèle de taille moyenne) et GPT-OSS (un géant de 120 milliards de paramètres, contre 9 milliards pour AMALIA).

Le Robot Géant (GPT-OSS) : Lorsqu'on lui a posé les mêmes questions délicates en portugais, il n'avait pas d'écart. Il obtenait la bonne réponse et pouvait montrer son raisonnement. Il comprenait la théorie.
Le Robot de Taille Moyenne (Llama) : Il avait un petit écart, mais il s'améliorait.
AMALIA : Elle avait un écart massif.

Cela prouve que le problème n'était pas la langue portugaise ou les textes spécifiques utilisés. Le problème était la taille et l'entraînement du modèle. L'article suggère qu'AMALIA est simplement trop petite pour gérer le « grain » complexe de la théorie. C'est comme essayer de construire un gratte-ciel avec un marteau destiné à une cabane d'oiseaux ; l'outil n'est tout simplement pas assez grand pour faire le travail, même s'il semble fonctionner.

Ce que cela signifie pour les Robots Nationaux

L'article écarte explicitement quelques idées populaires :

Ce n'est pas une question de langue : Même si AMALIA est le robot « maison » du Portugal, elle n'a pas été plus performante que les grands robots internationaux. En fait, les grands robots étaient plus en accord avec les humains qu'AMALIA.
L'accord ne suffit pas : Le fait qu'un robot soit d'accord avec les humains ne signifie pas qu'il mesure la bonne chose. Il peut simplement faire de l'association de formes (pattern-matching).
Ce n'est pas un échec des créateurs du modèle : L'article fait l'éloge d'AMALIA pour sa transparence et son ouverture. Le problème est que la « norme d'excellence » actuelle pour tester les robots (vérifier simplement s'ils sont d'accord avec les humains) est défaillante.

En conclusion

Alors, AMALIA est-elle inutile ? Pas du tout ! L'article dit qu'AMALIA est excellente pour le criblage et le pré-codage. Elle peut lire une énorme pile de textes et dire : « Hé, ceci semble intéressant, les humains devraient regarder ça. » C'est un excellent premier filtre.

Mais peut-elle mesurer des idées complexes comme l'« Autorité » par elle-même ? Non. Pas encore.
L'article conclut qu'avant de faire confiance à un robot national pour mesurer ce que nos citoyens pensent et valorisent, nous devons poser une question différente. Nous ne devrions pas seulement demander : « Es-tu d'accord avec les humains ? » Nous devons demander : « Peux-tu montrer ton raisonnement ? »

Tant qu'AMALIA (ou tout autre petit modèle national) ne peut pas montrer son raisonnement et prouver qu'elle utilise la bonne logique et ne se contente pas de deviner à partir d'indices de surface, elle n'est pas prête à être le juge final. L'article suggère que pour l'instant, AMALIA est un assistant utile, mais elle n'est pas le patron des données.

Résumé technique : Validité des LLM en tant qu'annotateurs de données

Problématique
L'article traite d'une lacune critique dans l'évaluation des grands modèles de langage (LLM) en tant qu'annotateurs de données pour la recherche en sciences sociales. Alors que les LLM « souverains » nationaux (tels que l'AMALIA du Portugal) sont de plus en plus déployés pour analyser des textes locaux, leur évaluation a historiquement reposé sur la fiabilité (accord avec les codeurs humains) plutôt que sur la validité de construit (fidélité à la définition théorique du construit mesuré).

Le problème central est qu'un accord élevé entre un LLM et des annotateurs humains ne garantit pas que le modèle mesure le construit théorique visé. Au lieu de cela, le modèle peut obtenir cet accord grâce à des « corrélats de surface » ou des raccourcis (par exemple, détecter l'indignation morale près d'une figure d'autorité plutôt que la posture spécifique sur la hiérarchie requise par la théorie). Parce que les LLM sont des boîtes noires, les mesures d'accord standard ne peuvent pas distinguer une inférence authentique d'une corrélation spécieuse. Cela est particulièrement urgent pour les modèles souverains, où l'hypothèse est qu'un modèle entraîné sur des données et une langue locales servira naturellement d'instrument de mesure supérieur pour cette communauté.

Méthodologie
L'étude emploie une méthode de calibration granulaire pour sonder le chemin inférentiel du LLM, allant au-delà de l'accord holistique pour tester la validité de l'instrument de mesure.

Construit et Corpus : L'étude se concentre sur le fondement moral « autorité/subversion » de la Moral Foundations Theory. Le jeu de données comprend 748 textes du Moral Foundations Reddit Corpus (MFRC), transcréés en portugais européen (pt-PT) via un pipeline de « transcréation » rigoureux. Ce pipeline garantit que le sens, la posture et les référents sont préservés tout en adaptant l'idiome et le registre, avec une génération en aveugle et une adjudication humaine pour éviter toute fuite de code (code leakage).
Modèles : Le sujet principal est AMALIA-9B, un modèle de 9 milliards de paramètres pour le portugais européen. Il est comparé à deux modèles multilingues plus larges aux poids ouverts : Llama-3.3-70B et GPT-OSS-120B.
L'écart de récupération ( $\Delta$ ) : La métrique centrale est l'« écart de récupération », défini comme $\Delta = F^u_1 - F^d_1$ $Δ = F_{1}^{u} - F_{1}^{d}$ .
- $F^u_1$ : Performance (score F1) du prompt non décomposé (instruction holistique).
- $F^d_1$ : Performance du prompt décomposé, où le construit est décomposé en clauses atomiques (détection, distinction, évaluation) et recombiné via une règle d'intégration booléenne stricte dérivée de la théorie.
- Un $\Delta \approx 0$ indique que le modèle mesure le construit tel qu'il est défini par la théorie. Un $\Delta$ important indique que le modèle s'appuie sur des raccourcis non spécifiés par la théorie.
Design Expérimental : L'étude teste AMALIA sous des instructions anglaises et portugaises sur le corpus portugais. Elle compare ces résultats aux modèles de référence sur le même corpus et aux performances de ces derniers de référence sur le corpus anglais original. L'étude est pré-enregistrée, avec des hypothèses fixées avant les tests de confirmation sur un ensemble de test (held-out set) de 448 textes.

Résultats Clés

Haute Fiabilité, Faible Validité pour AMALIA : AMALIA atteint un accord élevé avec les annotateurs humains (F1 holistique $\approx 0,71$ ), comparable à des modèles 8 à 13 fois plus grands. Cependant, il présente un écart de récupération important ( $\Delta \approx 0,36$ sous instructions portugaises et $0,44$ sous instructions anglaises). Cela indique que la décomposition ne récupère qu'environ la moitié de la performance holistique d'AMALIA.
Corrélats de Surface vs Théorie : L'analyse d'erreur révèle que les faux positifs d'AMALIA sont largement pilotés par des corrélats de surface, tels que l'« indignation morale générique » près des figures d'autorité ou la simple présence d'une figure d'autorité, plutôt que par la posture évaluative requise sur la hiérarchie. Dans 78 % des faux positifs, le modèle s'est appuyé sur des bases de surface plutôt que sur la définition théorique du construit.
Échec Spécifique au Modèle : L'échec est spécifique à AMALIA, et non au corpus ou à la langue.
- GPT-OSS-120B réduit l'écart sur le corpus portugais ( $\Delta \approx 0,03$ ), performant de manière similaire à ses résultats en anglais.
- Llama-3.3-70B montre un écart modéré ( $\Delta \approx 0,12$ ), qui est plus important que sa performance en anglais mais nettement plus faible que celle d'AMALIA.
- Cela suggère que le problème est l'« instrument construit-modèle » (spécifiquement la capacité du modèle de 9B à exécuter le grain théorique), et non la langue portugaise ou le corpus transcréé.
Langue des Instructions : L'hypothèse selon laquelle les instructions en portugais réduiraient l'écart n'a pas été statistiquement soutenue ( $\Delta_{pt} = 0,358$ vs $\Delta_{en} = 0,436$ ; l'intervalle de confiance de la différence incluait zéro). Bien que la direction soit cohérente avec l'hypothèse, l'effet n'était pas significatif.

Contributions Clés

Opérationnalisation de la Validité de Construit : L'article introduit et applique l'« écart de récupération » comme outil de diagnostic pour distinguer l'accord fiable de la mesure valide dans les LLM. Il démontre que l'accord seul est insuffisant pour valider les LLM en tant qu'instruments scientifiques.
Évaluation des Modèles Souverains : Il fournit la première étude de validité d'un LLM national (AMALIA) dans sa langue maternelle, remettant en question l'hypothèse selon laquelle les modèles en « langue maternelle » possèdent naturellement une validité de mesure supérieure.
Pipeline de Transcréation : Il détaille un pipeline rigoureux et pré-enregistré pour la création de corpus translinguistiques pour la validation de construits, garantissant que le transfert de code est justifié par la vérification plutôt que par l'assomption.
Analyse d'Erreur Granulaire : En décomposant les prompts en clauses atomiques, l'étude identifie des modes de défaillance spécifiques (par exemple, l'utilisation de l'indignation morale comme proxy de l'autorité) que les métriques holistiques occultent.

Signification et Revendications
L'article conclut que bien qu'AMALIA soit un annotateur fiable (produisant des codes qui correspondent au consensus humain), il n'est pas encore un instrument valide pour mesurer le construit théorique de l'autorité. Il produit les « bons » codes pour les « mauvaises » raisons, s'appuyant sur des motifs de surface plutôt que sur les inférences théoriques requises par la définition du construit.

Les auteurs soutiennent que pour que les programmes de LLM souverains puissent être dignes de confiance pour des tâches de mesure, ils doivent aller au-delà des métriques d'accord. La question critique n'est pas de savoir si le modèle est d'accord avec les humains, mais s'il peut « montrer son travail » en exécutant les étapes inférentielles spécifiques définies par la théorie. L'étude suggère que les modèles nationaux plus petits peuvent manquer de « grain exécutable » pour effectuer des décompositions théoriques complexes sans recalibrage, et que les preuves de validité doivent être générées pour des usages de mesure spécifiques, et non pour des benchmarks linguistiques généraux. L'article stipule explicitement qu'AMALIA est adapté au triage et au pré-codage, mais pas à la mesure autonome de construits théoriques.