Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling

Résumé technique : Amélioration de la reproductibilité dans l'évaluation par la modélisation multi-niveaux des annotateurs

Énoncé du problème
La prolifération rapide de l'intelligence artificielle générative (IAg) a mis en lumière une crise critique de reproductibilité dans l'évaluation de l'apprentissage automatique. Les protocoles d'évaluation actuels reposent souvent sur des benchmarks où chaque entrée est associée à une seule sortie « référence », un paradigme qui ne prend pas en compte la stochasticité inhérente à l'inférence ni la variance subjective introduite par les annotateurs humains. Les pratiques standards agrègent généralement 3 à 5 annotations par élément en une seule étiquette, traitant efficacement le désaccord des évaluateurs comme du bruit plutôt que comme un signal de complexité subjective. De plus, les approches statistiques existantes supposent souvent que les annotations pour différents éléments sont indépendantes, ignorant la réalité selon laquelle les mêmes annotateurs évaluent fréquemment plusieurs éléments. Cette incapacité à modéliser la dépendance hiérarchique entre les évaluateurs et les éléments conduit à une surestimation de la puissance statistique, résultant en des valeurs p sous-estimées et des conclusions potentiellement peu fiables concernant la performance des modèles.

Méthodologie
Pour remédier à ces limites, les auteurs proposent un cadre de rééchantillonnage par bootstrap multi-niveaux conçu pour modéliser de manière réaliste le comportement et la variance des annotateurs. L'étude utilise trois ensembles de données réels contenant des identifiants d'évaluateurs persistants et plusieurs annotations par élément : DICES 350 (matrice entièrement croisée), l'ensemble de données Stanford Toxicity (annotations par lots) et D3code (annotations interculturelles).

L'innovation méthodologique centrale implique trois stratégies distinctes d'échantillonnage par bootstrap non paramétrique (S1, S2, S3) mises en œuvre dans un cadre de simulation basé sur la boîte à outils d'estimation de la variance (VET) :

• S1 (Échantillonnage des éléments et des évaluateurs) : Suppose une conception entièrement croisée où les éléments et les évaluateurs sont échantillonnés indépendamment avec remise. Cette approche ignore la dépendance des évaluateurs à travers les éléments.
• S2 (Échantillonnage des éléments et des évaluateurs au sein d'un élément) : Échantillonne les éléments avec remise, puis échantillonne spécifiquement les évaluateurs à partir du pool d'évaluateurs ayant annoté cet élément spécifique. Cela modélise la réalité selon laquelle les évaluateurs annotent des sous-ensembles d'éléments, mais n'impose pas de structures de lots.
• S3 (Échantillonnage de lots stratifiés) : Échantillonne des lots d'éléments annotés par le même ensemble d'évaluateurs, puis rééchantillonne les éléments et les évaluateurs au sein de ces lots. Cela capture le comportement spécifique des évaluateurs par lot.

Le cadre de simulation génère des données pour une référence (G) et deux modèles (A et B), où le modèle B est perturbé d'une petite quantité ($\epsilon$) pour simuler une différence de performance. Des tests de signification d'hypothèse nulle (NHST) sont ensuite appliqués pour comparer le modèle A et le modèle B sous ces différents régimes d'échantillonnage afin d'observer comment les valeurs p et les tailles d'échantillon requises (N éléments, K évaluateurs) évoluent.

Contributions clés

1. Modélisation multi-niveaux : L'article introduit un cadre qui prend explicitement en compte la structure hiérarchique des interactions évaluateur-élément, dépassant l'hypothèse d'indépendance conditionnelle entre les éléments.
2. Analyse empirique des compromis : L'étude analyse systématiquement les compromis entre le nombre d'éléments ($N$) et le nombre de réponses par élément ($K$) nécessaires pour atteindre une signification statistique sous différentes hypothèses d'échantillonnage.
3. Sensibilité des métriques : Les auteurs évaluent huit métriques distinctes (incluant la Précision, l'Erreur Absolue Moyenne (MAE), les Victoires, la Précision, le Rappel, le Score F1, la Divergence de Kullback-Leibler et la Distance de Jensen-Shannon) pour déterminer comment différentes mesures d'évaluation réagissent à la modélisation de la variance des évaluateurs.

Résultats
Les résultats expérimentaux démontrent que l'incapacité à prendre en compte le comportement des évaluateurs à travers les éléments conduit à des sous-estimations substantielles des valeurs p, gonflant ainsi la puissance statistique perçue d'un ensemble de données.

• Impact de la modélisation : En comparant S1 (échantillonnage indépendant) à S2 (échantillonnage spécifique aux éléments des évaluateurs), S2 produit systématiquement des valeurs p plus faibles et nécessite des budgets plus élevés pour atteindre la signification. Par exemple, sur l'ensemble de données DICES avec la métrique de Précision, la valeur p est passée de 0,045 (S1) à 0,019 (S2) à budget fixe de $N \times K = 5000$.
• Exigences budgétaires : La prise en compte de la variance des évaluateurs augmente le budget total d'annotation ($N \times K$) requis pour obtenir des tests de signification d'hypothèse nulle fiables. Par exemple, sur l'ensemble de données Toxicity, atteindre la signification pour la Précision nécessitait un budget de 500 sous S2, mais cela a augmenté de cinq fois pour atteindre 2500 sous l'approche de lots stratifiés (S3).
• Optimalité de K par rapport à N : L'étude constate que l'augmentation du nombre de réponses par élément ($K$) est souvent plus critique pour atteindre la signification que l'augmentation du nombre d'éléments ($N$), en particulier pour les métriques sensibles à la distribution comme la MAE et la JSD. Dans plusieurs cas, les valeurs optimales de $K$ ont glissé de 40 à 100 lors du passage de la modélisation S1 à S2.
• Effets du sous-échantillonnage : Des expériences de sous-échantillonnage de l'ensemble de données DICES à 5 évaluateurs ont montré que de petits pools d'évaluateurs entraînent une séparation dans les distributions de valeurs p à travers les budgets, suggérant qu'une diversité limitée d'évaluateurs impacte significativement la stabilité de l'estimation.

Portée et affirmations
L'article soutient que la dépendance actuelle envers de faibles nombres d'annotations (3 à 5 par élément) et l'agrégation des étiquettes en seules « références » obscurcit la vraie variance du jugement humain. En démontrant que la prise en compte du comportement des évaluateurs entraîne des estimations de valeurs p plus élevées, les auteurs affirment que de nombreuses évaluations antérieures ont pu être statistiquement sous-puissantes ou faussement significatives.

Les auteurs concluent que pour assurer la sécurité et la fiabilité des systèmes d'IAg, les ensembles de données d'évaluation doivent dépasser les « architectures de vote majoritaire ». Ils recommandent que les créateurs d'ensembles de données augmentent le nombre d'annotateurs répondant à chaque entrée (K plus élevé) et fournissent des données désagrégées au niveau de l'annotateur. Tout en reconnaissant que cela augmente les coûts d'évaluation, l'article postule que cet investissement est nécessaire pour capturer la distribution complète des réponses humaines et éviter de marginaliser les points de vue minoritaires. Le travail fournit une feuille de route stratégique pour optimiser les budgets d'annotation ($N \times K$) afin d'atteindre des évaluations d'IA rigoureuses, reproductibles et statistiquement fondées.