Résumé Technique : SHALA-LLM

Énoncé du Problème

De nombreuses tâches de langage naturel centrées sur l'humain, telles que l'inférence de langue naturelle (NLI) et la reconnaissance d'émotions (ER), possèdent intrinsèquement plusieurs interprétations plausibles. Cela conduit à une ambiguïté de l'étiquetage et à un désaccord significatif entre les annotateurs humains, dicté par des facteurs tels que la compréhension contextuelle, le bagage culturel et l'expérience personnelle.

Les paradigmes actuels d'alignement des grands modèles de langage (LLM) traitent principalement ce désaccord entre annotateurs comme du bruit. Ils réduisent généralement les annotations ambiguës à une étiquette unique « gold standard » en utilisant le vote majoritaire ou la moyenne. Cette approche rejette la richesse de l'information contenue dans le désaccord humain, particulièrement dans les contextes hautement ambigus. Bien que des études récentes aient exploré l'alignement distributionnel, elles opèrent souvent au moment de l'inférence (via le prompting) plutôt qu'en optimisant directement les LLM lors de l'entraînement pour tenir compte du désaccord des annotateurs. Par conséquent, les méthodes existantes ne parviennent pas à préserver la distribution complète des jugements humains ou à prioriser dynamiquement les échantillons où l'ambiguïté est la plus informative.

Méthodologie : SHALA-LLM

Les auteurs proposent SHALA-LLM (Smartly Handling Ambiguous Labels in Aligning LLMs), un cadre d'apprentissage par renforcement (RL) conçu pour aligner directement les LLM avec les distributions empiriques des annotateurs plutôt qu'avec des étiquettes uniques et réduites. Le cadre fonctionne via les composants clés suivants :

1. Formulation du Problème

Au lieu de réduire les annotations en une seule étiquette, SHALA-LLM dérive une Distribution d'Étiquettes Empirique ($p_q$) à partir de $N$ annotateurs humains pour un échantillon $q$ donné. Cette distribution représente la probabilité de chaque classe candidate basée sur la fréquence des votes des annotateurs. L'objectif est d'entraîner le LLM à générer des prédictions ($\hat{p}$) qui s'alignent avec cette distribution sous-jacente du jugement humain.

2. Prédiction de Distribution Verbalisée

Pour faciliter l'apprentissage distributionnel, le LLM est incité à générer des distributions verbalisées. Au lieu de produire une classe unique, le modèle génère une réponse textuelle contenant des estimations de probabilité pour toutes les classes candidates (par exemple, sous format JSON). Ces sorties textuelles sont analysées pour former une distribution de probabilité prédite $\hat{p}^{(q,i)}$.

3. Conception de la Récompense : Optimisation Améliorée par l'Ambiguïté

L'innovation centrale réside dans la fonction de récompense utilisée dans le cadre de l'Optimisation Relative de Groupe par Groupe (GRPO). La récompense $r^{SHALA}_{(q,i)}$ pour un échantillonnage (rollout) est définie par :

$$r^{SHALA}_{(q,i)} = \tilde{H}(p_q) \cdot [1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$$

Où :

• Terme d'Alignement Distributionnel : $[1 - D_{JS}(\hat{p}^{(q,i)}, p_q)]$ mesure l'accord entre la distribution prédite par le modèle et la distribution des annotateurs en utilisant la distance de Jensen-Shannon (JS). Cela remplace les récompenses binaires et éparses de la supervision par étiquette majoritaire par des récompenses continues proportionnelles à l'accord de la distribution.
• Terme d'Amélioration de l'Ambiguïté : $\tilde{H}(p_q)$ est l'entropie normalisée de la distribution des annotateurs. Elle quantifie le degré de désaccord (ambiguïté) parmi les annotateurs.
  • Repondération Dynamique : Les échantillons présentant un désaccord plus élevé entre les annotateurs (entropie plus élevée) reçoivent des récompenses proportionnellement amplifiées. Cela priorise dynamiquement les échantillons hautement ambigus pendant l'optimisation, forçant le modèle à apprendre des structures de désaccord plus riches plutôt que de se contenter des étiquettes dominantes.

4. Optimisation

Le cadre utilise GRPO pour optimiser la politique. En calculant les avantages normalisés par groupe basés sur les récompenses améliorées par l'ambiguïté, SHALA-LLM encourage le modèle à capturer l'incertitude et les diverses interprétations humaines. Cela remodèle la géométrie de la récompense, produisant des distributions d'avantage plus lisses et des mises à jour de politique plus informatives sous une supervision ambiguë.

Principales Contributions

1. Changement de Paradigme : L'article remet en question l'hypothèse selon laquelle le désaccord entre annotateurs est du bruit, le requalifiant en une supervision informative qui améliore le comportement du modèle.
2. Innovation Algorithmique : Il introduit un nouvel algorithme basé sur le RL (SHALA-LLM) qui intègre la modulation de récompense sensible à l'ambiguïté directement dans la boucle d'entraînement, utilisant spécifiquement GRPO.
3. Double Amélioration : La méthode démontre que la modélisation du désaccord des annotateurs non seulement améliore l'alignement distributionnel (capturant l'incertitude humaine), mais améliore également les performances de classification standard (scores F1), contrairement à la croyance selon laquelle la gestion de l'ambiguïté compromet la précision.

Résultats Expérimentaux

Le cadre a été évalué sur des benchmarks de NLI et d'ER sensibles à l'ambiguïté : ChaosNLI, GoEmotions et MSP-Podcast.

• Alignement Distributionnel : SHALA-LLM a considérablement réduit la distance de Jensen-Shannon (JSD) entre les prédictions du modèle et les distributions humaines. Sur ChaosNLI, la JSD a été réduite de 62,1 % par rapport à la Supervision par Étiquette Majoritaire (MLS). Sur MSP-Podcast, la Jся a été réduite de 6,2 %.
• Performance de Classification : Contrairement à l'attente selon laquelle la supervision distributionnelle pourrait nuire à la précision des estimations ponctuelles, SHALA-LLM a amélioré les scores F1. Sur ChaosNLI, le F1 a augmenté de 16,6 % ; sur MSP-Podcast, il a augmenté de 29,2 % par rapport à la MLS.
• Robustesse à l'Ambiguïté : L'analyse à travers différents niveaux d'ambiguïté (faible, moyen, élevé) a révélé que SHALA-LLM maintient des performances stables à mesure que l'ambiguïté augmente, tandis que les méthodes de référence (comme la MLS) souffrent d'une dégradation significative dans les contextes de haute ambiguïté.
• Gains Spécifiques aux Catégories : Le modèle a montré des améliorations particulièrement fortes sur les catégories sémantiques intrinsèquement ambiguës (ex: "Contradiction" en NLI et "Surprise" en ER), là où les modèles de base échouent souvent.
• Comportement de Raisonnement : L'analyse qualitative a montré que SHALA-LLM génère des schémas de raisonnement qui reflètent plusieurs interprétations valides et l'incertitude, plutôt que des sorties de type "interprétation unique" et trop confiantes, typiques des bases de référence zero-shot ou à étiquette majoritaire.

Signification et Revendications

Les auteurs affirment que SHALA-LLM démontre la valeur de traiter le désaccord humain comme un signal plutôt que comme du bruit. En préservant les structures de désaccord et en priorisant dynamiquement les échantillons ambigus, le cadre conduit à un comportement de LLM plus robuste et mieux aligné avec l'humain dans des contextes subjectifs et réels.

L'article conclut que :

1. Préserver le Désaccord : Maintenir la structure complète des jugements humains permet aux modèles d'apprendre de labels diversifiés et potentiellement conflictuels, menant à un meilleur alignement avec les distributions humaines.
2. Synergie de Performance : L'optimisation sensible à l'ambiguïté ne sacrifie pas la précision de la classification au profit de l'alignement ; elle renforce les deux.
3. Généralisabilité : L'approche est efficace à travers différentes modalités (texte et parole) et types de tâches (inférence et reconnaissance d'émotions).

Les auteurs reconnaissent des limites, notant que l'évaluation actuelle se concentre sur des distributions d'étiquettes structurées et ne traite pas encore les tâches génératives ouvertes ou les interactions complexes à plusieurs tours. Ils notent également que le cadre suppose que les distributions empiriques représentent adéquatement les facteurs sous-jacents comme l'expertise des annotateurs, ce qui peut ne pas capturer pleinement toutes les sources d'ambiguïté. Néanmoins, ce travail suggère une direction prometteuse pour le développement de modèles de langage de grande taille plus robustes et centrés sur l'humain.