Coherence Maximization Improves Pluralistic Alignment

Résumé Technique : La maximisation de la cohérence améliore l'alignement pluraliste

Énoncé du problème
L'alignement des systèmes d'IA avec la diversité des valeurs humaines (alignement pluraliste) demeure un défi central. Bien que les principes de haut niveau comme l'« utilité » (helpfulness) fournissent une direction, ils échouent souvent à se traduire en pratique pour des populations spécifiques en raison des tensions inévitables lors de leur application à des cas concrets. Les approches actuelles sont confrontées à un « écart de spécification » : les principes abstraits sont insuffisants, et la génération d'exemples de valeurs concrets pour des personas divers (par exemple, nationalités, affiliations politiques ou styles d'interaction spécifiques) nécessite généralement une supervision humaine étendue. De plus, les procédures d'alignement standard risquent de provoquer un effondrement du pluralisme distributionnel nécessaire pour servir des populations diverses, souvent en sélectionnant une perspective unique ou en s'appuyant sur des données de post-entraînement qui peuvent avoir effacé la diversité latente des valeurs présente dans les corpus de pré-entraînement.

Méthodologie
Les auteurs proposent la Maximisation de la Cohérence Interne (ICM - Internal Coherence Maximization) pour générer des exemples de valeurs spécifiques à un persona sans supervision humaine. La méthodologie repose sur l'intuition que les systèmes de valeurs cohérents présentent une régularité statistique ; si un persona soutient une position sur un sujet, cela contraint ses positions probables sur des sujets connexes.

Le pipeline se compose de trois étapes :

1. Extraction de Persona et Sélection d'Items : Les caractéristiques de persona à grain grossier (par exemple, nationalité, affiliation politique) sont extraites de la requête cible. Les items pertinents (questions d'enquête, paires de réponses ou paires question-réponse) sont identifiés.
2. Inférence de Labels basée sur l'ICM : En utilisant un modèle de langage de base, le système infère les labels pour ces items en maximisant un score de cohérence défini par la prédictibilité mutuelle des labels sous le modèle. L'algorithme effectue une recherche (utilisant le recuit simulé) sur les assignations de labels afin de trouver la configuration qui maximise la cohérence interne. Ce processus permet de récupérer les structures de valeurs latentes au sein des priors du modèle sans supervision externe.
3. Conditionnement par Contexte (In-Context Conditioning) : Les paires item-label inférées servent d'exemples de type "few-shot" pour guider le modèle lors de l'inférence en aval. Cela est appliqué à trois formats de tâches : la prédiction de labels discrets (classification), la sélection de préférence par paire et la génération ouverte guidée.

Pour les populations pour lesquelles l'inférence non supervisée est peu fiable (sous-représentées dans les données de pré-entraînement), les auteurs introduisent l'Élicitation de Cohérence Collaborative. Ce processus itératif identifie les questions où les valeurs inférées par le modèle présentent une faible confiance (incertitude élevée) et sollicite des annotateurs humains uniquement pour ces items spécifiques. Ces labels humains sont ensuite fixés comme des contraintes strictes, et l'ICM est relancé pour régénérer les autres labels, garantissant ainsi la cohérence avec ces nouvelles contraintes.

Principales Contributions

1. La Cohérence plutôt que l'Exactitude : L'article démontre que la cohérence interne d'un ensemble d'exemples en contexte prédit mieux la généralisation en aval que l'exactitude individuelle des labels. Lorsque l'exactitude des labels est maintenue constante, les exemples présentant une plus grande prédictibilité mutuelle généralisent nettement mieux que les exemples incohérents.
2. Parité Non Supervisée avec les Labels "Gold" : Les exemples inférés par l'ICM, générés sans aucune supervision humaine, égalent la performance des exemples supervisés par des experts (labels "gold") sur quatre benchmarks (GlobalOpinionQA, OpinionQA, Persona-Tailoring et OvertonBench) et trois formats de tâches. Cela est valable pour plusieurs familles de modèles (Llama-3.1, Qwen-3, OLMo-3) et à différentes échelles.
3. Efficacité du Feedback Humain Ciblé : Pour les personas sous-représentés, la collecte de feedback humain sur les questions à haute incertitude produit une généralisation nettement supérieure à la collecte du même nombre de labels sur des questions arbitraires. Cette approche minimise la charge d'annotation tout en corrigeant les erreurs systématiques dans la structure de valeur inférée du modèle.

Résultats

• Performance : Sur tous les jeux de données, les labels inférés par l'ICM ont atteint une performance d'alignement comparable aux labels supervisés par des experts. Par exemple, sur GlobalOpinionQA, l'ICM a atteint 71,7 % de précision contre 71,2 % pour la supervision par des experts ; sur OpinionQA, 81,9 % contre 81,0 %. Les deux ont largement surpassé les bases de référence "zero-shot".
• Le Rôle de la Cohérence : Une base de référence "Appariée en Exactitude" (Accuracy-Matched), où les labels ont été aléatoirement perturbés pour correspondre à l'exactitude de l'ICM mais avec une cohérence moindre, a obtenu des résultats nettement inférieurs (tombant souvent au niveau du zero-shot). Cela isole la cohérence comme le principal moteur de la généralisation, et non l'exactitude brute des labels.
• Robustesse : L'effet de cohérence a été observé sur différentes tailles de modèles (de 7B à 70B de paramètres) et différentes familles. Bien que les modèles plus grands récupèrent davantage de gain potentiel par rapport à la supervision par des experts, même les modèles plus petits bénéficient de l'ICM, à condition qu'ils possèdent une structure de valeur latente suffisante.
• Élicitation Collaborative : Dans les expériences avec des personas sous-représentés (par exemple, le Nigéria dans GlobalOpinionQA), l'ajout de seulement quatre labels humains ciblés sur les questions à plus faible confiance a amélioré la précision du test de plus de 30 points de pourcentage, tandis que les bases de référence de l'apprentissage aléatoire ou actif montraient des gains plus faibles.

Signification et Revendications
L'article soutient que la cohérence est un principe de conception clé pour une spécification de valeurs scalable. En exploitant les diverses perspectives humaines déjà encodées dans les modèles de langage pré-entraînés, l'ICM permet la construction de spécifications de valeurs efficaces sans nécessiter une supervision de préférence extensive.

Les auteurs affirment que cette approche offre une voie pratique pour l'alignement pluraliste :

• Elle permet de générer des exemples spécifiques à un persona qui guident les modèles vers les valeurs d'un groupe cible sans annotation humaine pour les populations bien représentées.
• Elle s'intègre naturellement au feedback humain pour les groupes sous-représentés, ne nécessitant qu'une intervention minimale et ciblée pour corriger les biais latents.
• Elle remet en question l'hypothèse selon laquelle l'exactitude individuelle des labels est la métrique principale de la spécification de valeur, suggérant plutôt que la cohérence mutuelle d'un système de valeurs est plus critique pour la généralisation.

Le travail est modeste dans sa portée, reconnaissant que l'approche repose sur des motifs statistiques dans les textes de pré-entraînement plutôt que sur un accès direct aux intentions humaines, et que le réglage des hyperparamètres peut être nécessaire pour différents domaines. Cependant, il pose l'idée que la maximisation de la cohérence interne constitue une alternative viable et scalable à l'alignement de valeur supervisé traditionnel.