Résumé technique : Échapper au piège de l'accord

1. Énoncé du problème : Le piège de l'accord

Les systèmes automatisés de modération de contenu sont traditionnellement évalués à l'aide de métriques basées sur l'accord (par exemple, le score F1) par rapport à des étiquettes humaines. Les auteurs soutiennent que cette approche échoue dans les environnements régis par des règles où plusieurs décisions peuvent être logiquement cohérentes avec la politique en vigueur. Dans de telles « zones grises », les modérateurs humains résolvent l'ambiguïté en utilisant le contexte, les précédents et les normes interprétatives, créant ainsi des étiquettes qui reflètent une voie de résolution spécifique plutôt que la structure de la règle sous-jacente.

Lorsqu'un modèle apprend à partir de ces étiquettes, il reproduit la voie interprétative. Par conséquent, les métriques basées sur l'accord pénalisent les décisions valides et fondées sur la politique qui divergent de l'étiquette humaine spécifique, confondant trois modes d'échec distincts :

1. Erreur du modèle : Le modèle viole les règles.
2. Divergence du modérateur : Le modèle et l'humain ont choisi des voies valides différentes.
3. Ambiguïté de la politique : Les règles elles-mêmes sont sous-spécifiées.

Les auteurs qualifient ce phénomène de piège de l'accord. Il conduit à une caractérisation systématique erronée de l'adhésion aux règles comme une erreur, en particulier lorsque l'ensemble des résultats défendables par la politique est un ensemble à valeurs multiples (contenant plus d'un élément).

2. Méthodologie : Le cadre de la défendabilité

Pour y remédier, l'article formalise l'évaluation comme une exactitude fondée sur la politique, déplaçant l'accent de l'accord avec les étiquettes historiques vers la déductibilité logique sous une hiérarchie de règles explicite.

2.1 Formalisation et métriques

Le cadre évalue une décision proposée $\hat{y}$ (par exemple, SUPPRIMER ou APPROUVER) par rapport au contenu $C$, à une hiérarchie de règles $R$ (règles globales de la plateforme $R_G$ et règles spécifiques à la communauté $R_C$), et à un corpus de précédents $P$. Une décision est défendable si une dérivation logique valide existe de $(C, R, P)$ vers $\hat{y}$.

Les décisions sont classées en trois niveaux :

• L1 (Robustement défendable) : Une règle explicite autorise directement et sans ambiguïté la décision.
• L2 (Plausible défendable) : Les règles sont véritablement ambiguës, mais la décision est raisonnablement soutenue.
• L3 (Indéfendable) : Aucune règle explicite n'autorise la décision, ou le raisonnement invoque des concepts absents de l'ensemble des règles.

Deux métriques principales sont introduites :

• Indice de défendabilité (DI) : La fraction des décisions qui sont L1 ou L2. Objectif : $\ge 0,90$.
• Indice d'ambiguïté (AI) : La fraction des décisions où un « contrôle inverse » (vérifiant si la décision opposée est également déductible) se déclenche. Objectif : $\le 0,15$. L'AI est décomposé en sous-spécification au niveau de la plateforme ($A_{IG}$) et au niveau de la communauté ($A_{IC}$).

2.2 Mise en œuvre de l'audit

Le cadre emploie un audit structuré utilisant un Modèle d'audit ($M_a$). Contrairement aux approches standard « LLM-comme-juge » qui évaluent la qualité subjective, $M_a$ agit comme un moteur de raisonnement contraint. Il reçoit le contenu, les règles, les précédents et la décision proposée, puis génère une trace de raisonnement JSON :

1. Chaîne logique : Étapes d'inférence.
2. Citation de la politique ($\kappa$) : Référence explicite à la règle (engagée avant le verdict).
3. Poids du précédent ($\omega$) : Importance des cas passés.
4. Contrôle inverse ($\iota$) : Si la décision opposée est également déductible.
5. Niveau de défendabilité ($\xi$) : L1, L2 ou L3.

Cet ordre garantit que la classification est ancrée dans une référence de gouvernance explicite, empêchant le modèle de rationaliser une sortie prédéterminée.

2.3 Signal probabiliste de défendabilité (PDS)

Pour estimer la stabilité du raisonnement sans passes d'audit supplémentaires, les auteurs introduisent le PDS, dérivé des log-probabilités des jetons du modèle d'audit. Le PDS extrait un vecteur à trois composants d'un seul passage avant :

1. $\lambda_\xi$ (Confiance log du label) : Log-probabilité du niveau de défendabilité final.
2. $H[\kappa]$ (Entropie de l'étendue de citation) : Entropie de Shannon sur les jetons de citation de la politique. Une entropie élevée indique une incertitude dans la sélection de la règle.
3. $\sigma(\rho)$ (Log-vraisemblance du contrôle inverse) : Log-vraisemblance du déclenchement du contrôle inverse. Des valeurs élevées indiquent que le modèle est incertain si la décision est indéfendable.

Ces composants sont combinés en un scalaire $S$ via un étalonnage. Le cadre émet l'hypothèse que la variance du PDS est principalement pilotée par l'ambiguïté de gouvernance plutôt que par le bruit de décodage.

3. Contributions clés

1. Formalisation de l'exactitude fondée sur la politique : Introduction du DI et de l'AI pour séparer les décisions défendables par la politique des indéfendables, dépassant les métriques d'accord.
2. Signal probabiliste de défendabilité (PDS) : Un signal de stabilité à coût nul extrait des log-probabilités du modèle d'audit, corrélé à l'instabilité du raisonnement.
3. Porte de gouvernance : Un mécanisme de déploiement opérationnel qui restreint l'application automatisée aux cohortes satisfaisant des seuils spécifiques de DI et d'AI, permettant une couverture d'automatisation raisonnée avec réduction des risques.

4. Résultats empiriques

Le cadre a été validé sur plus de 193 000 décisions de modération Reddit à travers plusieurs communautés, auditées par rapport aux règles globales de la plateforme et spécifiques aux communautés.

4.1 L'écart Accord-Défendabilité

• Divergence des métriques : Il existe un écart de 33 à 46,6 points de pourcentage entre les scores F1 basés sur l'accord et l'Indice de défendabilité.
• Analyse des faux négatifs : 79,8 à 80,6 % des « faux négatifs » du modèle (désaccords avec les étiquettes humaines) étaient en réalité des décisions fondées sur la politique (L1 ou L2). Cela confirme le piège de l'accord : les métriques standard pénalisent l'adhésion valide aux règles lorsqu'elles divergent des interprétations humaines spécifiques.
• Cause racine : Seuls 19,4 % des désaccords étaient de véritables erreurs de modèle (L3) ; le reste concernait l'application implicite de normes ou l'ambiguïté de la politique.

4.2 PDS et stabilité

• Alignement humain : Le PDS corrèle fortement avec les évaluations humaines de défendabilité ($\rho = 0,66, p < 10^{-4}$).
• Détection d'ambiguïté : Les log-vraisemblances du contrôle inverse ($\sigma(\rho)$) sont 63 % plus élevées dans les cas de désaccord que dans les cas d'accord.
• Analyse de stabilité : Un échantillonnage répété (1 000 répliques) montre que la variance du PDS est pilotée par l'ambiguïté de gouvernance, et non par le bruit d'échantillonnage. Le rapport d'instabilité entre les cas « basculants » et « stables » reste plat (~1,6x) sur une augmentation de température de dix fois, soutenant l'hypothèse de l'ambiguïté de gouvernance.

4.3 Expérience de sous-spécification normative

L'audit de 37 286 décisions selon trois niveaux de spécificité des règles (Titre uniquement, Barre latérale, Wiki) sur r/AskReddit a révélé :

• Réduction de l'AI : L'ajout de détails sur les règles a réduit l'Indice d'ambiguïté de 10,8 points de pourcentage (de 18,2 % à 7,4 %).
• Stabilité du DI : L'Indice de défendabilité est resté stable (~97-98 %), indiquant que les décisions étaient défendables indépendamment des détails des règles ; c'est l'incertitude quant à leur défendabilité qui a changé.
• Mécanisme : Des règles vagues créent principalement des décisions ambiguës (L2) plutôt que indéfendables (L3).

4.4 Performance de la porte de gouvernance

Une porte de gouvernance configurée avec DI $\ge$ 0,90 et AI $\le$ 0,15 a obtenu :

• 78,6 % de couverture d'automatisation sur l'ensemble du parc.
• 64,9 % de réduction des risques (réduisant le taux de décisions indéfendables de 5,66 % à 2,72 % dans la partie automatisée).
• Le seuil AI a été identifié comme la contrainte liante, ce qui signifie que la sélectivité est déterminée par l'ambiguïté de la politique plutôt que par la validité du raisonnement.

4.5 Robustesse aux attaques

Dans un « Benchmark d'ancrage fallacieux » (1 000 cas incluant des attaques adverses) :

• Détection : Le système a détecté 93,5 % des attaques de basculement d'action et 70,1 % des attaques d'ancrage halluciné.
• Surface d'échappement : 29,9 % des attaques ont échappé, spécifiquement celles exploitant la « pénombre de la politique » (règles de contenu subjectives). Crucialement, les règles vulnérables à ces attaques étaient les mêmes identifiées par l'Indice d'ambiguïté comme nécessitant une clarification, fournissant une corroboration indépendante de la capacité de diagnostic du cadre.

5. Signification et revendications

L'article affirme que l'évaluation dans les environnements régis par des règles doit passer de l'accord avec les étiquettes historiques à la validité fondée sur le raisonnement sous des règles explicites.

• Recadrage de l'ambiguïté : Le cadre traite l'ambiguïté de la politique non pas comme une déficience mais comme une caractéristique de conception délibérée (sous-spécification normative) qui préserve le jugement humain. Les métriques quantifient cette élasticité pour permettre une automatisation sûre lorsque la défendabilité est élevée.
• LLM comme auditeur de raisonnement : Ce travail étend le paradigme « LLM-comme-juge » de l'évaluation subjective de la qualité à la vérification logique fondée sur les règles. En traitant les règles comme la source de vérité externe et le modèle d'audit comme un moteur de raisonnement contraint, le système opérationnalise la cohérence des règles.
• Déploiement pratique : La porte de gouvernance fournit un mécanisme raisonné pour mettre à l'échelle l'automatisation tout en préservant l'auditabilité, démontrant que les traces de raisonnement des LLM (spécifiquement les distributions de log-probabilités) peuvent servir de signaux d'incertitude étalonnés pour la gouvernance.

Les auteurs concluent que la convergence de l'Indice d'ambiguïté, de la variance du PDS et des surfaces d'échappement aux attaques adverses pointe vers un phénomène sous-jacent unique : la sous-spécification normative. Le cadre fournit l'infrastructure pour identifier et gérer cette sous-spécification plutôt que de la traiter comme une erreur de modèle.