💬 NLP

Who Gets Heeded? An Obligation-Level Audit of Responsiveness in EPA Rulemaking

Cet article introduit un cadre d'audit assisté par l'IA, au niveau des obligations, pour analyser la réglementation de l'EPA, révélant que si l'engagement public influence modestement les révisions réglementaires, la principale asymétrie d'équité ne réside pas dans la direction des commentaires, mais dans la capacité différentielle des populations de commentateurs à identifier et à contester des obligations juridiques spécifiques, une conclusion soulignée par la découverte que les méthodes de similitude textuelle sont insuffisantes pour distinguer les changements réglementaires substantiels des raffinements éditoriaux.

Auteurs originaux : Jianing Fan, Yue Yao

Publié 2026-08-12

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jianing Fan, Yue Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le gouvernement des États-Unis comme une cuisine immense et trépidante où les chefs (les agences) préparent constamment de nouvelles recettes appelées « règles ». Ces règles disent à tout le monde, des grandes usines aux jardiniers de quartier, exactement ce qu'ils peuvent et ne peuvent pas faire. Pour s'assurer que ces recettes sont équitables, le gouvernement a une tradition spéciale appelée « notice-and-comment » (avis et commentaires). C'est comme poser un brouillon de recette sur la table en disant : « Hé tout le monde, dites-nous ce que vous en pensez ! » En théorie, c'est une démocratie parfaite : une seule personne avec une note manuscrite a exactement le même droit de s'exprimer qu'une énorme corporation dotée d'une équipe d'avocats.

Mais voici la partie délicate : le simple fait que tout le monde puisse parler ne signifie pas que tout le monde est entendu. Depuis des décennies, des scientifiques tentent de comprendre si les commentaires publics modifient réellement la recette finale ou si le gouvernement se contente de hocher la tête poliment en continuant à cuisiner de la même manière. La grande question est la suivante : le gouvernement écoute-t-il les voix les plus fortes, les groupes les plus organisés ou les personnes ayant les meilleurs arguments ? Et plus important encore, le système traite-t-il une personne ordinaire de la même manière qu'une grande entreprise ? Ce document plonge au cœur de ce mystère, non pas en regardant la recette dans son ensemble, mais en zoomant sur les ingrédients minuscules et spécifiques — les « obligations » — qui composent les règles.

Le grand audit des recettes : Qui est réellement entendu ?

Imaginez que vous essayiez de corriger un manuel d'instructions massif de 200 pages pour un jeu vidéo. Au lieu de lire tout le manuel, vous décidez d'examiner chaque règle spécifique à l'intérieur : « Vous devez sauter par-dessus ce fossé », « Vous ne pouvez pas utiliser cette arme », « Vous devez collecter 50 pièces ». Ces règles spécifiques sont ce que les auteurs appellent des obligations réglementaires.

Les chercheurs, Jianing Fan et Yue Yao, ont décidé d'auditer l'Agence américaine de protection de l'environnement (EPA) pour voir si les commentaires du public modifiaient réellement ces règles spécifiques. Ils n'ont pas seulement regardé le manuel final ; ils ont examiné la version préliminaire, la version finale et les milliers de notes que les gens ont écrites entre les deux. Ils ont construit un système de haute technologie, assisté par l'IA, pour agir comme un bibliothécaire super rapide. Ce système a lu 786 197 commentaires (soit près de 800 000 notes !) et les a associés aux règles spécifiques sur lesquelles les gens discutaient. Ensuite, il a vérifié : La règle a-t-elle changé ? Est-elle restée la même ? A-t-elle été supprimée ?

Voici ce qu'ils ont trouvé, divisé en trois grandes découvertes :

1. S'exprimer aide, mais pas énormément
La première découverte est un peu un « oui, mais... ». Les chercheurs ont constaté que lorsqu'une règle spécifique recevait beaucoup d'attention (cinq personnes ou plus commentant sur celle-ci), elle était plus susceptible d'être modifiée. Plus précisément, les règles ayant un engagement élevé étaient révisées 19,5 points de pourcentage plus souvent que les règles dont personne ne parlait.

L'analogie : Imaginez un professeur corrigeant un examen. Si cinq élèves lèvent la main et disent : « Hé, la question 4 est déroutante », le professeur est presque deux fois plus susceptible de changer le corrigé pour cette question spécifique par rapport à une question dont personne ne parle.
Le bémol : Malgré tout ce bruit, la plupart des règles sur lesquelles les gens se sont plaints n'ont pas changé, et la plupart des règles qui ont changé étaient celles dont personne n'avait parlé. Les commentaires agissent plus comme un signal du type « Hé, regardez ça ! » que comme une baguette magique qui force un changement.

2. Être en colère ou joyeux n'a pas d'importance
Vous pourriez penser que si tout le monde hurle « NON ! » à une règle, le gouvernement la changera, mais si tout le monde acclame « OUI ! », la règle restera. Les chercheurs ont testé cela, et la réponse est un non catégorique.

La découverte : Que les gens soient en faveur d'une règle ou opposés à celle-ci, le taux de changement était pratiquement le même. Environ 62 % des règles avec des opposants ont été révisées, et environ 68 % des règles avec des partisans ont été révisées. La différence n'était pas statistiquement significative.
La leçon à retenir : Le gouvernement ne compte pas simplement les voix comme dans un concours de popularité. Ils semblent regarder d'autres choses, comme les détails techniques ou les examens internes, plutôt que de simplement compter combien de personnes sont en colère ou joyeuses.

3. Les « gros joueurs » jouent un jeu différent
C'est la découverte la plus surprenante et la plus importante. Les chercheurs ont examiné qui commentait. Ils ont tenté de déterminer si le commentaire provenait d'une personne ordinaire ou d'une grande organisation (comme une entreprise ou une association à but non lucratif).

La découverte : Les grandes organisations et les personnes ordinaires ne font pas seulement l'objet de désaccords sur des règles différentes ; elles semblent jouer sur des terrains complètement différents. Les données montrent que les organisations ont tendance à se concentrer sur les règles qui font l'objet de retouches éditoriales (petits changements de formulation, comme corriger une faute de frappe ou clarifier une phrase). Cependant, l'étude n'a pas pu confirmer si les personnes ordinaires étaient plus susceptibles d'être associées à des changements substantiels (des évolutions importantes et significatives) au sein d'une même procédure de réglementation. Au lieu de cela, le schéma suggère que les organisations et les particuliers choisissent simplement de s'engager dans des types de règles différents dès le départ. L'« iniquité » ne réside pas dans le fait que le gouvernement traite une règle spécifique différemment selon qui commente, mais plutôt dans le fait que les personnes ordinaires manquent souvent de ressources pour trouver et contester les règles spécifiques et minuscules où les véritables changements se produisent, tandis que les organisations dominent les règles qui ne subissent que des modifications mineures.
L'analogie : Imaginez une partie d'échecs. Les grandes organisations sont les grands maîtres qui sont très doués pour repérer les petites erreurs techniques dans les règles et les faire corriger. Les personnes ordinaires sont celles qui essaient de changer le jeu entièrement, mais elles finissent souvent par jouer sur des plateaux différents où les règles sont déjà fixées. L'étude suggère que l'« iniquité » n'est pas que le gouvernement ignore les personnes ordinaires au sein d'une règle spécifique ; c'est que les personnes ordinaires manquent souvent de ressources pour trouver et combattre les règles spécifiques et minuscules où les vrais changements se produisent.

L'outil « magique » et son bug
Pour réaliser tout cela, les chercheurs ont utilisé un puissant outil d'IA (un grand modèle de langage) pour lire les règles et les associer aux commentaires. Ils ont été très prudents pour vérifier si l'IA faisait du bon travail. Ils ont engagé des experts humains pour double-vérifier le travail de l'IA.

La bonne nouvelle : L'IA était incroyable pour trouver les règles et les associer aux commentaires. Elle concordait presque parfaitement avec les experts humains.
La mauvaise nouvelle : L'IA était incapable de faire la distinction entre un « petit changement de formulation » et un « grand changement significatif ». Elle pensait qu'une règle était simplement « éditée » alors que les humains pouvaient voir qu'elle avait été réellement « changée ».
La correction : Lorsque les chercheurs ont corrigé les erreurs de l'IA grâce au jugement humain, la conclusion principale sur les organisations versus les particuliers est devenue encore plus forte (le rapport de côtes est passé de 3,07 à 4,90), prouvant que le schéma était réel et non un simple bug informatique.

L'essentiel
L'article conclut que le problème d'« équité » dans la réglementation ne concerne pas seulement qui a le droit de parler. Il s'agit de savoir qui possède les outils pour comprendre les ingrédients juridiques minuscules et complexes de la recette. Les grandes organisations ont les ressources pour trouver et corriger les petits détails techniques, tandis que les personnes ordinaires peinent souvent à trouver l'endroit précis où elles doivent crier pour faire une différence. Le gouvernement écoute le volume de la foule, mais le type de changement qui se produit dépend de qui possède les ressources pour naviguer dans le labyrinthe juridique complexe en premier lieu.

Ainsi, bien que tout le monde ait le même droit de s'exprimer, l'article suggère que le terrain de jeu est toujours incliné. L'inégalité réelle n'est pas que le gouvernement vous ignore ; c'est que vous pourriez ne même pas savoir quelle règle spécifique vous devez combattre pour faire une différence.

Résumé technique : Qui est écouté ? Un audit au niveau des obligations de la réactivité dans la réglementation de l'EPA

Énoncé du problème
La recherche empirique actuelle sur la participation publique dans la réglementation fédérale des États-Unis fait face à un fossé méthodologique : les stratégies existantes opèrent au niveau du document réglementaire ou du corpus agrégé, ce qui est trop grossier pour capturer l'unité spécifique où les commentateurs cherchent le changement. Bien que l'Administrative Procedure Act accorde des droits formels égaux à toutes les parties pour commenter, l'accès procédural ne garantit pas la capacité substantielle de façonner le texte réglementaire. Les travaux antérieurs peinent à distinguer si les agences révisent les règles en raison des contributions publiques ou d'une reconsidération indépendante, et si les intérêts organisés détiennent des avantages systématiques sur les individus. Ces questions restent non résolues car les mesures standards réduisent des centaines d'obligations contraignantes à de simples binaires ou reposent sur des changements de sentiment qui ne peuvent isoler des devoirs juridiques spécifiques. Par conséquent, les comparaisons d'équité entre les types de commentateurs sont obscurcies, car les individus et les organisations n'engagent que rarement les mêmes dispositions au sein des mêmes dossiers.

Méthodologie
Les auteurs introduisent l'audit de réactivité au niveau des obligations, un cadre auditable assisté par l'IA, conçu pour mesurer si l'engagement des commentaires publics coïncide avec des changements apportés à des devoirs réglementaires spécifiques. L'étude utilise un corpus à l'échelle de la population de 786 197 commentaires publics de l'EPA (2010–2022) répartis dans 6 145 dossiers, en se concentrant sur un échantillon stratifié de 36 réglementations « ancres » contenant 70 075 commentaires analysables.

Le cadre se compose de trois composantes computationnelles structurantes, chacune validée par un jugement humain en aveugle :

Extraction d'obligations : Étendant le parseur structurel-déontique de Leahey [20], le pipeline extrait des obligations réglementaires discrètes (tuples acteur-modal-action-objet) des textes proposés et finaux du Federal Register. Un vérificateur LLM (GPT-5) gère les réécritures de forme de surface où les agences préservent les concepts tout en changeant la syntaxe. Cette composante a atteint une précision de 0,9545 et un accord inter-annotateurs parfait ( $\kappa=1,0$ ) lors d'un audit humain.
Correspondance Obligation-Commentaire : Le système fait correspondre les commentaires publics aux obligations spécifiques qu'ils traitent et classifie la posture (soutien, opposition, modification). Un audit en double aveugle sur 100 paires a produit un accord parfait sur l'adressage ( $\kappa=1,000$ ) et un accord quasi parfait sur la posture ( $\kappa=0,953$ ).
Classification de l'état de l'issue : Les obligations proposées sont comparées au texte de la règle finale pour déterminer leur sort (ex: Survécu-Inchangé, Survécu-Édité, Modifié, Abandonné). Initialement, cela reposait sur la similitude cosinus de transformateurs de phrases. Cependant, un audit ultérieur en aveugle a révélé que les méthodes de similitude textuelle sont insuffisantes pour distinguer les raffinements éditoriaux des changements de conformité substantiels ( $\kappa=0,137$ par rapport aux évaluateurs humains sur la limite critique). En conséquence, les auteurs ont appliqué des étiquettes validées par l'humain aux sous-ensembles clés de résultats pour corriger ce biais de mesure.

Un schéma rhétorique de 23 indicateurs a été utilisé de manière descriptive pour coder la sophistication et le cadrage des commentaires, mais n'était pas déterminant pour les principales conclusions de réactivité. Le type de déposant (individu vs organisation) a été reconstruit à partir des champs de titres en raison de la pseudonymisation des données sources, servant de classification par procuration.

Résultats clés
L'application de ce cadre à 12 730 obligations à travers 29 dossiers productifs a produit trois conclusions descriptives :

Association modeste Engagement-Révision : L'engagement est associé à la révision, mais l'ampleur est modeste. Les obligations adressées par cinq commentateurs ou plus étaient 19,5 points de pourcentage plus susceptibles d'être révisées que les obligations moins adressées ( $\chi^2=24,53, p<0,001$ ). Une régression logistique à effets fixes par dossier indique que les obligations à haut engagement ont presque deux fois plus de chances de révision au sein d'une réglementation (OR = 1,93, IC 95 % [1,04, 3,57]). Cependant, la plupart des révisions surviennent sur des obligations que personne n'a adressées, et la plupart des obligations adressées restent inchangées.
Nullité directionnelle : La direction de l'engagement (soutien vs opposition) ne différencie pas clairement les résultats. Parmi les obligations avec des commentaires opposés, 62,3 % ont été révisées ; parmi celles avec des commentaires de soutien, 68,3 % ont été révisées. Cette différence n'est pas statistiquement significative ( $p=0,155$ ), suggérant que les modèles simples d'agrégation de préférences n'expliquent pas le comportement de révision des agences au niveau des obligations.
Asymétrie d'équité inter-dossiers : Sous une reconstruction permissive du type de commentateur, l'engagement à majorité organisationnelle est concentré dans les résultats de raffinement éditorial (Survécu-Édité), tandis que l'engagement à majorité individuelle est davantage associé aux résultats de modification substantielle (Modifié) au niveau inter-dossiers. Un audit humain en aveugle des étiquettes de résultat a préservé cette disparité directionnelle (OR de Fisher corrigé par l'audit = 4,90, $p=0,044$ ), bien que la précision statistique ait diminué. L'effet intra-dossier était statistiquement non concluant avec cette taille d'échantillon.

Contributions et Signification
Le papier apporte trois contributions primaires au programme de recherche EAAMO sur l'accès équitable dans les systèmes algorithmiques et procéduraux :

Conceptuelle/Mesure : Il soutient que l'obligation réglementaire discrète, plutôt que le document réglementaire ou le commentaire, est l'unité correcte pour auditer la réactivité administrative. Cette granularité rend visibles les asymétries d'équité que l'analyse au niveau de la règle occulte, spécifiquement la capacité différentielle de diverses populations à identifier et contester des devoirs juridiques spécifiques.
Empirique : L'étude recadre la question de l'équité de « dont les commentaires sont écoutés ? » en « quelles obligations juridiques les différentes populations de commentateurs ont-elles les ressources pour identifier, interpréter et contester en premier lieu ? » Les résultats suggèrent que l'ouverture formelle de la procédure de notice-and-comment peut masquer une inégalité structurelle en amont, où les organisations et les individus se sélectionnent dans des réglementations structurellement différentes qui correspondent à des comportements de révision d'agence différents.
Méthodologique : Le papier développe et valide un pipeline auditable assisté par l'IA pour l'analyse de textes juridico-politiques. Crucialement, il démontre la nécessité d'une hiérarchie de validation transparente. L'audit du classificateur d'état de l'issue a révélé que les méthodes de similitude textuelle sont des proxys fragiles pour le changement substantiel, une leçon de validité de mesure traitée comme une contribution méthodologique de soutien. Le cadre soutient la responsabilité du secteur public en faisant émerger des modèles à grande échelle qui seraient autrement invisibles, sans remplacer le jugement des agences ou la surveillance de la société civile.

Limites
Les auteurs notent explicitement que les résultats sont des taux de cooccurrence descriptifs, et non des estimations causales. La classification du type de déposant repose sur un heuristique par procuration dû à la pseudonymisation des données, et l'effet d'équité intra-dossier reste statistiquement non concluant. De plus, la dépendance initiale à la similitude cosinus pour la classification de l'issue était une limite connue corrigée par un audit humain, soulignant que la valeur du cadre réside dans sa structure auditable plutôt que dans n'importe quel classificateur automatisé unique.

Le grand audit des recettes : Qui est réellement entendu ?

Articles similaires