💬 NLP

Who Gets Heeded? An Obligation-Level Audit of Responsiveness in EPA Rulemaking

Dit artikel introduceert een door AI ondersteund auditingskader op niveau van verplichtingen om de regelgeving van de EPA te analyseren, waarbij wordt onthuld dat hoewel publieke betrokkenheid de regelgevende herzieningen bescheiden beïnvloedt, de primaire rechtvaardigheidsasymmetrie niet ligt in de richting van de reacties, maar in het differentiële vermogen van commentaargevende populaties om specifieke juridische verplichtingen te identificeren en te betwisten, een bevinding die wordt onderstreept door de ontdekking dat methoden gebaseerd op tekstgelijkenis onvoldoende zijn om substantiële regelgevende wijzigingen te onderscheiden van redactionele verfijningen.

Oorspronkelijke auteurs: Jianing Fan, Yue Yao

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianing Fan, Yue Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de Amerikaanse overheid voor als een enorme, drukke keuken waar de chefs (de instanties) constant nieuwe recepten bedenken die "regels" worden genoemd. Deze regels vertellen iedereen, van grote fabrieken tot achtertuinierders, precies wat ze wel en niet mogen doen. Om ervoor te zorgen dat deze recepten eerlijk zijn, heeft de overheid een speciale traditie genaamd "notice-and-comment" (mededeling en commentaar). Het is alsof je een conceptrecept op tafel legt en zegt: "Hé iedereen, vertel eens wat je ervan vindt!" In theorie is dit een perfecte democratie: één persoon met een handgeschreven briefje heeft precies hetzelfde recht om te spreken als een enorme corporatie met een team van advocaten.

Maar hier komt de lastige kant: het feit dat iedereen kan spreken, betekent niet dat iedereen ook echt gehoord wordt. Al decennia proberen wetenschappers uit te vogelen of deze publieke reacties de uiteindelijke receptuur daadwerkelijk veranderen, of dat de overheid alleen maar beleefd knikt en op dezelfde manier blijft koken. De grote vraag is: luistert de overheid naar de luidste stemmen, de meest georganiseerde groepen, of naar de mensen met de beste argumenten? En nog belangrijker: behandelt het systeem een gewone burger hetzelfde als een enorme corporatie? Dit artikel duikt diep in dat mysterie, niet door naar het hele recept te kijken, maar door in te zoomen op de piepkleine, specifieke ingrediënten — de "verplichtingen" — die de regels vormen.

De Grote Recepten-audit: Wie wordt er eigenlijk gehoord?

Stel je voor dat je een enorme, 200 pagina tellende instructiehandleiding voor een videogame probe_ert te repareren. In plaats van de hele handleiding te lezen, besluit je naar elke specifieke regel binnenin te kijken: "Je moet over deze kuil springen," "Je mag dit wapen niet gebruiken," "Je moet 50 munten verzamelen." Deze specifieke regels zijn wat de auteurs regulatieve verplichtingen noemen.

De onderzoekers, Jianing Fan en Yue Yao, besloten de Amerikaanse Environmental Protection Agency (EPA) te auditeren om te zien of publieke reacties deze specifieke regels daadwerkelijk veranderden. Ze keken niet alleen naar de definitieve handleiding; ze keken naar de conceptversie, de definitieve versie en de duizenden aantekeningen die mensen tussendoor hebben geschreven. Ze bouwden een hoogtechnologisch, door AI ondersteund systeem om te fungeren als een supersnelle bibliothecaris. Dit systeem las 786.197 reacties (dat zijn bijna 800.000 briefjes!) en koppelde ze aan de specifieke regels waar mensen het over hadden. Vervolgens controleerden ze: Is de regel veranderd? Is hij hetzelfde gebleven? Is hij verwijderd?

Dit is wat zij ontdekten, onderverdeeld in drie grote ontdekkingen:

1. Je uitspreken helpt, maar niet veel
De eerste bevinding is een beetje een "ja, maar...". De onderzoekers ontdekten dat wanneer een specifieke regel veel aandacht kreeg (vijf of meer mensen die erover reageerden), de kans groter was dat deze werd aangepast. Specifiek werden regels met een hoge betrokkenheid 19,5 procentpunt vaker aangepast dan regels waar niemand over sprak.

De Analogie: Stel je een leraar voor die een toets nakijkt. Als vijf leerlingen hun hand opsteken en zeggen: "Hé, vraag 4 is verwarrend," dan is de leraar bijna twee keer zo groot de kans dat hij het antwoordmodel voor die specifieke vraag aanpast vergeleken met een vraag waar niemand iets over zei.
De Kanttekening: Ondanks al dat lawaai, veranderden de meeste regels waar mensen over klaagden niet, en de meeste regels die wel veranderden, waren regels waar niemand zelfs maar iets over had gezegd. De reacties fungeren meer als een "Hé, kijk hier eens naar!"-signaal dan als een toverstaf die een verandering afdwingt.

2. Boos of blij zijn maakt niet uit
Je zou kunnen denken dat als iedereen "NEE!" naar een regel schreeuwt, de overheid deze zal veranderen, maar als iedereen "JA!" juicht, de regel zal blijven staan. De onderzoekers testten dit, en het antwoord was een volmondig nee.

De Bevinding: Of mensen nu een regel steunden of bestreden, het percentage veranderingen was nagenoeg hetzelfde. Ongeveer 62% van de regels met tegenstanders werd aangepast, en ongeveer 68% van de regels met voorstanders werd aangepast. Het verschil was niet statistisch significant.
De Les: De overheid houdt de populariteit niet simpelweg bij als een stemmenwedstrijd. Ze lijken naar andere zaken te kijken, zoals technische details of interne beoordelingen, in plaats van alleen maar te tellen hoe vaak mensen boos of blij zijn.

3. De "Grote Spelers" spelen een ander spel
Dit is de meest verrassende en belangrijke bevinding. De onderzoekers keken naar wie er reageerde. Ze probeerden te achterhalen of de reactie kwam van een gewone persoon of een grote organisatie (zoals een bedrijf of een non-profit).

De Ontdekking: Grote organisaties en gewone mensen zijn niet alleen het oneens over verschillende regels; ze lijken op compleet verschillende velden te spelen. De gegevens laten zien dat organisaties de neiging hebben zich te concentreren op regels die leiden tot redactionele aanpassingen (kleine tekstuele wijzigingen, zoals het corrigeren van een typefout of het verduidelijken van een zin). Echter, de studie kon niet bevestigen of gewone mensen vaker geassocieerd werden met inhoudelijke wijzigingen (grote, betekenisvolle verschuivingen) binnen dezelfde regelgeving. In plaats daarvan suggereert het patroon dat organisaties en gewone mensen simpelweg kiezen om zich te richten op verschillende soorten regels in de eerste plaats. De "ongelijkheid" is niet dat de overheid een specifieke regel anders behandelt afhankelijk van wie erop reageert, maar dat gewone mensen vaak niet de middelen hebben om de specifieke, kleine regels te vinden en te bevechten waar de echte veranderingen plaatsvinden, terwijl organisaties de regels domineren die slechts kleine bewerkingen krijgen.
De Analogie: Stel je een schaakspel voor. De grote organisaties zijn de grootmeesters die heel goed zijn in het opsporen van kleine, technische fouten in de regels en deze laten herstellen. Gewone mensen zijn degenen die de hele wedstrijd willen veranderen, maar ze eindigen vaak op andere borden waar de regels al vaststaan. De studie sugg�enschap dat de "ongelijkheid" niet is dat de overheid gewone mensen negeert binnen een specifieke regel; het is dat gewone mensen vaak niet de middelen hebben om de specifieke, kleine regels te vinden en te bevechten waar de echte veranderingen plaatsvinden.

Het "Magische" Gereedschap en de Foutmelding
Om dit alles te doen, gebruikten de onderzoekers een krachtig AI-instrument (een Large Language Model) om de regels te lezen en ze te koppelen aan reacties. Ze waren zeer zorgvuldig in het controleren of de AI zijn werk goed deed. Ze huurden menselijke experts in om het werk van de AI te dubbelchecken.

Het Goede Nieuws: De AI was geweldig in het vinden van de regels en het koppelen van de reacties. Het kwam bijna perfect overeen met de menselijke experts.
Het Slechte Nieuws: De AI was echter slecht in het onderscheid maken tussen een "kleine tekstuele wijziging" en een "grote betekenisvolle verandering". De AI dacht dat een regel slechts "bewerkt" was, terwijl mensen konden zien dat het eigenlijk "veranderd" was.
De Oplossing: Wanneer de onderzoekers de fouten van de AI corrigeerden met menselijk oordeel, werd de hoofdbevinding over organisaties versus gewone mensen juist sterker (de odds ratio sprong van 3,07 naar 4,90), wat bewees dat het patroon echt was en geen computerfout.

De Kern van het Verhaal
Het artikel concludeert dat het probleem van "eerlijkheid" in de regelgeving niet alleen gaat over wie er mag spreken. Het gaat over wie de instrumenten heeft om de kleine, complexe juridische ingrediënten in het recept te begrijpen. Grote organisaties hebben de middelen om de kleine, technische details te vinden en te repareren, terwijl gewone mensen vaak moeite hebben om zelfs maar de juiste plek te vinden om te roepen. De overheid luistert naar het volume van de menigte, maar het type verandering dat plaatsvindt, hangt af van wie de middelen heeft om door het complexe juridische doolhof te navigeren.

Dus, hoewel iedereen hetzelfde recht heeft om te spreken, suggereert het paper dat het speelveld nog steeds scheef is. De echte ongelijkheid is niet dat de overheid je negeert; het is dat je misschien niet eens weet welke specifieke regel je moet bevechten om een verschil te maken.

Technische Samenvatting: Wie wordt gehoord? Een audit op verplichtingsniveau van responsiviteit in EPA-regelgeving

Probleemstelling
Huidig empirisch onderzoek naar publieke participatie in de Amerikaanse federale regelgeving kampt met een methodologische kloof: bestaande strategieën opereren op het niveau van het regelgevende document of de geaggregeerde corpus, wat te grofmazig is om de specifieke eenheid te vangen waar commentatoren verandering nastreven. Hoewel de Administrative Procedure Act alle partijen formele gelijke rechten geeft om commentaar te leveren, garandeert procedurele toegang geen substantiële capaciteit om de tekst van regelgeving vorm te geven. Eerdere studies slagen er niet in te onderscheiden of instanties regels herzien vanwege publieke input of onafhankelijke heroverweging, en of georganiseerde belangen systematische voordelen hebben ten opzichte van individuen. Deze vragen blijven onopgelost omdat standaardmetrieken honderden bindende verplichtingen reduceren tot enkelvoudige binaire waarden of vertrouwen op sentimentverschuivingen die specifieke juridische plichten niet kunnen isoleren. Bijgevolg worden gelijkheidvergelijkingen tussen typen commentatoren vertroebeld, aangezien individuen en organisaties zelden dezelfde bepalingen binnen dezelfde dossiers behandelen.

Methodologie
De auteurs introduceren obligation-level responsiveness auditing (responsiviteitsauditing op verplichtingsniveau), een controleerbaar, door AI ondersteund kader ontworpen om te meten of publieke reacties samenvallen met wijzigingen aan specifieke regelgevende plichten. De studie maakt gebruik van een populatieschaal-corpus van 786.197 EPA-comments (2010–2022) verspreid over 6.145 dossiers, met een focus op een gestratificeerde steekproef van 36 "anker"-regelgevingen die 70.075 analyseerbare comments bevatten.

Het kader bestaat uit drie fundamentele computationele componenten, die elk zijn gevalideerd tegen blind menselijk oordeel:

Extractie van verplichtingen: Door de structureel-deontische parser van Leahey [20] uit te breiden, extraheert de pipeline discrete regelgevende verplichtingen (actor-modus-actie-object-tuples) uit voorgestelde en definitieve Federal Register-teksten. Een LLM-verifieerder (GPT-5) verwerkt syntactische herschrijvingen waarbij instanties concepten behouden terwijl de syntaxis verandert. Deze component bereikte een precisie van 0,9545 en een perfecte inter-annotator overeenstemming ( $\kappa=1,0$ ) bij een menselijke audit.
Matching van verplichting en commentaar: Het systeem koppelt publieke comments aan de specifieke verplichtingen die zij adresseren en classificeert de houding (steun, oppositie, modificatie). Een blind dual-annotator audit op 100 paren leverde perfecte overeenstemming op het gebied van adressering ( $\kappa=1,000$ ) en bijna perfecte overeenstemming op het gebied van houding ( $\kappa=0,953$ ).
Classificatie van de uitkomsttoestand: Voorgestelde verplichtingen worden vergeleken met de tekst van de definitieve regel om hun lot te bepalen (bijv. Bestaat-onveranderd, Bestaat-geëdit, Gemodificeerd, Geschrapt). Aanvankelijk vertrouwde dit op sentence-transformer cosine similarity. Echter, een daaropvolgende blinde audit toonde aan dat tekst-gelijkenheidsmethoden ontoereikend zijn om redactionele verfijningen te onderscheiden van substantiële nalevingswijzigingen ( $\kappa=0,137$ tegenover menselijke beoordelaars op de kritieke grens). Bijgevolg pasten de auteurs menselijk gevalideerde labels toe op de sleutel-subset van bevindingen om deze meetfout te corrigeren.

Een 23-indicator retorisch schema werd descriptief gebruikt om de complexiteit en inkadering van comments te coderen, maar was niet essentieel voor de primaire bevindingen over responsiviteit. Het type indiener (individu versus organisatie) werd gereconstrueerd uit titelvelden vanwege PII-redactie in de brongegevens, dienend als een proxy-classificatie.

Belangrijkste Resultaten
De toepassing van dit kader op 12.730 verplichtingen uit 29 productieve dossiers leverde drie descriptieve bevindingen op:

Bescheiden Associatie tussen Engagement en Revisie: Engagement is geassocieerd met revisie, maar de omvang is bescheiden. Verplichtingen die door vijf of meer commenters werden geadresseerd, waren 19,5 procentpunt waarschijnlijker onderhevend aan revisie dan minder vaak geadresseerde verplichtingen ( $\chi^2=24,53, p<0,001$ ). Een docket-fixed-effects logistische regressie geeft aan dat verplichtingen met een hoog engagement bijna twee keer zoveel kans hebben op revisie binnen een regelgeving (OR = 1,93, 95% CI [1,04, 3,57]). De meeste revisies vinden echter plaats op verplichtingen die door niemand zijn geadresseerd, en de meeste geadresseerde verplichtingen blijven ongewijzigd.
Directionele Nulliteit: De richting van het engagement (steun versus oppositie) maakt geen duidelijk onderscheid in de uitkomsten. Onder verplichtingen met tegenstanders werd 62,3% gereviseerd; onder verplichtingen met voorstanders werd 68,3% gereviseerd. Dit verschil is niet statistisch significant ( $p=0,155$ ), wat suggereert dat eenvoudige voorkeursaggregatiemodellen het gedrag van instanties bij revisie op het niveau van de verplichting niet verklaren.
Asymmetrie in Gelijkheid over Dossiers: Onder een permissieve reconstructie van het type commenter is engagement met een organisatie-meerderheid geconcentreerd in redactionele verfijning (Bestaat-geëdit), terwijl engagement met een individuele meerderheid op cross-docket niveau meer geassocieerd is met substantiële modificatie (Gemodificeerd). Een blinde menselijke audit van de uitkomstlabels behield deze directionele discrepantie (Audit-gecorrigeerde Fisher's exact OR = 4,90, $p=0,044$ ), hoewel de statistische precisie afnam. Het effect binnen het dossier was statistisch inconclusief bij deze steekproefomvang.

Bijdragen en Betekenis
Het artikel levert drie primaire bijdragen aan het EAAMO-onderzoeksprogramma over gelijke toegang in algoritmische en procedurele systemen:

Conceptueel/Meetkundig: Het betoogt dat de discrete regelgevende verplichting, in plaats van het regelgevende document of de comment, de juiste eenheid is voor het auditeren van administratieve responsiviteit. Deze granulariteit maakt gelijkheid-asymmetrieën zichtbaar die analyse op regelniveau verhult, specifiek de differentiële capaciteit van verschillende populaties om specifieke juridische plichten te identificeren en te betwisten.
Empirisch: De studie herkadert de gelijkheidsvraag van "wiens comments worden gehoord?" naar "welke juridische verplichtingen hebben verschillende populaties van commentatoren de middelen om in de eerste plaats te identificeren, te interpreteren en te betwisten?" De bevindingen suggereren dat formele openheid in de notice-and-comment procedure een upstream structurele ongelijkheid kan maskeren, waarbij organisaties en individuen selecteren in structureel verschillende regelgevingen die corresponderen met verschillende gedragingen van de instantie bij revisie.
Methodologisch: Het artikel ontwikkelt en valideert een controleerbare, door LLM ondersteunde pipeline voor juridisch-beleidstekstanalyse. Cruciaal is dat het de noodzaak van een transparante validatiehiërarchie aantoont. De audit van de outcome-state classifier toonde aan dat tekst-gelijkenheidsmethoden broze proxies zijn voor substantiële verandering, een les in meetvaliditeit die als een ondersteunende methodologische bijdrage wordt behandeld. Het kader ondersteunt publieke verantwoording door patronen op schaal zichtbaar te maken die anders onzichtbaar zouden blijven, zonder het oordeel van de instantie of toezicht door het maatschappelijk middenveld te vervangen.

Beperkingen
De auteurs merken expliciet op dat de bevindingen descriptieve co-occurrence rates zijn, en geen causale schattingen. De classificatie van het type indiener berust op een heuristische proxy vanwege gegevensredactie, en het gelijkheidseffect binnen het dossier blijft statistisch inconclusief. Bovendien was het initiële vertrouwen in cosine similarity voor de classificatie van de uitkomst een bekende beperking die via een menselijke audit werd gecorrigeerd, wat benadrukt dat de waarde van het kader ligt in de controleerbare structuur en niet in een enkele geautomatiseerde classifier.

De Grote Recepten-audit: Wie wordt er eigenlijk gehoord?

Meer zoals dit