💬 NLP

Who Gets Heeded? An Obligation-Level Audit of Responsiveness in EPA Rulemaking

Este artigo introduz uma estrutura de auditoria assistida por IA, ao nível de obrigações, para analisar a elaboração de normas da EPA, revelando que, embora o engajamento público influencie modestamente as revisões regulatórias, a principal assimetria de equidade não reside na direção dos comentários, mas na capacidade diferencial das populações de comentaristas de identificar e contestar obrigações legais específicas, um achado sublinhado pela descoberta de que métodos de similaridade de texto são insuficientes para distinguir mudanças regulatórias substantivas de refinamentos editoriais.

Autores originais: Jianing Fan, Yue Yao

Publicado 2026-08-12

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jianing Fan, Yue Yao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o governo dos EUA como uma cozinha gigante e movimentada, onde os chefs (as agências) estão constantemente cozinhando novas receitas chamadas "regras". Essas regras dizem a todos, desde grandes fábricas até jardineiros de quintal, exatamente o que podem e o que não podem fazer. Para garantir que essas receitas sejam justas, o governo tem uma tradição especial chamada "aviso e comentário" (notice-and-comment). É como colocar uma rascunho de receita sobre a mesa e dizer: "Ei, todo mundo, digam o que acham!". Em teoria, isso é uma democracia perfeita: uma única pessoa com um bilhete escrito à mão tem exatamente o mesmo direito de falar que uma enorme corporação com uma equipe de advogados.

Mas aqui está a parte complicada: só porque todos podem falar, não significa que todos sejam ouvidos. Durante décadas, cientistas tentam descobrir se os comentários públicos realmente mudam a receita final ou se o governo apenas assente educadamente e continua cozinhando da mesma forma. A grande questão é: O governo ouve as vozes mais altas, os grupos mais organizados ou as pessoas com os melhores argumentos? E, mais importante, o sistema trata uma pessoa comum da mesma forma que uma grande corporação? Este artigo mergulha fundo nesse mistério, não olhando para a receita inteira, mas sim dando um zoom nos ingredientes minúsculos e específicos — as "obrigações" — que compõem as regras.

A Grande Auditoria da Receita: Quem Realmente é Ouvido?

Imagine que você está tentando consertar um manual de instruções de 200 páginas de um videogame. Em vez de ler o manual inteiro, você decide olhar cada regra específica dentro dele: "Você deve pular este buraco", "Você não pode usar esta arma", "Você deve coletar 50 moedas". Essas regras específicas são o que os autores chamam de obrigações regulatórias.

Os pesquisadores, Jianing Fan e Yue Yao, decidiram auditar a Agência de Proteção Ambiental dos EUA (EPA) para ver se os comentários públicos realmente mudaram essas regras específicas. Eles não olharam apenas para o manual final; eles olharam para a versão de rascunho, a versão final e os milhares de notas que as pessoas escreveram entre as duas. Eles construíram um sistema de alta tecnologia, auxiliado por IA, para agir como um bibliotecário superveloz. Esse sistema leu 786.197 comentários (isso são quase 800.000 notas!) e os relacionou às regras específicas sobre as quais as pessoas estavam falando. Em seguida, verificou: A regra mudou? Permaneceu igual? Foi deletada?

Aqui está o que eles descobriram, dividido em três grandes descobertas:

1. Falar Ajuda, Mas Não Muito
A primeira descoberta é um pouco de um "sim, mas...". Os pesquisadores descobriram que, quando uma regra específica recebia muita atenção (cinco ou mais pessoas comentando sobre ela), era mais provável que ela fosse ajustada. Especificamente, regras com alto engajamento foram revisadas 19,5 pontos percentuais mais vezes do que as regras sobre as quais ninguém falou.

A Analogia: Imagine um professor corrigindo uma prova. Se cinco alunos levantarem a mão e disserem: "Ei, a questão 4 está confusa", o professor tem quase o dobro de chance de mudar o gabarito para essa questão específica em comparação a uma questão que ninguém mencionou.
A Ressalva: Mesmo com todo esse barulho, a maioria das regras sobre as quais as pessoas reclamaram não mudou, e a maioria das regras que mudaram foram aquelas sobre as quais ninguém sequer comentou. Os comentários atuam mais como um sinal de "Ei, olhe para isso!" do que como uma varinha mágica que força uma mudança.

2. Estar Bravo ou Feliz Não Importa
Você pode pensar que, se todos estiverem gritando "NÃO!" para uma regra, o governo a mudará, mas se todos estiverem torcendo "SIM!", a regra permanecerá. Os pesquisadores testaram isso, e a resposta foi um retumbante não.

O Achado: Quer as pessoas estivessem apoiando uma regra ou se opondo a ela, a taxa de mudança era basicamente a mesma. Cerca de 62% das regras com opositores foram revisadas, e cerca de 68% das regras com apoiadores foram revisadas. A diferença não foi estatisticamente significativa.
A Lição: O governo não está apenas contando votos como em um concurso de popularidade. Eles parecem estar olhando para outras coisas, como detalhes técnicos ou revisões internas, em vez de apenas contar quantos estão bravos ou felizes.

3. Os "Grandes Jogadores" Jogam um Jogo Diferente
Esta é a descoberta mais surpreendente e importante. Os pesquisadores observaram quem estava comentando. Eles tentaram descobrir se o comentário veio de uma pessoa comum ou de uma grande organização (como uma empresa ou uma organização sem fins lucrativos).

A Descoberta: Grandes organizações e pessoas comuns não apenas discordam sobre regras diferentes; elas parecem estar jogando em campos completamente diferentes. Os dados mostram que as organizações tendem a focar em regras que acabam recebendo ajustes editoriais (pequenas mudanças de redação, como corrigir um erro de digitação ou esclarecer uma frase). No entanto, o estudo não pôde confirmar se as pessoas comuns estavam mais propensas a estarem associadas a mudanças substantivas (grandes mudanças significativas) dentro da mesma norma. Em vez disso, o padrão sugere que organizações e pessoas comuns simplesmente escolhem se envolver com tipos diferentes de regras em primeiro lugar. A "inequidade" não é que o governo trata uma regra específica de forma diferente dependendo de quem comenta nela; é que as pessoas comuns muitas vezes carecem de recursos para sequer encontrar e lutar pelas regras específicas e minúsculas onde as mudanças reais acontecem, enquanto as organizações dominam as regras que recebem apenas edições menores.
A Analogia: Imagine um jogo de xadrez. As grandes organizações são os mestres que são muito bons em detectar pequenos erros técnicos nas regras e fazê-los ser corrigidos. As pessoas comuns são aquelas que tentam mudar o jogo inteiro, mas muitas vezes acabam jogando em tabuleiros diferentes onde as regras já estão definidas. O estudo sugere que a "inequidade" não é que o governo ignora as pessoas comuns dentro de uma regra específica; é que as pessoas comuns muitas vezes carecem de recursos para sequer encontrar e lutar pelas regras específicas e minúsculas onde as mudanças reais acontecem.

A Ferramenta "Mágica" e seu Defeito
Para fazer tudo isso, os pesquisadores usaram uma poderosa ferramenta de IA (um Modelo de Linguagem de Grande Escala - LLM) para ler as regras e relacioná-las aos comentários. Eles foram muito cuidadosos para verificar se a IA estava fazendo um bom trabalho. Eles contrataram especialistas humanos para conferir o trabalho da IA.

A Boa Notícia: A IA foi incrível ao encontrar as regras e relacioná-las aos comentários. Ela concordou com os especialistas humanos quase perfeitamente.
A Má Notícia: A IA foi péssima em distinguir entre uma "pequena mudança de redação" e uma "grande mudança significativa". Ela achava que uma regra estava apenas "editada" quando humanos podiam ver que ela foi, na verdade, "alterada".
A Correção: Quando os pesquisadores corrigiram os erros da IA com o julgamento humano, o principal achado sobre organizações versus pessoas comuns tornou-se, na verdade, mais forte (a razão de chances saltou de 3,07 para 4,90), provando que o padrão era real e não apenas um erro de computador.

A Conclusão Final
O artigo conclui que o problema da "justiça" na criação de normas não é apenas sobre quem tem o direito de falar. É sobre quem possui as ferramentas para entender os ingredientes jurídicos minúsculos e complexos da receita. Grandes organizações têm os recursos para encontrar e corrigir os detalhes técnicos pequenos, enquanto as pessoas comuns muitas vezes lutam para sequer encontrar o lugar certo para gritar. O governo ouve o volume da multidão, mas o tipo de mudança que acontece depende de quem tem os recursos para navegar no complexo labirinto jurídico em primeiro lugar.

Portanto, embora todos tenham o mesmo direito de falar, o artigo sugere que o campo de jogo ainda é inclinado. A verdadeira desigualdade não é que o governo ignora você; é que você pode nem saber qual regra específica precisa combater para fazer a diferença.

Resumo Técnico: Quem é Ouvido? Uma Auditoria de Nível de Obrigação da Responsividade na Elaboração de Regras da EPA

Problema
A pesquisa empírica atual sobre a participação pública na elaboração de regras federais nos EUA enfrenta uma lacuna metodológica: as estratégias existentes operam no nível do documento da regra ou do corpus agregado, o que é muito grosseiro para capturar a unidade específica onde os comentaristas buscam mudanças. Embora a Lei de Procedimento Administrativo conceda a todas as partes direitos formais iguais para comentar, o acesso procedimental não garante a capacidade substantiva de moldar o texto regulatório. Trabalhos anteriores lutam para distinguir se as agências revisam as regras devido ao aporte público ou por reconsideração independente, e se interesses organizados detêm vantagens sistemáticas sobre indivíduos. Essas questões permanecem sem resolução porque as métricas padrão colapsam centenas de obrigações vinculantes em binários únicos ou dependem de mudanças de sentimento que não conseguem isolar deveres legais específicos. Consequentemente, as comparações de equidade entre tipos de comentaristas ficam obscurecidas, pois indivíduos e organizações raramente engajam nas mesmas disposições dentro dos mesmos processos (dockets).

Metodologia
Os autores introduzem a auditoria de responsividade em nível de obrigação, um framework auditável e assistido por IA projetado para medir se o engajamento de comentários públicos ocorre simultaneamente com mudanças em deveres regulatórios específicos. O estudo utiliza um corpus de escala populacional de 787.197 comentários públicos da EPA (2010–2022) em 6.145 processos, focando em uma amostra estratificada de 36 elaborações de regras "âncoras" contendo 70.075 comentários analisáveis.

O framework consiste em três componentes computacionais de carga estrutural, cada um validado contra julgamento humano cego:

Extração de Obrigações: Estendendo o parser estrutural-deôntico de Leahey [20], o pipeline extrai obrigações regulatórias discretas (tuplas ator-modal-ação-objeto) dos textos propostos e finais do Federal Register. Um verificador de LLM (GPT-5) lida com reescritas de forma superficial onde as agências preservam conceitos enquanto alteram a sintaxe. Este componente alcançou uma precisão de 0,9545 e concordância inter-annotador perfeita ( $\kappa=1,0$ ) em uma auditoria humana.
Correspondência Obrigação-Comentário: O sistema correlaciona os comentários públicos à obrigação específica que eles abordam e classifica a postura (apoio, oposição, modificação). Uma auditoria cega de duplo anotador em 100 pares resultou em concordância perfeita sobre o endereçamento ( $\kappa=1,000$ ) e concordância quase perfeita sobre a postura ( $\kappa=0,953$ ).
Classificação de Estado de Resultado: As obrigações propostas são comparadas ao texto da regra final para determinar seu destino (ex: Sobreviveu-Inalterada, Sobreviveu-Editada, Modificada, Removida). Inicialmente, isso dependia de similaridade de cosseno de sentence-transformer. No entanto, uma auditoria cega subsequente revelou que métodos de similaridade de texto são insuficientes para distinguir refinamentos editoriais de mudanças de conformidade substantivas ( $\kappa=0,137$ contra avaliadores humanos na fronteira crítica). Consequentemente, os autores aplicaram rótulos validados por humanos ao subconjunto principal de achados para corrigir este viés de medição.

Um esquema de retórica de 23 indicadores foi usado descritivamente para codificar a sofisticação e o enquadramento do comentário, mas não foi determinante para os achados primários de responsividade. O tipo de submetente (indivíduo vs. organização) foi reconstruído a partir dos campos de título devido à redação de PII (Informações de Identificação Pessoal) nos dados de origem, servindo como uma classificação de proxy.

Principais Resultados
A aplicação deste framework a 12.730 obrigações em 29 processos produtivos gerou três achados descritivos:

Associação Modesta entre Engajamento e Revisão: O engajamento está associado à revisão, mas a magnitude é modesta. Obrigações abordadas por cinco ou mais comentaristas tiveram 19,5 pontos percentuais a mais de probabilidade de serem revisadas do que obrigações menos abordadas ( $\chi^2=24,53, p<0,001$ ). Uma regressão logística de efeitos fixos por processo indica que obrigações de alto engajamento têm quase o dobro das chances de revisão dentro de uma elaboração de regra (OR = 1,93, 95% CI [1,04, 3,57]). No entanto, a maioria das revisões ocorre em obrigações que ninguém abordou, e a maioria das obrigações abordadas permanece inalterada.
Nulo Direcional: A direção do engajamento (apoio vs. oposição) não diferencia claramente os resultados. Entre as obrigações com comentaristas de oposição, 62,3% foram revisadas; entre aquelas com comentaristas de apoio, 68,3% foram revisadas. Esta diferença não é estatisticamente significativa ( $p=0,155$ ), sugerindo que modelos simples de agregação de preferências não explicam o comportamento de revisão da agência ao nível da obrigação.
Assimetria de Equidade entre Processos: Sob uma reconstrução permissiva do tipo de comentarista, o engajamento de maioria organizacional concentra-se em resultados de refinamento editorial (Sobreviveu-Editada), enquanto o engajamento de maioria individual está mais associado a resultados de modificação substantiva (Modificada) no nível transversal de processos. Uma auditoria humana cega dos rótulos de resultado preservou esta disparidade direcional (OR de Teste Exato de Fisher corrigido por auditoria = 4,90, $p=0,044$ ), embora a precisão estatística tenha diminuído. O efeito dentro do mesmo processo foi estatisticamente inconclusivo com este tamanho de amostra.

Contribuições e Significância
O artigo apresenta três contribuições principais para o programa de pesquisa EAAMO sobre acesso equitativo em sistemas algorítmicos e procedimentais:

Conceitual/Medição: Argumenta que a obrigação regulatória discreta, em vez do documento da regra ou do comentário, é a unidade correta para auditar a responsividade administrativa. Essa granularidade torna visíveis as assimetrias de equidade que a análise ao nível da regra obscurece, especificamente a capacidade diferencial de diferentes populações de identificar e contestar deveres legais específicos.
Empírica: O estudo reformula a questão da equidade de "quais comentários são ouvidos?" para "quais obrigações legais as diferentes populações de comentaristas têm os recursos para identificar, interpretar e contestar em primeiro lugar?". Os achados sugerem que a abertura formal na elaboração de regras de consulta e comentário pode mascarar desigualdades estruturais ascendentes, onde organizações e indivíduos selecionam-se para processos de elaboração de regras estruturalmente diferentes que correspondem a diferentes comportamentos de revisão da agência.
Metodológica: O artigo desenvolve e valida um pipeline auditável, assistido por LLM, para análise de texto de política jurídica. Crucialmente, demonstra a necessidade de uma hierarquia de validação transparente. A auditoria do classificador de estado de resultado revelou que métodos de similaridade de texto são proxies frágeis para mudança substantiva, uma lição de validade de medição tratada como uma contribuição metodológica de suporte. O framework apoia a prestação de contas no setor público ao trazer à tona padrões em escala que seriam invisíveis de outra forma, sem substituir o julgamento da agência ou a supervisão da sociedade civil.

Limitações
Os autores explicitamente observam que os achados são taxas de coocorrência descritivas, não estimativas causais. A classificação do tipo de submetente baseia-se em um proxy heurístico devido à redação de dados, e o efeito de equidade dentro do processo permanece estatisticamente inconclusivo. Além disso, a dependência inicial de similaridade de cosseno para a classificação de resultado foi uma limitação conhecida, corrigida via auditoria humana, destacando que o valor do framework reside em sua estrutura auditável e não em qualquer classificador automatizado único.

A Grande Auditoria da Receita: Quem Realmente é Ouvido?

Mais como este