💬 NLP

Who Gets Heeded? An Obligation-Level Audit of Responsiveness in EPA Rulemaking

Este artículo introduce un marco de auditoría asistido por IA a nivel de obligaciones para analizar la elaboración de normas de la EPA, revelando que si bien la participación pública influye modestamente en las revisiones regulatorias, la principal asimetría de equidad no reside en la dirección de los comentarios, sino en la capacidad diferencial de las poblaciones de comentaristas para identificar y cuestionar obligaciones legales específicas, un hallazgo subrayado por el descubrimiento de que los métodos de similitud de texto son insuficientes para distinguir los cambios regulatorios sustantivos de los refinamientos editoriales.

Autores originales: Jianing Fan, Yue Yao

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jianing Fan, Yue Yao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina al gobierno de los EE. UU. como una cocina gigante y bulliciosa donde los chefs (las agencias) están constantemente cocinando nuevas recetas llamadas "reglas". Estas reglas le dicen a todos, desde grandes fábricas hasta jardineros de patio, exactamente qué pueden y qué no pueden hacer. Para asegurar que estas recetas sean justas, el gobierno tiene una tradición especial llamada "aviso y comentario". Es como poner un borrador de la receta sobre la mesa y decir: "¡Oigan, díganme qué piensan!". En teoría, esto es una democracia perfecta: una sola persona con una nota escrita a mano tiene exactamente el mismo derecho a hablar que una corporación masiva con un equipo de abogados.

Pero aquí está la parte complicada: el hecho de que todos puedan hablar no significa que todos sean escuchados. Durante décadas, los científicos han intentado averiguar si los comentarios públicos realmente cambian la receta final o si el gobierno simplemente asiente cortésmente y sigue cocinando de la misma manera. La gran pregunta es: ¿Escucha el gobierno a las voces más fuertes, a los grupos más organizados o a las personas con los mejores argumentos? Y lo más importante: ¿trata el sistema a una persona común de la misma manera que a una gran corporación? Este artículo se sumerge profundamente en este misterio, no mirando la receta completa, sino haciendo un zoom en los ingredientes diminutos y específicos —las "obligaciones"— que componen las reglas.

La Gran Auditoría de la Receta: ¿Quién es Realmente Escuchado?

Imagina que estás tratando de arreglar un manual de instrucciones masivo de 200 páginas para un videojuego. En lugar de leer todo el manual, decides observar cada regla específica dentro de él: "Debes saltar sobre este foso", "No puedes usar esta arma", "Debes recolectar 50 monedas". Estas reglas específicas son lo que los autores llaman obligaciones regulatorias.

Los investigadores, Jianing Fan y Yue Yao, decidieron auditar la Agencia de Protección Ambiental de los EE. UU. (EPA) para ver si los comentarios públicos realmente cambiaron estas reglas específicas. No se limitaron a mirar el manual final; miraron la versión borrador, la versión final y los miles de notas que la gente escribió entre medio. Construyeron un sistema de alta tecnología asistido por IA para actuar como un bibliotecario superrápido. Este sistema leyó 786,197 comentarios (¡eso es casi 800,000 notas!) y los vinculó con las reglas específicas sobre las que la gente estaba hablando. Luego, verificó: ¿Cambió la regla? ¿Se mantuvo igual? ¿Se eliminó?

Esto es lo que encontraron, desglosado en tres grandes descubrimientos:

1. Hablar ayuda, pero no mucho
El primer hallazgo es un poco un "sí, pero...". Los investigadores encontraron que cuando una regla específica recibía mucha atención (cinco o más personas comentando sobre ella), era más probable que fuera modificada. Específicamente, las reglas con alta participación fueron revisadas un 19.5 por ciento de puntos más a menudo que las reglas sobre las que nadie habló.

La Analogía: Imagina a un profesor calificando un examen. Si cinco estudiantes levantan la mano y dicen: "Oye, la pregunta 4 es confusa", el profesor tiene casi el doble de probabilidades de cambiar la clave de respuestas para esa pregunta específica en comparación con una pregunta que nadie mencionó.
El Problema: Incluso con todo ese ruido, la mayoría de las reglas sobre las que la gente se quejó no cambiaron, y la mayoría de las reglas que sí cambiaron fueron aquellas sobre las que nadie siquiera comentó. Los comentarios actúan más como una señal de "¡Oigan, miren esto!" que como una varita mágica que fuerza un cambio.

2. Estar enojado o feliz no importa
Podrías pensar que si todo el mundo grita "¡NO!" a una regla, el gobierno la cambiará, pero si todo el mundo vitorea "¡SÍ!", la regla se quedará. Los investigadores probaron esto, y la respuesta fue un rotundo no.

El Hallazgo: Ya sea que la gente estuviera apoyando una regla o oponiéndose a ella, la tasa de cambio fue básicamente la misma. Alrededor del 62% de las reglas con opositores fueron revisadas, y alrededor del 68% de las reglas con partidarios fueron revisadas. La diferencia no fue estadísticamente significativa.
La Conclusión: El gobierno no está simplemente contando votos como en un concurso de popularidad. Parecen estar observando otras cosas, como detalles técnicos o revisiones internas, en lugar de solo contar cuántas personas están enojadas o felices.

3. Los "Grandes Jugadores" juegan un juego diferente
Este es el descubrimiento más sorprendente e importante. Los investigadores observaron quién estaba comentando. Intentaron averiguar si el comentario provenía de una persona común o de una gran organización (como una empresa o una organización sin fines de lucro).

El Descubrimiento: Las grandes organizaciones y las personas comunes no solo discrepan en diferentes reglas; parecen estar jugando en campos completamente distintos. Los datos muestran que las organizaciones tienden a enfocarse en reglas que terminan recibiendo ajustes editoriales (cambios menores en la redacción, como corregir una errata o aclarar una oración). Sin embargo, el estudio no pudo confirmar si las personas comunes estaban más asociadas con cambios sustantivos (cambios grandes y significativos) dentro de la misma reglamentación. En cambio, el patrón sugiere que las organizaciones y las personas comunes simplemente eligen participar en tipos de reglas diferentes desde el principio. La "inequidad" no es que el gobierno trate de forma distinta a una regla específica dependiendo de quién comente, sino que las personas comunes a menudo carecen de los recursos para encontrar y luchar las reglas específicas y diminutas donde ocurren los cambios reales, mientras que las organizaciones dominan las reglas que solo reciben ediciones menores.
La Analogía: Imagina un juego de ajedrez. Las grandes organizaciones son los grandes maestros que son muy buenos detectando errores técnicos minúsculos en las reglas y logrando que se arreglen. Las personas comunes son las que intentan cambiar el juego por completo, pero a menudo terminan jugando en tableros diferentes donde las reglas ya están establecidas. El estudio sugiere que la "inequidad" no es que el gobierno ignore a las personas comunes dentante de una regla específica; es que las personas comunes a menudo carecen de los recursos para siquiera encontrar y luchar las reglas específicas y diminutas donde los cambios reales ocurren.

La herramienta "mágica" y su fallo
Para hacer todo esto, los investigadores utilizaron una poderosa herramienta de IA (un Modelo de Lenguaje Grande) para leer las reglas y vincularlas con los comentarios. Fueron muy cuidadosos en verificar si la IA estaba haciendo un buen trabajo. Contrataron a expertos humanos para que verificaran el trabajo de la IA.

La Buena Noticia: La IA fue increíble para encontrar las reglas y vincularlas con los comentarios. Estuvo casi perfectamente de acuerdo con los expertos humanos.
La Mala Noticia: La IA fue terrible para distinguir entre un "pequeño cambio de redacción" y un "gran cambio significativo". Pensaba que una regla solo había sido "editada" cuando los humanos podían ver que en realidad había sido "cambiada".
La Solución: Cuando los investigadores corrigieron los errores de la IA con el juicio humano, el hallazgo principal sobre las organizaciones frente a las personas comunes en realidad se hizo más fuerte (el ratio de probabilidad saltó de 3.07 a 4.90), demostrando que el patrón era real y no solo un error informático.

La Conclusión Final
El artículo concluye que el problema de la "equidad" en la reglamentación no es solo sobre quién tiene derecho a hablar. Se trata de quién tiene las herramientas para entender los ingredientes legales diminutos y complejos de la receta. Las grandes organizaciones tienen los recursos para encontrar y arreglar los detalles técnicos pequeños, mientras que las personas comunes a menudo luchan incluso por encontrar el lugar adecuado para gritar. El gobierno escucha el volumen de la multitud, pero el tipo de cambio que ocurre depende de quién tiene los recursos para navegar el complejo laberinto legal en primer lugar.

Así que, aunque todos tienen el mismo derecho a hablar, el artículo sugiere que el campo de juego sigue estando inclinado. La verdadera desigualdad no es que el gobierno te ignore; es que podrías ni siquiera saber qué regla específica necesitas combatir para marcar la diferencia.

Resumen Técnico: ¿A quién se le hace caso? Una auditoría a nivel de obligación de la capacidad de respuesta en la formulación de normas de la EPA

Planteamiento del problema
La investigación empírica actual sobre la participación pública en la formulación de normas federales de EE. UU. enfrenta una brecha metodológica: las estrategias existentes operan al nivel del documento normativo o del corpus agregado, lo cual es demasiado grueso para capturar la unidad específica donde los comentaristas buscan un cambio. Si bien la Ley de Procedimiento Administrativo otorga derechos formales de participación iguales a todas las partes, el acceso procedimental no garantiza la capacidad sustantiva para moldear el texto regulatorio. Los trabajos previos tienen dificultades para distinguir si las agencias revisan las normas debido a la opinión pública o por una reconsideración independiente, y si los intereses organizados poseen ventajas sistemáticas sobre los individuos. Estas cuestiones permanecen sin resolver porque las métricas estándar colapsan cientos de obligaciones vinculantes en binarios únicos o dependen de cambios de sentimiento que no pueden aislar deberes legales específicos. En consecuencia, las comparaciones de equidad entre tipos de comentaristas quedan oscurecidas, ya que los individuos y las organizaciones rara vez abordan las mismas disposiciones dentro de los mismos expedientes.

Metodología
Los autores introducen la auditoría de capacidad de respuesta a nivel de obligación, un marco auditable y asistido por IA diseñado para medir si la participación en los comentarios públicos coexiste con cambios en deberes regulatorios específicos. El estudio utiliza un corpus a escala de población de 786,197 comentarios públicos de la EPA (2010–2022) a través de 6,145 expedientes, centrándose en una muestra estratificada de 36 procesos de formulación de normas "ancla" que contienen 70,075 comentarios analizables.

El marco consta de tres componentes computacionales de carga estructural, cada uno validado contra el juicio humano ciego:

Extracción de obligaciones: Extendiendo el analizador estructural-deóntico de Leahey [20], el flujo de trabajo extrae obligaciones regulatorias discretas (tuplas de actor-modal-acción-objeto) de los textos propuestos y finales del Registro Federal. Un verificador de LLM (GPT-5) gestiona las reescrituras de forma superficial donde las agencias preservan conceptos mientras cambian la sintaxis. Este componente alcanzó una precisión de 0.9545 y una concordancia inter-anotador perfecta ( $\kappa=1.0$ ) en una auditoría humana.
Vinculación de Obligación-Comentario: El sistema vincula los comentarios públicos con las obligaciones específicas que abordan y clasifica la postura (apoyo, oposición, modificación). Una auditoría ciega de doble anotador en 100 pares arrojó una concordancia perfecta en la dirección de abordaje ( $\kappa=1.000$ ) y una concordancia casi perfecta en la postura ( $\kappa=0.953$ ).
Clasificación de Estado de Resultado: Las obligaciones propuestas se comparan con el texto de la norma final para determinar su destino (por ejemplo, Sobrevivió-Sin Cambios, Sobrevivió-Editada, Modificada, Eliminada). Inicialmente, esto dependía de la similitud de coseno de transformadores de oraciones. Sin embargo, una auditoría ciega posterior reveló que los métodos de similitud de texto son insuficientes para distinguir entre refinamientos editoriales y cambios de cumplimiento sustantivos ( $\kappa=0.137$ contra evaluadores humanos en el límite crítico). En consecuencia, los autores aplicaron etiquetas validadas por humanos al subconjunto clave de hallazgos para corregir este sesgo de medición.

Se utilizó un esquema retórico de 23 indicadores para codificar descriptivamente la sofisticación y el encuadre de los comentarios, pero no fue determinante para los hallazgos primarios de capacidad de respuesta. El tipo de remitente (individuo vs. organización) se reconstruyó a partir de los campos de título debido a la redacción de PII (información de identificación personal) en los datos de origen, sirviendo como una clasificación por aproximación (proxy).

Resultados Clave
La aplicación de este marco a 12,730 obligaciones en 29 expedientes productivos arrojó tres hallazgos descriptivos:

Asociación Modesta de Compromiso-Revisión: El compromiso está asociado con la revisión, pero la magnitud es modesta. Las obligaciones abordadas por cinco o más comentaristas tuvieron un 19.5 por ciento de probabilidad más de ser revisadas que las obligaciones menos abordadas ( $\chi^2=24.53, p<0.001$ ). Una regresión logística de efectos fijos por expediente indica que las obligaciones de alto compromiso tienen casi el doble de probabilidades de revisión dentro de una formulación de norma (OR = 1.93, 95% CI [1.04, 3.57]). Sin embargo, la mayoría de las revisiones ocurren en obligaciones que nadie abordó, y la mayoría de las obligaciones abordadas permanecen sin cambios.
Nulidad Direccional: La dirección del compromiso (apoyo vs. oposición) no diferencia claramente los resultados. Entre las obligaciones con comentaristas de oposición, el 62.3% fueron revisadas; entre aquellas con comentaristas de apoyo, el 68.3% fueron revisadas. Esta diferencia no es estadísticamente significativa ( $p=0.155$ ), lo que sugiere que los modelos simples de agregación de preferencias no explican el comportamiento de revisión de la agencia a nivel de obligación.
Asimetría de Equidad entre Expedientes: Bajo una reconstrucción permisiva del tipo de comentarista, el compromiso mayoritario de las organizaciones se concentra en resultados de refinamiento editorial (Sobrevivió-Editada), mientras que el compromiso mayoritario de los individuos está más asociado con resultados de modificación sustantiva (Modificada) a nivel de expedientes cruzados. Una auditoría humana ciega de las etiquetas de resultado preservó esta disparidad direccional (OR de la prueba exacta de Fisher corregida por auditoría = 4.90, $p=0.044$ ), aunque la precisión estadística disminuyó. El efecto dentro del expediente fue estadísticamente inconcluyente con este tamaño de muestra.

Contribuciones y Significado
El artículo realiza tres contribuciones primarias al programa de investigación EAAMO sobre el acceso equitativo en sistemas algorítmicos y procedimentales:

Conceptual/Medición: Argumenta que la obligación regulatoria discreta, en lugar del documento normativo o el comentario, es la unidad correcta para auditar la capacidad de respuesta administrativa. Esta granularidad hace visible la asimetría de equidad que el análisis a nivel de norma oscurece, específicamente la capacidad diferencial de distintas poblaciones para identificar y cuestionar deberes legales específicos.
Empírica: El estudio replantea la cuestión de la equidad de "¿a quiénes se escuchan sus comentarios?" a "¿qué obligaciones legales tienen las diferentes poblaciones de comentaristas los recursos para identificar, interpretar y cuestionar en primer lugar?". Los hallazgos sugieren que la apertura formal en la formulación de normas mediante el proceso de notificación y comentario puede enmascarar una inequidad estructural ascendente, donde las organizaciones y los individuos seleccionan procesos de formulación de normas estructuralmente diferentes que corresponden a diferentes comportamientos de revisión de la agencia.
Metodológica: El documento desarrolla y valida un flujo de trabajo auditable y asistido por LLM para el análisis de textos de políticas legales. Crucialmente, demuestra la necesidad de una jerarquía de validación transparente. La auditoría del clasificador de estado de resultado reveló que los métodos de similitud de texto son proxies frágiles para el cambio sustantivo, una lección de validez de medición tratada como una contribución metodológica de apoyo. El marco respalda la rendición de cuentas del sector público al sacar a la luz patrones a escala que de otro modo serían invisibles, sin reemplazar el juicio de la agencia o la supervisión de la sociedad civil.

Limitaciones
Los autores señalan explícitamente que los hallazgos son tasas de coocurrencia descriptivas, no estimaciones causales. La clasificación del tipo de remitente depende de un heurístico por aproximación debido a la redacción de datos, y el efecto de equidad dentro del expediente sigue siendo estadísticamente inconcluyente. Además, la dependencia inicial de la similitud de coseno para la clasificación de resultados fue una limitación conocida corregida mediante auditoría humana, lo que destaca que el valor del marco reside en su estructura auditable más que en cualquier clasificador automatizado individual.

La Gran Auditoría de la Receta: ¿Quién es Realmente Escuchado?

Más como este