💬 NLP

Who Gets Heeded? An Obligation-Level Audit of Responsiveness in EPA Rulemaking

본 논문은 EPA의 규칙 제정 과정을 분석하기 위해 AI 보조 의무 수준 감사 프레임워크를 도입하며, 공적 참여가 규제 수정에 완만하게 영향을 미치기는 하지만, 주요한 형평성 비대칭은 의견의 방향이 아니라 특정 법적 의무를 식별하고 이의를 제기하는 의견 제출 집단의 차등적 역량에 있다는 점을 밝히고 있으며, 이러한 결과는 텍스트 유사도 방법론이 실질적인 규제 변화와 편집상의 개선 사항을 구별하는 데 불충분하다는 발견에 의해 더욱 강조된다.

원저자: Jianing Fan, Yue Yao

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jianing Fan, Yue Yao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

미국 정부를 거대한, 북적이는 주방이라고 상상해 보세요. 그곳의 요리사들(정부 기관들)은 "규칙"이라 불리는 새로운 레시피를 끊임없이 만들어내고 있습니다. 이 규칙들은 대형 공장에서부터 뒷마당 정원사에 이르기까지 모든 이에게 무엇을 할 수 있고 무엇을 할 수 없는지를 정확히 알려줍니다. 이 레시피들이 공정하게 만들어지도록 하기 위해, 정부는 "고지 및 의견 수렴(notice-and-comment)"이라는 특별한 전통을 가지고 있습니다. 이는 마치 초안 레시피를 테이블 위에 올려두고 "자, 여러분, 어떻게 생각하는지 말해 주세요!"라고 말하는 것과 같습니다. 이론적으로는, 손글씨 메모 한 장을 든 단 한 명의 개인은 변호사 팀을 거느린 거대 기업과 똑같이 발언할 권리를 가집니다.

하지만 여기 까다로운 점이 있습니다. 모두가 '말할 수 있다'고 해서 모두가 '들리는 것'은 아닙니다. 수십 년 동안 과학자들은 이러한 공공 의견이 실제로 최종 레시피를 바꾸는지, 아니면 정부가 그저 예의 바르게 고개를 끄덕이며 기존 방식대로 계속 요리를 하는 것인지 알아내기 위해 노력해 왔습니다. 큰 질문은 이것입니다. 정부는 가장 큰 목소리를 내는 사람들의 말을 듣는가, 가장 조직적인 집단의 말을 듣는가, 아니면 가장 논리적인 근거를 가진 사람들의 말을 듣는가? 그리고 더 중요한 것은, 이 시스템이 일반인을 거대 기업과 동일하게 대우하는가 하는 점입니다. 이 논문은 전체 레시피를 보는 대신, 규칙을 구성하는 아주 작고 구체적인 성분인 "의무(obligations)"에 초점을 맞추어 이 미스터리를 깊이 파고듭니다.

위대한 레시피 감사: 실제로 누구의 목소리가 들리는가?

당신이 비디오 게임의 거대한 200페이지짜리 설명서를 수정하려고 한다고 상상해 보세요. 설명서 전체를 읽는 대신, 당신은 그 안의 모든 구체적인 규칙들을 살펴보기로 합니다: "너는 이 구덩이를 뛰어넘어야 한다", "너는 이 무기를 사용할 수 없다", "너는 코인 50개를 모아야 한다". 이러한 구체적인 규칙들을 저자들은 **규제 의무(regulatory obligations)**라고 부릅니다.

연구자 쟈닝 팬(Jianing Fan)과 유 야오(Yue Yao)는 공공 의견이 이러한 구체적인 규칙들을 실제로 변화시켰는지 확인하기 위해 미국 환경보호청(EPA)을 감사하기로 했습니다. 그들은 단순히 완성된 설명서만 본 것이 아니라, 초안 버전, 최종 버전, 그리고 그 사이에 사람들이 작성한 수천 개의 메모를 살펴보았습니다. 그들은 초고속 사서처럼 작동하는 첨단 AI 지원 시스템을 구축했습니다. 이 시스템은 786,197개의 의견(거의 80만 개에 달하는 메모!)을 읽고 이를 사람들이 언급한 특정 규칙과 매칭했습니다. 그런 다음 다음과 같은 사항을 확인했습니다: 규칙이 바뀌었는가? 그대로 유지되었는가? 삭제되었는가?

그들이 발견한 내용은 세 가지 큰 발견으로 나누어 다음과 같습니다:

1. 목소리를 높이는 것이 도움이 되지만, 그리 크지는 않다
첫 번째 발견은 약간의 "예, 하지만..."입니다. 연구진은 특정 규칙에 많은 관심(5명 이상의 의견)이 쏠릴 때, 해당 규칙이 수정될 가능성이 더 높다는 것을 발견했습니다. 구체적으로, 참여도가 높은 규칙은 아무도 언급하지 않은 규칙보다 19.5 퍼센트 포인트 더 자주 수정되었습니다.

비유: 선생님이 시험지를 채점하고 있다고 상상해 보세요. 다섯 명의 학생이 손을 들고 "선생님, 4번 문제가 헷실려요"라고 말한다면, 선생님은 아무도 언급하지 않은 문제에 비해 그 특정 문제의 정답지를 수정할 확률이 거의 두 배 더 높아집니다.
함정: 그 모든 소음에도 불구하고, 사람들이 불만을 제기한 대부분의 규칙은 바뀌지 않았으며, 실제로 바뀐 대부분의 규칙은 아무도 언급하지 않은 것들이었습니다. 의견 수렴은 마법 지팡이처럼 변화를 강제하기보다는, "이것 좀 보세요!"라는 신호 역할을 합니다.

2. 화를 내거나 기뻐하는 것은 중요하지 않다
모두가 규칙에 대해 "안 돼!"라고 소리치면 정부가 바꿀 것이고, 모두가 "좋아!"라고 환호하면 규칙이 그대로 유지될 것이라고 생각할 수도 있습니다. 연구진은 이를 테스트했고, 답은 단호하게 아니오였습니다.

발견: 사람들이 규칙을 지지하든 반대하든, 변화율은 기본적으로 동일했습니다. 반대자가 있는 규칙의 약 **62%**가 수정되었고, 지지자가 있는 규칙의 약 **68%**가 수정되었습니다. 이 차이는 통계적으로 유의미하지 않았습니다.
시사점: 정부는 단순히 인기 투표처럼 표를 집계하는 것이 아닙니다. 그들은 단순히 얼마나 많은 사람이 화가 났는지 혹은 기쁜지를 세는 것이 아니라, 기술적 세부 사항이나 내부 검토와 같은 다른 요소들을 보고 있는 것으로 보입니다.

3. "큰 손"들은 다른 게임을 한다
이것은 가장 놀랍고 중요한 발견입니다. 연구진은 누가 의견을 내는지 살펴보았습니다. 그들은 의견이 일반 개인으로부터 온 것인지, 아니면 큰 조직(기업이나 비영리 단체 등)으로부터 온 것인지 파악하려 했습니다.

발견: 큰 조직과 일반 사람들은 서로 다른 규칙에 대해 의견을 달리할 뿐만 아니라, 완전히 다른 경기장에서 뛰고 있는 것으로 보입니다. 데이터에 따르면, 조직들은 주로 편집상의 수정(오타를 고치거나 문장을 명확하게 하는 등의 작은 문구 변경)이 발생하는 규칙에 집중하는 경향이 있습니다. 그러나 연구진은 일반 사람들이 동일한 규제 과정 내에서 실질적인 변화(크고 의미 있는 변화)와 더 관련이 있는지 여부는 확인할 수 없었습니다. 대신, 이 패턴은 조직과 일반 사람들이 애초에 서로 다른 유형의 규칙을 선택하여 참여한다는 것을 시사합니다. "불평등"은 정부가 특정 규칙에 대해 누가 의견을 내느냐에 따라 다르게 대우하는 것이 아니라, 일반 사람들이 실제 변화가 일어나는 구체적이고 미세한 규칙들을 찾아내고 싸울 수 있는 자원이 부족하다는 데 있습니다.
비유: 체스 게임을 상상해 보세요. 큰 조직들은 규칙의 아주 작고 기술적인 실수를 찾아내어 수정하는 데 능숙한 그랜드마스터들입니다. 일반 사람들은 게임 자체를 바꾸려고 노력하지만, 종종 규칙이 이미 정해져 있는 다른 판에서 게임을 하게 됩니다. 이 연구는 "불평등"이 정부가 특정 규칙 내에서 일반 사람들을 무시하는 것이 아니라, 일반 사람들이 실제 변화가 일어나는 구체적이고 미세한 규칙들을 찾아내고 싸울 수 있는 자원이 부족하다는 점을 시사합니다.

"마법" 도구와 그 결함
이 모든 것을 수행하기 위해 연구진은 규칙을 읽고 의견과 매칭하는 강력한 AI 도구(대규모 언어 모델)를 사용했습니다. 그들은 AI가 제대로 작동하는지 확인하기 위해 매우 주의를 기울였습니다. 그들은 인간 전문가를 고용하여 AI의 작업을 재검증했습니다.

좋은 소식: AI는 규칙을 찾고 의견과 매칭하는 데 탁월했습니다. AI는 인간 전문가와 거의 완벽하게 일치했습니다.
나쁜 소식: AI는 "작은 문구 수정"과 "큰 의미 있는 변화"를 구분하는 데 서툴렀습니다. AI는 인간이 보기에는 분명히 "변화"된 규칙임에도 불구하고 단순히 "편집"되었다고 판단했습니다.
해결책: 연구진이 인간의 판단력을 사용하여 AI의 실수를 바로잡았을 때, 조직 대 일반인에 관한 주요 발견은 오히려 더 강력해졌습니다 (오즈비가 3.07에서 4.90으로 상승). 이는 그 패턴이 컴퓨터의 오류가 아니라 실제적인 현상임을 증명합니다.

결론
이 논문은 규제 과정에서의 "공정성" 문제는 단순히 누가 말할 수 있느냐의 문제가 아니라고 결론짓습니다. 그것은 누가 복잡한 법적 성분을 이해할 수 있는 도구를 갖추고 있느냐의 문제입니다. 큰 조직은 작은 기술적 세부 사항을 찾아내고 수정할 수 있는 자원을 가지고 있는 반면, 일반 사람들은 어디에서 소리를 질러야 할지조차 찾는 데 어려움을 겪을 수 있습니다. 정부는 군중의 목소리 크기에 귀를 기울이지만, 어떤 종류의 변화가 일어날지는 처음에 그 복잡한 법적 미로를 헤쳐 나갈 수 있는 자원을 누가 가졌느냐에 달려 있습니다.

따라서, 모두가 말할 권리는 동일하지만, 이 논문은 여전히 운동장이 기울어져 있다고 시사합니다. 진정한 불평등은 정부가 당신을 무시하는 것이 아니라, 당신이 변화를 만들기 위해 싸워야 할 구체적인 규칙이 무엇인지조차 알지 못할 수도 있다는 점에 있습니다.

기술 요약: 누가 경청되는가? EPA 규칙 제정의 반응성에 대한 의무 수준 감사

문제 제기
미국 연방 규칙 제정에 관한 기존의 실증적 연구는 방법론적 격차에 직면해 있다. 기존 전략은 규칙 문서 또는 집합적 말뭉치(corpus) 수준에서 작동하는데, 이는 의견 제출자가 변화를 추구하는 구체적인 단위를 포착하기에는 너무 거칠다. 행정절차법(APA)은 모든 당사자에게 동등한 형식적 권리를 부여하지만, 절차적 접근권이 규제 텍스트를 형성할 수 있는 실질적 역량을 보장하는 것은 아니다. 선행 연구들은 기관이 공공의 의견 때문에 규칙을 수정하는 것인지, 아니면 독립적인 재검토에 의한 것인지, 그리고 조직화된 이익 집단이 개인보다 체계적인 우위를 점하고 있는지 여부를 구분하는 데 어려움을 겪고 있다. 이러한 질문들이 미결 상태로 남은 이유는 표준 지표들이 수백 개의 구속력 있는 의무를 단일 이진 분류로 붕괴시키거나, 특정 법적 의무를 고립시킬 수 없는 감성 변화(sentiment shifts)에 의존하기 때문이다. 결과적으로, 의견 제출자 유형 간의 형평성 비교는 불분명해지는데, 이는 개인과 조직이 동일한 공고 내에서 동일한 조항에 참여하는 경우가 드물기 때문이다.

방법론
저자들은 공공 의견 참여가 특정 규제 의무의 변화와 어떻게 공존하는지를 측정하기 위해 설계된, 감사 가능한 AI 지원 프레임워크인 **의무 수준 반응성 감사(obligation-level responsiveness auditing)**를 도입한다. 본 연구는 2010년부터 2022년까지 6,145개 공고(dockets)에 걸친 786,197개의 EPA 공공 의견 말뭉치를 활용하며, 70,075개의 분석 가능한 의견이 포함된 36개의 "앵커(anchor)" 규칙 제정을 층화 표본으로 추출하였다.

이 프레임워크는 인간의 맹검 판단(blind human judgment)을 통해 검증된 세 가지 핵심 계산 구성 요소로 이루어져 있다:

의무 추출(Obligation Extraction): Leahey[20]의 구조적-서술적 파서(structural-deontic parser)를 확장하여, 제안된 및 최종 연방 관보(Federal Register) 텍스트에서 이산적인 규제 의무(행위자-양태-동사-대상 튜플)를 추출한다. LLM 검증기(GPT-5)는 기관이 개념은 유지하면서 구문만 변경하는 경우의 표면 형태 재작성을 처리한다. 이 구성 요소는 인간 감사에서 0.9545의 정밀도와 완벽한 검증자 간 일치도( $\kappa=1.0$ )를 달성했다.
의무-의견 매칭(Obligation-Comment Matching): 시스템은 공공 의견을 해당 의무와 매칭하고 입장(지지, 반대, 수정)을 분류한다. 100쌍의 쌍에 대한 맹검 이중 검증 감사 결과, 대응(addressing)에 대해서는 완벽한 일치( $\kappa=1.000$ )를, 입장에 대해서는 거의 완벽한 일치( $\kappa=0.953$ )를 보였다.
결과 상태 분류(Outcome-State Classification): 제안된 의무를 최종 규칙 텍스트와 비교하여 그 운명(예: 유지-변경 없음, 유지-편집됨, 수정됨, 삭제됨)을 결정한다. 초기에는 문장 트랜스포머 코사인 유사도(sentence-transformer cosine similarity)에 의존했다. 그러나 후속 맹검 감사 결과, 텍스트 유사도 방식은 편집적 정교화와 실질적 준수 변경을 구분하는 데 불충분하다는 것이 드러났다(임계 경계에서 인간 평가자와의 $\kappa=0.137$ ). 이에 따라 저자들은 측정 편향을 교정하기 위해 핵심 하위 집단에 인간이 검증한 레이블을 적용했다.

의견의 정교함과 프레이밍을 기술적으로 코딩하기 위해 23가지 지표의 수사학 스키마가 사용되었으나, 이는 주요 반응성 결과에 대한 핵심적인 역할을 수행하지는 않았다. 제출자 유형(개인 대 조직)은 원본 데이터의 PII(개인식별정보) 삭제로 인해 제목 필드로부터 재구성되었으며, 이는 대리 분류(proxy classification)로 사용되었다.

주요 결과
이 프레임워크를 29개의 생산적인 공고 내 12,730개의 의무에 적용하여 세 가지 기술적 발견을 도출하였다:

완만한 참여-수정 연관성: 참여는 수정과 연관되어 있으나, 그 규모는 완만하다. 5명 이상의 의견 제출자가 다룬 의무는 그렇지 않은 의무보다 수정될 가능성이 19.5 퍼센트 포인트 더 높았다 ( $\chi^2=24.53, p<0.001$ ). 공고 고정 효과 로지스틱 회귀 분석에 따르면, 높은 참여를 보인 의무는 규칙 제정 내에서 수정될 확률이 거의 두 배 높다 (OR = 1.93, 95% CI [1.04, 3.57]). 그러나 대부분의 수정은 아무도 다루지 않은 의무에서 발생하며, 다뤄진 의무 중 대부분은 변경되지 않은 채 유지된다.
방향성 부재(Directional Null): 참여의 방향(지지 대 반대)은 결과를 명확하게 차별화하지 못한다. 반대 의견이 있는 의무 중 62.3%가 수정된 반면, 지지 의견이 있는 의무 중에서는 68.3%가 수정되었다. 이 차이는 통계적으로 유의미하지 않았으며 ( $p=0.155$ ), 이는 단순한 선호도 집계 모델이 의무 수준에서의 기관 수정 행동을 설명하지 못함을 시사한다.
공고 간 형평성 비대칭: 허용적인 제출자 유형 재구성을 바탕으로 볼 때, 조직 다수 참여는 편집적 정교화 결과(유지-편집됨)에 집중되는 반면, 개인 다수 참여는 교차 공고 수준에서 실질적 수정(수정됨) 결과와 더 많이 연관되어 있다. 인간의 맹검 감사는 이 방향적 격차를 보존하였으나 (감정 교정 피셔 정확 검정 OR = 4.90, $p=0.044$ ), 통계적 정밀도는 감소하였다. 공고 내 효과는 이 샘플 크기에서 통계적으로 불확실했다.

기여 및 의의
본 논문은 알고리즘 및 절차적 시스템의 형평한 접근에 관한 EAAMO 연구 프로그램에 다음과 같은 세 가지 주요 기여를 한다:

개념적/측정적: 규칙 문서나 의견 자체가 아니라, 개별적인 규제 의무가 행정적 반응성을 감사하기 위한 올바른 단위라고 주장한다. 이러한 세밀함은 규칙 수준의 분석이 가리는 형평성 비대칭, 즉 서로 다른 인구 집단이 특정 법적 의무를 식별하고 다툴 수 있는 능력의 차이를 가시화한다.
경험적: 본 연구는 형평성 질문을 "누구의 의견이 경청되는가?"에서 "서로 다른 의견 제출자 집단이 애초에 식별하고, 해석하고, 다툴 수 있는 법적 의무는 무엇인가?"로 재설정한다. 연구 결과는 공고 및 의견 제출 규칙의 형식적 개방성이 상류의 구조적 불평등을 은폐할 수 있음을 시사하며, 여기서 조직과 개인은 서로 다른 기관의 수정 행동과 대응하는 구조적으로 다른 규칙 제정에 선택적으로 참여하게 된다.
방법론적: 법률-정책 텍스트 분석을 위한 감사 가능한 LLM 지원 파이프라인을 개발하고 검증한다. 결정적으로, 투명한 검증 계층의 필요성을 입증한다. 결과 상태 분류기에 대한 감사는 텍스트 유사도가 실질적 변화의 취약한 대리 지표임을 드러냈으며, 이는 지원적인 방법론적 기여로서 다루어진 측정 타당성 교훈이다. 이 프레임워크는 기관의 판단이나 시민 사회의 감독을 대체하지 않으면서도, 규모 면에서 가시적이지 않은 패턴을 드러냄으로써 공공 부문의 책무성을 지원한다.

한계점
저자들은 본 연구의 결과가 인과적 추정치가 아닌 기술적 공존율(descriptive co-occurrence rates)임을 명시적으로 밝힌다. 제출자 유형 분류는 데이터 삭제로 인한 휴리스틱 대리 지표에 의존하며, 공고 내 형평성 효과는 통계적으로 불확실한 상태로 남아 있다. 또한, 결과 분류를 위한 초기 코사인 유사도 의존은 알려진 한계였으며 인간 감사를 통해 교정되었는데, 이는 본 프레임워크의 가치가 단일 자동 분류기가 아닌 그 감사 가능한 구조에 있음을 강조한다.

위대한 레시피 감사: 실제로 누구의 목소리가 들리는가?

유사한 논문