Mapping and Comparing Climate Equity Policy Practices Using RAG LLM-Based Semantic Analysis and Recommendation Systems

기술 요약: RAG LLM 기반의 시맨틱 분석 및 추천 시스템을 활용한 기후 형평성 정책 관행 매핑 및 비교

문제 제기
본 연구는 파편화된 거버넌스 환경, 특히 미국 내에서 도시 정책 문서를 체계적으로 비교하는 데 따르는 과제를 다룬다. 정책 권한이 연방, 주, 지방 정부 수준에 분산되어 있고, 계획 문서가 종합 계획부터 전략 계획까지 다양하기 때문에, 인간 계획가가 도입 패턴, 격차 또는 동료 벤치마크를 식별하기 위해 모든 관련 정책을 수동으로 검토하는 것은 불가능하다. 또한, 인공지능(AI)과 대규모 언어 모델(LLM)이 인프라 및 비즈니스 운영에 점점 더 통합되고 있음에도 불구하고, 도시 계획가들의 규범적이고 형평성에 초점을 맞춘 업무를 지원하는 능력에 대한 탐구는 여전히 미진한 상태이다. 본 연구는 AI가 도시 간 정책 비교를 용이하게 하기 위해 기후 형평성 계획의 검토를 부분적으로 자동화할 수 있는지, 그리고 AI 도입에 따라 계획가의 역할이 어떻게 진화하고 있는지를 결정하고자 한다.

연구 방법론
본 연구는 텍스트 분석, 검색 증강 생성(RAG), 그리고 콘텐츠 기반 추천 시스템을 결합한 3단계 방법론적 프레임워크를 채택한다.

1. 데이터 수집 및 전처리:

   • 채용 공고: LinkedIn과 Glassdoor에서 69,116개의 미국 계획 관련 채용 공고를 스크래핑하였다. 정제 및 중복 제거 과정을 거친 후 83개의 고유 공고를 분석하였다.
   • 정책 문서: 192개 미국 도시(인구 100,000명 이상)의 기후 형평성 계획을 공공 저장소에서 수집하였으며, 총 페이지 수는 21,489페이지에 달한다.
   • 텍스트 분석: 주제 구조를 식별하기 위해 단어 빈도-역문서 빈도(TF-IDF) 및 절단된 특이값 분해(SVD)를 통한 잠재 의미 분석(LSA)을 포함한 자연어 처리(NLP) 기술을 직무 기술서와 계획 목차에 적용하였다.

2. RAG 기반 정책 추출:

   • LLM의 환각 현상을 완화하고 사실적 정확도를 높이기 위해 LangChain 네이티브 파이프라인을 구축하였다.
   • 검색(Retrieval): PDF 문서를 1,000단어 단위의 청크(chunk)로 나누고 200단어의 중첩을 두었다. 이 청크들은 text-embedding-3-small을 사용하여 임베딩되었으며 FAISS 벡터 데이터베이스에 인덱싱되었다. 검색에는 관련성과 다양성의 균형을 맞추기 위해 최대 한계 관련성(Maximal Marginal-relevance, MMR) 전략($k=5$, $\lambda=0.7$)이 사용되었다.
   • 생성(Generation): 결정론적 출력을 보장하기 위해 온도를 0으로 설정한 GPT-4o-mini 모델을 사용하였다. 프롬프트는 특히 교통 및 에너지와 관련된 계층적 정책 요소(정책, 전략, 실행 방안)를 추출하도록 구조화되었으며, 증거가 충분할 경우 페이지 번호를 인용하거나 증거가 부족하면 "모름(I don't know)"이라고 응답하도록 엄격한 지침을 포함하였다.
   • 평가: 추출된 요소들은 20개의 사전 정의된 주제 카테고리(예: "지속 가능한 교통", "재생 에너지")에 대해 이진 프롬프트를 통해 재평가되었다.

3. 추천 시스템:

   • 특정 정책, 전략 및 실행 방안의 존재를 나타내는 이진 행렬에 코사인 유사도(cosine similarity)를 적용하여 콘텐츠 기반 추천 시스템을 개발하였다.
   • ipywidgets로 구축된 인터랙티브 인터페이스를 통해 사용자가 대상 도시를 쿼리하면 정책 콘텐츠를 기반으로 가장 유사한 상위 5개 도시를 검색하고, 해당 도시의 계획과 동료 도시 간의 격차를 강조하여 보여줄 수 있다.

주요 결과

• 계획가의 역할: 채용 공고에 대한 텍스트 분석 결과, AI의 부상에도 불구하고 계획가 역할은 교통, 환경 계획, 주거 및 토지 이용이라는 전통적인 강조점을 유지하고 있음을 보여준다. 기술적 역량(GIS, 데이터 분석)은 이제 구조적 역량이 되었으나, 소통적 책임(커뮤니티 참여, 이해관계자 관리)은 여전히 핵심적이다. 직무 기술서에서 AI에 대한 명시적인 언급은 거의 나타나지 않았다.
• 정책 콘텐츠: 기후 형평성 계획은 주로 교통 및 에너지 부문을 다루며, 온실가스 배출 감소에 집중하고 있다. 시맨틱 분석에 따르면 계획들은 주로 긍정적인 언어를 사용하는 것으로 나타났다. 부정적이거나 제한적인 언어는 드물게 나타나며, 주로 특정 제약 조건(예: 예산 또는 실행 가능성)을 인정할 때만 등장한다.
• 주제별 격차:
  • 교통: "토지 이용 및 교통 통합"이 가장 흔한 정책 주제인 반면, "교통 회복력(resilience)"은 가장 적게 다루어졌다. "전기차 충전 인프라"는 빈번한 전략이지만, "교통 인식 캠페인" 및 "수요 조사"와 같은 실행 방안은 과소 대표되어 있다.
  • 에너지: "에너지 효율"이 지배적인 정책 주제인 반면, "그리드 현대화" 및 "에너지 혁신"은 자주 간과된다.
• 추천 시스템 성능: 시스템은 유사한 정책 관행을 가진 지리적 클러스터를 성공적으로 식별하였다. 예를 들어, 라스베이거스는 교통 실행 방안을 기준으로 캘리포니아 도시들(치코, 버클리, 리치먼드)과 매칭되었고, 포트 로더데일은 에너지 실행 방안과 관련하여 동부 미국 도시들(세인트 폴, 버팔로)과 매칭되었다. 시스템은 대상 도시의 계획에서 누락된 실행 항목들을 효과적으로 드러냈다.

의의 및 주장
본 논문은 자신의 기여를 인간 계획가를 대체하는 것이 아니라, 도시 간 학습과 진단적 평가를 증강하기 위한 인프라로 규정한다.

• 방법론적 혁신: 본 연구는 RAG 기반 파이프라인이 구조화되지 않은 긴 문서로부터 구조화된 정책 데이터(정책, 전략, 실행 방안)를 높은 충실도로 추출할 수 있음을 입증하며, 이를 통해 정책 검토와 관련된 수동 작업량을 줄일 수 있음을 보여준다.
• 실용적 유용성: 개발된 추천 시스템은 "정책 학습 및 진단 도구" 역할을 한다. 이는 계획가들이 자신과 유사한 프로필을 가진 동료 도시를 식별하고 간과된 실행 항목을 찾아내어, 특정 해결책을 강요하지 않으면서도 성찰적 계획과 반복적인 정책 개선을 지원할 수 있게 한다.
• 규범적 정렬: 본 연구는 AI가 반복적인 작업과 데이터 추출을 자동화할 수 있지만, 판단, 신뢰 구축, 커뮤니티 참여와 같은 계획의 핵심적인 규범적 기능은 여전히 인간 중심적임을 주장한다. 제안된 "가상 계획가(virtual planner)"는 자율적인 의사 결정자가 아니라, 지역적 맥격과 제도적 역량의 제약 내에서 작동하는 보조 도구로 구상되었다.
• 확장성: 저자들은 이러한 시스템이 인구 감소를 겪고 있거나 광범적인 비교 정책 분석을 위한 자원이 부족한 소규모 관할 구역의 도시들에게 특히 가치 있을 것이라고 제안하며, 도시 시스템 전체의 집단적 지식을 활용할 수 있는 메커니즘을 제공한다.