기술 요약: 큐 확장 – 뉴욕시 지자체 민원 시스템의 공평한 전화 분류 용량을 위한 강화 학습

1. 문제 제기

지자체 311 콜센터 및 민원 접수 시스템은 유입되는 민원량과 이를 분류, 선별, 배정할 수 있는 용량 간의 구조적 불일치에 직면해 있습니다. 현재의 접수 워크플로는 수요에 따라 확장되지 못하는 반응형 규칙 기반 휴리스틱에 의존합니다. 이러한 병목 현상은 체계적인 우선순위 오류로 이어져, 저소득 및 소수민족 지역의 민원이 저우선순위 큐에 불균형적으로 할당되거나 부적절하게 배치되거나 분류되지 않은 채 방치되는 결과를 초래합니다.

핵심 문제는 단순한 무작위 오류가 아니라 측정 불의입니다. 민원량은 소득, 교육 수준, 디지털 리터러시와 정적 상관관계를 갖는 보고율로 인해 근본적인 주거 위험의 편향된 신호입니다. 따라서 역사적 311 데이터를 단순히 학습한 분류기는 '참여 격차'를 계승하고 증폭시킵니다. 즉, 잠재적으로 사건 발생률이 더 높음에도 불구하고 소외된 지역은 더 적은 기록을 생성합니다. 이는 보고되지 않은 지역이 더 적은 검사를 받아 향후 훈련을 위한 결과 기록이 더욱 줄어들게 하는 피드백 루프로 이어집니다.

본 논문은 세 가지 연구 질문에 답합니다:

1. 공평성: 강화 학습 (RL) 정책이 인구통계학적 집단 간에 올바른 조치 할당을 공평하게 분배할 수 있는가?
2. 용량: RL 에이전트가 기존 휴리스틱보다 더 높은 처리량과 더 낮은 오분류율을 달성할 수 있는가?
3. 절충: 공평성의 정량적 비용은 무엇이며, 속성, 비용, 공평한 커버리지 간의 파레토 프론티어는 보상 구성에 따라 어떻게 변화하는가?

2. 방법론

2.1 공식적 프레임워크: 다목적 MDP

저자들은 뉴욕시 건물국 (DOB) 의 여섯 가지 운영 영역 (보일러 안전, 크레인/더릭, 난방/온수, 주거 선별, 발판 안전, 자연 지역 지구) 을 이산 시간 **마르코프 결정 과정 (MDP)**으로 공식화했습니다.

• 상태 ($S$): 민원 대기열, 지역 통계 (인구조사구 수준), 용량 지표를 인코딩합니다. 특징에는 재발 플래그, 잔여분, 지역 위험 점수가 포함됩니다.
• 행동 ($A$): 상향 처리, 배치, 유예, 즉시 검사, 또는 무시와 같은 분류 범주입니다.
• 보상 ($R$): 처리량을 극대화하고, 오분류 비용을 최소화하며, 역사적 공평성 격차를 적극적으로 축소하도록 설계된 다목적 함수입니다.

2.2 공평성 중심 보상 설계

중요한 혁신은 공평한 분류 커버리지를 부수적 제약이 아닌 1 순위 보상 목표로 취급하는 것입니다. $t$ 단계에서의 보상 함수는 다음과 같이 정의됩니다:
$$r_t = \alpha_1 r_{speed} - \alpha_2 r_{cost} + \alpha_3 r_{equity} + \alpha_4 r_{retention}$$

'참여 격차'를 해결하기 위해 저자들은 상향 처리량을 정규화하기 전에 상류 보고율 보정을 도입했습니다. 공평성 계산의 분모로 원시 민원 수 ($N_g$) 를 사용하는 대신, 잠재 사건 수 ($\hat{N}_g$) 를 다음과 같이 추정합니다:

1. 중복 보고 추정기: Liu 등 [12] 에 따라, 동일한 사건에 대한 중복 보고율을 사용하여 지역의 보고 성향 ($\rho$) 을 추정합니다.
2. 베이지안 공간 모델: 중복 데이터가 희소할 경우, ACS 공변량 (소득, 교육, 언어 접근성) 이 보고 성향의 대용치가 됩니다.
3. 보정: 추정된 잠재 사건 수 $\hat{N}_g = C_g / \hat{\rho}_g$가 공평성 항에서 원시 수치를 대체합니다. 이를 통해 에이전트는 제출량에 비례하여 (종종 저소득인) 보고가 적은 구획의 민원을 필요에 비례하여 상향 처리하도록 장려받습니다.

2.3 알고리즘 및 훈련

본 연구는 기존 DOB 휴리스틱, 무작위 정책, 규칙 기반 전문가 시스템과 같은 기준선 (baseline) 에 대해 여러 RL 알고리즘을 평가했습니다:

• DQN (Deep Q-Network): 경험 재생과 타겟 네트워크와 함께 사용되며, 특정 영역에서는 CQL (Conservative Q-Learning) 패널티를 포함합니다.
• 학습된 베이스라인을 갖춘 REINFORCE: 순차적 자원 할당을 최적화하는 정책 경사 방법입니다.
• 표 TD Q-Learning: 더 작은 상태 공간에 사용됩니다.
• 행동 복제 (BC): 역사적 정책 성능을 추정하는 기준선으로 사용됩니다.

훈련은 데이터 누출을 방지하고 실제 배포를 시뮬레이션하기 위해 엄격한 연대순 분할 (예: 훈련용 2020–2024 년, 테스트용 2025 년) 을 활용합니다.

2.4 해석 가능성 및 감사

저자들은 학습된 정책을 감사하기 위해 SHAP (SHapley Additive exPlanations) 할당법을 사용합니다. 이는 인구통계학적 속성의 대용치로 작용하는 특징 (예: 지역 소득, 인종 구성) 이 의사결정을 주도하는지 여부를 식별합니다. 감사는 인구조사구 소득 5 분위수와 인종 구성별로 세분화되어 불균형적 영향을 탐지합니다.

3. 주요 결과

3.1 분류 처리량 및 정확도

• 난방 및 주거 영역: REINFORCE 는 HDQN 및 무작위 정책 대비 누적 보상에서 4 배 개선을 보였습니다. 365 일 기간 동안 약 20–27% 더 많은 위반 사항 (101 건 대 80–84 건) 을 해결했습니다.
• 보일러 안전: DQN 은 총 보상 ($10.3M 대$9.0M) 과 재현율 (98.7% 대 94.5%) 에서 REINFORCE 를 능가했으나, 안전 위험을 놓치는 비용의 비대칭성 (26:1 비용 비율) 으로 인해 두 모델 모두 정밀도가 낮았습니다 (~22%).
• 엘리베이터 및 SNAD 영역: RL 에이전트 (DQN 및 REINFORCE) 는 보상 및 실행 가능한 분류율 측면에서 '균형 잡힌' 휴리스틱 및 기타 기준선보다 일관되게 우수했습니다.

3.2 다목적 절충 (파레토 프론티어)

• 공평성의 '가격': 본 연구는 공평성 목표 ($\alpha_3 > 0$) 를 추가할 경우 처리량에 **4–7%**의 경미한 패널티가 발생함을 발견했습니다. 이는 Liu 와 Garg 의 [13] 이론적 경계와 일치하며, 지자체 환경에서 효율성과 공평성은 대립적이기보다 상호 보완적임을 시사합니다.
• 정책 우위: 공평성 목표를 가진 RL 정책은 효율성과 공평성 차원 모두에서 현행 뉴욕시 검사 일정보다 우위를 점합니다.

3.3 공평성 분석

• 격차 축소: 현재 DOB 휴리스틱은 통계적으로 유의미한 경향을 보이며, 저소득 지역 (Q1) 이 고소득 지역 (Q5) 에 비해 민원당 올바른 상향 처리를 더 적게 받습니다.
• 공평성 중심 RL: 보정된 공평성 보상 항 ($\alpha_3 > 0$) 으로 훈련된 에이전트는 소득 5 분위수 간 균등에 근접합니다. 반면, 공평성 항 없이 훈련된 에이전트는 격차를 축소하지만 닫지는 못합니다.
• 특징 중요도: SHAP 분석은 지역 수준 특징 (예: 맨해튼 커뮤니티 보드 12) 이 강력한 예측 변수임을 밝혀냈으며, 이는 역사적 데이터의 지리적 변수가 사회경제적 지위를 인코딩하고 있음을 확인시켜 줍니다.

4. 중요성 및 주장

본 논문은 공평성이 효율성의 불가피한 부산물이 아님을 주장하며, 이는 보상 함수에 명시적으로 기록되어야 한다고 합니다.

1. 명시적 공평성의 필요성: 처리량만을 최적화한 에이전트는 역사적 격차를 축소하지만 제거하지는 못합니다. 명시적 커버리지 균등 목표를 가진 에이전트만이 결함 탐지 측면에서 휴리스틱을 능가하면서도 거의 균등한 수준에 도달합니다.
2. 경미한 비용: 공평성을 위한 절충은 정량화 가능하며 작습니다 (처리량 4–7% 감소). 이는 공정성이 상당한 운영적 희생을 요구한다는 관념에 도전합니다.
3. 데이터 품질 한계: 저자들은 분류 품질이 데이터 품질에 의해 제한됨을 강조합니다. '참여 격차' (저소득 지역의 미보고) 를 보정하지 않으면, 피드백 루프로 인해 RL 시스템이 반복 훈련 과정에서 공평성을 악화시킬 위험이 있습니다.
4. 규범적 정책 결정: 공공 부문 RL 을 위한 보상 함수 구성은 규범적 정책 결정 행위입니다. 본 논문은 파레토 프론티어에서 어디를 운영할지 (속도, 비용, 공평성 간의 균형) 에 대한 선택은 알고리즘이 아니라 기관과 그것이 서비스하는 커뮤니티에 속한 정치적 결정이라고 주장합니다.

5. 배포 권장 사항

저자들은 특정 안전 장치를 갖춘 '인간 개입형 (Human-in-the-Loop)' 배포 전략을 제안합니다:

• 지속적 감사: 수동 검토를 위한 사전 지정된 임계값을 가진 월별 인구통계학적 감사.
• 보고 보정: 모든 재훈련 주기 전에 공평성 분모를 보정하기 위해 중복 보고 추정기 적용.
• 피드백 루프 완화: 모델이 역사적 미서비스를 강화하는 것을 방지하기 위해 탐색 보너스와 반사실적 상향 처리 사용.
• 투명성: 규범적 정책 우선순위를 명시한 보상 구성을 공개적으로 문서화.

본 논문은 RL 이 분류 용량을 확장할 수 있는 레버를 제공하지만, 공평한 서비스 제공의 약속을 실현하려면 이러한 편향이 알고리즘적 결정을 형성하기 전에 시민 데이터 수집에 내재된 구조적 편향을 보정해야 한다고 결론지었습니다.