From Punishment to Protection: Charting Six Decades of U.S. Juvenile Justice Through Topic Modeling and LLM-Assisted Analysis

기술 요약: 처벌에서 보호로: 토픽 모델링과 LLM 보조 분석을 통한 미국 소년 사법의 60년 궤적 추적

문제 제기
미국의 소년 사법 소송은 두 가지 뚜렷한 흐름을 포함한다: 델린퀴언시(delinquency) 사건(범죄 혐의를 받는 청소년)과 아동 복지 사건(가정 내 위험에 처한 아동)이다. 지난 50년 동안 이 두 흐름은 극적으로 진화해 왔으나, 전통적인 법리적 독해 방식으로는 1970년부터 2025년에 이르는 60,000개 이상의 항소심 판결문에 나타난 장기적 패턴을 식별하는 데 어려움이 있다. 기존 연구는 행정 데이터(체포, 사건 수)나 정책 학술 연구에 의존하고 있는데, 이들은 법원이 결정하도록 요청받는 법적 질문들이 시간이 흐름에 따라 어떻게 변화했는지는 추적하지 못한다. 또한, 수십 년에 걸친 법적 트렌드를 연구하는 것은 불균형한 데이터 가용성, 기밀 유지 규범, 그리고 법적 어휘와 법리가 시대별로 크게 변하는 "시간적 불일치(temporal mismatch)" 문제로 인해 저해된다. 본 연구는 항소심 판례를 체계적으로 분석하여 소년 사법 법리의 진화를 이해하고, 역사적 코퍼스로 학습된 AI 기반 의사결정 지원 도구의 핵심적 위험을 식별한다.

방법론
본 연구는 1970년부터 2025년까지의 CourtListener 자료 60,470건의 미국 항소심 판결문을 분석하기 위해 토픽 모델링과 대규모 언어 모델(LLM) 보조를 결합한 6단계의 엔드 투 엔드(end-to-end) 파이프라인을 채택한다.

1. 데이터 구축 및 전처리: API를 통해 판결문을 수집, 중복 제거 및 정제하였다. 텍스트 정규화 과정에서 법리적 어휘는 보존하되 상용구(boilerplate)와 인용 파편은 제거하였다. 다어구(multi-word) 법률 구절은 일관성을 보장하기 위해 단일 단위로 토큰화하였다.
2. 글로벌-로컬 토픽 모델링: 교차 시대 비교 가능성을 확보하기 위해 하이브리드 아키텍처를 사용하였다.
   • 글로벌 BERTopic 모델: 전체 코퍼스에 적합시켜 공유된 토픽 공간을 구축하였으며(MPNet 문장 임베딩, 차원 축소를 위한 UMAP, 클러스터링을 위한 HDBSCAN 사용), 이를 통해 182개의 실질적 토픽을 도출하였다.
   • 데케이드-로컬(Decade-Local) 모델: 6개의 각 10년 단위(1970년대~2020년대)로 독립적으로 적합되었다.
   • 정렬(Alignment): 로컬 토픽들을 상위 단어 집합에 대한 자카드 유사도(Jaccard similarity, 임계값 $\ge$ 0.20)를 사용하여 글로벌 인벤토리에 매핑하였다. 이를 통해 안정적인 토픽을 추적하는 동시에, 글로벌 모델이 포착할 수 없었던 시대별 "하위 테마" 토픽들을 분리해낼 수 있었다.
3. 품질 진단: 토픽 품질은 UMass 응집도 점수(coherence scores)와 최근접 이웃 어휘 중첩을 통해 평가되었다. 초기 클러스터 중 182개만이 실질적 토픽으로 유지되었으며, 이는 코퍼스의 54.7%를 커버한다. 나머지는 이상치 또는 상용구로 분류되어 제외되었다.
4. 트렌드 계산: 직접적인 비교를 위해 십 년 단위 정규화된 비율(해당 십 년 내 할당된 총 판결문 대비 특정 토픽에 할당된 판결문의 비율)로 유병률을 계산하였다. 상승, 하락 및 안정적 추세를 식별하기 위해 선형 기울기를 적용하였다.
5. LLM 보조 분류 및 분석:
   • 테마 유도: LLM(Claude)이 토픽 메타데이터(상위 단어, 빈도, 응집도, 트렌드)를 분석하여 10개의 테마 분류 체계를 제안하였다.
   • 토픽 할당: LLM은 182개의 각 토픽을 정확히 하나의 테마에 할당하였다.
   • 증거 기반 분석: 선정된 고관심 토픽에 대해, LLM에 글로벌 토픽, 매핑된 로컬 토픽, 매핑되지 않은 하위 테마를 포함하는 "증거 번들(evidence bundles)"인 전체 판결문 텍스트를 제공하였다. LLM은 사전 학습된 법률 지식에 의존하지 않고, 제공된 텍계에 엄격히 기반하여 법적 내러티브와 법리적 궤적을 생성하도록 지시받았다.

주요 기여

• 방법론적 기여: 재현 가능하고 감사 가능한 교차 시대 법률 분석 파이프라인을 제시한다. 이는 글로벌-로컬 BERTopic 아키텍처와 품질 진단, 그리고 테마 발견 및 증거 기반 트렌드 분석을 위한 2단계 LLM 워크플로우를 결합한다.
• 실증적 기여: 미국 소년 사법의 법리적 재균형을 6개 십 년에 걸쳐 최초로 대규모 정량적으로 문서화하였으며, 10개의 테마로 조직된 182개의 뚜렷한 법적 토픽을 식별하였다.
• 리스크 프레임워크: 관찰된 데이터 패턴을 바탕으로, 소년 사법 분야의 의사결정 지원 도구를 위한 5가지 구체적인 가이드라인을 도출함으로써 증거 기반의 AI 리스크 프레임워크를 구축하였다.

결과
분석 결과, 미국 소년 사법 시스템이 심판 및 절차 중심에서 감독 및 아동 복지 중심으로 근본적인 전환을 이루었음이 드러났다.

• 테마 변화:

  • 상승: 아동 복지 및 의존(Child Welfare & Dependency) (5.6%에서 16.7%로 증가)와 성범죄 등록(Sex Offense Registration) (가장 큰 단일 토픽으로, 5.0%에서 12.9%로 상승)이 가장 빠르게 성장하는 영역이다. *보호관찰/감독(Probation/Supervision)*과 구금/유치(Detention/Custody) 또한 최근의 전체 사건 수 감소 전까지 상당한 성장을 보였다.
  • 하락: 절차 및 증거 문제(Procedural & Evidentiary Issues) (12.6%에서 6.7%로 감소)는 Kent, Gault, Winship에 의해 확립된 적법 절차 권리가 정착됨에 따라 감소하였다. 사법적 이송(Judicial Transfer) (성인 법원으로의 웨이버)은 주 정부의 자동 이송 법안 도입에 따라 급격히 하락하였다 (4.6%에서 1.0%). 소년 사형제(Juvenile Death Penalty) 사건은 Roper 판결 이후 감소하였다.
  • 안정: *소년 범죄 및 심판(Juvenile Offenses & Adjudication)*은 가장 큰 테마(~22–27%)로 유지되었으나 상대적으로 감소 추세를 보였다.

• 법리적 궤적 (LLM 분석):

  • 성범죄 등록 (T0): 1970/80년대의 적법 절차 및 이송 중심에서 1990/2000년대의 복잡한 등록 제도(Wetterling, Megan's Law, Adam Walsh)로 진화하였고, 이후 2010/2020년대에는 비례성 및 개별적 검토에 관한 사법적 반발로 이어졌다.
  • 마약 밀매 (T2): 1970년대의 재활 모델에서 80/90년대의 징벌적 "마약과의 전쟁" 시대(의무 최소 형량, 공범 책임)를 거쳐, 마지막으로 2010/2020년대의 펜타닐의 독특한 위해성에 대한 초점으로 이동하였다.
  • 아동 복지 (T6): 실제적 해악을 요구하던 신중한 부모 권리 보호에서, ASFA 타임라인과 "아이들은 기다릴 수 없다"는 기준에 의해 메탐페타민 중독이 예방적 부적격 요소로 취급되는 법리로 변모하였다.

• 어휘 드리프트(Vocabulary Drift): 연구는 법적 어휘가 십 년 단위로 크게 변화함을 발견하였다. 예를 들어, "carnal knowledge"(1970년대)와 같은 용어는 "sex offender registration"(1990년대 이후)으로 대체되었고, "crack cocaine"(1980년대)은 "fentanyl"(2010년대 이후)으로 대체되었다. 글로벌 모델은 이러한 시대별 하위 테마를 놓치는 경우가 많으며, 이는 실제 소송의 상당 부분을 차지한다.

의의 및 주장
본 논문은 대규모의 재현 가능한 항소심 판례 분석이 법학 연구에 실질적으로 유용함을 주장하는 동시에, AI 적용에 대한 결정적인 한계를 강조한다.

1. 두 개의 평행 시스템: 본 연구는 델린퀴언시와 아동 복지가 서로 다른 방향으로 움직이고 있으며, 서로 다른 법적 어휘와 논리를 발전시켜 왔음을 보여준다. 결합된 코퍼스로 학습된 AI 도구는 이 두 시스템을 혼합하여 부정확한 검색이나 추론을 초래할 위험이 있다.
2. 시간적 불일치 및 어휘 드리프트: 역사적 데이터를 시간적 층위 구분 없이 학습한 도구는 구시대적 법적 표준(예: Miller 판결 전의 의무적 무기한 종신형)을 현재의 법으로 제시할 수 있다. 또한, 어휘 드리프트로 인해 특정 시대의 용어로 캘리브레이션된 도구는 다른 시대의 관련 사례를 검색하는 데 실패할 수 있다.
3. 관할권 파편화: 가장 빠르게 성장하는 영역인 성범죄 등록은 글로벌 토픽 레이블이 포착할 수 없는 주별 특수 사례들로 고도로 파편화되어 있다. AI 도구는 이러한 하위 테마를 인덱싱해야 중요한 소송을 놓치지 않을 수 있다.
4. 트렌드 vs 행위: 본 논문은 트렌드 라인이 법적 활동(법원이 무엇을 결정하도록 요청받았는가)을 측정하는 것이지, 행위(범죄가 얼마나 자주 발생했는가)를 측정하는 것이 아님을 강조한다. 예를 들어, 이송 사건의 감소는 반드시 심각한 범죄의 감소를 의미하는 것이 아니라, 사법적 재량을 제거하는 법적 변화를 반영한다.

저자들은 이러한 위험들—시간적 캘리브레이션, 어휘 정렬, 관할권 특수성, 그리고 델린퀴언시와 복지 시스템의 분리—을 해결하는 것이 소년 사법에 사용되는 모든 AI 기반 의사결정 지원 도구의 근본적인 요구 사항이라고 결론짓는다. 이 파이프라인은 법적 추론을 감사하고 AI 도구가 구시대적인 징벌적 기준이 아닌 현대적 표준을 반영하도록 보장하기 위한 모델 역할을 한다.