Validation of a Small Language Model for DSM-5 Substance Category Classification in Child Welfare Records

이 논문은 미국 중서부 주의 아동복지 조사 기록에서 DSM-5 물질 사용 범주를 식별하기 위해 로컬로 호스팅된 200 억 파라미터 규모의 소형 언어 모델이 알코올, 대마, 오피오이드 등 주요 5 개 범주에서 인간 전문가와 거의 완벽한 일치율을 보이며 신뢰할 수 있는 분류가 가능함을 입증했습니다.

핵심

📚 1. 배경: 거대한 도서관과 숨겨진 비밀

상상해 보세요. 아동 복지 기관에는 수만 권의 **'기록장 (파일)'**이 쌓여 있습니다. 이 기록장에는 사회복지사가 쓴 **손글씨 일기 (자유 서술형 텍스트)**가 들어있는데, 여기에는 부모님이 술을 마셨는지, 약물을 썼는지, 어떤 약을 썼는지에 대한 구체적인 이야기가 숨어 있습니다.

하지만 기존 시스템은 이 방대한 일기를 읽을 수 없어서, 단순히 **"약물 사용 여부: O/X"**라고만 표시했습니다. 마치 **"이 집에 불이 났다"**는 사실만 알 뿐, **"어떤 불 (전기, 가스, 기름) 이 났는지"**는 모른 채 방치하는 것과 같습니다.

최근에는 거대한 AI(대규모 언어 모델) 가 이 일기를 읽어서 불의 종류를 찾아낼 수 있다는 게 밝혀졌습니다. 하지만 이 거대 AI 는 비싸고, 데이터를 외부로 보내야 해서 개인정보 보호 문제가 있고, 기관 자체 컴퓨터에서 돌리기엔 너무 무겁습니다.

그래서 연구팀은 **"작고 가벼운 AI(작은 언어 모델)"**가 이 일을 대신 할 수 있는지 시험해 보았습니다.

🔍 2. 실험: 작은 AI 의 능력 테스트

연구팀은 미국의 한 주에서 가져온 2013~2024 년 사이의 아동 복지 기록 15,000 건을 분석했습니다.

• 작업 내용: "약물 사용이 있었나요?"라고 먼저 확인한 뒤, 만약 있었다면 "어떤 약물 (술, 대마, 아편류, 자극제 등) 이었는지" 7 가지 종류로 분류하게 했습니다.
• 사용된 도구: 200 억 개의 파라미터 (지식 단위) 를 가진 '작은 AI'. 이걸 기관 내부 컴퓨터에 설치해서 외부로 데이터를 보내지 않고 안전하게 돌렸습니다.
• 검증 방법: AI 가 분류한 결과를 **전문가 (인간)**가 다시 한 번 꼼꼼히 확인하며 "맞았나요, 틀렸나요?"를 체크했습니다.

🏆 3. 결과: 놀라운 성공과 약간의 실수

✅ 대성공: 5 가지 종류는 인간 못지않게 정확!

AI 는 다음 5 가지 약물 종류를 거의 완벽하게 (94~100% 정확도) 찾아냈습니다.

1. 술 (Alcohol)
2. 대마 (Cannabis)
3. 아편류 (Opioid)
4. 자극제 (Stimulant)
5. 진정제 (Sedative)

비유: 마치 숙련된 요리사가 "소금, 설탕, 후추, 간장, 식초"의 맛을 구별하듯, AI 는 이 5 가지 약물의 특징적인 단어들을 아주 정확하게 찾아냈습니다.

❌ 실패: 2 가지 종류는 헷갈려서 틀림

하지만 다음 2 가지는 AI 가 많이 헷갈렸습니다.

1. 환각제 (Hallucinogen)
2. 흡입제 (Inhalant)

왜 헷갈렸을까요?

• 흡입제 (Inhalant) 의 함정: "스프레이", "페인트", "가스" 같은 단어는 약물을 뜻할 수도 있지만, 집안 청소나 수리를 말할 때도 쓰입니다. AI 는 "스프레이"라는 단어만 보고 약물을 쓴다고 착각하는 경우가 많았습니다. (예: "청소용 스프레이를 마셨다" vs "청소용 스프레이를 뿌렸다"의 차이)
• 환각제 (Hallucinogen) 의 함정: "산 (Acid)"이라는 단어가 약물을 뜻할 수도 있지만, 화학 용제를 뜻할 수도 있습니다. 문맥을 제대로 파악하지 못해 틀렸습니다.
• 결론: 이 두 가지는 데이터가 너무 적고, 단어의 의미가 너무 모호해서 AI 가 아직 완벽하게 구분하지 못했습니다.

🔄 4. 안정성: 같은 질문을 두 번 해도 같은 답?

AI 는 확률적으로 작동하기 때문에, 같은 질문을 두 번 하면 매번 조금 다른 답을 줄 수도 있습니다. 하지만 연구팀은 15,000 건의 기록을 두 번 따로 분류해 보았는데, 92%~99% 이상이 똑같은 결과를 냈습니다. 이는 AI 가 매우 안정적이라는 뜻입니다.

💡 5. 이 연구가 의미하는 것 (결론)

1. 비용 절감 & 보안: 거대하고 비싼 클라우드 AI 를 쓸 필요 없이, 작은 AI 를 기관 내부 컴퓨터에 설치해도 충분히 정확한 분석이 가능합니다. 개인정보도 밖으로 나가지 않습니다.
2. 데이터의 보물찾기: 과거에 쌓여 있던 '읽히지 않는 기록장'들이 이제 구체적인 약물 사용 통계로 바뀝니다.
3. 실제 활용: "올해 아편류 사용은 줄었는데, 대마 사용은 늘었네?" 같은 구체적인 추세를 파악해서, 필요한 곳에 더 정확한 도움을 줄 수 있게 됩니다.

📝 한 줄 요약

"작고 가벼운 AI 가 아동 복지 기록을 읽어서, 부모가 어떤 약물을 썼는지 (술, 대마, 아편류 등) 인간 전문가 못지않게 정확히 찾아냈습니다. 다만, '스프레이'나 '산'처럼 일상 용어와 약물이 섞인 단어는 아직 조금 헷갈려서 보완이 필요합니다."

이 연구는 인공지능이 복잡한 사회 문제 해결에 어떻게 실용적이고 안전한 도구가 될 수 있는지 보여주는 아주 좋은 사례입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 데이터의 한계: 아동 복지 기관은 조사 요약, 처분 결과, 사례 노트 등 방대한 양의 비정형 텍스트 (자유 서술형 내러티브) 를 생성합니다. 이 텍스트에는 부모의 약물 사용 패턴, 특정 물질, 검사 결과 등이 상세히 기술되어 있으나, 기존 행정 데이터베이스는 이를 단순한 '이유/아니오' (Binary) 플래그로만 처리하거나 아예 기록하지 않는 경우가 많습니다.
• 기존 연구의 격차: 최근 대규모 언어 모델 (LLM) 을 사용하여 아동 복지 내러티브에서 '물질 관련 문제의 유무'를 이진 분류 (Binary classification) 하는 연구는 성공적이었습니다. 그러나 소규모 (Small) 로컬 배포 모델이 단순한 유무 감지를 넘어, DSM-5 기준에 부합하는 구체적인 7 가지 물질 유형 (알코올, 대마초, 오피오이드 등) 을 분류할 수 있는지는 검증되지 않았습니다.
• 기술적 도전: Frontier(최첨단) 상용 모델 (수백~수천억 파라미터) 은 방대한 훈련 데이터로 인해 맥락 이해력이 뛰어나지만, 비용과 개인정보 보호 문제로 인해 기관 내부에서 직접 배포 가능한 **소규모 오픈소스 모델 (수십억 파라미터)**이 복잡한 맥락적 추론이 필요한 세분화된 물질 분류 작업에서 신뢰할 수 있는 성능을 발휘할 수 있는지 의문시되었습니다.

2. 연구 방법론 (Methodology)

• 데이터 소스: 미국 중서부 주의 아동 보호 서비스 (CPS) 조사 기록 (2013~2024 년) 에서 추출된 처분 결과 (Dispositional findings) 내러티브 텍스트를 사용했습니다.
• 분류 파이프라인 (2 단계 접근):
  1. 1 단계 (기존 검증): 내러티브에 '물질 관련 문제 (SRP)'가 있는지 이진 분류 (본 연구의 주 초점은 아님).
  2. 2 단계 (본 연구 핵심): 1 단계에서 SRP 가 있는 것으로 판정된 기록을 대상으로 DSM-5 기반 7 가지 물질 카테고리로 분류 수행.
     • 카테고리: 알코올, 대마초, 오피오이드, 자극제, 진정제/수면제/불안증 완화제, 환각제, 흡입제.
     • 모델: gpt-oss:20b (200 억 파라미터 오픈소스 LLM). 4-bit 정밀도로 양자화 (Quantized) 되어 **로컬 서버 (NVIDIA A6000 GPU 2 개)**에서 실행됨.
     • 설정: 온도 (Temperature) 0.2 로 설정하여 일관성 확보, 8,192 토큰 컨텍스트 윈도우 사용.
     • 출력: 각 카테고리에 대한 분류 결과와 이를 뒷받침하는 원문 발췌문 (Verbatim text extracts) 동시 생성.
• 검증 설계:
  • 샘플링: 7 가지 카테고리별 모델이 '양성'으로 분류한 100 건씩 (총 700 건), '음성'으로 분류된 100 건, '미분류'로 처리된 100 건 등 총 900 건을 층화 무작위 표본 추출.
  • 평가 지표: 전문가 인간 검토 (Human Review) 와의 비교를 통해 **정밀도 (Precision), 재현율 (Recall), 상호 방법 간 일치도 (Cohen's Kappa, PABAK)**를 측정.
  • 안정성 테스트: 약 15,000 건의 기록을 두 번 독립적으로 분류하여 테스트 - 재테스트 (Test-Retest) 일치율을 평가.

3. 주요 결과 (Results)

• 높은 정확도를 보인 카테고리 (5 개):
  • 알코올, 오피오이드: 정밀도 100%, Kappa(κ) = 1.00 (완벽한 일치).
  • 대마초, 자극제: 정밀도 99.0%, κ = 0.99.
  • 진정제/수면제/불안증 완화제: 정밀도 92.0%, κ = 0.94.
  • 이 5 개 카테고리는 인간 전문가와 '거의 완벽한 (Almost Perfect)' 일치를 보였습니다.
• 성능이 낮았던 카테고리 (2 개):
  • 환각제 (Hallucinogen): 정밀도 56.1%, κ = 0.63.
  • 흡입제 (Inhalant): 정밀도 35.0%, κ = 0.42.
  • 원인: 해당 용어 (예: '가스', '스프레이', '페인트' 등) 가 가정 환경이나 안전 문제 설명에서 비약물 관련 맥락으로 자주 등장하여 모델이 맥락적 모호성을 해결하지 못해 오분류가 발생함. 또한, 아동 복지 인구 내에서의 발생 빈도가 매우 낮아 위양성 (False Positive) 이 정밀도에 큰 영향을 미침.
• 추출 품질: 모델이 생성한 근거 텍스트 발췌문의 90.5% 가 유효했으며, 92.8% 는 원문과 일치했습니다.
• 안정성 (Stability): 15,000 건의 독립적 실행 간 일치율은 92.1% (자극제) ~ 99.1% (알코올, 대마초) 로 매우 높게 나타나, 로컬 배포 모델의 재현성이 확보됨을 입증했습니다.

4. 주요 기여 및 의의 (Key Contributions & Significance)

• 소규모 모델의 능력 입증: Frontier 모델에 비해 파라미터 수가 약 20 배 작은 200 억 파라미터 모델로도, 복잡한 아동 복지 내러티브에서 특정 물질 유형을 식별할 수 있는 충분한 언어 능력을 보유함을 증명했습니다.
• 개인정보 보호 및 비용 효율성: 클라우드 기반 상용 모델에 의존하지 않고, 기관 내부 서버 (On-premises) 에서 데이터를 외부로 전송하지 않고도 고도화된 분석이 가능함을 보여줌으로써, 민감한 아동 복지 데이터의 보안과 비용 문제를 해결했습니다.
• 행정 데이터의 가치 증대: 기존에 구조화되지 않았던 비정형 텍스트를 DSM-5 기준의 구조화된 변수로 변환하여, 기관이 과거 데이터를 활용하여 물질별 추이 (예: 오피오이드 위기에서 자극제 급증으로의 전환) 를 모니터링하고 표적 개입 전략을 수립할 수 있는 기반을 마련했습니다.
• 실무적 적용 가능성: 5 가지 주요 물질 카테고리에 대해서는 인간 전문가 수준의 신뢰도를 확보했으므로, 실제 정책 결정 및 연구 분석에 즉시 활용 가능한 수준임을 시사합니다.

5. 결론 및 한계 (Conclusion & Limitations)

• 결론: 로컬 호스팅된 소형 LLM 은 아동 복지 기록에서 알코올, 대마초, 오피오이드, 자극제, 진정제 등 주요 5 가지 물질 유형을 인간 전문가와 거의 완벽하게 일치하는 수준으로 분류할 수 있습니다. 이는 이진 분류를 넘어 다중 클래스 분류까지 확장 가능한 기술적 타당성을 입증한 것입니다.
• 한계:
  • 환각제와 흡입제는 용어의 모호성과 낮은 발생률로 인해 성능이 낮아 현재는 고정밀 분석 대상에서 제외해야 함.
  • 재현율 (Recall) 평가가 물질별이 아닌 전체 SRP 수준에서만 수행됨.
  • 단일 주의 데이터를 기반으로 하므로, 다른 지역의 문서화 관행이나 용어 차이로 인한 일반화 가능성은 추가 검증이 필요함.

이 연구는 인공지능 기반 텍스트 마이닝이 아동 복지 분야에서 실제 운영 환경 (Local Deployment) 에서 어떻게 적용될 수 있는지에 대한 중요한 실증적 근거를 제시합니다.