When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

기술 요약: 평점 척도의 한계: 교사 서술형 기록 내 ADHD 신호의 LLM 보조 발견

문제 정의
아동의 주의력 결핍 과잉 행동 장애(ADHD) 진단은 통상적으로 임상의의 판단, 표준화된 평점 척도(Conners' Teacher Rating Scale–Revised Short Form, CTRS-R:S 등), 그리고 부모 및 교사의 보고를 결합하여 이루어진다. CTRS-R:S와 같은 구조화된 도구는 특정 행동 증상을 효과적으로 정량화하지만, 교사가 작성한 개방형 질적 서술문에 포함된 보완적인 신호들은 간과할 수 있다. 이러한 서술문에는 학교 성적, 성격, 교우 관계, 가족 맥락에 관한 맥락적 관찰 내용이 포함되어 있으나, 이는 체계적으로 분석되는 경우가 드물다. 본 연구가 다루는 핵심 문제는, 특히 구조화된 평가가 ADHD 학생과 비ADHD 학생을 명확히 구분하지 못하는 경우, 교사의 서술형 기록이 구조화된 평점 척도가 놓치는 행동 신호를 어느 정도까지 인코딩하고 있는가 하는 점이다.

방법론
본 연구는 소아 청소년 정신건정의학과 클리닉에서 수집된 199개의 익명화된 터키어 교사 평가 양식(ADHD 166건, 대조군 33건) 데이터셋을 활용한다. 방법론은 두 단계의 비교 분석으로 구성된다:

1. 이중 분류 파이프라인:

   • 구조화 파이프라인 (Structured Pipeline): 인구통계학적 변수(연령, 학년, 성별)와 함께 CTRS-R:S의 28개 행동 항목을 학습시킨 로지스틱 회귀 분류기를 구축하였다. 특징값은 z-score 정규화를 통해 표준화되었다.
   • 서술형 파이프라인 (Narrative Pipeline): 개방형 교사 서술문을 학습시킨 별도의 로지스틱 회귀 분류기를 구축하였다. 텍스트 전처리(소문자 변환, 불용어 제거)를 거친 후, unigram 및 bigram 특징을 포함한 TF-IDF(Term Frequency–Inverse Document Frequency) 방식으로 표현되었다.
   • 두 모델 모두 비교 가능한 조건을 보장하기 위해 층화 5-겹 교차 검증(stratified five-fold cross-validation)을 사용하여 평가되었다.

2. 오류 중심 분석 (Error-Focused Analysis):

   • 본 연구는 특히 "구조화 모델의 위음성(false negatives)" 사례, 즉 구조화 모델에서는 ADHD로 오분류되었으나 서술형 모델에서는 올바르게 식별되었거나 뚜렷한 패턴을 보인 사례를 집중적으로 분석하였다.
   • 이 하위 집단 내에서 심각도 점수와 서술형의 판별력을 평가하기 위해 통계적 비교(Mann–Whitney U 검정)를 수행하였다.

3. LLM 보조 테마 발견 (LLM-Assisted Theme Discovery):

   • 서술문에 나타난 행동 패턴을 해석하기 위해, 저자들은 로컬 오픈 웨이트 대규모 언어 모델(Llama 3.3 70B Instruct)을 사용하여 행동 테마를 추출하였다.
   • 구조화된 프롬프트를 사용하여, LLM은 네 가지 영역(학교 성적, 성격/정신 건강, 사회적 관계, 가족 맥락)에 걸쳐 관찰 가능한 강점 또는 어려움을 설명하는 간결한 테마(2~6개 단어)를 추출하였다.
   • 추출된 테마는 도메인 전문가에 의해 10개의 상위 수준 행동 카테고리(예: 주의력 어려움, 행동적 강점, 가족 지원 등)로 수동 매핑되었으며, 이를 통해 구조화된 위음성 그룹과 대조군 사이의 체계적인 비교가 가능해졌다.

주요 결과

• 보완적 신호: 두 모델 모두 높은 판별력(PR-AUC > 0.98)을 달랬으나, 서술형 분류기는 구조화된 분류기(0.856)에 비해 ADHD 사례에 대해 유의미하게 높은 재현율(recall, 0.958)을 보였다.
• 최소한의 오류 중첩: 구조화 모델은 24건의 ADHD 사례를 놓친 반면, 서술형 모델은 7건만을 놓쳤다. 결정적으로 두 모델 사이의 중복된 위음성은 단 1건에 불과했으며, 이는 두 양식이 서로 상당히 구별되는 행동 정보를 포착하고 있음을 시사한다.
• 양적 괴리: 구조적 위음성 하위 집단에서 서술형 기반 분류기는 ROC-AUC 0.84를 달성하여, 구조화된 심각도 점수(ROC-AUC 0.69)를 실질적으로 상회하였다. 구조화된 점수와 서술형 예측 확률 간의 상관관계는 무시할 만한 수준($r = 0.07$)이었다.
• 질적 패턴: LLM 보조 테마 분석 결과, 구조적 위음성 ADHD 사례의 서술문은 대조군 서술문에 비해 "어려움 관련" 테마(특히 주의력 및 행동적 어려움)가 유의미하게 많았고 "강점 관련" 테마는 적었다. 반대로, 대조군 서술문은 학업 및 사회-정서적 강점과 가족 지원 테마의 빈도가 더 높았다.

주요 기여

1. 통합 분석: 구조화된 CTRS-R:S 점수와 서술형 교사 묘사가 부분적으로 구별되는 ADHD 사례 집단을 식별한다는 것을 보여주는 비교 분석을 제시하였다.
2. 보완성의 증거: 특히 구조화된 점수가 대조군과 중첩되는 경계 사례에서, 서술형 텍스트가 표준화된 척리가 놓치는 행동 신호를 포착한다는 실증적 근거를 제시하였다.
3. 해석 가능성 프레임워크: 원시 텍스트와 해석 가능한 임상 카테고리 사이의 간극을 메우기 위해, 임상 서술문에서 행동 테마를 추출하고 분류하는 LLM 보조 파이프라인을 도입하였다.
4. 데이터셋 공개: 상대적으로 연구가 미진한 언어 및 도메인에서의 NLP 연구를 위한 자원을 제공하기 위해, 199개의 익명화된 터키어 교사 평가 양식 데이터셋을 공개하였다.

의의 및 주장
본 논문은 교사 서술문에 적용된 자연어 처리(NLP)가 전통적인 선별 도구로는 명시적으로 포착되지 않는 임상적으로 유의미한 행동 패턴을 찾아낼 수 있다고 주장한다. 본 연구는 구조화된 평가를 대체하는 것을 제안하는 것이 아니라, 구조화된 평정과 서술형 분석을 결합하는 것이 학생 행동에 대한 더 포괄적인 관점을 제공한다는 점을 시사한다. 저자들은 교사의 서술문이 특히 표준화된 척도가 모호한 결과를 낼 때 ADHD 관련 어려움을 식별하는 데 보완적인 증거를 제공한다고 강조한다. 본 연구는 LLM이 독립적인 진단 분류기로서 기능하기보다는, 비구조화된 임상 텍스트에서 구조화된 통찰을 추출하는 해석 도구로서 활용될 수 있는 잠재력을 보여주며, 이를 통해 기존의 진단 워크플로우의 효용성을 높일 수 있음을 입증한다.

한론
저자들은 데이터셋의 크기가 작고 불균형하다는 점(166 대 33)을 인정하며, 이로 인해 복잡한 신경망 구조 대신 단순한 선형 모델을 사용해야 했음을 밝히고 있다. 또한 교사 서술문의 내재적 주관성과 단일 출처 데이터의 특성으로 인한 타 교육 및 문화적 맥락으로의 일반화 가능성 부족 문제를 언급하였다. 마지막으로, LLM이 추출한 테마를 상위 수준의 카테고리로 매핑하는 과정에는 전문가의 지식 기반 설계 결정이 포함되므로 어느 정도의 주관성이 개입될 수 있음을 명시하였다.