Can AI-Generated Case Plans Inform Medical Social Work Practice? A Mixed-Methods Evaluation by Expert Practitioners

기술 요약: AI 생성 사례 계획이 의료 사회복지 실천에 기여할 수 있는가? 전문가 실무자들에 의한 혼합 방법론적 평가

문제 제기
인공지능(AI)이 행정 업무, 정보 추출, 위험 예측을 지원하는 데 있어 가능성을 보여주고 있으나, 실행 가능한 '사례 계획(case plans)'을 생성하는 능력에 대해서는 아직 충분히 평가되지 않았다. 의료 사회복지는 의뢰 정보를 '환경 속의 인간(person-in-environment)' 전통과 생물심리사회적 모델(biopsychosocial model)에 근거한 사정, 우선순위가 설정된 목표, 개입 단계, 그리고 위험 예측으로 변환하는 과정을 필요로 한다. 기존 연구에 따르면 AI 출력물은 유창하고 상세해 보일 수 있으나, 임상적 정확성, 맥락적 미묘함, 윤리적 민감성이 결여될 수 있다. 따라서 고도의 책임이 따르고 관계 중심적인 의료 환경에서 AI가 생성한 서비스 계획을 실행 전 초안으로서 신뢰할 수 있는지에 대한 이해에 결정적인 공백이 존재한다. 즉, 오류가 클라이언트의 안전과 전문적 신뢰를 저해할 수 있는 상황에서의 신뢰성 문제이다.

연구 방법론
본 연구는 세 단계로 구성된 시나리오 기반의 혼합 방법론적 비교 평가 설계를 채택하였다:

1. 시나리오 개발: 28개의 익명화된 실제 사례로부터 8개의 표준화된 의료 사회복지 시나리오를 합성하였다. 이 시나리오들은 다양한 맥락(예: 종양학, 만성 질환, 노인 케어)을 포괄하며, 국제 기능·장애·건강 분류(ICF)와 생물심리사회적 모델을 사용하여 구조화되었다.
2. AI 생성: 세 가지 AI 시스템(OpenAI GPT-5.1, DeepSeek-chat, 그리고 국내 사회복지 사례 계획 에이전트)이 각 시나리오에 대한 사례 서비스 계획을 생성하였다. 모든 시스템은 사례 사정, 문제 분석(COM-B 모델 활용), 목표 설정, 개입 계획, 위험 예측, 계획된 효과 평가라는 공유된 구조적 6단계 워크플로우를 따랐다. 편향을 방지하기 위해 출력물은 익명화 처리되었다(A1, A2, A3).
3. 전문가 평가: 14명의 숙련된 의료 사회복지사들이 익명화된 계획들을 독립적으로 평가하였다. 이들은 구현 결과 프레임워크(Proctor et al., 2011)에 기반한 8개 영역 루브릭을 활용하여 예상 수용성, 채택 가능성, 적절성, 실행 가능성, 충실도, 비용/부담, 통합성, 지속가능성을 5점 리커트 척도로 평가하였다. 또한 구조화된 개방형 질문을 통해 질적 의견을 제공하였다.

주요 기여

• 구조적 워크플로우 통합: 본 연구는 자유 형식의 텍스트 생성을 넘어, AI 출력을 가이드하기 위해 특정 이론적 프레임워크(ICF, COM-B, 행동 변화 나선형 모델)를 통합한 6단계 계획 워크플로우를 구현함으로써 단순한 텍스트 생성을 넘어섰다.
• 전문가 중심 평가: 자동화된 지표에 의존하는 대신, 숙려된 실무자들의 판단을 우선시하여 실제 구현 전 AI 초안의 '실천 준비성(practice readiness)'을 평가하였다.
• 혼합 방법론적 분석: 통계적 패턴을 전문적 추론과 연결하기 위해 양적 점수 산출과 프레임워크 기반의 귀추적 주제 분석(abductive thematic analysis)을 결합하였다.

연구 결과

• 안정적인 시스템 순위 부재: 42개의 평가자-사례 블록에 대한 양적 분석 결과, 세 가지 AI 시스템 간에 통계적으로 유의미한 전체 차이가 발견되지 않았다 ($\chi^2(2) = 3.52, p = .172$). DeepSeek, ChatGPT, 그리고 특화된 에이전트는 유사한 종합 점수를 받았으며, 단일 시스템이 명확한 우위를 점하지 못했다.
• 영역별 차이: 전문가들은 계획의 질에 관한 측면을 구분하여 평가하였다. 전문적 적합성, 수용성, 지속가능성 측면에서는 높은 점수를 기록하였다. 반면, '예상 실행 가능성'과 '서비스 부담/비용'은 낮은 점수를 받았는데, 이는 실제 구현에 대한 우려를 나타낸다.
• 질적 주제: 전문가 의견에서 다섯 가지 주제가 도출되었다:
  1. 구조적 초안: AI 계획은 정보와 목표를 명확히 하는 조직적 스캐폴드(scaffold)로서 가치가 있었으나, 즉시 실천에 투입할 수준은 아니었다.
  2. 우선순위 민감도: 계획은 종종 문제의 긴급성이나 위험도를 기준으로 순위를 매기는 데 실패하였으며, 때로는 생존 필수 사항보다 비핵심적인 이슈를 우선시하기도 하였다.
  3. 맥락적 실행 가능성: 전문가들은 서비스 주기, 자원 가용성, 병원 워크플로우에 대한 비현실적인 가정을 지적하였다.
  4. 윤리적 및 관계적 경계: 클라이언트의 자율성, 프라이버시, 그리고 근거 없는 사실적 추론의 도입에 대한 우려가 제기되었다.
  5. 조건부 프로필: 각 시스템은 고유한 강점과 약점을 가졌다(예: DeepSeek는 실용적이었고, 특화된 에이전트는 상세했으나 부담이 컸음). 이에 따라 전문가들은 일반적인 모델 선호도가 아닌 특정 사례의 요구에 따라 계획을 평가하였다.

의의 및 주장
본 논문은 AI 생성 사례 계획이 실행 가능한 서비스 개입이 아니라 검토 가능한 전문적 초안으로 간주되어야 한다고 주장한다. AI 시스템 간에 안정적인 순위가 나타나지 않았다는 점은 이러한 계획의 신뢰성이 인간의 검토와 맥락적 교정에 달려 있다는 조건부적 성격을 띠고 있음을 시사한다.

본 연구는 AI가 사례 정보를 조직하고 구조화된 옵션을 생성하는 데는 효과적일 수 있으나, 의료 사회복지에 필요한 '시간적으로 위치한 전문적 지식(temporally situated professional knowledge)'은 결여되어 있다고 상정한다. 여기에는 기관의 워크플로우를 탐색하고, 비선형적 사회적 궤적을 예측하며, 시간 압박 속에서 우선순위에 민감한 판단을 내리는 능력이 포함된다. 따라서 저자들은 증강 지능(augmented intelligence) 관점을 옹호한다. 즉, AI는 실무자의 의사결정을 대체하는 것이 아니라 지원하는 도구로서 기능해야 한다. 이 영역에서 AI의 실질적 가치는 인간 전문가가 계획을 실행하기 전 우선순위, 실행 가능성, 윤리적 경계, 자원 현실성을 검증하는 '맥락적 교정(contextual calibration)' 층에 달려 있다.