Human-Centered AI in Crisis Counseling: A Three-Tier Governance Framework

위기 상담이라는 고도의 긴장감이 흐르는 세계에서, 전문가들은 독특하고도 소모적인 도전에 직면해 있습니다. 그들은 절망의 가장 깊은 순간에 처한 사람들의 이야기를 전화나 문자를 통해 들어야 하며, 단 몇 분 만에 생사가 달린 결정을 내려야 합니다. 이 상담사들은 미묘한 위험 신호를 포착하고, 즉각적인 정서적 지원을 제공하며, 복잡한 안전 계획을 조율하도록 훈련받는 동시에, 방대한 서류 작업과 사후 관리라는 무거운 행정적 부담까지 관리해야 합니다. 압박감은 엄청납니다. 경고 신호를 하나 놓치는 것은 비극으로 이어질 수 있는 반면, 잘못된 대응은 취약한 상태에 있는 사람이 도움으로부터 완전히 멀어지게 만들 수도 있습니다. 수년 동안 연구자들은 인공지능이 언어 패턴을 바탕으로 누가 자살 위험이 있는지 예측함으로써 도움을 줄 수 있을지 탐구해 왔습니다. 그러나 최근의 새로운 사고방식은 단순히 컴퓨터가 위험을 예측하는 것만으로는 충분하지 않다고 제안합니다. 진짜 질문은 기계가 위험을 추측할 수 있느냐가 아니라, 어떻게 기계가 인간 상담사의 운전대를 결코 빼앗지 않으면서도 그를 안전하게 지원할 수 있는가 하는 것입니다.

암비카 탄가라주(Ambika Thangaraju)의 최근 논문은 그 질문에 답할 수 있는 구체적인 방법을 제안합니다. 저자는 컴퓨터가 어려운 결정을 내리는 미래를 상상하는 대신, 기술이 행정적인 무거운 짐을 처리하도록 하면서도 인간의 판단력을 확고하게 유지하도록 설계된 3단계 시스템을 개설합니다. 이 프레임워크는 인공지능을 의사나 결정권자가 아니라, 엄격한 감독 하에 작동하는 매우 조직적인 조수로서 취급합니다. 핵심 아이디어는 컴퓨터가 정보의 흐름을 관리하고, 노트를 초안하며, 자원을 정리하게 하되, 인간 상담사가 위험을 평가하고, 행동 방침을 결정하며, 응급 대응이 필요한지 여부를 판단하는 유일한 권위자로 남도록 하는 것입니다. 이 접근 방식은 단 한 번의 오류가 치명적인 결과를 초래할 수 있는 분야에 강력한 새로운 도구들을 어떻게 통합할 것인가 하는 문제를 해결하고자 합니다.

제안된 시스템은 세 가지 뚜렷한 책임 계층으로 구축되었습니다. 첫 번째 계층은 통화 전, 중, 후에 발생하는 과업에 집중하지만, 임상적 의사결정은 엄격히 배제합니다. 이 역할에서 인공지능은 지원 도구로서 기능합니다. 인공지능은 상담사를 위해 안전 계획 템플릿을 빠르게 검색하거나, 추후 검토를 위한 대화 요약본을 작성하거나, 상담사가 주의 깊게 관찰하도록 훈련받은 특정 문구를 표시함으로써 도움을 줄 수 있습니다. 결정적으로, 이 시스템은 호출자에게 위험 수준을 할당하거나, 질환을 진단하거나, 스스로 응급 개입을 시작하지 않도록 설계되었습니다. 만약 컴퓨터가 어떤 행동 방침을 제안한다면, 인간이 이를 검토하고 승인해야만 기록의 일부가 될 수 있습니다. 이 계층에는 또한 호출자가 자신이 시스템의 경청을 받고 있음을 인지하게 하고, 자신의 음성이나 단어에 대한 자동 분석에서 즉시 벗어날 수 있는 선택권을 부여하는 것과 같은 호출자를 위한 안전장치도 포함됩니다.

두 번째 계층은 실제 인간의 업무가 이루어지는 곳입니다. 이곳은 상담사의 영역이며, 상담사는 자살 위험 평가와 호출자를 돕기 위한 최종 결정에 대한 완전한 권한을 보유합니다. 프레임워크는 안전과 정서적 안정을 확립하는 것부터 시작하여, 호출자의 생각과 계획에 대한 구조화된 평가를 거쳐, 맞춤형 개입으로 끝나는 일련의 단계적 과정을 명시합니다. 이 과정 전반에 걸쳐 첫 번째 계층의 인공지능은 특정 체크리스트를 상기시키거나 자원을 제안하는 방식으로 지원할 수 있지만, 결코 상담사의 판단을 뒤엎지 않습니다. 만약 상황이 불분명해지거나 상담사가 정보를 판단하기에 불충분하다고 느낀다면, 시스템은 그 불확실성을 위한 구체적인 경로를 가지고 있습니다. 추측하는 대신, 상담사는 상급자에게 도움을 요청하도록 안내받습니다. 마찬가지로, 호출자가 현실 감각을 상실한 것처럼 보일 경우, 시스템은 이를 즉각적이고 높은 수준의 인간적 주의가 필요한 특별 사례로 인식하여 표준 절차를 건너뛰고 안전을 확보합니다.

세 번째 계층은 조직과 위기 상담 라인을 운영하는 사람들을 다룹니다. 이 계층은 상담사들 자체가 지원받고 있는지, 그리고 시스템이 올바르게 작동하고 있는지를 보장합니다. 여기에는 특히 고위험 상황이거나 상담사가 어떻게 해야 할지 확신이 없을 때 상급자가 통화 내용을 검토해야 하는 규칙이 포함됩니다. 또한 트라우마를 경청하는 것이 정서적으로 소모적인 일임을 인식하여, 직원들의 웰빙 문제도 다룹니다. 특히 힘든 통화가 끝난 후, 시스템은 상담사를 즉시 다음 통화로 밀어넣는 대신, 휴식 시간을 갖고 상급자의 점검을 받을 수 있도록 설계되었습니다. 나아가, 이 계층에는 인공지능이 의도대로 작동하고 있는지, 자동화된 오류가 새어나가고 있지는 않은지 확인하기 위한 정기적인 감사가 포함됩니다. 만약 시스템에 중대한 변경이 필요하거나 응급 상황이 선포되면, 인공지능을 완전히 차단하여 오직 인간의 목소리만이 위기 대응을 이끌도록 할 수 있습니다.

논문은 이 프레임워크가 현장에서 테스트된 완성된 제품이 아니라 하나의 제안임을 강조합니다. 이는 확립된 위기 개입 방법론과 기술이 어떻게 통제되어야 하는지에 대한 새로운 아이디어를 결합하여 만든 개념적 설계입니다. 저자는 이 프레임워크를 구축하는 데 사용된 모델들이 대면 환경에서는 잘 작동해 왔지만, 익명의 전화 및 문자 통화에 적용하는 것은 아직 검증되지 않았다는 점을 인정합니다. 또한 기술 비용, 직원 교육의 필요성, 다양한 언어와 문화 전반에서 시스템이 공정하게 작동하도록 보장하는 문제와 같은 실질적인 장애물들도 존재합니다. 저자는 기술을 노트 초안 작성이나 자원 정리와 같은 용도로만 먼저 제한적으로 사용하고, 기술이 상담사의 업무량과 스트레스 수준에 어떤 영향을 미치는지 면밀히 연구한 후에 역할을 확장하는 방식으로 작게 시작할 것을 제안합니다.

궁극적으로, 이 연구는 위기 케어의 미래에 대한 신중하고 구조적인 비전을 제시합니다. 인공지능의 가치는 인간의 직관을 대체하는 능력이 아니라, 상담사가 돕고자 하는 사람들에게 온전히 집중할 수 있도록 방해하는 행정적 부담을 줄여주는 능력에 있다고 주장합니다. 컴퓨터가 할 수 있는 일과 인간만이 결정할 수 있는 일 사이에 명확한 경계를 설정함으로써, 이 프레임워크는 호출자와 상담사 모두를 보호하고자 합니다. 기술의 가장 효과적인 사용법은 세부 사항을 처리하는 안정적이고 신뢰할 수 있는 파트너로서 기능하여, 인간 전문가가 생명을 구하는 복잡하고 공감 어린 결정적인 과업에 전념할 수 있도록 하는 것이라고 제안합니다.