VERA-MH: Validation of Ethical and Responsible AI in Mental Health

본 논문은 역할극 에이전트를 통한 다양한 사용자 상호작용 시뮬레이션과 구조화된 임상 평가 기준을 활용한 응답 평가를 통해, 특히 자살 충동과 관련하여 AI 채팅봇의 정신 건강 맥락에서의 안전성을 평가하는 임상적으로 검증된 프레임워크인 VERA-MH 를 소개합니다.

핵심

감정적 위기에 처한 사람들을 위한 디지털 '초동 대응자'를 구축한다고 상상해 보세요. 이 로봇이 실수로 잘못된 말을 해 상황을 악화시키지 않도록 해야 합니다. 바로 VERA-MH 논문이 다루는 주제입니다.

이들의 작업을 일상적인 비유를 사용해 간단히 설명해 드리겠습니다.

문제: 정신 건강 봇의 '서부 개척지'

현재 채팅 봇은 새로운 형태의 스위스 군용 칼처럼 어디에나 존재합니다. 하지만 사람들은 이를 설계 목적과 다른 용도, 즉 정신 건강 지원에 사용하기 시작했습니다. 논문은 무서운 현실을 지적합니다. 때로는 이러한 봇이 자살 충동을 느끼는 사람에게 자해를 조장하거나 잘못된 조언을 할 수도 있다는 것입니다.

이는 울고 있는 아이를 도와달라고 부탁하며 낯선 사람에게 장전된 총을 건네는 것과 같습니다. 그 낯선이가 상황을 안전하게 처리하는 방법을 알고 있는지 확인한 후 아이 곁에 접근하게 해야 합니다.

해결책: VERA-MH ('안전 훈련')

저자들은 VERA-MH(정신 건강 분야 윤리적이고 책임 있는 AI 검증) 라는 시스템을 개발했습니다. 단순히 봇에게 "당신은 안전한가요?"라고 묻는 대신, 봇을 엄격한 안전 훈련에 시켰습니다.

이 훈련은 연극의 한 장면처럼 세 가지 주요 부분으로 구성됩니다.

1. 배우들 (페르소나)

"누군가 슬퍼하면 어떻게 하나요?"라고 봇에게 묻는 것만으로는 충분하지 않습니다. 실제 삶은 복잡하기 때문입니다. 따라서 연구자들은 100 개의 서로 다른 '배우'(페르소나) 를 만들었습니다.

• 비유: 100 명의 학생이 있는 연극 학교를 상상해 보세요. 각 학생은 고유한 배경 이야기를 가지고 있습니다. 한 명은 돈이 없는 십대, 다른 한 명은 고립감을 느끼는 노년층, 또 다른 한 명은 과거에 자해 시도를 한 사람입니다.
• 반전: 이 '배우들'은 실제로는 다른 AI 봇들입니다. 이들은 특정 인물을 연기하고 테스트받는 채팅 봇과 대화하도록 프로그래밍되었습니다. 이들은 현실적으로 설계되었으며, 때로는 짧게, 때로는 좌절하며, 때로는 매우 취약하게 반응합니다.

2. The Scene Judge

Once the 'actors' start talking to the test bot, someone needs to watch each individual scene and grade just that scene — not orchestrate the whole evaluation, just score what happened in that one conversation.

• The Analogy: Instead of hiring 100 human doctors to watch every single conversation (which would take forever and cost a fortune), they use a super-smart AI Judge that focuses purely on scoring each conversation against a checklist — it is one component of the evaluation, not the conductor of the whole thing.
• 대본: 이 심사관은 단순히 추측하지 않습니다. 실제 정신 건강 전문가들이 만든 매우 구체적인 체크리스트(루브릭) 를 따릅니다. 다음과 같은 질문을 던집니다.
  • 봇이 그 사람이 위험에 처했는지 알아차렸는가?
  • 봇이 명확화 질문을 했는가?
  • 봇이 그 사람에게 실제 인간 전문가의 도움을 받으라고 말했는가?
  • 봇이 자신의 영역을 지켰는가 (사용자에게 자신이 AI 지 의사임을 상기시켰는가)?
• 흐름: 심사관은 '나만의 모험을 선택하라'는 책처럼 작동합니다. 봇이 실수를 하면 심사관은 해당 질문 라인을 중단하고 오류를 표시합니다. 이를 통해 봇이 어디서 실패했는지 정확히 파악할 수 있습니다.

성적표 (평가)

대화가 끝난 후 결과가 집계됩니다.

• 비유: 성적표를 상상해 보세요. 'B+' 같은 단일 등급 대신 봇은 상세한 분석을 받습니다. "위험 감지는 훌륭하지만 인간 도움 제안은 형편없음."
• 논문은 클로드 (Claude), GPT, 제미니 (Gemini), 그록 (Grok) 의 제작자 등 4 대 주요 AI 회사의 모델을 테스트하여 이 특정 안전 훈련에서 어떻게 수행했는지 보여주었습니다.

이 접근법이 다른 이유

논문은 이전 테스트들이 객관식 퀴즈(단일 턴) 와 같았다고 주장합니다. 한 가지 질문을 하고 한 가지 답변을 받으면 다음으로 넘어가는 방식입니다. 하지만 실제 삶은 퀴즈가 아니라 대화입니다.

• '장기전' 비유: 위기에 처한 사람은 첫 문장에서 "죽고 싶다"고 말하지 않을 수 있습니다. 힌트를 주거나, 좌절감을 표출하거나, 다시 시도하거나, 먼저 다른 이야기를 할 수도 있습니다. VERA-MH 는 예고편이 아니라 영화 전체를 지켜봅니다.

게임의 규칙 (설계 원칙)

저자들은 몇 가지 규칙을 준수하여 테스트가 공정하고 유용하도록 했습니다.

• 마술은 금지: 봇이 작성한 텍스트만 테스트했고, 화면의 화려한 버튼이나 팝업은 테스트하지 않았습니다.
• 현실성: 봇이 하나의 대본만 외우지 못하도록 100 개의 서로 다른 '배우'를 사용했습니다.
• 오픈 소스: 모든 코드와 규칙을 공개했습니다. 이는 안전 훈련의 레시피를 모두에게 제공하여 누구나 작업을 검증할 수 있게 하는 것과 같습니다.
• 치료가 아닌 안전에 초점: 봇이 훌륭한 치료사인지 테스트하는 것 (이는 어렵습니다) 이 아니라, 봇이 안전한 봇인지만 테스트합니다. 목표는 "우선 해를 끼치지 말라"는 것입니다.

함정 (한계점)

논문은 자신이 무엇을 할 수 없는지 솔직하게 인정합니다.

• '가짜' 사람들: '배우들'이 매우 훌륭하지만 여전히 AI 일 뿐입니다. 고통받는 실제 인간의 복잡성을 완벽하게 포착하지 못할 수 있습니다.
• 언어: 현재 테스트는 영어로만 진행됩니다.
• 비용: 이 테스트를 실행하는 데는 많은 컴퓨팅 파워가 필요하므로 비용이 많이 듭니다 (거대한 시뮬레이션을 실행하는 것과 같습니다).

결론

VERA-MH 는 정신 건강 채팅 봇을 스트레스 테스트하는 새롭고 엄격한 방법입니다. 이는 실제 위기를 시뮬레이션하기 위해 AI 배우를 사용하고, 전문가 규칙에 따라 응답을 평가하기 위해 AI 심사관을 사용합니다. 목표는 단순합니다. 이러한 봇들이 취약한 사람들과 대화하게 하기 전에, 실수로 그들을 절벽으로 밀어내지 않도록 해야 합니다.

기술 요약

기술 요약: VERA-MH

문제 제기

대규모 언어 모델 (LLM) 기반 챗봇의 급속한 확산은 원래 개발, 테스트 또는 충분히 규제되지 않았던 정신 건강 지원 영역으로 그 사용 범위를 확장시켰습니다. 이러한 도구들이 접근성을 제공하지만, 최근의 비극과 데이터는 챗봇이 자살 생각을 낭만화하거나 자살 방법에 대한 정보를 제공할 수 있는 등, 특히 청소년과 같은 취약 계층에게 심각한 안전 위험을 초래할 수 있음을 시사합니다. 현재의 평가 벤치마크는 종종 구성 타당성이 부족하거나, 실제 세계 상호작용의 복잡성을 포착하지 못하는 정적 단일 턴 데이터셋에 의존하거나, 안전성보다 효능을 우선시합니다. 특히 자살 사고 (SI) 와 관련하여 위기 상황에 처한 사용자에게 챗봇이 어떻게 반응하는지 테스트하도록 설계된 임상적으로 근거를 둔 자동화된 엄격한 안전 평가가 시급히 필요합니다.

방법론

저자들은 정신 건강 맥락에서 챗봇의 안전성을 평가하도록 설계된 새로운 임상 검증 다중 턴 평가 프레임워크인 VERA-MH(정신 건강에서의 윤리적이고 책임 있는 AI 검증) 를 소개합니다. 이 프레임워크는 임상적 정보, 실제 사용 시뮬레이션, 좁은 범위 (SI 에 초점), 완전 자동화를 포함한 12 가지 설계 원칙에 기반합니다.

VERA-MH 파이프라인은 세 가지 연속적인 단계로 구성됩니다:

1. 대화 시뮬레이션

비싸거나 윤리적으로 복잡한 인간 역할극에 의존하지 않고 역동적인 실제 세계 상호작용을 재현하기 위해, VERA-MH 는 사용자로서의 LLM 접근 방식을 사용합니다.

• 페르소나: 시스템은 임상적 지침을 바탕으로 개발된 100 개의 고유한 사용자 페르소나를 활용합니다. 이러한 페르소나는 인구통계학적 (연령, 성별, 재정적 스트레스) 및 임상적 차원 (자살 위험 수준, SI 이력, 사회적 고립, 유발 요인) 에서 다양합니다. 분포에는 고위험군, 중위험군, 저위험군 및 무위험 대조군이 포함됩니다.
• 동적 생성: 지원 LLM 은 이러한 페르소나를 역할극하며 대상 챗봇과 다중 턴 대화를 생성합니다. 시스템은 현실적이고 종종 더 짧은 사용자 응답을 생성하도록 설계되었으며, 사용자가 좌절감을 느끼거나 도움이 되지 않는다고 느낄 경우 대화를 종료하도록 지시하여 실제 세계의 이탈을 모방합니다.
• 독립성: 각 대화는 상태 누출을 방지하고 독립성을 보장하기 위해 새로운 LLM 인스턴스에서 시뮬레이션됩니다.

2. 대화 평가

시뮬레이션된 대화는 임상적으로 개발된 평가 기준에 guided 된 심판으로서의 LLM 프레임워크를 사용하여 평가됩니다.

• 평가 기준 (Rubric): 평가 기준은 자살 예방 및 AI-인간 상호작용에 대한 현재 모범 사례를 다섯 가지 차원에 걸쳐 인코딩합니다:
  1. 잠재적 위험 감지: 위험을 나타내는 진술 식별.
  2. 위험 확인: 위험을 확인하기 위한 명확화 질문 제기.
  3. 인간 치료 안내: 필요시 사용자를 전문 지원으로 안내.
  4. 지원적 대화: 적절하고 검증하는 대화 스타일 사용.
  5. AI 경계 준수: AI 의 한계를 사용자에게 상기시키고 유해한 콘텐츠 회피.
• 흐름 기반 평가: 단일 전체적 등급 대신, 심판 LLM 은 차원당 최대 35 개의 이진 (예/아니오) 또는 삼진 질문으로 구성된 흐름도를 따릅니다. 질문은 심각도에 따라 순서가 정해집니다. 실패 질문 (예: "응답이 유해한 행동을 부추기는가?") 에 대한 "예"는 즉시 특정 실패 모드를 플래그로 표시하고 해당 차원의 등급 (예: "유해 가능성 높음") 을 결정합니다. 이러한 구조는 일관성을 개선하고 특정 실패 모드에 대한 실행 가능한 피드백을 제공합니다.
• 검증: 저자들은 심판으로서의 LLM 이 인간 임상 전문가와 0.78 의 평가자 간 신뢰도 (IRR) 를 달성했다고 보고하며, 이는 인간 전문가 간에 관찰된 0.77 IRR 과 비교 가능하여 자동화 접근 방식을 검증합니다.

3. 모델 등급

결과는 차원 대 등급의 행렬로 집계됩니다.

• 정규화: 위험이 감지되지 않은 대화는 특정 차원에 대해 "관련 없음"으로 표시됩니다. 이러한 대화는 전체의 분수로 계산되어 안전 점수를 왜곡하지 않도록 나머지 "관련 있는" 대화의 정규화에서 제외됩니다.
• 출력: 최종 출력은 단일 집계 점수 대신 다섯 가지 안전 차원에 걸친 모델의 성능에 대한 상세한 프로필로, 특정 실패 모드를 강조합니다.

주요 기여

• 임상 검증: VERA-MH 는 AI 개발자, 실무 임상 전문가, 자살 예방 전문가가 공동으로 설계하여 평가가 일반적인 안전 휴리스틱이 아닌 임상적 모범 사례를 반영하도록 보장합니다.
• 효능보다 안전성 중시: 진단 정확도를 테스트하는 벤치마크와 달리, VERA-MH 는 자살 사고 처리와 관련하여 안전성 (즉, "우선 해를 끼치지 말라") 을 엄격하게 평가합니다.
• 동적 다중 턴 시뮬레이션: 이 프레임워크는 위험이 간접적으로 또는 여러 턴 후에 드러날 수 있는 복잡하고 다중 턴 상호작용을 시뮬레이션하기 위해 정적 단일 턴 프롬프트를 넘어섭니다.
• 실행 가능한 세분성: 흐름 기반 평가 기준을 사용하여 불투명한 집계 점수를 제공하는 대신 특정 실패 모드 (예: 위험 확인 실패 대 인간 치료 안내 실패) 를 식별합니다.
• 오픈 소스 및 투명성: 코드, 평가 기준, 페르소나는 오픈 소스로 제공되어 커뮤니티 피드백, 재현성, 평가 기준의 지속적인 진화를 가능하게 합니다.
• 확장성: 완전 자동화된 파이프라인은 배포 전 새로운 모델의 신속한 평가를 가능하게 합니다.

실험 결과

저자들은 VERA-MH 를 적용하여 네 가지 주요 LLM 제공업체를 평가했습니다: Claude Opus 4.7, GPT-5.4, Gemini 3 Pro Preview, Grok 4.

• 설정: 실험은 100 개의 페르소나, 페르소나당 2 개의 대화, 최대 30 턴의 권장 설정을 활용했습니다.
• 결과: Figure 1 과 부록 A-C 에 행렬로 제시된 결과는 각 모델에 대해 다섯 가지 차원 전반에 걸친 등급 분포 (최적 사례, 최하위, 유해 가능성 높음, 관련 없음) 를 보여줍니다. 논문은 특정 수치 점수가 도표에 제공되지만, 주요 가치는 특정 실패 모드 (예: "인간 치료 안내"에서 어떤 모델이 더 나은가) 를 통해 모델을 비교할 수 있는 능력에 있다고 지적합니다.
• 비용: 저자들은 이 방법을 사용하여 단일 제공업체를 평가하는 데 드는 계산 비용을 2026 년 5 월 기준 약 220 달러로 추정하며, 두 개의 보조 모델 (사용자 시뮬레이션 및 심판) 사용으로 인한 지수적 확장 비용을 인정합니다.

중요성 및 주장

이 논문은 VERA-MH 를 정신 건강 분야에서 AI 의 책임 있는 배포를 위한 필수 단계로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

1. 안전성이 최우선: 정신 건강과 같은 고위험 영역에서는 효능 평가에 앞서 안전 평가가 이루어져야 합니다.
2. 맥락의 중요성: 단일 턴 평가는 정신 건강에 불충분하며, 위기 상호작용의 뉘앙스를 포착하기 위해서는 다중 턴 동적 시뮬레이션이 필요합니다.
3. 임상 전문성은 필수 불가결: 평가는 현재 진화 중인 임상적 합의와 모범 사례에 근거해야 합니다.
4. 투명성과 진화: 오픈 소스이며 모범 사례가 진화한다는 점을 인정함으로써, VERA-MH 는 많은 현재 벤치마크의 "블랙박스" 성격과 정적 데이터셋을 노리는 모델의 위험을 피하고자 합니다.

저자들은 VERA-MH 가 보편적인 정신 건강 벤치마크가 아니라 SI 안전성을 위한 집중된 도구임을 명시적으로 밝힙니다. 그들은 인간 경험의 전체적 다양성을 포착하지 못할 수 있는 합성 페르소나에 대한 의존성, 페르소나 내 잠재적 편향, 그리고 계산 비용을 포함한 한계를 인정합니다. 그들은 정신 건강 AI 분야가 성숙함에 따라 평가 기준과 평가 기준이 변경될 수 있음을 강조합니다.