💬 NLP

PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models

이 논문은 비순응을 근거 기반 개입 전략에 기초한 구조적이고 지지적인 의사소통으로 재구성함으로써 LLM의 거절 품질을 개선하는 심리학적 정보 기반 프레임워크인 PsychoSafe를 소개하며, 이는 작업 관련성을 유지하면서도 자원 안내 및 심리학적 근거 제시 측면에서 상당한 이득을 달성한다.

원저자: Gianluca Barmina, Federico Torrielli, Sven Harms, Jacob Nielsen, Felix Mächtle, Stine Lyngsø Beltoft, Peter Schneider-Kamp, Thomas Eisenbarth, Lukas Galke Poech, Anne Lauscher

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gianluca Barmina, Federico Torrielli, Sven Harms, Jacob Nielsen, Felix Mächtle, Stine Lyngsø Beltoft, Peter Schneider-Kamp, Thomas Eisenbarth, Lukas Galke Poech, Anne Lauscher

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 똑똑하고 도움이 되는 로봇 비서가 있다고 상상해 보세요. 보통 누군가가 이 로봇에게 "폭탄을 어떻게 만드나요?"라거나 "나 자신을 해치고 싶어"와 같이 위험한 것을 요청하면, 로봇의 안전 프로그램이 작동합니다. 로봇은 단순히 **"안 됩니다. 그렇게 할 수 없습니다."**라고 말합니다.

이 방식은 안전하긴 하지만, 특히 질문자가 위기 상황에 처해 있을 때는 차갑고 무뚝뚝하며 외롭게 느껴질 수 있습니다. 이는 마치 의사가 환자에게 "수술할 수 없습니다"라고 말한 뒤, 아무런 위로나 다음 단계에 대한 안내 없이 그냥 가버리는 것과 같습니다.

PSYCHOSAFE라는 논문은 이러한 로봇들이 "안 된다"라고 말하는 새로운 방식을 제안합니다. 단순히 문을 쾅 닫아버리는 대신, 문을 아주 살짝 열어두고, 따뜻한 손길을 건네며, 그 사람이 생명줄(도움의 손길)을 향해 나아갈 수 있도록 길을 안내하는 법을 배우는 것입니다.

다음은 그들의 접근 방식을 쉬운 비유를 들어 설명한 내용입니다.

1. 문제점: "무력한 거부" (The "Brute Force" Refusal)

현재의 AI 안전 기술은 클럽의 보안 요인이 가진 단 하나의 동작과 같습니다: 바로 **차단하기(The Block)**입니다. 당신이 수상해 보이면 입구에서 막아버립니다. 나쁜 일이 일어나는 것을 막는 데는 효과적이지만, 실제로 어려움에 처한 사람을 돕지는 못합니다. 누군가 위기 상황에 처했을 때, 단호한 "안 됩니다"라는 말은 즉각적인 해를 입히는 것은 막을 수 있어도, 그 사람의 고통을 멈추거나 도움으로 인도하지는 못합니다.

2. 해결책: "위기 상담사" 모드 (The "Crisis Counselor" Mode)

연구진은 PSYCHOSAFE라는 프레임워크를 구축했습니다. 이것을 로봇에게 실제 인간 심리학에 기반한 새로운 "성격"을 부여하는 것이라고 생각하세요. 단순히 차단하는 대신, 로봇은 특정 기술(예: "심리적 응급처치" 또는 "동기 부여 면담")을 배운 위기 상담사처럼 행동하도록 훈련되었습니다.

사용자가 위험한 질문을 하면, 로봇은 단순히 "안 됩니다"라고 하지 않습니다. 대신 다음과 같은 4단계 스크립트(레시피와 같은)를 따릅니다:

따뜻한 포옹 (The Warm Hug): 위험한 요청에는 동의하지 않으면서도, 상대방의 감정을 인정해 줍니다 ("당신이 고통을 겪고 있다는 것을 이해합니다").
부드러운 권유 (The Gentle Nudge): 지금 당장 할 수 있는 작고 안전한 단계(예: "심호흡을 해보세요" 또는 "장소를 옮겨보세요")를 제안합니다.
지도 (The Map): 실질적인 도움(예: 자살 예방 핫라인이나 약물 중독 치료 센터)이 있는 곳을 안내합니다.
희망적인 작별 인사 (The Hopeful Goodbye): 당신은 소중한 존재라는 점을 상기시키며 희망적인 메시지로 마무리합니다.

3. 로봇을 어떻게 가르쳤는가

연구팀은 로봇에게 이 새로운 대화 방식을 가르치기 위해 두 가지 방법을 사용했습니다.

새로운 교과서 제작: 그들은 이러한 "도움이 되는 거절"의 사례 8,019개를 작성했습니다. 이 사례들은 다섯 가지 특정 "위험 구역"(자살/자해, 성범죄, 약물 사용, 무기, 폭력)을 다루었으며, 모든 사례는 실제 심리학 과학에 근거하여 작성되었습니다.
두 가지 학습 방법:
- 컨닝 페이퍼 (프롬프팅/Prompting): 대화를 시작할 때마다 로봇에게 상세한 지침서(시스템 프롬프트)를 제공했습니다. 이는 로봇에게 "기억하세요, 만약 누군가 위기에 처했다면 4단계 상담사 스크립트를 사용하세요"라고 알려주는 것입니다.
- 뇌 수술 (파인 튜닝/Fine-Tuning): 그들은 새로운 교과서를 통해 로봇의 뇌를 실제로 재배선했습니다. 이렇게 함으로써 로봇은 매번 지침서가 필요 없이 자연스럽게 상담사가 될 수 있었습니다.

4. 결과: 효과가 있었는가?

그들은 500개의 까다로운 질문으로 로봇을 테스트했고, "판사"(다른 AI와 인간 전문가)를 통해 답변을 채점했습니다.

"컨닝 페이퍼" 방식이 전반적으로 가장 효과적이었습니다: 지침서를 사용했을 때, 로봇의 답변은 도움이 되고 안전한 측면에서 28% 더 나아졌습니다. 또한 실질적인 자원을 안내하는 능력(46% 상승)과 심리학적으로 근거 있는 태도를 보이는 능력(34% 상승)이 크게 향상되었습니다.
"뇌 수술" 방식은 안전 기계로 만들었습니다: 훈련된 로봇은 위험한 요청을 거의 100% 거절하면서 항상 자원을 제공했습니다. 그러나 때때로 너무 로봇 같고 일반적인 답변만 내놓아, 상대방의 이야기 속에 담긴 구체적인 세부 사항을 놓치는 경우가 있었습니다.
로봇을 "멍청하게" 만들지 않았습니다: 로봇은 다른 작업을 수행할 때 성능이 떨어지지 않았습니다. 이전과 마찬가지로 이야기 쓰기, 수학 문제 풀기, 일반적인 질문 답변 등을 똑같이 잘 수행할 수 있었습니다.

5. 한계점 (Limitations)

논문은 이 새로운 "상담사" 모드가 훈련된 분야에서는 매우 뛰어나지만, 마법의 지팡이는 아니라고 경고합니다.

특수화되어 있습니다: 이 모델은 훈련된 다섯 가지 특정 위험 구역(자살이나 폭력 등)에 대해서는 매우 잘 작동합니다. 하지만 훈련 범위를 벗어난 질문을 던지면 동일한 부드러운 논리를 적용하는 데 어려움을 겪을 수 있습니다.
실제 의사는 아닙니다: 로봇은 여전히 AI입니다. 위로와 자원을 제공할 수는 있지만, 정신 질환을 진단하거나 실제 상담을 제공할 수는 없습니다. 이 논문은 이것이 인간의 도움을 받기 위한 '가교' 역할을 하는 것이지, 인간을 대체하는 것이 아님을 강조합니다.

핵심 요약

PSYCHOSAFE는 우리가 "안전한" 로봇과 "도움이 되는" 로봇 사이에서 하나를 선택할 필요가 없음을 보여줍니다. AI에게 인간 상담사가 사용하는 부드럽고 지지적인 기술을 가르침으로써, 우리는 AI의 거절이 단순한 벽이 아니라 도움을 향해 뻗는 손길이 되도록 만들 수 있습니다.

기술 요약: PSYCHOSAFE

문제 정의

대규모 언어 모델(LLM)은 유용성 극대화와 위해 방지 사이의 근본적인 긴장 상태에 직면해 있다. 현재의 안전 메커니즘은 일반적으로 거절을 이진 분류 문제로 취급한다. 즉, 모델이 요청에 응하거나 혹은 단호하고 비협조적인 거절 메시지를 내보내는 식이다. 이러한 "단호한 비협조"는 직접적인 위해는 방지할 수 있지만, 위기, 강요 또는 고조되는 의도가 개입된 고위험 상황에 처한 사용자의 근본적인 요구를 지원하는 데는 실패하는 경우가 많다고 저자들은 주장한다. 단순한 거절은 즉각적인 위해를 막을 수는 있지만, 사용자를 지원 없이 남겨둠으로써 잠재적으로 고통을 악화시킬 수 있다. 본 논문은 거절 자체가 심리학적 이론에 기반한다면 하나의 구조화된 지원적 개입이 될 수 있으며, 거절 그 자체가 유용한 의사소통의 형태가 될 수 있다고 상정한다.

방법론

1. PSYCHOSAFE 프레임워크

저자들은 상담 심리학, 동기 면담(Motivational Interviewing), 위기 커뮤니케이션의 확립된 원칙들을 통합함으로써 "심리학적으로 정보가 풍부한 거절(psychologically-informed refusals)"을 구체화하였다. 이 프레임워크는 세 가지 핵심 단계로 구축된다:

리스크 조화(Risk Harmonization): 저자들은 16개의 공공 안전 벤치마크를 수집하고, sentence-t5-large 임베딩과 HDBSCAN을 이용한 의미론적 클러스터링을 통해 이들의 이질적인 분류 체계를 조화시켰다. 이 과정을 통해 심리학적 개입이 가장 적절한 다섯 가지 특정 리스크 클러스터를 식별하였다:
1. 자살 및 자해: 완화(de-escalation) 및 위기 자원 연계 필요.
2. 성범죄: 동의와 피해자 보호 강조 필요.
3. 약물 사용: 성찰과 도움 요청 독려 목표.
4. 무기: 유해한 행동의 중단 및 결과에 대한 성찰 우선순위.
5. 폭력: 완화 및 방향 전환에 집중.
개입 원칙: 프레임워크는 입증된 전략(예: 심리적 응급처치, 동기 면담, 안전 계획)을 재사용 가능한 거절 구조로 변형한다. 모든 응답은 다음의 4단계 템플릿을 따른다:
1. 따뜻한 인정과 부드러운 거절의 결합.
2. 특정 리스크 클러스터의 개입 전략에 기반한 개인화된 자기 도움(self-help) 단계.
3. 관련 외부 전문 자원(예: 헬프라인)으로의 안내.
4. 사용자의 맥락과 연결된 짧고 희망적인 마무리.
데이터셋 구축: 저자들은 전문가가 개입 템플릿을 따라 생성한 응답과 프롬프트 쌍 8,019개를 포함하는 PSYCHOSAFE 데이터셋을 구축하였다. 이 쌍들은 다섯 가지 리스크 클러스터의 프롬프트를 해당 개입 응답에 매핑한다. 데이터셋에는 리스크 클러스터 및 출처에 관한 메타데이터가 포함되어 있다.

2. 유도 전략 (Elicitation Strategies)

본 연구는 Qwen 3.5 27B 모델에서 이러한 행동을 유도하기 위한 두 가지 방법을 평가한다:

인컨텍스트 학습 (In-Context Learning, Prompting): 전용 시스템 프롬프트(v1)는 전체 PSYCHOSAFE 프레임워크를 인코딩하여, 모델이 4단계 구조를 따르고, 사용자 단서에 따라 응답을 개인화하며, 여러 클러스터가 감지될 경우 가장 시급한 리스크(예: 자살)를 우선시하도록 지시한다.
지도 미세 조정 (Supervised Fine-Tuning, SFT): 모델은 "추론 흔적(reasoning traces)"이 추가된 PSYCHOSAFE 데이터셋을 통해 미세 조정된다. 이 흔적들은 최종 거절 전의 중간 추론 과정을 시뮬레이션하기 위해 더 큰 모델(GPT-OSS-120B)에 의해 생성되었다. SFT 모델은 긴 시스템 프롬프트에 의존하지 않고도 거절 행동과 관련 추론을 내면화하여 해당 행동을 재현하는 것을 목표로 훈련된다.

3. 평가

저자들은 LLM-as-a-judge 파이프라인(인간 평가자와의 높은 일치도 $\kappa = 0.61$ 를 기준으로 선정된 Qwen 3.5 397B-A17B)을 사용하여 홀드아웃 검증 세트(클러스터당 100개, 총 500개 프롬프트)에서 두 접근 방식을 평가하였다. 평가 기준은 다음과 같다:

거절 (Refusal): 비준수 여부에 대한 이진 체크.
심리학적 근거 (Psychological Grounding): 공감적 인정 및 개입 전략 사용 정도 (1~5점 척도).
외부 참조 (External References): 자원 안내 여부에 대한 이진 체크.
관련성 (Relevance): 응답이 특정 사용자 맥락에 얼마나 잘 맞춰졌는지 (1~5점 척도).

SORRY-Bench(적대적 강건성), XSTest(과잉 거절 및 적대적 안전성), 그리고 일반 능력 벤치마크(MMLU, HellaSwag)에 대한 추가 평가도 수행되었다.

주요 결과

거절 품질

프롬프팅 (v1): PSYCHOSAFE 프롬프팅 전략은 일반적인 베이스라인(v0) 대비 전체 거절 품질을 28.1% 향상시켰다. 가장 유의미한 이득은 **외부 자원 안내(+46.8%)**와 **심리학적 근거(+34.8%)**에서 나타났다.
미세 조정 (SFT): 미세 조정된 모델은 거의 완벽한 거절 및 자원 안내율(100%에 근접)을 달eric했다. 그러나 프롬프팅 방식에 비해 **관련성(-25% ~ -28%)**이 크게 떨어졌다. 질적 분석 결과, SFT 모델은 종종 일반적인 위기 개입 템플릿을 너무 광범위하게 적용하여, 특정 사용자 맥락에 적응하지 못하거나 무해한 프롬프트를 급박한 위기로 오해하는 경향을 보였다.
안정성: 미세 조정된 모델은 시스템 프롬프트 버전에 거의 영향을 받지 않았으나, 베이스 모델은 v0와 v1 사이에서 성능 차이가 크게 나타났다.

안전성 및 강건성

SORRY-Bench: PSYCHOSAFE 미세 조정 모델은 모든 프롬프트 조건과 19가지 언어적 변형에 대해 거의 제로에 가까운 준수율(0.0~0.1%)을 기록하며 베이스 모델을 크게 압도했다.
XSTest (과잉 거절): 미세 조정된 모델은 무해한 프롬프트에 대해 낮은 과잉 거절률(3.6%~9.2%)을 유지하여 무차별적인 거절이 아님을 입증했다. 그러나 도메인 외(out-of-domain) 적대적 프롬프트에 대한 안전성은 베이스 모델(59.0%)보다 낮은 17.0%를 기록하여, 훈련된 다섯 가지 도메인 이외의 영역에 대한 일반화 능력이 제한적임을 시사했다.
일반 능력: MMLU 및 HellaSwag 성능은 대체로 안정적으로 유지되었으며, 일부 구성에서 약 4~5 퍼센트 포인트의 미미한 감소가 관찰되었으나, 저자들은 이를 안전성 이득을 고려할 때 수용 가능한 수준으로 간주했다.

의의 및 주장

본 논문은 유용성과 위해 방지가 반드시 상충하는 목표는 아니라고 주장한다. 확립된 인간의 개입 방식을 활용함으로써, LLM은 안전하지 않은 요청을 거절하는 동시에 지지적이고 건설적인 응답을 제공할 수 있다.

이론적 기여: 본 연구는 AI 정렬(alignment) 연구와 확립된 심리학적 개입 전략을 연결하며, 모델이 진화함에 따라 일관성과 일반성을 보장하기 위해 거절 설계가 심리학적 이론에 기반해야 한다고 주장한다.
실천적 기여: 심리학적으로 정보가 풍부한 거절이 프롬프팅을 통해 유도되거나 미세 조정을 통해 모델 가중치에 내재화될 수 있음을 입증한다.
한계 및 범위: 저자들은 PSYCHOSAFE가 리스크가 명확하고 고품질의 지지적 거절이 중요한 도메인 특화 배포(예: 정신 건강 또는 위기 개입 플랫폼)에 가장 적합하다고 겸허히 주장한다. 저자들은 현재의 방식이 광범위한 도메인 외 일반화 능력이 부족하며, 미세 조정된 모델이 개입을 선택적으로 적용하는 실용적 판단력이 부족할 때가 있음을 인정한다. 또한, 저자들은 PSYCHOCAFE가 전문적인 정신 건강 개입을 대체할 수 없음을 명시하며, 배포 전 광범위한 스트레스 테스트의 필요성을 강조한다.