Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses

이 논문은 UTCO 프레임워크를 활용해 정신 건강 관련 LLM 응답에서 환각과 누락 위험 요인을 분석한 결과, 문맥과 어조가 실패와 가장 밀접하게 연관되어 있으며 누락이 위기 상황 응답에서 주요 안전 문제로 나타났음을 밝혔습니다.

핵심

이 논문은 **"정신 건강을 위해 AI(챗봇) 에게 도움을 요청할 때, AI 가 실수하는 이유"**를 파헤친 연구입니다.

마치 정신 건강 상담을 도와주는 AI 가 '가상 환자' 2,000 명 이상과 대화를 나누고, 그 대화에서 어떤 실수가 자주 일어났는지 분석한 보고서라고 생각하시면 됩니다.

이 연구의 핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 연구의 배경: 왜 이 연구가 필요할까요?

우리가 병원에 가지 않고도 스마트폰으로 "지금이 너무 힘들어요, 어떻게 해야 할까요?"라고 AI 에게 물어볼 때가 많습니다. 하지만 AI 가 틀린 정보를 말해주거나 (환각, Hallucination), 정말 필요한 안전 조언을 빼먹는 (생략, Omission) 경우가 있습니다.

기존 연구들은 AI 를 시험할 때 너무 짧고 깔끔한 질문만 던졌습니다. 마치 **"수학 문제를 풀 때, 복잡한 상황 설명 없이 숫자만 주고 답을 맞히게 하는 것"**과 비슷합니다. 하지만 실제 사람들은 고통스러울 때 길고 복잡한 이야기, 감정이 섞인 문장을 쓰죠. 이 연구는 **"실제 사람이 겪는 복잡한 상황"**을 AI 에게 던져보며 실수를 찾아냈습니다.

2. 실험 도구: 'UTCO'라는 레고 블록

연구팀은 질문을 4 가지 레고 블록으로 나누어 실험했습니다.

• U (User, 사용자): 누구인가? (예: 20 대 여성, 부모님, 이직 중인 직장인 등)
• T (Topic, 주제): 무슨 문제인가? (예: 우울증, 자살 생각, 불안 등)
• C (Context, 상황): 어떤 상황인가? (예: "지난 3 주 동안 밤마다 울고 있어요" 같은 구체적인 이야기)
• O (Tone, 어조): 어떤 감정인가? (예: 절망적, 화난, 당황한, 감사한 등)

이 4 가지 블록을 섞어서 2,075 개의 다양한 질문을 만들어 AI 에게 던졌습니다.

3. 주요 발견: AI 가 실수하는 두 가지 패턴

① '환각 (Hallucination)': AI 가 헛소리를 할 때

• 비유: AI 가 창의력이 넘치는 소설가가 되어, 사실과 다른 약 이름이나 치료법을 지어내는 경우입니다.
• 원인: 질문이 너무 길고, 실제 사람이 쓴 것처럼 복잡한 이야기일수록 AI 가 헛소리를 할 확률이 높았습니다. 특히 "혼란스러움 (Confused)"이라는 어조가 섞이면 더 자주 일어났습니다.

② '생략 (Omission)': AI 가 중요한 말을 잊을 때 (더 위험함!)

• 비유: AI 가 친절한 친구처럼 위로는 해주지만, "자살 생각이 든다면 즉시 119 를 부르세요" 같은 생명을 구할 핵심 정보를 깜빡하는 경우입니다.
• 발견: 이 연구에서 가장 놀라운 점은 실수가 '헛소리'보다 '생략'이 훨씬 더 많았다는 것입니다 (6.5% vs 13.2%).
• 위험한 상황: 특히 **'자살'이나 '위기 상황'**과 관련된 질문에서 AI 는 위로는 잘해주지만, 필요한 안전 조치를 빼먹는 경우가 많았습니다.
• 원인: 사용자가 긴 이야기를 하거나, 절망적이고 불안한 감정을 강하게 표현할 때 AI 는 감정에 치우쳐 "안녕하세요, 힘내세요"라고만 말하고, 구체적인 안전 수칙을 잊어버렸습니다.

4. 가장 중요한 결론: "누가 물어보느냐"보다 "어떻게 물어보느냐"가 중요

많은 사람이 "AI 가 특정 인종이나 성별을 차별하면 실수를 할까?"라고 걱정합니다. 하지만 이 연구는 사용자의 배경 (나이, 성별, 직업 등) 은 실수와 큰 상관이 없었다고 말합니다.

대신 질문의 방식이 모든 것을 결정했습니다.

• 비유: AI 는 비행기 조종사와 같습니다.
  • 조종사가 실수하는 이유는 "어떤 나라 사람인가?"가 아니라, **"비행기 조종실의 상황이 얼마나 복잡하고 혼란스러운가?"**에 달려 있습니다.
  • 질문이 길고 복잡하며 (Context), 감정적으로 격렬할 때 (Tone), AI 는 당황해서 중요한 안전 장치를 놓치거나 엉뚱한 정보를 만들어냅니다.

5. 우리가 배워야 할 점 (해결책)

이 연구는 AI 개발자와 사용자에게 두 가지 중요한 조언을 줍니다.

1. 단순한 테스트는 그만두세요: AI 를 평가할 때 "우울증 치료법은?" 같은 짧은 질문만 던지면 안 됩니다. 실제 사람처럼 긴 이야기와 복잡한 감정이 담긴 질문으로 AI 를 시험해야 (스트레스 테스트) 진짜 위험을 찾을 수 있습니다.
2. 안전이 최우선입니다: AI 가 위로를 해주는 것보다 중요한 안전 정보 (예: 위기 상황 연락처) 를 빼먹지 않는 것이 더 중요합니다. AI 가 "감정적인 이야기"를 들으면, 감정에만 반응하지 않고 **"이건 위험한 신호야, 전문가에게 가자"**라고 자동으로 알려주는 안전 장치가 필요합니다.

요약

이 논문은 **"AI 가 정신 건강 상담을 할 때, 복잡한 이야기와 강한 감정을 표현하는 사람에게 가장 취약하다"**고 경고합니다. AI 가 헛소리를 하는 것보다 중요한救命 정보를 빼먹는 것이 더 위험할 수 있으니, 앞으로는 AI 를 개발할 때 **'안전 정보 누락'**을 가장 먼저 막아야 한다고 말합니다.

기술 요약

논문 요약: 정신 건강 LLM 응답에서의 환각 (Hallucination) 과 누락 (Omission) 을 유발하는 프롬프트 요소별 위험 요인 해부

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 정신 건강 문제는 임상적 환경 밖에서도 빈번하게 발생하며, 고충격 (high-distress) 상황에서의 도움 요청이 증가하고 있습니다. 소비자 건강 정보 시스템은 이러한 요구를 충족하기 위해 대규모 언어 모델 (LLM) 을 도입하고 있습니다.
• 문제점:
  • 기존 LLM 평가는 주로 고정된 벤치마크 질문 세트를 사용하며, 실제 세계의 복잡한 내러티브 (narrative) 와 고충격 상황 (자살 충동, 극심한 불안 등) 을 충분히 반영하지 못합니다.
  • 정신 건강 분야에서 LLM 의 실패는 크게 두 가지로 나뉩니다:
    1. 환각 (Hallucination): 사실과 다른 임상 정보나 허위 치료법을 제시하여 사용자의 안전을 위협함.
    2. 누락 (Omission): 임상적으로 필수적이거나 안전에 중요한 정보 (예: 위기 상황에서의 전문적 도움 권고) 를 제공하지 않는 것. 이는 환각보다 덜 눈에 띄지만, 안전 가이드라인이 부재할 때 더 치명적일 수 있음.
• 연구 목적: 실제 사용 환경과 유사한 프롬프트 구성 요소를 체계적으로 변형하여, 어떤 프롬프트 요소가 LLM 의 환각 및 누락 실패를 유발하는지 규명하는 것.

2. 방법론 (Methodology)

2.1 UTCO 프레임워크 개발

• 연구팀은 프롬프트를 4 가지 제어 가능한 요소로 분해하는 UTCO (User, Topic, Context, Tone) 프레임워크를 제안했습니다.
  • User (U): 사용자 역할, 보호자 관계, 연령, 성별, 인종, 지역, 교육 수준, 고용 상태 등 9 가지 하위 범주.
  • Topic (T): 10 가지 임상 주제 영역 (우울증, 불안, 위기 및 자살 충동 등).
  • Context (C): 상황적 맥락 (자연어 기반의 서사, Reddit/HealingWell 포럼 데이터 및 시나리오 기반).
  • Tone (O): 12 가지 정서적 톤 (불안, 절망, 분노, 긴급/위기 등).
• 데이터 생성: UTCO 조합을 기반으로 GPT-4o 를 사용하여 2,075 개의 1 인칭 질문을 생성했습니다. 임상적/사회적 비현실성을 필터링하기 위해 자동 필터링 및 전문가 검수를 거쳤습니다.

2.2 실험 설정 및 평가

• 대상 모델: 오픈 가중치 모델인 **Llama 3.3 (70B)**을 사용 (재현성 및 투명성 확보).
• 주요 지표: 3 명의 독립적 어노테이터가 환각 (임상적 오류/허위 정보) 과 누락 (필수 안전 정보 부재) 을 이진 (Binary) 지표로 라벨링했습니다.
• 분석 전략:
  1. RQ1 (전역 위험 프로파일링): 그래디언트 부스팅 트리 (Gradient-Boosted Tree) 모델과 SHAP 값을 사용하여 각 UTCO 요소가 실패 위험에 미치는 기여도를 분석.
  2. RQ2 (성향 점수 매칭을 통한 민감도 분석): 3 가지 요소를 고정하고 나머지 1 가지만 변형하여 (Leave-one-out), 특정 요소가 실패에 미치는 인과적 영향을 확인 (Propensity Score Matching).
  3. RQ3 (유사성 매칭 메커니즘 분석): 실패 사례와 매우 유사한 성공 사례 (Cosine distance ≤ 0.15) 를 매칭하여, UTCO 요소로 설명되지 않는 잔여 언어적 트리거 (모호성, 정서적 부하 등) 를 GPT-4o 를 '심판자 (Judge)'로 활용하여 분석.

3. 주요 결과 (Key Results)

3.1 실패 발생률

• 총 2,075 개 응답 중 환각: 6.5% (134 건), 누락: 13.2% (273 건).
• 누락은 특히 '위기 및 자살 충동 (Crisis and Suicidality)' 주제에서 36.2% 로 집중적으로 발생했습니다.
• 환각은 '약물 관련 문제 (Medication-Specific Issues)'에서 10.9% 로 가장 높았습니다.

3.2 위험 요인 분석 (RQ1 & RQ2)

• 사용자 배경 (User) 의 영향: 사용자 배경 (인구통계학적 정보) 을 제외한 다른 요소를 균형 있게 맞춘 후, 사용자 배경 요소만 변화시켜도 실패 위험에 체계적인 차이가 발생하지 않았습니다 (p > 0.05).
• 맥락 (Context) 과 톤 (Tone) 의 영향:
  • 맥락: 실패 사례는 긴 텍스트 길이, 자연어 기반의 서사적 맥락, **높은 가독성 수준 (복잡한 문장 구조)**과 강한 상관관계를 보였습니다.
  • 톤: '절망적 (hopeless)', '불안한 (anxious)', '혼란스러운 (confused)' 등 고충격 (High-distress) 톤이 누락 위험을 크게 증가시켰습니다.
  • 통계적 유의성: 매칭 분석 결과, 실패 사례는 통제된 그룹에 비해 문장 길이, 가독성, 대명사 모호성, 불확실성 표현, 의학 용어 밀도 등에서 유의미하게 높았습니다.

3.3 실패 메커니즘 (RQ3)

• 모호성 (Ambiguity): 환각과 누락 모두에서 가장 심각한 언어적 트리거로 나타났습니다.
• 누락의 특성: 누락 사례는 **정서적 부하 (Emotional Load)**가 더 높았으며, 위기 신호가 명확히 드러나도 안전 가이드라인이 누락되는 경향이 있었습니다.
• 환각의 특성: 환각은 임상적 제약 (Clinical Constraints) 의 부재와 밀접한 관련이 있어, 모델이 불확실한 정보를 채우기 위해 허위 정보를 생성하는 경향이 있었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 누락 (Omission) 을 주요 안전 지표로 재정의: 기존 연구가 환각에 집중했던 반면, 본 연구는 정신 건강 분야에서 누락이 더 빈번하고 치명적일 수 있음을 입증했습니다. 특히 위기 상황에서 안전 가이드라인이 누락되는 것은 사용자에게 심각한 위험을 초래하므로, 평가 시 환각과 동등하게 다뤄야 함을 강조합니다.
2. UTCO 프레임워크의 유효성 입증: 고정된 벤치마크 질문 대신, 사용자, 주제, 맥락, 톤을 체계적으로 변형하는 프레임워크가 실제 세계의 복잡한 도움 요청을 평가하는 데 필수적임을 보였습니다.
3. 프롬프트 요소별 위험 해부:
   • 사용자 배경보다는 프롬프트 표현 방식이 중요함: 사용자의 인구통계학적 정보보다는 **질문의 서사적 구조 (긴 맥락, 복잡한 문장)**와 **정서적 톤 (고충격)**이 LLM 실패를 더 강력하게 예측합니다.
   • 실제 세계 시나리오의 중요성: 짧은 질문보다는 긴 내러티브와 모호한 표현이 포함된 실제적인 프롬프트에서 실패율이 높게 나타났습니다.
4. 실무적 시사점:
   • 평가 프로토콜 개선: 단순한 벤치마크 대신, 맥락 길이와 정서적 톤을 변형하는 '스트레스 테스트'를 도입해야 합니다.
   • 완화 전략: 고충격 또는 모호한 프롬프트가 입력될 때, 모델이 직접적인 안전 정보를 생성하지 못하도록 구조화된 안전 정보 보충 단계를 거치거나, **명확화 질문 (Clarification Questions)**을 유도하는 메커니즘이 필요합니다.

5. 결론

이 연구는 정신 건강 LLM 의 안전성을 평가할 때, 단순한 사실성 (Factuality) 검증을 넘어 **정보의 완전성 (Completeness)**과 맥락적 민감도를 고려해야 함을 강조합니다. 특히 고충격 상황에서 발생하는 '누락'은 사용자가 인지하기 어렵지만 치명적일 수 있으므로, LLM 개발 및 평가 시 이를 최우선 안전 지표로 삼고, 프롬프트의 서사적 복잡성과 정서적 강도를 고려한 견고한 안전 장치를 구축해야 합니다.