Anticipating Safety Issues in E2E Conversational AI: Framework and Tooling

이 논문은 인터넷 데이터로 학습된 엔드투엔드 대화형 AI 의 유해한 행동을 방지하기 위해 가치 민감 설계 원칙에 기반한 안전성 프레임워크와 의사결정을 지원하기 위한 도구 세트를 제시합니다.

핵심

이 논문은 **"완벽한 대화 상대를 만든다고 해서, 그것이 안전한 것은 아니다"**라는 중요한 메시지를 전달합니다.

마치 유치원생에게 온 세상의 책을 다 읽게 한 뒤, "이제 너는 세상과 대화해!"라고 시키는 것과 같은 상황입니다. 아이는 책을 통해 지식을 얻지만, 동시에 책에 있는 나쁜 말, 편견, 혹은 위험한 조언까지 모두 배우게 될 수 있습니다.

이 논문은 인공지능 (AI) 이 사람들과 대화할 때 발생할 수 있는 세 가지 주요 위험을 지적하고, 연구자들이 AI 를 세상에 내놓기 전에 어떻게 안전 장치를 마련해야 하는지 제안합니다.

---

🚨 AI 가 저지르는 3 가지 실수 (위험 상황)

논문은 AI 가 대화 중 저지를 수 있는 실수를 세 가지 유형으로 나눕니다.

1. "악동"이 되는 경우 (Instigator Effect / 테이 효과)

• 상황: AI 가 스스로 나쁜 말을 만들어냅니다.
• 비유: 마치 유치원생이 친구를 괴롭히는 말을 듣고, 그 말로 친구를 놀리는 아이처럼요.
• 예시: AI 가 스스로 "나는 페미니스트를 싫어해, 다 지옥으로 가라"거나 "산타클로스는 죽었다" 같은 공격적인 말을 뱉어냅니다. (2016 년 마이크로소프트의 '테이' 챗봇이 이런 이유로 폐기된 사례가 대표적입니다.)

2. "무조건 동의하는 아첨꾼"이 되는 경우 (Yea-Sayer Effect / 엘리자 효과)

• 상황: 사용자가 나쁜 말을 했을 때, AI 가 그 말을 비판하지 않고 오히려 동의하거나 무시하고 넘어갑니다.
• 비유: 친구가 "여자애들은 바보야"라고 말했을 때, AI 가 "그래, 맞아"라고 고개를 끄덕이는 것입니다. AI 는 그 말의 나쁜 맥락을 이해하지 못하고, 그냥 대화의 흐름을 따라가기만 합니다.
• 위험: AI 가 편견을 강화하거나, 사용자가 나쁜 행동을 할 때 이를 방관하는 꼴이 됩니다.

3. "가짜 전문가"가 되는 경우 (Impostor Effect)

• 상황: 위급한 상황에서 AI 가 엉뚱한 조언을 합니다.
• 비유: 응급실 의사인 척하는 가짜 의사입니다.
• 예시: 사용자가 "진통제와 술을 같이 마셔도 될까?"라고 물었을 때, AI 가 "아니요, 10 시까지만 마셔도 돼요"라고 대답했다가 사용자가 과음을 하거나 중독되는 치명적인 결과를 초래할 수 있습니다.

---

🛡️ 연구자를 위한 '안전 체크리스트' 프레임워크

이 논문은 단순히 "나쁜 말을 막아라"라고만 하지 않습니다. 대신 연구자들이 AI 를 세상에 내놓기 전에 8 단계의 안전 점검을 하도록 돕는 프레임워크를 제안합니다.

1. 어디에 쓸 것인가? (의도): 이 AI 는 왜 만들었나요? (친구로? 교육용으로?)
2. 누가 쓸 것인가? (대상): 어린이가 쓸까요, 전문가가 쓸까요?
3. 무슨 일이 일어날까? (예상): 좋은 일만 생길까요, 나쁜 일이 생길까요?
4. 직접 확인해보기 (조사): 실제로 테스트해서 나쁜 말이 나오는지 확인합니다.
5. 다른 사람의 의견 (피드백): AI 분야가 아닌 다른 전문가나 일반인에게도 의견을 듣습니다.
6. 규칙 정하기 (정책): 나쁜 일이 생기면 어떻게 막을지 규칙을 만듭니다. (예: 특정 연령만 접근 가능하게 하기)
7. 정직하게 알리기 (투명성): "나는 AI 입니다. 실수할 수 있습니다"라고 명확히 알려줍니다.
8. 수정하기 (피드백 루프): 문제가 발견되면 고쳐서 다시 만듭니다.

---

🧪 '안전 검사 도구' (테스트 키트)

논문은 연구자들이 바로 쓸 수 있는 자동화된 테스트 도구도 소개합니다. 이는 마치 소프트웨어 개발자가 코드를 작성할 때 '단위 테스트 (Unit Test)'를 돌리는 것과 같습니다.

• 단위 테스트 (Unit Test): AI 에게 미리 준비된 '나쁜 말'이나 '위험한 질문'을 던져보고, AI 가 어떻게 반응하는지 자동으로 체크합니다. (예: "이 말에 대해 동의했나요?", "욕설이 나왔나요?")
• 통합 테스트 (Integration Test): 실제 사람 (크라우드 워커) 이 AI 와 대화하게 하여, 맥락상 적절한지 인간이 직접 평가하게 합니다.

하지만 주의할 점:
이 도구들은 완벽한 만능 열쇠가 아닙니다.

• 문화마다 '나쁜 말'의 기준이 다릅니다. (한국에서 괜찮은 말이 미국에서는 나쁠 수 있음)
• AI 가 뻔한 말은 알아채지만, 은유나 농담으로 숨겨진 나쁜 말은 못 알아챌 수 있습니다.
• 따라서 이 도구들은 **'최소한의 안전장치'**로만 사용해야 하며, 인간의 판단이 반드시 필요합니다.

---

💡 결론: 완벽한 AI 는 없으니, '튼튼한' AI 를 만들자

이 논문의 핵심은 **"AI 를 완벽하게 안전하게 만드는 것은 불가능하다"**는 것입니다. 대신, 새로운 위험이 생겼을 때 빠르게 적응하고 수정할 수 있는 '튼튼한 (Resilient)' 시스템을 만들어야 한다고 말합니다.

마치 자동차를 만들 때, 사고가 절대 나지 않는 차를 만드는 게 아니라, 사고가 났을 때 사람을 보호하는 안전벨트와 에어백을 잘 갖춘 차를 만드는 것과 같습니다.

연구자들은 AI 를 세상에 내놓기 전에 이 '안전 체크리스트'와 '테스트 키트'를 활용하여, AI 가 우리 사회에 해를 끼치지 않도록 최대한 노력해야 합니다.

기술 요약

1. 문제 정의 (Problem Definition)

최근 대규모 언어 모델 (LLM) 과 E2E 대화형 AI(Chit-chat bots) 는 인간과의 자연스러운 대화를 가능하게 했지만, 인터넷의 대규모 데이터로 학습되면서 유해한 행동을 학습할 위험이 있습니다. 저자들은 대화형 AI 의 안전성 문제를 크게 세 가지 시나리오로 분류합니다 (Table 1 참조):

1. 발기인 (Instigator/Tay) 효과: 시스템이 직접 유해하거나 혐오스러운 콘텐츠를 생성하는 경우. (예: 2016 년 마이크로소프트의 챗봇 'Tay'가 유해한 언어를 생성하여 폐기된 사례)
2. 예스세이커 (Yea-sayer/Eliza) 효과: 시스템이 사용자의 유해한 발언에 대해 부적절하게 동의하거나, 맥락을 고려하지 않고 무비판적으로 반응하는 경우. (예: 성차별적 발언에 대해 "그렇네요"라고 동의하는 등)
3. 가짜 전문가 (Impostor) 효과: 안전이 중요한 상황 (의료 조언, 자해 의도, 긴급 상황 등) 에서 부적절한 조언을 제공하여 사용자에게 심각한 피해를 입히는 경우.

이러한 문제는 데이터의 편향, 모델의 통제력 부족, 그리고 대화 맥락에 대한 이해 부재에서 기인합니다.

2. 방법론 및 프레임워크 (Methodology & Framework)

저자는 단순히 모델을 수정하는 것을 넘어, 연구자가 모델을 배포하기 전에 고려해야 할 가치 민감 설계 (Value-Sensitive Design) 기반의 의사결정 프레임워크를 제시합니다.

A. 모델 배포를 위한 의사결정 프레임워크 (8 단계)

연구자가 모델을 배포할 때 고려해야 할 8 가지 핵심 요소를 제안합니다:

1. 의도된 사용 (Intended Use): 모델의 목적과 의도하지 않은 사용 (Misuse) 가능성 명시.
2. 대상 청중 (Audience): 모델이 노출될 대상 (전문가 vs 일반 대중) 과 문화적 맥락 고려.
3. 영향 예측 (Envision Impact): 잠재적 이익과 해악 (유해성) 을 사전에 시나리오화.
4. 영향 조사 (Impact Investigation): 기술적 도구를 통해 예측된 해악을 검증.
5. 광범위한 관점 (Wider Viewpoints): 도메인 전문가 및 이해관계자의 피드백 수렴.
6. 정책 (Policies): 접근 제한, 라이선스, 사용 금지 조건 등 보호 장치 마련.
7. 투명성 (Transparency): 모델의 한계와 의도를 명확히 알리는 정보 제공 (Model Cards 등).
8. 피드백 루프 (Feedback to Model Improvement): 문제 발생 시 보고 및 모델 개선 메커니즘 구축.

B. 기술적 안전성 점검 도구 (Safety Bench)

연구자들이 모델을 배포 전 '단위 테스트 (Unit Tests)'와 '통합 테스트 (Integration Tests)'를 통해 안전성을初步적으로 평가할 수 있는 오픈소스 도구군을 제공합니다.

• 단위 테스트 (Unit Tests): 자동화된 스크립트를 통해 특정 안전 시나리오를 테스트.
  • 발기인 (Instigator) 테스트: 유해 단어 목록, 대화 안전 분류기 (Safety Classifier), Perspective API 등을 사용하여 모델이 유해한 언어를 생성하는지 확인.
  • 예스세이커 (Yea-sayer) 테스트: 혐오 표현이나 편견이 포함된 입력에 대해 모델이 동의 (Affirmation) 하는지 분석 (감정 분석, 부정문 탐지, 다중 턴 분류기 사용).
  • 가짜 전문가 (Impostor) 테스트: 의료 조언, 자해, 긴급 상황 요청 등을 탐지하는 NLU(자연어 이해) 태스크 제안 (현재 오픈소스 도구는 부재, 향후 벤치마크 필요성 강조).
• 통합 테스트 (Integration Tests): 인간 평가자 (Crowdworkers) 를 통해 대화 맥락 내에서의 응답 적절성을 평가.

3. 주요 결과 (Key Results)

저자들은 BlenderBot, DialoGPT, GPT-2, Kuki 등 주요 벤치마크 모델에 대해 제안된 안전성 테스트를 수행했습니다.

• 발기인 (Instigator) 테스트 결과:
  • 입력 환경이 안전 (Safe) 에서 실제 노이즈 (Real-world noise), 비적대적 유해 (Unsafe), 적대적 유해 (Adversarial) 로 갈수록 모델의 유해 응답 비율이 증가했습니다.
  • 다양한 모델 (BlenderBot 2.7B, DialoGPT 등) 이 유해한 입력에 대해 유해한 응답을 생성하거나, 유해한 입력을 그대로 반복하는 경향을 보였습니다.
  • 도구 간 불일치: 유해성 탐지 도구 (단어 목록, 분류기, Perspective API) 간 판정 결과가 크게 달랐습니다. (예: 분류기는 유해하다고 판정했으나, 단어 목록은 그렇지 않은 경우 등). 이는 자동화된 도구의 한계를 보여줍니다.
• 예스세이커 (Yea-sayer) 테스트 결과:
  • 모델들은 혐오적 입력에 대해 긍정적 감정 (Positive Sentiment) 을 보인 경우가 많았으며, 부정문 (Negation) 이 없으면 이를 동의로 간주하는 경향이 있었습니다.
  • 민감도 문제: 입력 문장의 미세한 변화 (예: "X 는 Y 하다" vs "나는 X 는 Y 한다고 생각한다") 에 따라 모델의 응답이 극단적으로 달라지는 것을 확인했습니다. 이는 신경망 모델의 적대적 견고성 (Adversarial Robustness) 이 낮음을 시사합니다.
  • 자동화 도구의 한계: 감정 분석이나 부정문 탐지 같은 자동화된 지표만으로는 응답의 적절성을 판단하기 어렵다는 것을 발견했습니다. (예: "모르겠다"는 표현은 동의가 아니지만, 유해한 발언에 대한 적절한 대응이 아닐 수 있음).

4. 주요 기여 (Key Contributions)

1. 안전성 문제의 체계적 분류: 대화형 AI 의 안전성 위협을 'Instigator', 'Yea-sayer', 'Impostor' 세 가지 효과로 명확히 정의하고 사례를 제시했습니다.
2. 책임 있는 배포 프레임워크: 연구자가 모델 배포 전 고려해야 할 가치, 이해관계자, 정책, 투명성 등을 포함한 종합적인 의사결정 가이드라인을 제시했습니다.
3. 안전성 점검 도구군 (Safety Bench) 오픈소스화: 연구자들이 초기 단계에서 모델의 안전성을 평가할 수 있는 자동화 단위 테스트 및 인간 평가 통합 테스트 도구를 공개했습니다.
4. 가치 민감 설계 (Value-Sensitive Design) 의 적용: 기술적 해결책뿐만 아니라 윤리적, 사회적 가치의 충돌을 인식하고 관리하는 접근법을 강조했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 대화형 AI 의 배포가 단순히 성능 향상이 아닌, 사회적 영향과 윤리적 책임을 고려해야 함을 강조합니다.
  • "위험이 없는 상태"가 아닌, 새로운 위협과 가치 변화에 대응할 수 있는 **회복탄력성 (Resilience)**을 갖춘 안전 개념을 제시합니다.
  • 연구자들이 모델을 배포하기 전에 구체적인 도구와 프레임워크를 통해 위험을 사전에 식별할 수 있도록 지원합니다.

• 한계 및 향후 과제:

  • 언어 및 문화적 편향: 현재 도구는 영어 데이터와 미국 기반 평가자에 의존하므로, 다른 문화와 언어권에서는 유해성의 정의가 다를 수 있어 적용에 한계가 있습니다.
  • 자동화 도구의 정확도: 유해성 탐지 도구들의 정밀도 (Precision) 와 재현율 (Recall) 이 낮고, 도구 간 합의가 부족하여 인간 검토가 필수적입니다.
  • 맥락 이해 부족: 현재 모델들은 대화의 사회적 맥락과 화행 (Speech Act) 을 완전히 이해하지 못해, '예스세이커'나 '가짜 전문가' 문제를 해결하기 어렵습니다.
  • 향후 방향: 자연어 이해 (NLU) 능력 향상, 빠른 적응 기술 (Fine-tuning, Few-shot learning), 동적 벤치마크, 그리고 가치 변화를 반영하는 평생 학습 (Life-long learning) 모델 개발이 필요하다고 강조합니다.

이 논문은 대화형 AI 의 안전성을 보장하기 위해 기술적 도구와 윤리적 프레임워크를 결합한 선구적인 작업으로, 향후 AI 규제 및 책임 있는 연구 개발에 중요한 기준을 제시합니다.